CN116724548A - 用于显示内容的电子装置及其操作方法 - Google Patents

用于显示内容的电子装置及其操作方法 Download PDF

Info

Publication number
CN116724548A
CN116724548A CN202180089266.6A CN202180089266A CN116724548A CN 116724548 A CN116724548 A CN 116724548A CN 202180089266 A CN202180089266 A CN 202180089266A CN 116724548 A CN116724548 A CN 116724548A
Authority
CN
China
Prior art keywords
electronic device
display
processor
eye
fatigue level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180089266.6A
Other languages
English (en)
Inventor
李镇喆
严俊煊
河宪晙
金胜年
金炫秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210001015A external-priority patent/KR20220099011A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116724548A publication Critical patent/CN116724548A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种电子装置，其包括：相机模块；显示器，显示增强现实或虚拟现实内容；至少一个处理器，在操作上连接到相机模块和显示器；以及存储器，在操作上连接到所述至少一个处理器并存储增强现实或虚拟现实内容。存储器可以存储一个或更多个指令，所述一个或更多个指令当被运行时使所述至少一个处理器：通过使用相机模块来获得眼睛跟踪数据；基于眼睛跟踪数据来确定眼睛疲劳等级；以及根据眼睛疲劳等级，在第一模式和第二模式当中选择一个模式，第一模式用于改变显示器的配置，第二模式用于改变显示器的配置和内容的输出配置两者。此外，通过说明书认识到的其他各种实施例也是可能的。

Description

用于显示内容的电子装置及其操作方法
技术领域
本说明书中公开的一个或更多个实施例总体上涉及用于显示内容的电子装置及其操作方法。
背景技术
虚拟现实(VR)是生成并显示类似于真实环境的虚拟环境的技术，用户可以在其中与虚拟对象进行交互。
增强现实(AR)是将虚拟对象与真实环境合成并显示合成结果的技术。
包括头戴式显示器(HMD)的电子装置可以在用户眼前显示VR内容或AR内容，使得用户感觉好像他/她存在于VR或AR环境中。电子装置可以识别用户观看的外部环境并且可以提供反映识别结果的AR内容。包括HMD的电子装置可以被实现为例如一副眼镜。
发明内容
技术问题
传统的VR或AR装置通过实现3D立体效果来提供高真实感和沉浸感。另一方面，传统的VR装置或AR装置可能给用户带来问题。
例如，在VR装置或AR装置的用户观看内容时或在用户观看内容后，用户可能感到眼睛疲劳和头痛。在严重的情况下，用户可能感到足以引起疼痛的视觉疲劳。视觉疲劳是当用户使用VR装置或AR装置时最常见的症状，迫切需要解决。
例如，导致视觉疲劳的因素可以包括显示器、视觉内容、观看者特征或观看环境。例如，随着显示器的分辨率或亮度增加，眼睛疲劳会增加。因此，可以通过降低显示器的分辨率或亮度来减轻眼睛疲劳。
传统的VR或AR装置通过统一显示内容而没有考虑用户眼睛疲劳的情况下，可能增加用户的眼睛疲劳。
技术方案
根据本说明书中公开的实施例，一种电子装置可以包括：相机模块；显示器，显示包括至少一个对象的AR内容或VR内容；至少一个处理器，在操作上连接到相机模块和显示器；以及存储器，在操作上连接到所述至少一个处理器并存储AR内容或VR内容。存储器可以存储一个或更多个指令，所述一个或更多个指令当被运行时使所述至少一个处理器通过使用相机模块来获得眼睛跟踪数据、基于眼睛跟踪数据来确定眼睛疲劳等级、以及取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和AR内容或VR内容的输出设置两者。
此外，根据本说明书中公开的实施例，一种操作用于显示内容的电子装置的方法可以包括通过使用相机模块来获得眼睛跟踪数据、基于眼睛跟踪数据来确定眼睛疲劳等级、以及取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和内容的输出设置两者。
有益效果
根据本说明书中公开的各种实施例，可以提供一种电子装置及其操作方法，该电子装置通过基于用户的眼睛疲劳改变显示器的设置或内容的输出设置中的至少一个来减轻用户的眼睛疲劳。
此外，可以提供通过说明书直接或间接理解的各种效果。
另外的方面将部分地在以下描述中阐述，并将部分地自该描述明显，或者可以通过实践所呈现的实施例而获知。
附图说明
本公开的某些实施例的上述和其他的方面、特征和优点将从以下结合附图的描述更加明显，附图中：
图1是根据实施例的网络环境中的电子装置的框图。
图2是示出根据实施例的电子装置的部件的图。
图3是根据实施例的电子装置的框图。
图4是根据实施例的电子装置的框图。
图5是示出根据实施例的电子装置的操作方法的流程图。
图6是示出根据实施例的电子装置的操作方法的流程图。
图7是示出根据实施例的电子装置的操作方法的流程图。
图8是示出根据实施例的改变电子装置的显示设置的示例的图。
图9是示出根据实施例的改变电子装置的内容的输出设置的示例的图。
图10是用于描述根据实施例的改变电子装置的FOV的操作的图。
图11是示出根据实施例的当电子装置改变FOV时在显示器上显示的屏幕的图。
图12是示出根据实施例的电子装置的操作方法的流程图。
对于附图的描述，相同或相似的部件将由相同或相似的附图标记来标识。
具体实施方式
图1是示出根据实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
在下文中，将参照图2描述根据实施例的电子装置的结构和部件。
图2是示出根据实施例的电子装置201的部件的图200。根据实施例，电子装置201可以穿戴在用户的头上。例如，电子装置201可以是一副眼镜，但不限于此。根据实施例，作为一副眼镜的电子装置201可以包括沿着当用户穿戴电子装置201时定位成面对用户眼睛的显示器的边缘形成的框架203、以及挂在用户耳朵上并连接到框架203从而将框架203放置在用户眼前的镜腿(例如，第一镜腿构件205和第二镜腿构件207)。根据实施例，镜腿可以包括连接镜腿和框架203的铰链(例如，第一铰链261和第二铰链263)。根据实施例，框架203可以包括围绕第一显示器211的第一部分和围绕第二显示器213的第二部分。根据实施例，框架203可以包括连接第一部分和第二部分的桥209。根据实施例，可以有多个镜腿。例如，两个镜腿可以分别连接到第一部分和第二部分。例如，第一部分可以通过第一铰链261连接到第一镜腿构件205。第二部分可以通过第二铰链263连接到第二镜腿构件207。第一镜腿构件205和第二镜腿构件207可以通过第一铰链261和第二铰链263折叠以与框架203重叠。
参照图2，根据实施例的电子装置201可以包括显示器(例如，第一显示器211和第二显示器213)(例如，图1的显示模块160)、透明构件(例如，第一透明构件215和第二透明构件217)、波导(例如，第一波导225和第二波导227)、输入光学构件(例如，第一输入光学构件221和第二输入光学构件223)、相机模块(例如，第一相机231、第二相机233、第三相机235、第四相机237和第五相机239)(例如，图1的相机模块180)、照明(例如，第一发光二极管(LED)241和第二LED 243)、印刷电路板(PCB)(例如，第一PCB 251和第二PCB 253)、铰链(例如，第一铰链261和第二铰链263)、麦克风(例如，第一麦克风271、第二麦克风273和第三麦克风275)(例如，图1的输入模块150)、扬声器(例如，第一扬声器281和第二扬声器283)(例如，图1的声音输出模块155)和电池(例如，第一电池291和第二电池293)(例如，图1的电池189)。
根据实施例的显示器可以包括第一显示器211和第二显示器213。例如，显示器可以包括液晶显示器(LCD)、数字镜装置(DMD)、硅上液晶(LCoS)装置和有机发光二极管(OLED)或微型发光二极管(micro LED)。
根据实施例，当显示器由LCD、DMD或LCoS之一组成时，电子装置201可以包括向显示器的屏幕显示区域发射光的背光。
根据实施例，当显示器由OLED或micro LED组成时，显示器的像素可以自己产生光，因此电子装置201可以向用户提供具有特定质量或更高质量的虚拟图像，因为不需要单独的背光。根据实施例，当显示器由OLED或micro LED组成时，不需要单独的背光，因此可以减轻电子装置201的重量。
根据实施例，透明构件可以包括第一透明构件215和第二透明构件217。例如，透明构件可以由玻璃板、塑料板或聚合物形成。根据实施例，透明构件可以被制成透明或半透明的。根据实施例，第一透明构件215可以被布置为面对用户的右眼。第二透明构件217可以被布置为面对用户的左眼。
根据实施例，电子装置201可以位于面对用户右眼和左眼的位置。电子装置201可以包括透明显示器，并且可以在显示器上实现屏幕显示区域。
根据实施例，波导可以包括第一波导225和第二波导227。根据实施例，波导可以向用户的眼睛传送由显示器(例如，第一显示器211和/或第二显示器213)产生的光。例如，第一波导225可以向用户的右眼传送第一显示器211产生的光，第二波导227可以向用户的左眼传送第二显示器213产生的光。例如，波导可以由玻璃、塑料或聚合物制成，并且可以包括形成在其中或一个表面上的纳米图案(例如，具有多边形或弯曲形状的光栅结构)。根据实施例，入射到波导一端的光可以通过纳米图案在波导内传播并且可以被提供给用户。例如，由自由形状棱镜形成的波导可以通过反射镜向用户提供入射光。
根据实施例，波导可以包括至少一个衍射元件(例如，衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一个。波导可以通过使用至少一个衍射元件或反射元件将从照明发射的显示光引导至用户的眼睛。例如，衍射元件可以包括输入光学构件(例如，第一输入光学构件221和第二输入光学构件223)和/或输出光学构件(未示出)。第一输入光学构件221和/或第二输入光学构件223可以被称为″输入光栅区域″。输出光学构件(未示出)可以被称为″输出光栅区域″。输入光栅区域可以衍射或反射从光源(例如，micro LED)输出的光，以将光传送到屏幕显示单元的透明构件(例如，第一透明构件215和/或第二透明构件217)。输出光栅区域可以在用户眼睛的方向上衍射或反射传送到波导的透明构件(例如，第一透明构件215和/或第二透明构件217)的光。例如，反射元件可以包括用于全内反射TIR的TIR波导或TIR光学元件。TIR可以被称为用于引导光的″一种方式″。TIR可以意味着光(例如，图像)入射，使得通过输入光栅区域输入的所有光从波导的一个表面(例如，特定表面)反射，然后所有光被传送到输出光栅区域。根据实施例，从显示器发射的光可以通过输入光学构件(例如，第一输入光学构件221和第二输入光学构件223)被引导至波导。在波导内传播的光可以通过输出光学构件被引导向用户的眼睛。根据实施例，可以取决于朝向用户眼睛发射的光来确定屏幕显示区域。根据实施例，第一波导225和第二波导227可以被不同地称为″屏幕显示区域″。根据实施例，第一波导225可以是第一显示器211的至少部分区域。第二波导227可以是第二显示器213的至少部分区域。在图2所示的实施例中，第一波导225和第二波导227中的每个被实现为四边形作为示例，但不限于此。
根据实施例，电子装置201可以包括第一相机模块(例如，第一相机231和第二相机233)。电子装置201可以通过使用第一相机模块来执行头部跟踪、手部检测和跟踪、手势识别以及三自由度(3DoF)或六自由度(6DoF)的空间识别。例如，第一相机231和第二相机233可以是具有相同规格和性能(例如，相同或相似的视角、快门速度、分辨率和/或颜色位数)的全局快门(GS)相机。电子装置201可以通过经由使用布置在左侧和右侧的立体相机执行空间识别和/或深度信息获取来支持同时定位和建图(SLAM)技术。根据实施例，SLAM技术可以指移动机器人在绕未知环境移动时测量其位置并同时创建周围环境的地图的技术。此外，电子装置201可以通过使用布置在左侧/右侧的立体相机来识别用户的手势。电子装置201可以通过使用具有比卷帘快门(RS)相机更小的失真的GS相机来检测更快的手势和更精细的运动。
根据实施例，电子装置201可以包括第二相机模块(例如，第三相机235和第四相机237)。根据实施例，电子装置201可以通过使用第二相机模块来检测并跟踪瞳孔。例如，电子装置201可以通过使用第二相机模块获得的瞳孔信息来定位显示器上显示的虚拟图像的中心从而对应于穿戴电子装置201的用户的瞳孔的注视方向。根据实施例，第二相机模块可以包括用于跟踪右眼的相机(例如，第三相机235)和用于跟踪左眼的相机(例如，第四相机237)。第三相机235和第四相机237可以是具有相同规格和性能(例如，视角、快门速度、分辨率和/或颜色位数)的GS相机。根据实施例，电子装置201可以通过使用没有屏幕余像的GS相机来跟踪瞳孔的快速运动。
根据实施例，电子装置201可以包括第三相机模块(例如，第五相机239)。根据实施例，第三相机模块可以被称为高分辨率相机或照片/视频相机。根据实施例，第三相机模块可以是高分辨率相机。例如，第三相机模块可以是彩色相机，其包括自动聚焦(AF)和/或光学图像稳定器(OIS)功能并且配备有用于获得高质量图像的多种功能。根据实施例，第三相机模块可以是全局快门相机或卷帘快门相机。
根据实施例，光元件可以包括第一LED 241和第二LED 243。例如，电子装置201可以通过使用第一LED 241和第二LED 243为第一相机模块(例如，第一相机231和第二相机233)、第二相机模块(例如，第三相机235和第四相机237)和/或第三相机(例如，第五相机239)提供辅助照明。例如，当电子装置201通过使用第二相机模块(例如，第三相机235和第四相机237)捕捉用户的瞳孔时，电子装置201可以通过使用第一LED 241和第二LED 243作为辅助照明而容易地检测用户的注视。例如，第一LED 241和第二LED 243可以包括具有红外波长的红外(IR)LED。即使在黑暗环境或多个照明元件发射被混合且入射或反射的光的环境中，电子装置201也可以通过使用第一LED 241和第二LED 243作为辅助照明而容易地用相机模块检测对象。
根据实施例，PCB可以包括第一PCB 251和第二PCB 253。根据实施例，PCB可以位于镜腿中。例如，第一PCB 251可以位于第一镜腿构件205中。第二PCB 253可以位于第二镜腿构件207中。根据实施例，PCB可以包括柔性PCB(FPCB)。根据实施例，第一PCB 251和第二PCB253可以通过FPCB将电信号传送到另一部件(例如，相机模块(例如，第一相机231至第五相机239)、显示器(例如，第一显示器211和第二显示器213)、音频模块(例如，第一扬声器281和第二扬声器283)和/或传感器模块(未示出))和另一PCB。根据实施例，电子装置201的通信电路(例如，图1的通信模块190)、处理器(例如，图1的处理器120)、存储器(例如，图1的存储器130)和/或至少一个传感器(例如，图1的传感器模块176)可以设置在第一PCB 251和第二PCB 253上。例如，第一PCB 251和第二PCB 253中的每个可以由通过中介层彼此间隔开的多个PCB组成。
根据实施例，麦克风可以包括第一麦克风271、第二麦克风273和/或第三麦克风275。根据实施例，麦克风可以位于框架203上或桥209上。在图2的实施例中，第一麦克风271和第二麦克风273可以位于框架203上，第三麦克风275可以位于桥209上。根据实施例，第一麦克风271、第二麦克风273和第三麦克风275可以从穿戴电子装置201的用户接收语音输入。
根据实施例，扬声器可以包括第一扬声器281和/或第二扬声器283。根据实施例，扬声器可以位于镜腿中。在图2的实施例中，第一扬声器281可以位于第一镜腿构件205上，第二扬声器283可以位于第二镜腿构件207上。根据实施例，第一扬声器281和第二扬声器283可以向穿戴电子装置201的用户提供声音信号。
根据实施例，传感器模块(未示出)可以包括接近传感器、照度传感器、加速度传感器、陀螺仪传感器、触摸传感器或生物特征传感器中的至少一个。传感器模块可以检测电子装置201的物理状态(例如，姿势或位置)、外部环境状态(例如，与电子装置201相邻的对象的亮度或电子装置201周围的亮度)、或者穿戴电子装置201的用户的状态(例如，用户的心电图(ECG)或脑电图(EEG))，然后可以生成与感测到的状态对应的电信号或数据值。
根据实施例，生物特征传感器可以包括电极和模拟前端(AFE)。例如，电极可以提供在第一镜腿构件205和第二镜腿构件207的每个中。生物特征传感器可以从第一镜腿构件205和第二镜腿构件207通过电极与用户皮肤接触的部分获得用户的生物特征信号。例如，生物特征信号可以包括ECG或EEG。根据实施例，AFE可以是包括仪表放大器(IA)、基带滤波器(BPF)、可变增益放大器(VGA)和具有逐次逼近寄存器(SAR)类型的模数(A/D)转换器的电路。AFE可以将通过电极获得的模拟信号转换为数字信号，并且可以将数字信号发送到电子装置201的处理器(例如，图1的处理器120)。例如，电子装置201的处理器可以通过ECG的R-R间期或ECG的频谱分析来评估交感神经系统和副交感神经系统的活动。电子装置201的处理器可以确定眼睛疲劳随着交感神经系统的活动增加而增加。作为另一示例，电子装置201的处理器可以通过EEG的频谱分析来提取每个频带的功率值，并且可以通过使用提取的功率值来评估眼睛疲劳。
根据实施例，电池可以包括第一电池291和第二电池293。根据实施例，电池可以位于镜腿中。在图2的实施例中，第一电池291可以位于第一镜腿构件205上，第二电池293可以位于第二镜腿构件207上。根据实施例，第一电池291和第二电池293可以为电子装置201供电。根据实施例，第一电池291和第二电池293还可以由外部电源充电。
在下文中，将参照图3描述根据实施例的电子装置的部件。
图3是根据实施例的电子装置301的框图300。根据实施例，电子装置301可以是图1的电子装置101或图2的电子装置201。
参照图3，根据实施例的电子装置301可以包括处理器120(例如，图1的处理器120)、通信模块190(例如，图1的通信模块190)、电力管理模块188(例如，图1的电力管理模块188)、传感器模块176(例如，图1的传感器模块176)、相机模块180(例如，图1的相机模块180或图2的第一相机231至第五相机239)、存储器130(例如，图1的存储器130)和/或显示模块160(例如，图1的显示模块160或图2的第一显示器211和第二显示器213)。根据实施例，电子装置201可以通过连接端330(例如，USB TYPE-C)连接到第二电力管理模块331。
根据实施例，电子装置301可以是能够被穿戴在用户身体的一部分上的可穿戴装置。例如，电子装置301可以被穿戴在用户的头上。在这种情况下，电子装置的显示模块160可以包括HMD。在下文中，可以假设要描述的电子装置301是被穿戴在用户头上并且其中HMD在被穿戴时位于用户眼前的可穿戴电子装置。当用户穿戴电子装置301时用户所面对的方向可以被称为第一方向。与第一方向相反、朝向用户的方向可以被称为第二方向。
根据实施例，处理器120可以通过运行存储在存储器130中的程序(例如，图1的程序140)来控制至少一个其他部件(例如，硬件或软件部件)，并且可以执行各种数据处理或操作。处理器120可以包括微处理器或任何合适类型的处理电路，诸如一个或更多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。此外，将认识到，当通用计算机访问用于实现在此示出的处理的代码时，代码的运行将通用计算机转变为用于执行在此示出的处理的专用计算机。附图中提供的某些功能和步骤可以以硬件、软件或两者的组合来实现，并且可以全部或部分在计算机的编程指令内执行。这里的任何权利要求要素将均不被解释为功能性限定权利要求，除非该要素使用短语″用于......的手段″明确地叙述。此外，技术人员理解并领会，″处理器″或″微处理器″可以是所要求保护的公开中的硬件。根据最广泛的合理解释，所附权利要求是符合专利法的法定主题。
根据实施例，处理器120可以向用户提供VR服务或AR服务。例如，处理器120可以通过显示模块160输出包括至少一个对象的虚拟空间。根据实施例，包括通过显示模块160显示的虚拟空间和至少一个对象的内容可以被称为VR内容。作为另一示例，处理器120可以通过显示模块160将至少一个虚拟对象输出到与穿戴电子装置301的用户的FOV对应的真实空间，使得所述至少一个虚拟对象被添加到该真实空间，然后用户观看所述至少一个虚拟对象。根据实施例，包括通过显示模块160显示的真实空间和至少一个虚拟对象的内容可以被称为AR内容。例如，显示模块160可以显示由电子装置301产生或通过通信模块190从另一电子装置(例如，图1的电子装置102或104，或者图1的服务器108)接收的内容。根据实施例，处理器120可以将VR内容或AR内容存储在存储器130中。
根据实施例，电子装置301的显示模块160可以包括至少一个显示面板(例如，第一显示面板(例如，第一显示器211)和/或第二显示面板(例如，图2的第二显示器213))。例如，显示面板可以由透明元件组成，使得用户能够通过显示模块160感知真实空间。根据实施例，显示模块160可以在显示面板的至少部分上显示至少一个虚拟对象，使得穿戴电子装置301的用户观看添加到真实空间的虚拟对象。例如，用户的FOV可以包括用户能够识别对象的角度或范围。
根据实施例，电子装置301的传感器模块176可以包括接近传感器321、照度传感器322、陀螺仪传感器323和/或生物特征传感器324。根据实施例，接近传感器321可以检测与电子装置301相邻的对象。照度传感器322可以测量电子装置301周围的明亮程度。根据实施例，陀螺仪传感器323可以检测电子装置301的姿势和位置。例如，陀螺仪传感器323可以检测电子装置301是否被正确穿戴在用户头上。作为另一示例，陀螺仪传感器323可以检测电子装置301或穿戴电子装置301的用户的移动。根据实施例，生物特征传感器324可以测量穿戴电子装置301的用户的ECG和EEG。
根据实施例，电子装置301可以通过通信模块190(例如，无线通信电路)与另一电子装置(例如，图1的电子装置102或104)执行无线通信。例如，电子装置301可以与便携式电子装置(例如，智能电话)执行无线通信。电子装置301可以至少部分地由另一外部电子装置(例如，便携式电子装置)控制。例如，电子装置301可以在另一外部电子装置的控制下执行至少一个功能。
根据实施例，电子装置301的相机模块180可以包括手势相机311(例如，图2的第一相机231和第二相机233)、眼睛跟踪相机313(例如，图2的第三相机235和第四相机237)、深度相机315(例如，图2的第一相机231和第二相机233)和/或红绿蓝(RGB)相机317(例如，图2的第五相机239)。
手势相机311可以检测用户的移动。例如，至少一个或更多个手势相机311可以位于电子装置301上并且可以检测用户的手在预设距离内的移动。手势相机311可以包括用于识别与电子装置301的周围空间相关联的信息(例如，位置和/或方向)的同时定位和建图相机(SLAM相机)。手势相机311的手势识别区域可以基于手势相机311的可用拍摄范围来设置。
根据实施例，眼睛跟踪相机313可以检测并跟踪用户瞳孔的尺寸、位置和运动。根据实施例，眼睛跟踪相机313可以包括分别对应于用户的左眼和右眼的多个相机(例如，图2的第三相机235和第四相机237)。根据实施例，处理器120可以通过使用眼睛跟踪相机313来确定用户的眼睛状况(例如，疲劳)或注视方向。根据实施例，处理器120可以基于眼睛闪烁频率、瞳孔调节速度、眼睛干燥程度、眼睛发红程度或瞳孔震颤程度中的至少一个来确定眼睛疲劳等级。
根据实施例，深度相机315可以测量到位于电子装置301前面的对象的距离。深度相机315可以包括飞行时间(TOF)相机和/或深度相机。根据实施例，电子装置301可以通过使用眼睛跟踪相机313来识别位于用户注视方向上的对象之一，并且可以通过深度相机来计算深度，即到对象的距离，或者可以通过TOF相机来测量到对象的距离。根据实施例，RGB相机317可以检测对象的颜色相关信息和关于距对象的距离的信息。
根据实施例，包括在相机模块180中的手势相机311、眼睛跟踪相机313、深度相机315和/或RGB相机317可以被包括在电子装置301中；可选地，手势相机311、眼睛跟踪相机313、深度相机315和/或RGB相机317中的一些可以被实现为集成相机。例如，深度相机315和RGB相机317可以被实现为一个集成相机。
根据实施例，手势相机311、深度相机315和RGB相机317可以被布置为捕捉用户眼睛的注视方向上的图像。眼睛跟踪相机313可以被布置为捕捉用户的眼睛。
图3所示的电子装置301中包括的至少一个相机(例如，手势相机311、眼睛跟踪相机313、深度相机315和/或RGB相机317)的数量和位置可以不限于此。例如，至少一个相机的数量和位置可以基于电子装置301的特性(例如，形状或尺寸)而变化。
根据实施例，电力管理模块(188、331)可以管理供应给电子装置301的电力。电力管理模块(188、331)可以包括直接连接到处理器120从而向处理器120供电的第一电力管理模块188、以及通过连接端330(例如，TYPE-C)供电的第二电力管理模块331。第二电力管理模块331可以在功能上连接到电池333从而管理更多电力。根据实施例，电子装置301可以通过使用从电力管理模块(188、331)供应的电力来驱动相机模块180中包括的至少一个相机。电子装置201可以通过基于经由使用所述至少一个相机获得的信息调整经由显示模块160提供的显示信息来管理功耗。
在下文中，将参照图4描述根据实施例的电子装置的部件和操作。
图4是根据实施例的电子装置401的框图400。根据实施例，电子装置401可以是图1的电子装置101、图2的电子装置201或图3的电子装置301。假设下面描述的电子装置401是能够被穿戴在用户头上的装置，可以是例如如图2所示的一副眼镜。
参照图4，根据实施例的电子装置401可以包括眼睛跟踪模块410、显示器420(例如，图1和图3的显示模块160，或者图2的第一显示器211和第二显示器213)、处理器430(例如，图1和图3中的处理器120)和存储器440(例如，图1和图3的存储器130)。
根据实施例，眼睛跟踪模块410可以包括相机模块411(例如，图1和图3的相机模块180，或者图2的第一相机231至第五相机239)。相机模块411的详细描述与参照图1至图3给出的描述重复，因此将简化或省略详细公开以避免冗余。根据实施例，相机模块411可以捕捉穿戴电子装置401的用户的眼睛或瞳孔。根据实施例，要描述的处理器430可以基于相机模块411捕捉到的图像来获得指示用户眼睛状态的眼睛跟踪数据。根据实施例，处理器430可以获得指定时间段的眼睛跟踪数据。
根据实施例，显示器420可以显示内容。内容可以包括例如VR内容或AR内容。根据实施例，内容可以包括至少一个对象。根据实施例，对象可以包括虚拟对象。例如，对象可以包括文本或图像。这里，图像可以包括静态图像和动态图像。根据实施例，对象可以包括能够被用户视觉感知的各种形式的信息。显示器420的详细描述与上面参照图1至图3给出的描述重复，因此将简化或省略详细公开以避免冗余。
根据实施例，用户可以观看通过显示器420输出的内容，并且用户可能由于观看内容而感到眼睛疲劳。
根据实施例，处理器430可以在操作上或功能上连接到相机模块411和显示器420。根据实施例，处理器430可以基于通过使用相机模块411获得的用户眼睛跟踪数据来确定眼睛疲劳等级。根据实施例，处理器430可以取决于所确定的眼睛疲劳等级来控制显示器420的设置或者要在显示器420上输出的内容的输出设置。
根据实施例，处理器430可以基于眼睛跟踪数据来确定眼睛疲劳等级。例如，眼睛跟踪数据可以包括多个参数的测量值。根据实施例，所述多个参数可以与眼睛疲劳相关联并且可以包括指示眼睛或瞳孔的状态或运动的信息。例如，所述多个参数可以包括眼睛闪烁频率、瞳孔调节速度、眼睛干燥程度、眼睛发红程度或瞳孔震颤程度中的至少一个。
根据实施例，处理器430可以将眼睛疲劳分类为多个等级(例如，等级1至等级n(″n″是2或更大的自然数))。根据实施例，眼睛疲劳等级可以随着眼睛疲劳的增加而增加。根据实施例，处理器430可以取决于由所述多个参数当中的至少一个参数或所述多个参数当中的至少两个参数的组合构成的条件来确定眼睛疲劳等级。根据实施例，所述条件可以包括至少一个参数或至少两个参数的组合，并且可以包括每个参数的阈值范围或阈值。稍后将参照图5详细描述处理器430确定眼睛疲劳等级的方法。
根据实施例，处理器430可以通过对每个参数应用权重来确定眼睛疲劳等级。根据实施例，处理器430可以识别所述多个参数中的每个参数的权重。根据实施例，每个参数的权重对于每个用户可以是不同的。处理器430可以基于用户识别信息来识别每个参数的权重。根据实施例，处理器430可以将每个参数的权重应用于至少一个参数。
根据实施例，电子装置401可以进一步包括传感器模块413(例如，图1和图3的传感器模块176)。根据实施例，传感器模块413可以包括能够测量穿戴电子装置401的用户的生物特征信号的生物特征传感器。传感器模块413或生物特征传感器的详细描述与参照图1至图3给出的描述重复，因此将简化或省略详细公开以避免冗余。根据实施例，处理器430可以通过使用传感器模块413来获得生物特征信号。例如，生物特征信号可以包括ECG和EEG中的至少一个。根据实施例，处理器430可以进一步基于传感器模块413测得的生物特征信号来确定用户的眼睛疲劳等级。例如，处理器430可以分析ECG或EEG并且可以使用分析结果来确定用户的眼睛疲劳等级。根据实施例，ECG或EEG可以用作用于确定眼睛疲劳等级的另一参数。
根据实施例，处理器430可以进一步基于电子装置401的使用历史信息来确定眼睛疲劳等级。根据实施例，电子装置401的使用历史信息可以包括电子装置401的使用时间、显示器420的设置(例如，照明等级)或者正在运行的应用的类型中的至少一个。例如，随着电子装置401的使用时间增加，用户的眼睛疲劳可以增加。例如，随着显示器420的照度增加，用户的眼睛疲劳可以增加。例如，如果显示的屏幕频繁改变或者如果正在运行的应用(例如，游戏应用)有大量对象在屏幕上移动，则用户的眼睛疲劳可以增加。根据实施例，当处理器430不能获得用户的眼睛跟踪数据或生物特征信号时，处理器430可以基于电子装置401的使用历史信息来确定眼睛疲劳等级。处理器430可以通过将电子装置401的使用历史信息附加地考虑到用户的眼睛跟踪数据或生物特征信号中而更准确地确定眼睛疲劳等级。
根据实施例，处理器430可以取决于所确定的眼睛疲劳等级来控制显示器420的设置或者要在显示器420上输出的内容的输出设置。根据实施例，与显示器420的设置相关的项目可以包括扫描速率(单位：Hz)或亮度中的至少一个，但不限于此。例如，处理器430可以通过改变扫描速率和亮度中的至少一个来改变显示器420的设置。根据实施例，与要在显示器420上输出的内容的输出设置相关的项目可以包括在显示器420上输出的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。例如，处理器430可以通过改变在显示器420上输出的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个来改变要在显示器420上输出的内容的输出设置。
根据实施例，处理器430可以基于输出到显示器420的内容当中要输出的内容来调节眼睛疲劳等级。根据实施例，要输出的内容可以包括在显示器420上输出的内容当中的虽然安排了输出但尚未输出的至少部分内容。例如，要输出的内容可以包括包含稍后要在显示器420上显示的所确定的信息(诸如显示指定屏幕或播放视频的游戏的运行)的内容。处理器430可以基于要输出的内容来预测眼睛疲劳等级的变化。处理器430可以通过考虑眼睛疲劳等级的预测变化调节眼睛疲劳等级来减少实际眼睛疲劳等级的增加。根据实施例，当预测处理器430当前确定的眼睛疲劳等级为3，并且所有要输出的内容全部输出后的眼睛疲劳等级为7时。因此，处理器430可以将被确定为3的眼睛疲劳等级改变为5，因此可以改变显示器420的设置从而对应于等级5。例如，在要输出的所有内容被输出之后由处理器430确定的眼睛疲劳等级可以是等级6，而不是预测的等级7。
根据实施例，存储器440可以存储电子装置401的至少一个部件(例如，处理器430、相机模块411或传感器模块413)使用的各种数据。例如，数据可以包括软件(例如，程序)以及用于与该软件相关联的指令的输入数据或输出数据。根据实施例，存储器440可以存储可由处理器430运行的一个或更多个指令。
在下文中，将参照图5描述根据实施例的由电子装置确定眼睛疲劳等级的方法。
图5是示出根据实施例的电子装置的操作方法的流程图500。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
在操作501中，电子装置可以识别眼睛跟踪数据的初始值。根据实施例，眼睛跟踪数据可以通过使用电子装置的相机模块(例如，图4的相机模块411)来获得。眼睛跟踪数据可以包括与用户的眼睛疲劳相关的多个参数的测量值。例如，所述多个参数可以包括眼睛闪烁频率、瞳孔调节速度、眼睛干燥程度、眼睛发红程度或瞳孔震颤程度中的至少一个。
根据实施例，眼睛跟踪数据的初始值可以包括当电子装置在用户穿戴电子装置之后首先测量多个参数时获得的测量值。例如，眼睛跟踪数据的初始值可以包括从用户穿戴电子装置的时间点开始的指定时间段内的平均值。根据另一实施例，眼睛跟踪数据的初始值可以包括预设为用户通过电子装置的输入模块(例如，图1的输入模块150)(例如，触摸屏显示器)输入的值。
根据实施例，眼睛跟踪数据的初始值可以包括基于用户的历史信息确定的平均值。例如，用户的历史信息可以包括通过存储电子装置识别出用户之后每个用户穿戴电子装置的指定时间段内的平均值而获得的信息。根据实施例，当识别出用户穿戴电子装置时，电子装置可以识别用户。电子装置可以基于用户的历史信息将识别出的用户的平均值设置为初始值。例如，电子装置可以通过生物特征认证来识别用户。
根据实施例，电子装置可以进一步包括通信模块(例如，图1和图3的通信模块190)。电子装置可以通过通信模块从用户的外部电子装置(例如，图1的电子装置102、图1的电子装置104、或服务器108)接收外部电子装置(例如，图1的电子装置102或图1的电子装置104)的设置信息和使用历史信息。根据实施例，电子装置和外部电子装置可以包括其中注册相同用户信息的电子装置。根据实施例，电子装置可以基于外部电子装置的设置信息和使用历史信息来设置眼睛跟踪数据的初始值。
根据实施例，外部电子装置的设置信息可以包括为外部电子装置设置的眼睛跟踪数据的初始值。例如，当已经为另一电子装置设置了针对同一用户的用户眼睛跟踪数据的初始值时，电子装置可以通过使用为其他电子装置设置的初始值信息来确定该电子装置中的眼睛跟踪数据的初始值。
根据实施例，外部电子装置的使用历史信息可以包括外部电子装置的使用时间、外部电子装置的显示器的设置、或最近在外部电子装置中运行的应用的列表中的至少一个。例如，当在用户使用电子装置之前用户有使用外部电子装置的历史时，电子装置可以基于外部电子装置的使用历史信息来设置电子装置中的眼睛跟踪数据的初始值。
在操作503中，电子装置可以计算获得的眼睛跟踪数据与初始值相比的变化量。根据实施例，电子装置可以获得指定时间段的眼睛跟踪数据。电子装置可以获得指定时段的多个参数的测量值。所述多个参数的测量值可以随着用户眼睛疲劳的增加而增大或减小。根据实施例，电子装置可以计算在指定时段获得的多个参数的测量值与初始值相比的变化量，然后可以计算眼睛跟踪数据与初始值相比的变化量。
在操作505中，电子装置可以取决于变化量来确定眼睛疲劳等级。例如，眼睛疲劳等级可以包括多个等级(例如，等级1至等级n(″n″是2或更大的自然数))。根据实施例，电子装置可以取决于变化量是否大于或等于指定阈值或者变化量是否满足眼睛疲劳等级的指定阈值范围来确定眼睛疲劳等级。例如，随着眼睛跟踪数据的变化量增加，电子装置可以将眼睛疲劳等级确定为更高等级。眼睛跟踪数据的变化量可以被称为与下面要描述的特定参数(例如，眼睛闪烁频率或瞳孔调节速度)的测量值与初始值相比的变化量。例如，眼睛跟踪数据的变化量可以是参数的测量值的减小或增大。根据实施例，随着眼睛疲劳等级越高，与对应等级对应的阈值或阈值范围可以包括更大的值。
根据实施例，电子装置可以取决于由多个参数当中的至少一个参数或者至少两个参数的组合构成的条件来确定眼睛疲劳等级。根据实施例，所述条件可以包括至少一个参数或至少两个参数的组合，并且可以包括每个参数的阈值或阈值范围。例如，眼睛疲劳等级被确定为等级k(′k′是1和n之间的自然数)的条件可以包括第一参数(例如，眼睛闪烁频率)和第二参数(例如，瞳孔调节速度)，并且可以包括对应于等级k的第一参数的阈值(或阈值范围)和第二参数的阈值(或阈值范围)。根据实施例，当每个参数的测量值与初始值相比的变化量大于或等于对应于每个等级的阈值或者满足对应于每个等级的阈值范围时，电子装置可以将用户的眼睛疲劳等级确定为对应等级。例如，当第一参数的测量值与初始值相比的变化量大于对应于等级k的第一参数的阈值时，变化量满足对应于等级k的第一参数的阈值范围。当第二参数的测量值与初始值相比的变化量大于对应于等级k的第二参数的阈值时，变化量满足对应于等级k的第二参数的阈值范围。因此，电子装置可以将眼睛疲劳等级确定为等级k。在上述实施例中，描述了用于确定眼睛疲劳等级的条件由两个参数的组合构成。然而，实施例不限于此。
根据实施例，电子装置可以通过对每个参数应用权重来确定眼睛疲劳等级。例如，电子装置可以通过减小与至少一个参数的眼睛疲劳等级对应的阈值来对每个参数应用权重，但不限于此。根据实施例，随着任何参数的权重增加，电子装置可以针对相同的变化量确定更大的眼睛疲劳。根据实施例，由于即使变化量小但权重高，因此可显著影响眼睛疲劳等级的确定。另一方面，由于即使变化量大但权重低，因此可以不显著影响眼睛疲劳等级的确定。根据实施例，所述多个参数当中的眼睛闪烁频率和瞳孔调节速度与其他参数相比可以具有相对高的权重。
在操作505中，电子装置可以进一步基于通过使用生物特征传感器(例如，图4的传感器模块413)获得的生物特征信号来确定眼睛疲劳等级。根据实施例，生物特征信号可以包括ECG或EEG。根据实施例，电子装置可以使用ECG或EEG作为用于确定眼睛疲劳等级的参数之一。根据实施例，电子装置可以将每个参数的权重应用于ECG或EEG。例如，ECG或EEG的权重可以低于包括在眼睛跟踪数据中的参数的权重。
在操作505中，电子装置可以进一步基于电子装置的使用历史信息来确定眼睛疲劳等级。根据实施例，电子装置的使用历史信息可以包括电子装置的使用时间、显示器(例如，图4的显示器420)的设置(例如，照明)或正在运行的应用的类型中的至少一个。例如，即使用户的眼睛跟踪数据的变化量或者用户的生物特征信号的变化量不大，但是当电子装置的使用时间长、显示器的照度高、或者存在大量屏幕变化或屏幕内的大量移动时，电子装置可以确定用户的眼睛疲劳等级为高。根据实施例，电子装置可以使用电子装置的使用历史信息作为用于确定眼睛疲劳等级的参数之一。根据实施例，与用户的眼睛跟踪数据或生物特征信号相比，电子装置可以对电子装置的使用历史信息应用相对低的权重。
在操作507中，电子装置可以取决于所确定的眼睛疲劳等级来控制显示器的设置和内容的输出设置中的至少一个。根据实施例，与显示器的设置相关的项目可以包括扫描速率和亮度中的至少一个。与内容的输出设置相关的项目可以包括输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。例如，电子装置可以取决于眼睛疲劳等级来改变显示器的扫描速率或亮度中的至少一个。作为另一示例，电子装置可以取决于眼睛疲劳等级来改变输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。
例如，随着显示器越亮或显示器的扫描速率越高，用户的眼睛疲劳等级可以越高。当眼睛疲劳等级被确定为高于特定等级时，电子装置可以降低显示器的亮度或者可以降低显示器的扫描速率。
在另一示例中，随着显示器上输出的对象数量增加或对象的尺寸减小，用户的眼睛疲劳等级可以增加。当眼睛疲劳等级被确定为高于特定等级时，电子装置可以减少在显示器上显示的对象的数量或者可以增大对象的尺寸。作为另一示例，当对象被定位为扰乱用户体验或者对象具有打扰用户体验的布局(诸如当主对象位于屏幕的边缘并且子对象位于屏幕的中心)时，用户的眼睛疲劳等级可以增加。当眼睛疲劳等级被确定为高于特定等级时，电子装置可以考虑用户体验来改变在显示器上显示的对象的位置或布置。作为另一示例，当对象的颜色不是黑白时，用户的眼睛疲劳等级可以高于黑白情况下的眼睛疲劳等级。当眼睛疲劳等级被确定为高于特定等级时，电子装置可以将显示的对象的颜色改变为黑白或灰度。作为另一示例，当对象的立体效果等级高时，用户的眼睛疲劳等级可以增加。当眼睛疲劳等级被确定为高于特定等级时，电子装置可以降低显示器上显示的对象的立体效果等级。
根据实施例，电子装置可以仅改变显示器的设置，或者可以改变显示器的设置和内容的输出设置两者。根据实施例，电子装置可以取决于它是改变显示器的设置还是改变内容的输出设置而具有多种模式。例如，电子装置仅改变显示器的设置的模式可以被称为″第一模式″。电子装置改变显示器的设置和内容的输出设置两者的模式可以被称为″第二模式″。
根据实施例，电子装置可以取决于用于改变设置的项目或者用于改变设置的项目的数量而具有各种模式。
在下文中，将参照图6描述根据实施例的电子装置取决于眼睛疲劳等级选择多个模式之一的方法。
图6是示出根据实施例的操作电子装置的方法的流程图600。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
在操作601中，电子装置可以识别眼睛疲劳等级。根据实施例，电子装置可以取决于图5所示的过程来确定眼睛疲劳等级。可选地，电子装置可以经由用户输入从用户接收眼睛疲劳等级。电子装置可以识别所确定的眼睛疲劳等级或输入的眼睛疲劳等级。
在操作603中，电子装置可以确定识别出的眼睛疲劳等级是否大于或等于第一阈值。例如，假设眼睛疲劳等级为等级1至等级10，则第一阈值可以为1至10之一。根据实施例，当确定眼睛疲劳等级大于或等于第一阈值(″是″)时，电子装置可以执行操作605。当确定眼睛疲劳等级小于第一阈值(″否″)时，电子装置可以执行操作601。根据实施例，电子装置可以在指定时段执行操作601。例如，当在操作603中确定眼睛疲劳等级小于第一阈值(″否″)时，电子装置可以在指定时间过去之后执行操作601。
在操作605中，电子装置可以确定眼睛疲劳等级是否大于或等于第二阈值。例如，假设眼睛疲劳等级为等级1至等级10，则第二阈值可以为1至10之一。根据实施例，第二阈值可以是大于第一阈值的值。根据实施例，当确定眼睛疲劳等级大于或等于第二阈值(″是″)时，电子装置可以执行操作609。当确定眼睛疲劳等级小于第二阈值(″否″)时，电子装置可以执行操作607。根据实施例，当在操作605中确定眼睛疲劳等级小于第二阈值(″否″)时，眼睛疲劳等级可以大于第一阈值并且可以小于第二阈值。
根据实施例，当眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时，电子装置可以选择第一模式(操作607)。当眼睛疲劳等级大于或等于第二阈值时，电子装置可以选择第二模式(操作609)。
在操作607中，电子装置可以选择第一模式。根据实施例，第一模式可以是在显示器的设置和内容的输出设置当中仅改变显示器的设置的模式。例如，当电子装置选择第一模式时，电子装置可以降低显示器的亮度或者可以降低显示器的扫描速率。
在操作609中，电子装置可以选择第二模式。根据实施例，第二模式可以是改变显示器的设置和内容的输出设置两者的模式。例如，当电子装置选择第二模式时，电子装置可以降低显示器的亮度或扫描速率，并且可以减少对象的数量或者可以增大对象的尺寸，但不限于此。
根据上述实施例，当确定眼睛疲劳等级大于或等于第一阈值时，电子装置可以改变与显示器的设置相关的项目。当确定眼睛疲劳等级大于或等于第二阈值时，除了改变与显示器的设置相关的项目之外，电子装置还可以改变与内容的输出设置相关的项目。电子装置可以取决于眼睛疲劳等级逐步控制显示器的设置或内容的输出设置。电子装置可以通过取决于眼睛疲劳等级改变显示器的设置或内容的输出设置来降低用户的眼睛疲劳累积的速度。
在下文中，将参照图7描述由根据实施例的电子装置改变显示器的设置或内容的输出设置的方法。
图7是示出根据实施例的操作电子装置的方法的流程图700。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
在操作701中，电子装置可以识别眼睛疲劳等级。操作701与图6的操作601相同，因此省略其详细描述。
在操作703中，电子装置可以确定识别出的眼睛疲劳等级是否大于或等于阈值。操作703可以对应于图6中的操作603至操作605。根据实施例，当眼睛疲劳等级小于第一阈值时，电子装置可以再次执行操作701。当眼睛疲劳等级大于或等于第一阈值时，电子装置可以执行操作705。根据实施例，当眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时，电子装置可以选择仅改变显示器(例如，图4中的显示器420)的设置的第一模式。当眼睛疲劳等级大于或等于第二阈值时，电子装置可以选择改变显示器的设置和内容的输出设置两者的第二模式。
在操作705中，电子装置可以确定是否为每个选择的模式自动设置指定的设置值。根据实施例，电子装置可以向用户提供允许用户选择自动设置的用户界面。用户可以通过提供的用户界面选择自动设置。取决于接收到选择自动设置的用户选择输入(″是″)，电子装置可以执行操作707至操作711。取决于接收到不选择自动设置(选择手动设置)的用户选择输入(″否″)，电子装置可以执行操作713至操作717。在上述实施例中，描述了电子装置接收用户输入然后确定自动设置，但不限于此。可以通过识别用于自动设置的预定设置值来确定自动设置。
在操作707中，电子装置可以识别显示器的设置状态和内容的输出设置状态。根据实施例，电子装置可以识别在执行操作701的时间点的显示器的设置状态和内容的输出设置状态。例如，电子装置可以识别在执行操作701的时间点的显示器的亮度和显示器的扫描速率。例如，电子装置可以识别在执行操作701的时间点输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级。
在操作709中，电子装置可以取决于眼睛疲劳等级来改变显示器的设置和内容的输出设置中的至少一个。当电子装置基于在操作701中识别的眼睛疲劳等级执行操作703时，电子装置可以选择多个模式中的一个(例如，第一模式或第二模式)。电子装置可以取决于所选择的模式来改变显示器的设置或内容的输出设置中的至少一个。根据实施例，当选择第一模式时，电子装置可以改变显示器的设置。例如，在第一模式中，电子装置可以将显示器的亮度或显示器的扫描速率中的至少一个改变为自动设置值。根据实施例，当选择第二模式时，电子装置可以改变在显示器上显示的内容的输出设置。例如，在第二模式中，电子装置可以将输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个改变为自动设置值。
根据实施例，自动设置值可以包括与显示器的设置或内容的输出设置相关的项目的设置值，其取决于眼睛疲劳等级来确定。自动设置值可以存储在电子装置的存储器(例如，图4的存储器440)中。根据实施例，电子装置可以基于历史信息来确定自动设置值，该历史信息包括根据设置项目变化的用户眼睛疲劳等级改变。
在操作711中，电子装置可以基于显示器的设置和内容的输出设置来渲染内容，然后可以输出通过渲染生成的图像。根据实施例，电子装置可以基于在操作709中改变为自动设置值的显示器的设置和内容的输出设置来渲染在显示器上显示的内容。电子装置可以通过渲染内容生成输出到显示器的最终图像。电子装置可以将生成的最终图像输出到显示器。
根据实施例，当没有选择自动设置时，电子装置可以执行操作713至操作717。
在操作713中，电子装置可以显示指示显示器的设置状态和内容的输出设置状态的用户界面(UI)。例如，电子装置可以在执行操作701的时间点在显示器上显示包括关于显示器的设置状态和内容的输出设置状态的信息的UI。例如，用户界面可以包括当前设置值、以及能够针对与显示器的设置或内容的输出设置相关的项目改变每个项目的设置值的至少一个部件。电子装置可以允许用户通过用户界面直接改变显示器的设置或内容的输出设置。根据实施例，当电子装置选择第一模式时，电子装置可以提供仅包括与显示器的设置相关的项目的UI。当电子装置选择第二模式时，电子装置可以提供包括与显示器的设置相关的项目和与内容的输出设置相关的项目两者的UI。
在操作715中，电子装置可以接收用户的设置输入，然后可以改变显示器的设置和内容的输出设置中的至少一个。例如，电子装置可以通过UI接收用于改变与显示器的设置和内容的输出设置相关的项目的至少一个设置值的用户设置输入。电子装置可以基于接收到的用户设置输入来改变显示器的设置和内容的输出设置中的至少一个。例如，电子装置可以通过将经由UI输出的每个项目的当前设置值改变为由用户输入的设置值来改变显示器的设置和内容的输出设置中的至少一个。
在操作717中，电子装置可以基于显示器的设置和内容的输出设置来渲染内容，然后可以输出通过渲染生成的图像。根据实施例，电子装置可以基于在操作715中改变为由用户输入的设置值的显示器的设置和内容的输出设置来渲染在显示器上显示的内容。电子装置可以通过渲染内容生成输出到显示器的最终图像，然后可以将生成的最终图像输出到显示器。
在下文中，将参照图8描述显示器的扫描速率和眼睛疲劳之间的关系以及根据实施例的电子装置取决于眼睛疲劳等级改变显示器的扫描速率的方法。
图8是示出根据实施例的改变电子装置的显示器设置的示例的图800。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
根据实施例，显示器(例如，图4的显示器420)的扫描速率可以指显示器每秒输出屏幕的次数或显示器每秒输出的屏幕数。显示器的扫描速率的单位可以是赫兹(Hz)。根据实施例，扫描速率也可以被称为″屏幕刷新速率″。根据实施例，当刷新屏幕时，显示器可以闪烁。
参照图8，随着显示器的扫描速率越低，运动模糊效果可以出现得越强烈。例如，当扫描速率降低至120Hz、90Hz和60Hz时，运动模糊效果可以变得更加突显。根据实施例，运动模糊可以指当屏幕上的对象移动时出现残像的图形效果。例如，当用户在穿戴电子装置时移动时或者当改变他/她的注视时，可能出现运动模糊效果。根据实施例，当运动模糊效果以特定等级或更高等级显著地出现时，用户可以感知到屏幕的闪烁，因此用户会感到眼睛疲劳。例如，当显示器的扫描速率大于90Hz时，用户可以感知不到闪烁。
根据实施例，电子装置可以提高显示器的扫描速率，从而减少运动模糊效果和用户的眼睛疲劳。根据实施例，当确定用户的眼睛疲劳等级大于特定等级时，电子装置可以通过提高显示器的扫描速率来降低用户的眼睛疲劳累积的速度。例如，电子装置可以将显示器的扫描速率设置为90Hz或更高，使得用户可以感觉更少的眼睛疲劳。
根据实施例，当显示器的扫描速率高时，电池消耗可以增加。例如，电子装置可以考虑电池消耗和用户的眼睛疲劳等级来确定显示器的扫描速率。
在下文中，将参照图9描述对象的数量或尺寸与眼睛疲劳之间的关系以及根据实施例的电子装置取决于眼睛疲劳等级改变输出到显示器的对象的数量或尺寸的方法。
图9是示出根据实施例的改变电子装置的内容的输出设置的示例的图900。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
图9的第一屏幕901和第二屏幕902示出了在电子装置的显示器(例如，图4的显示器420)上显示的屏幕，并且指示相同的内容(例如，导航内容)。
参照第一屏幕901，电子装置可以在显示器的第一区域910a中显示第一对象911a、第二对象912a、第三对象913a、第四对象914a和第五对象915a。例如，第一对象911a可以是包括当前时间信息的对象；第二对象912a可以是包括瞬时燃料效率信息的对象；第三对象913a可以是包括平均速度信息的对象；第四对象914a可以是包括剩余距离信息的对象；第五对象915a可以是包括到达时间信息的对象。电子装置可以在显示器的第二区域920a中显示第六对象921a、第七对象922a和第八对象923a。例如，第六对象921a、第七对象922a和第八对象923a可以是包括以下路径信息的对象。第六对象921 a可以包括遵循当前路径的路径信息；第七对象922a可以包括遵循第六对象921 a中包括的路径的路径信息；第八对象923a可以包括遵循第七对象922a中包括的路径的路径信息。
根据实施例，电子装置可以取决于眼睛疲劳等级来改变在显示器上显示的对象的数量或尺寸。在下文中，假设由电子装置在第二屏幕902中识别的眼睛疲劳等级高于第一屏幕901中的眼睛疲劳等级。根据实施例，随着眼睛疲劳等级增加，电子装置可以减少在显示器上显示的对象的数量并且可以增大在显示器上显示的对象的尺寸。
参照第二屏幕902，电子装置可以在第一区域910b中显示第一对象911b和第五对象915b。根据实施例，电子装置可以将第一区域910b中显示的对象的数量从五个减少到两个。根据实施例，电子装置可以确定要在显示器上输出的对象的数量，并且可以考虑多个对象之间的优先级来确定数量与所确定的数量对应并且要输出的对象。例如，电子装置可以选择第一对象911b和第五对象915b(它们是在第一区域910b中显示的多个对象当中具有最高优先级的两个对象)，然后可以在第一区域910b中显示第一对象911b和第五对象915b。以相同的方式，电子装置可以在第二区域920b中仅显示第六对象921b。根据实施例，电子装置可以将第二区域920b中显示的对象的数量从三个减少到一个。电子装置可以选择第六对象921 b(它是在第二区域920b中显示的多个对象当中具有最高优先级的对象)，然后可以在第二区域920b中显示第六对象921b。
根据实施例，电子装置可以增大在第一区域910b或第二区域920b中显示的对象的尺寸。根据实施例，电子装置可以通过减少在显示器上输出的对象的数量并增大输出的对象的尺寸来减少由此提供的信息量，从而提供改善的可视性。电子装置可以减少在屏幕上提供的信息量并且可以提高信息的可可视性，从而降低用户的眼睛疲劳累积的速度。
在下文中，将参照图10描述根据实施例的电子装置取决于用户的眼睛疲劳等级改变激活的FOV的方法。
图10是用于描述根据实施例的改变电子装置的FOV的操作的图1000。根据图10所示的实施例的电子装置1001可以是图4的电子装置401。下面描述的电子装置1001的操作可以由电子装置401的处理器430执行。
根据实施例，当用户穿戴电子装置1001时，电子装置1001的相机模块(例如，图4的相机模块411)可以基于用户的注视方向1011来识别特定范围。所述范围可以被称为视场(FOV)。根据实施例，电子装置1001可以通过使用检测并跟踪用户的眼睛或瞳孔的位置或移动的相机(例如，图3中的眼睛跟踪相机313)来确定用户的注视方向1011。根据实施例，电子装置1001可以基于参考点1010来确定用户的注视方向1011。根据实施例，参考点1010可以是电子装置1001的与用户的两眼的中心对应的至少部分。例如，当电子装置1001(例如，图2的电子装置201)是一副眼镜时，参考点1010可以包括桥(例如，图2的桥209)的中心，该桥连接框架(例如，图2中的框架203)的围绕对应于右眼的显示器(例如，第一显示器211)的第一部分和框架(例如，图2中的框架203)的围绕对应于左眼的显示器(例如，第二显示器213)的第二部分。
根据实施例，由电子装置1001的相机模块识别的FOV可以包括基于注视方向1011(0≤θ≤θt)水平扩展任意角度θ的范围。例如，θt可以表示与相机模块可识别的最大FOV对应的最大角度。
根据实施例，电子装置可以识别相机模块识别的FOV内的对象。根据实施例，相机模块识别的FOV内的对象可以包括真实对象。根据实施例，电子装置可以通过重叠位于FOV内的虚拟对象和真实对象并在显示器上显示重叠结果来提供与真实对象相关联的信息。根据实施例，即使存在映射到位于FOV之外的实际对象上的虚拟对象，电子装置也可以省略虚拟对象的显示或者可以显示可选对象。
根据实施例，随着眼睛疲劳等级增加，电子装置可以减小相机模块识别的FOV。根据实施例，随着FOV减小，位于FOV内的对象的数量可以减少。根据实施例，电子装置显示虚拟对象，同时虚拟对象仅与位于FOV内的对象重叠。因此，随着FOV减小，通过显示器显示的信息量可以减少。随着眼睛疲劳等级增加，电子装置可以减小FOV。因此，电子装置可以减少提供给用户的信息量并且可以降低用户的眼睛疲劳累积的速度。
在上述实施例中，描述了电子装置随着眼睛疲劳等级增加而减小相机模块识别的FOV，但实施例不限于此。根据实施例，电子装置可以显示关于相机模块识别的FOV当中的指定FOV的信息(例如，虚拟对象)。随着眼睛疲劳等级增加，电子装置可以减小用于显示信息的指定FOV的范围。
在下文中，将参照图11描述根据实施例的电子装置取决于用户的眼睛疲劳等级构造屏幕的方法以及电子装置取决于用户交互改变构造的屏幕的方法。
图11是示出根据实施例的当电子装置改变FOV时在显示器上显示的屏幕的图1100。下面将描述的电子装置的操作可以由图10的电子装置1001(例如，图4的电子装置401)或电子装置1001的处理器(例如，图4的处理器430)执行。图11示出了电子装置的显示器(例如，图4的显示器420)上显示的屏幕。
在第一状态1101中，电子装置可以识别眼睛疲劳等级并且可以取决于识别出的眼睛疲劳等级来设置第一FOV。例如，第一FOV可以包括基于用户的注视方向1111水平扩展θ1的范围。电子装置可以识别位于第一FOV内的第一对象1115a、1115b、1115c、1115d、1115e和1115f。例如，第一对象1115a、1115b、1115c、1115d、1115e和1115f可以包括存在于电子装置外部的真实对象。电子装置可以识别第一对象1115a、1115b、1115c、1115d、1115e和1115f。然后，电子装置可以将映射到第一对象1115a、1115b、1115c、1115d、1115e和1115f上的第二对象1110a、1110b、1110c、1110d、1110e和1110f与第一对象1115a、1115b、1115c、1115d、1115e和1115f重叠，然后可以显示重叠结果。根据实施例，第二对象1110a、1110b、1110c、1110d、1110e和1110f可以均是虚拟对象，并且可以包括与第一对象1115a、1115b、1115c、1115d、1115e和1115f相关联的信息。例如，当第一对象1115a、1115b、1115c、1115d、1115e和1115f是待售产品时，第二对象1110a、1110b、1110c、1110d、1110e和1110f可以包括价格信息。
在第二状态1102中，电子装置可以识别眼睛疲劳等级，并且可以取决于识别出的眼睛疲劳等级来设置第二FOV。在下文中，假设在第二状态1102中识别的眼睛疲劳等级高于在第一状态1101中识别的眼睛疲劳等级。例如，第二FOV可以包括基于用户的注视方向1111水平扩展θ2的范围。根据实施例，随着眼睛疲劳等级增加，电子装置可以减小FOV，因此θ2可以小于θ1。电子装置可以识别位于第二FOV内的第一对象1115a、1115b和1115c。电子装置可以识别第一对象1115a、1115b和1115c。然后，电子装置可以将映射到第一对象1115a、1115b和1115c上的第二对象1110a、1110b和1110c与第一对象1115a、1115b和1115c重叠，然后可以显示重叠结果。电子装置可以识别位于第二FOV之外的第三对象1115d、1115e和1115f。电子装置可以将第五对象1120d、1120e和1120f(输出映射到第三对象1115d、1115e和1115f上的第四对象(例如，1110d)的操作映射到其上)与第一对象1115a、1115b和1115c重叠，然后可以显示重叠结果。根据实施例，第四对象可以是虚拟对象并且可以包括与第三对象1115d、1115e和1115f相关联的信息。根据实施例，第五对象可以包括指示能够通过用户交互来显示信息(例如，第四对象)而不直接显示信息(例如，第四对象)的虚拟对象。根据实施例，输出第四对象(例如，1110d)的操作可以被映射到第五对象1120d、1120e和1120f。当电子装置接收到用于选择第五对象1120d的输入时，电子装置可以输出第四对象1110d。
根据实施例，电子装置可以通过使用相机模块(例如，图4中的相机模块411)来识别用于指向在屏幕上输出的对象的指向对象1121、以及指向对象1121所指向的方向。电子装置可以基于指向对象1121所指向的方向来选择至少一个对象。例如，电子装置可以基于指向对象1121所指向的方向来选择第五对象(例如，1120d)。电子装置可以接收用于选择第五对象(例如，1120d)的用户输入。例如，用于选择第五对象的用户输入可以包括手势输入，诸如通过使用指向对象1121而指向第五对象的手势。
在第三状态1103中，当电子装置接收到用于选择第五对象(例如，1120d)的用户输入时，电子装置可以输出第四对象1110d。根据实施例，电子装置可以通过附加的用户交互来选择性地显示信息，而不显示与位于第二FOV之外的第三对象1115d、1115e和1115f相关联的信息。
在下文中，将参照图12描述根据实施例的电子装置管理与眼睛疲劳相关联的数据的方法。
图12是示出根据实施例的电子装置的操作方法的流程图1200。下面将描述的电子装置的操作可以由根据实施例的电子装置(例如，图4的电子装置401)或电子装置的处理器(例如，图4的处理器430)执行。
在操作1201中，电子装置可以识别在每个模式中改变的设置项目。根据实施例，电子装置可以具有用于取决于眼睛疲劳等级来改变显示器的设置或内容的输出设置中的至少一个的多个模式。例如，与显示器的设置相关的设置项目可以包括显示器的亮度和扫描速率中的至少一个。与内容的输出设置相关的设置项目可以包括输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。根据实施例，由电子装置改变的设置项目对于每个模式可以是不同的。根据实施例，电子装置可以识别在每个模式中要改变的设置项目以及针对每个项目改变设置的方法(例如，针对每个项目的设置值的变化量)。例如，在第一模式中，电子装置可以将显示器的亮度从八降低到五的历史存储在存储器(例如，图4中的存储器440)中。
在操作1203中，电子装置可以根据设置项目的变化来计算眼睛疲劳等级的变化量。电子装置可以通过将设置项目改变之前识别的眼睛疲劳等级与设置项目改变之后识别的眼睛疲劳等级进行比较来计算根据设置项目变化的眼睛疲劳等级变化量。
根据实施例，眼睛疲劳等级可以与电子装置的使用时间或用户观看的内容量成比例地增加。例如，与电子装置的使用时间相比，电子装置可以通过改变设置项目来降低眼睛疲劳等级增加的速度。例如，当电子装置维持现有的设置状态时，在特定时间过去之后，眼睛疲劳等级可以增加3。然而，随着电子装置改变设置状态，在相同的时间过去之后识别的眼睛疲劳等级可以增加1。根据实施例，由于眼睛疲劳等级的变化小，因此设置项目的变化有效减少用户的眼睛疲劳。
根据实施例，电子装置可以将与改变信息对应的眼睛疲劳等级的变化量与包括改变后的设置项目和设置值变化量的变化信息一起存储在存储器中。
在操作1205中，电子装置可以识别并存储与眼睛疲劳等级的最小变化量对应的设置项目。根据实施例，电子装置可以识别所存储的眼睛疲劳等级变化量信息当中与眼睛疲劳等级的最小变化量对应的变化信息。电子装置可以将识别出的变化信息(例如，改变后的设置项目和设置值变化量)单独存储在电子装置的用户数据库中。
根据实施例，用户数据库可以存储针对电子装置识别的用户优化的眼睛疲劳减轻方法。根据实施例，电子装置可以基于存储在用户数据库中的数据来改变取决于眼睛疲劳等级而改变的设置项目和设置项目的设置值，从而应用针对用户优化的眼睛疲劳减轻方法。
根据本说明书中公开的实施例，一种电子装置(例如，图1的电子装置101、图2的电子装置201、图3的电子装置301、图4的电子装置401或图10的电子装置1001)可以包括：相机模块(例如，图1的相机模块180或图4的相机模块411)；显示器(例如，图1的显示模块160或图4的显示器420)，显示包括至少一个对象的AR内容或VR内容；至少一个处理器(例如，图1的处理器120或图4的处理器430)，在操作上连接到相机模块和显示器；以及存储器(例如，图1的存储器130或图4的存储器440)，在操作上连接到所述至少一个处理器并存储AR内容或VR内容。存储器可以存储一个或更多个指令，所述一个或更多个指令当被运行时使所述至少一个处理器通过使用相机模块来获得眼睛跟踪数据、基于眼睛跟踪数据来确定眼睛疲劳等级、以及取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和AR内容或VR内容的输出设置两者。
根据本说明书中公开的实施例，眼睛跟踪数据可以包括多个参数中的每个的测量值。所述多个参数可以包括眼睛闪烁频率、瞳孔调节速度、眼睛干燥程度、眼睛发红程度或瞳孔震颤程度中的至少一个。
根据本说明书中公开的实施例，指令可以使处理器在指定时段获得眼睛跟踪数据。
根据本说明书中公开的实施例，指令可以使处理器识别眼睛跟踪数据的初始值、通过将获得的眼睛跟踪数据与眼睛跟踪数据的初始值进行比较来计算变化量、以及取决于变化量来确定眼睛疲劳等级。
根据本说明书中公开的实施例，初始值可以包括指定时间段内的平均值、基于电子装置的用户的历史信息确定的平均值、或预定的设置值。
根据说明书中公开的实施例，电子装置可以进一步包括通信模块(例如，图1的通信模块190)。所述指令可以使处理器识别电子装置的用户、通过通信模块接收用户的外部电子装置的设置信息和使用历史信息、以及基于设置信息和使用历史信息来确定初始值。
根据本说明书中公开的实施例，所述指令可以使处理器识别所述多个参数中的每个的权重、将该权重应用于所述多个参数当中的至少一个参数、以及确定测量值是否满足用于确定眼睛疲劳等级的条件。所述条件可以包括至少一个参数或至少两个参数的组合。
根据说明书中公开的实施例，电子装置可以进一步包括传感器模块(例如，图1的传感器模块176或图4的传感器模块413)。所述指令可以使处理器通过使用传感器模块来获得生物特征信号、以及进一步基于生物特征信号来确定眼睛疲劳等级。生物特征信号可以包括心电图(ECG)或脑电图(EEG)中的至少一种。
根据说明书中公开的实施例，所述指令可以使处理器进一步基于电子装置的使用历史信息来确定眼睛疲劳等级。使用历史信息可以包括电子装置的使用时间、显示器的设置或正在运行的应用的类型中的至少一个。
根据本说明书中公开的实施例，所述指令可以使处理器在眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时选择第一模式、以及在眼睛疲劳等级大于或等于第二阈值时选择第二模式。
根据说明书中公开的实施例，与显示器的设置相关联的第一项目可以包括扫描速率或亮度中的至少一个。
根据本说明书中公开的实施例，与AR内容或VR内容的输出设置相关联的第二项目可以包括输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。
根据说明书中公开的实施例，所述指令可以使处理器随着眼睛疲劳等级增加而减小相机模块识别的视场(FOV)。
根据本说明书中公开的实施例，所述指令可以使处理器输出映射到位于FOV内的第一真实对象的第二虚拟对象、以及输出第五虚拟对象，输出映射到位于FOV之外的第三真实对象上的第四虚拟对象的操作被映射到第五虚拟对象上。
根据本说明书中公开的实施例，所述指令可以使处理器在接收到选择第五虚拟对象的用户输入时输出第四虚拟对象。
根据本说明书中公开的实施例，所述指令可以使处理器基于要在显示器上输出的AR内容或VR内容来调节眼睛疲劳等级。
根据本说明书中公开的实施例，一种操作用于显示内容的电子装置的方法可以包括：通过使用相机模块来获得眼睛跟踪数据；基于眼睛跟踪数据来确定眼睛疲劳等级；以及取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和内容的输出设置两者。
根据本说明书中公开的实施例，模式的选择可以包括当眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时选择第一模式、以及当眼睛疲劳等级大于或等于第二阈值时选择第二模式。
根据本说明书中公开的实施例，与显示器的设置相关联的第一项目可以包括扫描速率或亮度中的至少一个。
根据本说明书中公开的实施例，与内容的输出设置相关联的第二项目可以包括输出到显示器的对象的数量、尺寸、位置、颜色或立体效果等级中的至少一个。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如″A或B″、″A和B中的至少一个″、″A或B中的至少一个″、″A、B或C″、″A、B和C中的至少一个″以及″A、B或C中的至少一个″的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如″第1″和″第2″或者″第一″和″第二″的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语″可操作地″或″通信地″的情况下或者在不使用术语″可操作地″或″通信地″的情况下，如果一元件(例如，第一元件)被称为″与另一元件(例如，第二元件)结合″、″结合到另一元件(例如，第二元件)″、″与另一元件(例如，第二元件)连接″或″连接到另一元件(例如，第二元件)″，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语″模块″可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，″逻辑″、″逻辑块″、″部分″或″电路″)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语″非暂时性″仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
本公开的上述实施例中的某些可以以硬件、固件或者经由可存储在记录介质(诸如CD ROM、数字多功能盘(DVD)、磁带、RAM、软盘、硬盘、或磁光盘或最初存储在远程记录介质或非暂时性机器可读介质上并且将存储在本地记录介质上的通过网络下载的计算机代码)中的软件或计算机代码的运行来实现，使得在此描述的方法可以经由这样的软件来呈现，该软件使用通用计算机或专用处理器存储在记录介质上或者在可编程或专用硬件(诸如ASIC或FPGA)中。如本领域中所理解的，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器部件，例如RAM、ROM、闪存等，所述软件或计算机代码当由计算机、处理器或硬件访问和运行时实现在此描述的处理方法。
虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的范围内，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
相机模块；
显示器，配置为显示包括至少一个对象的AR内容或VR内容；
至少一个处理器，在操作上连接到相机模块和显示器；以及
存储器，在操作上连接到所述至少一个处理器并配置为存储AR内容或VR内容，
其中存储器存储一个或更多个指令，所述一个或更多个指令当被运行时使所述至少一个处理器：
通过使用相机模块来获得眼睛跟踪数据；
基于眼睛跟踪数据来确定眼睛疲劳等级；以及
取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和AR内容或VR内容的输出设置两者。
2.根据权利要求1所述的电子装置，其中眼睛跟踪数据包括多个参数中的每个的测量值，以及
其中所述多个参数包括眼睛闪烁频率、瞳孔调节速度、眼睛干燥程度、眼睛发红程度和/或瞳孔震颤程度。
3.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
获得在指定时段的眼睛跟踪数据。
4.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
识别眼睛跟踪数据的初始值；
通过将获得的眼睛跟踪数据与眼睛跟踪数据的初始值进行比较来计算变化量；以及
取决于变化量来确定眼睛疲劳等级，以及
其中初始值包括指定时间段内的平均值、基于电子装置的用户的历史信息确定的平均值、或预定的设置值。
5.根据权利要求4所述的电子装置，进一步包括：
通信模块，
其中所述一个或更多个指令使处理器：
识别电子装置的用户；
通过通信模块接收用户的外部电子装置的设置信息和使用历史信息；以及
基于设置信息和使用历史信息来确定初始值。
6.根据权利要求2所述的电子装置，其中所述一个或更多个指令使处理器：
识别所述多个参数中的每个的权重；
将权重应用于所述多个参数当中的至少一个参数；以及
确定测量值是否满足用于确定眼睛疲劳等级的条件，以及
其中所述条件包括所述至少一个参数或至少两个参数的组合。
7.根据权利要求1所述的电子装置，进一步包括：
传感器模块，
其中所述一个或更多个指令使处理器：
通过使用传感器模块来获得生物特征信号；以及
进一步基于生物特征信号来确定眼睛疲劳等级，以及
其中生物特征信号包括心电图(ECG)和/或脑电图(EEG)。
8.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
进一步基于电子装置的使用历史信息来确定眼睛疲劳等级，以及
其中使用历史信息包括电子装置的使用时间、显示器的设置和/或正在运行的应用的类型。
9.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
当眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时，选择第一模式；以及
当眼睛疲劳等级大于或等于第二阈值时，选择第二模式。
10.根据权利要求1所述的电子装置，其中与显示器的设置相关联的第一项目包括扫描速率和/或亮度，以及
其中与AR内容或VR内容的输出设置相关联的第二项目包括输出到显示器的对象的数量、尺寸、位置、颜色和/或立体效果等级。
11.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
随着眼睛疲劳等级增加，减小相机模块识别的视场(FOV)。
12.根据权利要求1 3所述的电子装置，其中所述一个或更多个指令使处理器：
输出映射到位于FOV内的第一真实对象的第二虚拟对象；
输出第五虚拟对象，其中输出映射到位于FOV之外的第三真实对象上的第四虚拟对象的操作被映射到第五虚拟对象上；以及
当接收到选择第五虚拟对象的用户输入时，输出第四虚拟对象。
13.根据权利要求1所述的电子装置，其中所述一个或更多个指令使处理器：
基于要在显示器上输出的AR内容或VR内容来调节眼睛疲劳等级。
14.一种操作用于显示内容的电子装置的方法，该方法包括：
通过使用相机模块来获得眼睛跟踪数据；
基于眼睛跟踪数据来确定眼睛疲劳等级；以及
取决于眼睛疲劳等级在第一模式和第二模式之间选择一个模式，第一模式用于改变显示器的设置，第二模式用于改变显示器的设置和内容的输出设置两者。
15.根据权利要求14所述的方法，其中模式的选择包括：
当眼睛疲劳等级大于或等于第一阈值并且小于第二阈值时，选择第一模式；以及
当眼睛疲劳等级大于或等于第二阈值时，选择第二模式。
CN202180089266.6A 2021-01-05 2021-12-15 用于显示内容的电子装置及其操作方法 Pending CN116724548A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210001015A KR20220099011A (ko) 2021-01-05 2021-01-05 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
KR10-2021-0001015 2021-01-05
PCT/KR2021/019040 WO2022149748A1 (ko) 2021-01-05 2021-12-15 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
CN116724548A true CN116724548A (zh) 2023-09-08

Family

ID=82219127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180089266.6A Pending CN116724548A (zh) 2021-01-05 2021-12-15 用于显示内容的电子装置及其操作方法

Country Status (3)

Country Link
US (1) US20220217325A1 (zh)
EP (1) EP4262200A4 (zh)
CN (1) CN116724548A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358877A1 (en) * 2021-05-07 2022-11-10 Universal Display Corporation Adaptive Display

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW455769B (en) * 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
KR102153606B1 (ko) * 2013-08-13 2020-09-08 삼성전자주식회사 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
CN105683812B (zh) * 2013-08-30 2018-07-03 英特尔公司 用于头戴式显示器的恶心和发病检测、预测和缓解
EP3035656B1 (en) * 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
US9942532B2 (en) * 2015-11-03 2018-04-10 International Business Machines Corporation Eye-fatigue reduction system for head-mounted displays
KR20170055135A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
US10394324B2 (en) * 2017-03-13 2019-08-27 Disney Enterprises, Inc. Configuration for adjusting a user experience based on a biological response
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质

Also Published As

Publication number Publication date
US20220217325A1 (en) 2022-07-07
EP4262200A1 (en) 2023-10-18
EP4262200A4 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
EP4167019A1 (en) Method of changing settings of display and electronic device
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
US11733952B2 (en) Wearable electronic device including display, method for controlling display, and system including wearable electronic device and case
EP4262200A1 (en) Electronic device for displaying contents and operation method therefor
US20230199328A1 (en) Method of removing interference and electronic device performing the method
KR20220036679A (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
EP4357838A1 (en) Electronic device and method for displaying content
US20230154368A1 (en) Method and device for controlling luminance of augmented reality (ar) image
KR20220099011A (ko) 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
US20220276824A1 (en) Augmented reality device and electronic device interacting with augmented reality device
CN116830065A (zh) 用于跟踪用户注视并提供增强现实服务的电子装置及其方法
US20240169935A1 (en) Head-mounted electronic device and method for operating the same
US20240046530A1 (en) Method of controlling display module, and electronic device performing the method
US20240078069A1 (en) Electronic device and method for controlling display of at least one external object among one or more external objects
US20230251362A1 (en) Method of removing interference and electronic device performing the method
US20230176386A1 (en) Method for providing augmented reality content in vehicle, and wearable device and electronic device performing the same
US20240087523A1 (en) Electronic device and method for driving display thereof
US20230138445A1 (en) Wearable electronic device and method for controlling electronic devices using vision information
US20240104695A1 (en) Electronic device for controlling resolution of each of plurality of areas included in image acquired from camera and method thereof
US20240119683A1 (en) Electronic device and method for providing ar information using watch face image
US20240045943A1 (en) Apparatus and method for authenticating user in augmented reality
US20230122744A1 (en) Wearable electronic device adjusting transmittance of visor and brightness of display
KR20220030806A (ko) 디스플레이의 설정 변경 방법 및 전자 장치
US20240048668A1 (en) Electronic device for supporting various communications during video call, and operating method therefor
KR20240021660A (ko) 사용자의 시선을 판단하는 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination