CN105718043B - 用于控制电子装置的方法和设备 - Google Patents

用于控制电子装置的方法和设备 Download PDF

Info

Publication number
CN105718043B
CN105718043B CN201510958852.6A CN201510958852A CN105718043B CN 105718043 B CN105718043 B CN 105718043B CN 201510958852 A CN201510958852 A CN 201510958852A CN 105718043 B CN105718043 B CN 105718043B
Authority
CN
China
Prior art keywords
electronic device
user
screen
time
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510958852.6A
Other languages
English (en)
Other versions
CN105718043A (zh
Inventor
李昊暎
金南寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150156883A external-priority patent/KR102362042B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910033386.9A priority Critical patent/CN109782915B/zh
Priority to CN201910032787.2A priority patent/CN109753159B/zh
Publication of CN105718043A publication Critical patent/CN105718043A/zh
Application granted granted Critical
Publication of CN105718043B publication Critical patent/CN105718043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

提供了一种用于控制电子装置的方法和设备。提供了一种对用户眼睛的疲劳程度进行响应的电子装置以及所述电子装置的显示控制方法。所述电子装置的操作方法包括：检测操作事件；响应于操作事件，跟踪用户的状态和电子装置的状态；基于跟踪的结果，改变电子装置中与显示屏幕相关联的选项；输出与改变后的选项相应的结果。

Description

用于控制电子装置的方法和设备
技术领域
本公开涉及一种用于检测用户的状态并基于检测的状态来控制电子装置的方法和设备。
背景技术
随着数字技术的发展，各种类型的电子装置(诸如移动通信终端、智能电话、台式个人计算机(PC)、个人数字助理(PDA)、电子记事簿、笔记本计算机、可穿戴装置、电视机(TV)等)已被广泛使用。电子装置已达到包括其它装置的功能的移动融合的程度。例如，电子装置可提供各种通信功能，诸如语音呼叫、视频呼叫、消息发送/接收功能(诸如短消息(SMS)多媒体消息服务(MMS)、电子邮件)、电子记事簿功能、拍照功能、广播节目回放功能、视频回放功能、音乐回放功能、互联网接入功能、信使功能、游戏功能、社交网络服务(SNS)功能等。
用户花费在电子装置上的时间量随着电子装置提供各种功能在持续增加。大量电子装置的普及使得用户能够无视时间和地点地使用各种电子装置。用户可通过电子装置观看高可见度和高清晰度的图像屏幕，或者可长时间使用预先确定的应用(诸如游戏)。因此，随着用户增加他们对电子装置的使用，这些用户暴露在从电子装置产生的光的时间量增加。
因此，随着用户对电子装置花费的时间变得更长，用户眼睛的疲劳度增加，并且这会对用户有不良影响，诸如视力丧失、干眼症、眼睛充血等。眼睛的疲劳不仅会影响眼睛，还会影响大脑活动，并导致难以集中注意力、记忆力丧失和精神失常。
发明内容
根据本公开的多个方面，提供了一种电子装置及其操作方法，其中，所述电子装置及其操作方法在用户开始使用电子装置或当前使用电子装置时确定用户的状态，提供与所确定的用户的状态相应的用户的状态信息，并相应地改变电子装置的各种设置。
根据本公开的多个方面，提供了一种电子装置及其操作方法，其中，所述电子装置及其操作方法在电子装置进行操作的同时确定用户眼睛的状态，确定用户眼睛的疲劳率，并通过基于所确定的眼睛的疲劳率自适应地改变电子装置中针对屏幕的各种设置来显示屏幕。
根据本公开的多个方面，提供了一种电子装置及其操作方法，其中，所述电子装置及其操作方法在用户开始使用电子装置或当前使用电子装置时自动测量用户眼睛的疲劳率，并基于所测量的眼睛的疲劳率(用户的状态信息)、电子装置的操作信息、电子装置的使用信息、与使用电子装置的周边环境相关联的信息来自动调整与电子装置的屏幕的设置相关联的变量，以降低用户眼睛的疲劳率。
根据本公开的多个方面，提供了一种电子装置及其操作方法，其中，所述电子装置及其操作方法通过考虑用户状态来实现用于控制电子装置的最佳环境，并提高用户便利性以及对电子装置的利用率。
根据本公开的一方面，提供了一种电子装置，包括：传感器，跟踪用户的状态和电子装置的状态；存储单元，存储于跟踪用户的状态和电子装置的状态的操作相应的信息；控制器，响应于操作事件来控制执行跟踪，基于执行跟踪的结果来改变电子装置中与显示屏幕相关联的选项，并控制输出结果。
根据本公开的一方面，提供了一种电子装置的操作方法，所述方法包括：检测操作事件；响应于所述操作事件，跟踪用户的状态和电子装置的状态；基于跟踪的结果，改变电子装置中与显示屏幕的操作相关联的选项；输出与改变后的选项相应的结果。
根据本公开的一方面，提供了一种记录用于执行操作的程序的计算机可读记录介质，所述操作包括：检测操作事件；响应于所述操作事件，跟踪用户的状态和电子装置的状态；基于跟踪的结果，改变电子装置中与显示屏幕的操作相关联的选项；输出与改变后的选项相应的结果。
附图说明
从以下结合附图进行的详细描述，本公开的以上和其它方面、特征和优点将更加清楚，在附图中：
图1是示意性地示出根据本公开的实施例的电子装置的配置的框图；
图2是示出根据本公开的实施例的电子装置的控制器的配置的框图；
图3是示出根据本公开的实施例的在电子装置中改变屏幕的设置的过程的流程图；
图4、图5、图6和图7是示出根据本公开的实施例的在电子装置中发起跟踪用户的状态的操作的示图；
图8是示出根据本公开的实施例的在电子装置中提供的设置菜单的示例的示图；
图9、图10和图11是示出根据本公开的实施例的在电子装置中输出与用户状态相关联的信息的示例的示图；
图12、图13、图14和图15是示出根据本公开的实施例的在电子装置中当在屏幕的设置中做出改变时的输出操作的示例的示图；
图16是示出根据本公开的实施例的在电子装置中改变屏幕的设置的过程的流程图；
图17、图18和图19是示出根据本公开的实施例的在电子装置中通过考虑各种信息来改变屏幕的设置的操作的示例的示图。
具体实施方式
在下文中，将参照附图描述本公开的各种实施例。然而，应理解，并不意图将本公开限制为在此公开的具体形式；相反地，本公开应被解释为覆盖本公开的实施例的各种修改、等同形式和/或替代形式。在描述附图时，相似的参考标号可被用于指定相似的构成元件。
本公开涉及一种对用户眼睛的疲劳率进行响应的电子装置以及所述电子装置的显示控制方法。本公开的各种实施例提供一种电子装置及其操作方法，其中，所述电子装置及其操作方法跟踪用户的状态和电子装置的状态，并基于跟踪的结果来自动改变与显示电子装置的屏幕的操作相关联的各种选项。
根据本公开的实施例，观看电子装置的用户眼睛的状态被测量，并且用户眼睛的疲劳率可被分析。根据本公开的实施例，用户眼睛的疲劳率可通过另外使用除测量出的用户眼睛的状态以外的电子装置的各种情境(例如，使用时间、周边环境、操作状态等)而被分析。例如，根据本公开的实施例，用户眼睛的疲劳率可基于测量用户眼睛的状态的结果而被分析，或者可通过考虑多重因素(诸如测量用户眼睛的状态的结果以及通过针对电子装置的情境考虑而获取的结果(例如，情境信息))而被分析。
根据本公开的实施例，可通过基于通过多重因素分析出的用户眼睛的疲劳率自动改变屏幕选项来显示屏幕。也就是说，本公开的实施例基于用户眼睛的疲劳率自动调整用于显示屏幕的各种屏幕设置选项(变量)，从而显示对于用户眼睛的疲劳率合适的屏幕。根据本公开的实施例，与使用多重因素分析出的用户眼睛的疲劳率相关联的信息可被直接反馈给用户。
根据本公开的各种实施例，电子装置可包括使用一个或更多个各种处理器(包括应用处理器(AP)、图形处理器(GPU)、中央处理器(CPU)等)的所有装置，诸如支持与本公开的各种实施例相关联的功能的所有信息远程通信装置、多媒体装置、可穿戴装置及其应用。
根据本公开的一方面，提供了一种记录用于执行操作的程序的计算机可读记录介质，所述操作包括：检测操作事件；响应于所述操作事件，跟踪用户的状态和电子装置的状态；基于跟踪的结果，改变电子装置中与显示屏幕的操作相关联的选项；输出与改变后的选项相应的结果。
根据本公开的实施例的电子装置及其操作方法可通过考虑用户的状态和电子装置的状态而自动改变与显示屏幕的操作相关联的各种选项，并反馈与用户的状态相关联的信息。可通过在用户正常使用电子装置的同时自动跟踪用户和电子装置来执行改变选项和反馈信息的操作，并可直观地保护用户的眼睛并向用户实时提供防护。因此，根据本公开的实施例，所述电子装置使得用户能够免受潜在伤害，并自适应地支持保健服务。在使用户的眼睛以相对近的距离观看屏幕的电子装置(例如，头戴式显示器(HMD))的情况下，可防止用户的眼睛受到从屏幕产生的光的不良影响。
根据本公开的实施例，基于所跟踪的各种状态(例如，用户的状态和电子装置的状态)来自动调整屏幕或滤光器的各种选项(例如，强度、亮度、蓝光等)。因此，根据本公开的实施例，在与仅使用电子装置的通知栏调整屏幕的亮度的传统技术相比时，通过自动调整各种选项为用户提供了便利性。当用户在夜晚使用电子装置时，用户可将屏幕的亮度设置为比现有自然设置的最低亮度等级更暗，从而有效防止刺眼
根据本公开的实施例，所述方法和设备不仅基于预定条件(诸如时间等)调整预定选项(例如，亮度或蓝光的等级)，还基于使用电子装置的用户的状态、执行的应用(例如，视频(电影)、互联网接入、信使、游戏等)的情境、当应用或电子装置被使用时的使用时间、使用电子装置的周边环境来自动调整一个或更多个选项，从而向用户提供最佳屏幕。根据本公开的实施例，电子装置在用户使用电子装置的同时自动向用户通知眼睛充血的状态，相应地自动调整屏幕选项，并向用户告知眼睛的状态，从而提高对用户健康的呵护。
在下文中，将从硬件的角度来描述本公开的各种实施例。然而，本公开的各种实施例包括使用硬件和软件两者的技术，因此，本公开的各种实施例可不排除软件角度的方法。
图1是根据本公开的实施例的电子装置的配置的示意性框图。
参照图1，电子装置100可包括无线电通信单元110、用户输入单元120、触摸屏130、音频处理器140、存储单元150、接口单元160、相机模块170、控制器180和供电单元190。根据本公开的各种实施例，当与图1的组成元件相比时，电子装置100可包括更多或更少的组成元件，这是因为图1的组成元件不是必要条件。
无线电通信单元110可包括使得能在电子装置100与无线电通信系统之间或在电子装置100与另一外部装置之间进行无线电通信的一个或更多个模块。例如，无线电通信单元110可被配置为包括移动通信模块111、无线局域网(WLAN)模块113、短距离通信模块115、位置计算模块117、广播接收模块119等。
移动通信模块111可在移动通信网络上将无线信号发送到基站、外部电子装置和各种服务器(例如，综合服务器、服务提供商服务器、内容服务器、互联网服务器和云服务器)中的至少一个并且从基站、外部电子装置和各种服务器(例如，综合服务器、服务提供商服务器、内容服务器、互联网服务器和云服务器)中的至少一个接收无线信号。无线信号可包括当参考数据(例如，虹膜图像)、语音呼叫信号、视频呼叫信息或文本/多媒体消息被发送或接收时使用的各种类型的数据。
移动通信网络111可接收一条或更多条数据(例如，参考数据、媒体内容、消息、电子邮件、图像、视频、天气信息、位置信息、时间信息等)。根据本公开的实施例，移动通信模块111可通过经由网络(例如，移动通信网络)与和电子装置100连接的至少一个外部装置(例如，另一电子装置或服务器)进行连接而接收各条数据。移动通信模块111可响应于用户的请求，将电子装置100的操作所需的各种数据发送到外部装置。
移动通信模块111可执行通信功能。例如，移动通信模块111可在控制器180的控制下将射频(RF)信号转换为基带信号并将该信号发送到控制器180，或者可将来自控制器180的基带信号转换为RF信号并发送RF信号。控制器180可基于各种通信方案对基带信号进行处理。例如，所述通信方案可包括全球移动通信系统(GSM)方案，增强数据GSM环境(EDGE)通信方案、码分多址(CDMA)通信方案、W-码分多址(W-CDMA)方案、长期演进(LTE)通信方案、高级长期演进(LTE-A)通信方案、正交频分多址(OFDMA)通信方案、Wi-Fi通信方案、全球微波接入互操作性(WiMAX)通信方案以及蓝牙通信方案，然而，通信方案可不限于此。
无线LAN模块113可以是用于与其它电子装置建立无线互联网接入和无线LAN链路的模块。无线LAN模块113可嵌入在电子装置100中，或者可单独地存在于电子装置100外部。无线互联网技术可包括WiFi、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、毫米波(mmWave)等。
无线LAN模块113可将用户选择的一条或更多条数据发送到电子装置100或从电子装置100接收用户选择的一条或更多条数据。根据本公开的实施例，无线LAN模块113可从通过网络(例如，无线互联网网络)与电子装置100连接的另一电子装置或服务器中的至少一个获取数据。无线LAN模块113可响应于用户的请求将电子装置100的各种数据发送到外部(例如，服务器)/从外部(例如，服务器)接收电子装置100的各种数据。无线LAN模块113可在与另一电子装置建立了无线LAN链路时将与用户的选择相应的各种数据发送到另一电子装置或从另一电子装置接收与用户的选择相应的各种数据。无线LAN模块113可总是保持在开启状态，或者可基于电子装置100的设置或用户输入被开启。
短距离通信模块115可以是用于执行短距离通信的模块。短距离通信技术可包括蓝牙、蓝牙低功耗(BLE)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)等。
短距离通信模块115可接收一条或更多条数据。根据本公开的实施例，短距离通信模块115可从通过网络(例如，短距离通信网络)与电子装置100连接的另一电子装置获取数据。短距离通信模块115可在与另一电子装置建立了短距离通信时将与用户的选择相应的各种数据发送到另一电子装置或从另一电子装置接收与用户的选择相应的各种数据。短距离通信模块115可总是保持在开启状态，或者可基于电子装置100的设置或用户输入被开启。
位置计算模块117可以是用于获取电子装置100的位置的模块，并可包括作为代表性示例的全球定位系统(GPS)。位置计算模块117可基于三角测量法原理来测量电子装置100的位置。位置计算模块117可通过计算距三个或更多个基站的距离以及时间信息并随后将三角法应用于计算出的信息，根据维度、经度和海拔来计算关于当前位置的三维信息。此外，位置计算模块117可通过从三个或更多个卫星实时地连续接收电子装置100的位置信息来计算位置信息。电子装置100的位置信息可通过各种方法来获取。
广播接收模块119可通过广播频道(例如，卫星广播频道、地面广播频道等)从外部广播管理服务器接收广播信号(例如，TV广播信号、无线电广播信号、数据广播信号等)和/或广播相关信息(例如，与广播频道、广播节目或广播服务提供商相关联的信息)。
用户输入单元120可响应于用户输入而产生用于控制电子装置100的操作的输入数据。用户输入单元120可包括用于检测用户的各种输入的至少一个输入装置。例如，用户输入单元120可包括键盘、圆顶开关、物理按键、触摸板(电阻式/电容式)、摇杆(jog&shuttle)、传感器等。
根据本公开的实施例，传感器可由用于针对电子装置100的情境识别(contextrecognition)的各种传感器来实现。例如，传感器可测量电子装置100的物理量或检测电子装置100的操作状态，并可将测量的信息或检测的信息转换为电信号。传感器可包括例如虹膜扫描传感器、指纹扫描传感器、图像传感器或照度传感器。传感器可包括以下传感器中的至少一个传感器：手势传感器、陀螺仪传感器、压力传感器、磁传感器、加速度传感器、地面传感器、运动识别传感器、抓握传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、医学传感器、温度-湿度传感器、紫外线(UV)传感器或心率监控(HRM)传感器。传感器可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器等。根据本公开的实施例，电子装置100还可包括与控制器180分离的或作为控制器180的一部分的被配置为控制传感器的处理器，并可在控制器180处于睡眠状态时控制传感器。
用户输入单元120的一部分可以以按钮的形式被实现在电子装置100的外部，或者用户输入单元120的一部分或整个用户输入单元120可被实现为触摸面板。用户输入单元120可接收用于发起根据本公开的各种实施例的电子装置100的操作的用户输入，或者可基于用户输入产生输入信号。例如，用户输入单元120可接收用于执行以下操作的各种用户输入：执行状态跟踪功能，执行虹膜扫描功能、执行应用、输入(编写或插入)数据、改变电子装置100的位置、显示内容、连接到网络、发送或接收数据，并且用户输入单元120可基于用户输入产生输入信号。
触摸屏130可以是同时执行输入功能和显示功能的输入/输出装置，并可包括显示单元131和触摸感测单元133。触摸屏130可在电子装置100和用户之间提供输入/输出接口，可将用户的触摸输入传送到电子装置100，并可用作向用户显示来自电子装置100的输出的介质。触摸屏130可向用户显示视觉输出。所述视觉输出可以以文本、图形和视频的组合的形式被显示。例如，根据本公开的实施例，触摸屏130可通过显示单元131显示与电子装置100的操作相关联的各种屏幕。所述各种屏幕可包括例如虹膜扫描屏幕、虹膜扫描结果屏幕、疲劳率测量结果屏幕、信使屏幕、通话屏幕、游戏屏幕、视频回放屏幕、监控屏幕(gallery screen)、网页屏幕、主屏幕、分组网络连接屏幕等。
触摸屏130可在通过显示单元131显示预定屏幕的同时通过触摸检测单元133基于由用户提供的触摸、悬浮和空中手势中的至少一个来检测事件，并可将与所述事件相关联的输入信号传送到控制器180。控制器180可辨别传送的事件，并可基于辨别出的事件来控制执行操作。
显示单元131可显示电子装置100中处理的各种信息。例如，在电子装置100在虹膜扫描模式下进行操作时，显示单元131可显示与虹膜扫描相关联的用户界面(UI)或图形用户界面(GUI)。在电子装置100处于呼叫模式时，显示单元131可显示与呼叫相关联的UI或GUI。在电子装置100处于视频呼叫模式或拍摄模式时，显示单元131可显示照片或/和所接收的图像以及与操作相应的模式相关联的UI或GUI。显示单元131可显示与电子装置100的使用、内容或与连接到网络的其它电子装置相关联的信息相关联的数据。显示单元131可显示与执行的应用相应的各种应用屏幕。
显示单元131可根据电子装置100的旋转方向(或朝向)，支持显示基于横向模式的屏幕、显示基于纵向模式的屏幕或显示基于横向模式和纵向模式之间的改变的屏幕。显示单元131可使用各种显示器。例如，显示单元131可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微型机电系统(MEMS)显示器和电子书显示器等。显示单元可被实现为以透明类型或光学透明类型形成的透明显示器。
触摸检测单元133可安装在显示单元131上，并可检测与触摸屏130的表面接触或接近的用户输入。用户输入可包括基于单触摸、多触摸、悬浮和空中手势中的至少一个而输入的触摸事件或接近事件。例如，可通过轻击、拖动、轻拂(sweep)、轻弹(flick)、拖放或绘画手势(例如，书写)等来输入用户输入。触摸检测单元133可检测触摸屏130的表面上的用户输入(例如，触摸事件或接近事件)，产生与检测到的用户输入相应的信号，并将该信号传送到控制器180。控制器180可控制执行与通过从触摸检测单元133传送的信号而产生用户输入的区域相应的功能。
触摸检测单元133可接收用于发起根据本公开的实施例的电子装置100的操作的用户输入，或者可基于用户输入产生输入信号。触摸检测单元133可被配置为将施加到显示单元131的预定部分的压力或从显示单元131的预定部分产生的电容变化转换为电输入信号。触摸检测单元133可检测触摸工具或装置(例如，用户的手指、电子笔等)触摸或接近显示单元131的表面的位置和区域。触摸检测单元133可被配置为甚至基于施加的触摸方案来检测当触摸被执行时的表面压力。当存在针对触摸检测单元133的触摸输入或接近输入时，与其相应的信号可被传送到触摸屏控制器。触摸屏控制器可对信号进行处理，并将相应的数据传送到控制器180。因此，控制器180可确定触摸屏130中触摸输入或接近输入被执行的区域，并可对与其相应的功能的执行进行处理。
音频处理器140可将从控制器180接收到的音频信号发送到扬声器(SPK)141，并可将从麦克风143输入的诸如语音的音频信号传送到控制器180。音频处理器140可基于控制器180的控制通过扬声器141将语音/声音数据转换为可听声音，并可输出可听声音。音频处理器140可将从麦克风143接收到的诸如语音或声音的音频信号转换为数字信号，并可将所述数字信号传送到控制器180。音频处理器140可基于数据中所包括的音频处理信息(例如，声音效果、音乐文件等)输出对用户输入进行响应的音频信号。
扬声器141可输出从音频通信单元110接收到的或存储在存储单元150中的音频数据。扬声器141可输出与在电子装置100中执行的各种操作(功能)相关联的声音信号。扬声器141可控制输出音频流，诸如语音识别功能、数字记录功能和电话呼叫功能。尽管在本公开的实施例中没有示出，但是扬声器141可以是通过外部连接端口连接到电子装置100的可附接且可拆除的耳机、头戴式电话或头戴式耳机。
麦克风143可接收外部声音信号并将其处理为电子数据。当电子装置100处于语音呼叫模式时，通过麦克风143处理的语音数据可被转换为通过移动通信模块111被发送到外部的形式。可在麦克风143中实现各种降噪算法以去除在接收外部声音信号的处理中所产生的噪声。麦克风143可控制输入音频流，诸如语音识别功能、数字记录功能和电话呼叫功能。例如，麦克风143可将语音信号转换为电信号。根据本公开的实施例，麦克风143可包括包含在电子装置100中的嵌入式麦克风以及连接到电子装置100的外置麦克风。
存储单元150可存储由控制器180执行的一个或更多个程序，并还可执行暂时存储输入/输出数据的功能。所述输入/输出数据可包括例如参考数据、选项设置信息、疲劳率信息、状态信息、情境信息、记录文件、内容、信使数据(例如，对话数据)、联系人信息(例如，有线电话号码或无线电话号码)、消息、媒体文件(例如，音频文件、视频文件、图像文件)等。根据本公开的实施例，存储单元150可存储与跟踪用户的状态和跟踪电子装置100的状态的操作相应的一条或更多条信息。
存储单元150可存储与电子装置100的显示控制功能相关联的各种程序和数据。例如，根据本公开的实施例，当响应于用于发起本公开的操作的操作事件而执行了跟踪用户的状态和电子装置100的状态(例如，情境识别)的操作，并且基于根据状态跟踪操作而获取的状态信息和情境信息中的至少一个信息而获取了用户的疲劳率以及用于调整屏幕选项的信息时，存储单元150可存储执行用于基于获取的调整信息以及相应处理的数据(例如，识别结果、疲劳率、状态信息、情境信息和调整信息)来自动改变屏幕的选项的处理的一个或更多个程序。
存储单元150可存储与使用频率(例如，参考数据、应用、内容等的使用频率)、重要性和优先级相关的数据。存储单元150可存储与响应于施加到触摸屏130上的触摸输入或接近输入而输出的各种模式的振动和声音相关联的数据。存储单元150可持续或暂时存储电子装置100的操作系统(OS)、与控制通过触摸屏130进行的输入和显示相关联的程序、与控制电子装置100的各种操作和功能相关联的程序以及由每个程序的操作所产生的各种数据。
存储单元150可包括可扩展存储器(例如，外部存储器)或嵌入式存储器。存储单元150可包括以下类型的存储器之中的至少一种类型的存储介质：闪存式存储器、硬盘式存储器、微型存储器、卡式存储器(例如，安全数字(SD)卡、极速数字(XD)卡等)、动态随机存取存储器(DRAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)、磁RAM(MRAM)、磁盘和光盘。电子装置100还可与用于在互联网上执行存储单元150的存储功能的web存储器相关联地进行操作。
存储单元150可存储各种软件。例如，软件的组成元件可包括：操作系统、软件模块、通信软件模块、图形软件模块、用户界面软件模块、运动图像专家组(MPEG)编解码模块、相机软件模块以及一个或更多个应用软件模块等。作为软件的元件的模块可被表现为一组指令，因此，所述模块还可被表现为指令集。所述模块还可被表现为程序。根据本公开的实施例，除上述模块之外，存储单元150可包括另外的模块(指令)。存储单元150可在必要时不使用某些模块(指令)。
操作系统软件模块可包括控制总体系统操作的各种软件组成元件。对这样的总体系统操作的控制是指例如存储器管理和控制、存储硬件管理和控制、电源管理和控制等。操作系统软件模块可运行支持各种硬件装置与软件组成元素(模块)之间的通信的功能。
通信软件模块可使得能够通过无线电通信单元110进行与另一电子装置(诸如计算机、服务器、便携式终端等)的通信。通信软件模块可符合与相应的通信方案对应的协议结构。
图形软件模块可包括用于在触摸屏130上提供和显示图形的各种软件组成元件。术语“图形”包括文本、网页、图标、数字图像、视频、动画等。
用户界面软件模块可包括与用户界面(UI)相关联的各种软件组成元件。例如，用户界面软件模块可包括与用户界面的状态如何改变、用户界面的状态被改变的条件等相关联的信息。
MPEG模块可包括使得能够进行与数字内容(例如，视频或音频)相关联的处理和功能(例如，产生、编码、解码、回放、分发和发送内容等)的软件组成元件。
相机软件模块可包括与相机相关联的使得能够进行与相机相关联的处理和功能的软件组成元件。
应用模块可包括用于使得能够进行以下项的应用：包括web页渲染引擎的web浏览器、电子邮件、即时消息、文字处理、键盘模拟、地址薄、触摸列表、微件(widget)、数字版权管理(DRM)、虹膜扫描、情境识别、语音识别、位置确定功能、基于位置的服务等。根据本公开的各种实施例，应用模块可包括用于虹膜扫描和情境识别的指令。例如，应用模块可对下述操作(功能)进行处理：所述操作(功能)在虹膜扫描被执行时基于设置的信息获取跟踪结果，提供与获取的结果相应的信息，并基于获取的结果来自动改变屏幕选项。
接口单元160可用作与连接到电子装置100的所有外部装置的接口。接口单元160可从外部装置接收数据或电力，并且将数据或电力发送到电子装置100的每个组成元件，或者接口单元160使得电子装置100内部的数据能够被发送到外部装置。例如，接口单元160可包括有线/无线耳机端口、外部充电端口、有线/无线数据端口、存储卡端口、用于连接装备有识别模块的装置的端口、音频输入/输出端口、视频输入/输出端口、耳机端口等。
相机模块170支持用于拍摄的功能。相机模块170可支持捕捉被摄体的图像(静止图像或运动图像)。相机模块170可基于控制器180的控制来拍摄被摄体，并可将拍摄数据传送给显示单元131和控制器180。相机模块170可包括用于将输入的光学信号转换为电信号的图像传感器(或相机传感器)以及用于将从图像传感器输入的电信号转换为数字图像数据的图像信号处理器。图像传感器可包括使用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的传感器。相机模块170可包括一个或更多个图像传感器。例如，相机模块170可包括前置传感器(例如，前置相机)和后置传感器(例如，后置相机)，其中，前置传感器(例如，前置相机)包括在电子装置100的正面(例如，与显示单元131相同的平面)，后置传感器(例如，后置相机)包括在电子装置100的背面。相机模块170可根据用户设置而支持根据各种拍摄选项(例如，变焦(zooming)、屏幕比例、效果(例如，素描、单色、深褐色(sepia)、怀旧、马赛克和相框))的拍摄。
控制器180可控制电子装置100的总体操作。例如，控制器180可执行与语音通信、数据通信、视频通信等相关联的控制。控制器180可包括一个或更多个处理器，或者控制器180可被称为处理器。例如，控制器180可包括作为单独的组成元件的通信处理器(AP)、应用处理器(AP)、接口(通用输入/输出(GPIO)、嵌入式存储器等，或者可将上述组成元件集成为一个或更多个集成电路。应用处理器可执行各种软件程序并执行电子装置100的各种功能，通信处理器可执行对语音通信和数据通信的处理和控制。控制器180可运行存储在存储单元150中的预定软件模块(指令集)，并可运行与所述软件模块相应的各种预定功能。
根据本公开的实施例，控制器150可控制与执行显示控制功能相关联的操作。例如，控制器180可响应于电子装置100的操作事件而发起跟踪操作(诸如虹膜扫描、情境识别等)。控制器180可根据跟踪操作来获取基于用户的状态信息和基于电子装置100的情境信息。控制器180可基于所述状态信息控制与反馈用户的疲劳率相关联的操作。控制器180可执行用于基于所述状态信息和情境信息中的至少一个而自动将屏幕选项改变为与用户的疲劳率相应并相应地显示屏幕的处理。控制器180可执行用于存储与跟踪的结果相关联的各种信息(例如，状态测量结果、虹膜图像、参考数据)。
根据本公开的实施例，控制器180可通过与存储在存储单元150中的软件模块的相互配合，运行根据本公开的实施例的电子装置100的显示控制操作。根据本公开的实施例，控制器180可被实现为处理上述各种功能的一个或更多个模块。
根据本公开的实施例，控制器180可被实现为用于运行存储在存储单元150中的一个或更多个程序并控制根据本公开的各种实施例的电子装置100的操作的一个或更多个处理器。例如，控制器180可通过包括状态跟踪单元181和输出处理器183而被实现，其中，状态跟踪单元181包括操作事件检测模块、跟踪模块、计算模块，输出处理器183包括变量设置模块和结果输出模块。
根据本公开的实施例，状态跟踪单元181指示如下配置：检测用于发起本公开的显示控制功能的操作事件并响应于操作事件而对针对用户的状态和电子装置100的状态的跟踪进行处理。状态跟踪单元181可基于跟踪的结果，对与获取用户的疲劳率和用于改变屏幕选项的信息(例如，调整信息)相关联的操作进行处理。
根据本公开的实施例，输出处理器183可对与输出与从执行状态跟踪单元181的操作的结果而获取的疲劳率和用于改变屏幕选项的信息相应的结果相关联的操作进行处理。例如，输出处理器183可对下述反馈进行处理：通过该反馈，基于疲劳率向用户提供通知，并且输出处理器183可执行用于基于调整信息来改变与屏幕选项相关联的一个或更多个变量并相应地显示屏幕的处理。
根据本公开的各种实施例，除了上述功能以外，控制器180还可控制与电子装置100的一般功能相关联的各种操作。例如，当特定应用被执行时，控制器180可控制针对特定应用的操作和屏幕显示。控制器180可接收与由基于触摸的输入接口或基于接近的输入接口(例如，触摸屏130)所支持的各种触摸事件输入或接近事件输入相应的输入信号，并控制与所述信号相应的操作功能。控制器180还可基于有线通信或无线通信控制数据发送/接收。
供电单元190可基于控制器180的控制来接收外部电力或内部电力，并可供应每个组成元件的操作所需的电力。根据本公开的实施例，供电单元190可基于控制器180的控制，控制对显示单元131、相机模块170等的供电。
本公开的各种实施例可通过使用软件、硬件或其组合而被实现在通过计算机或类似装置可读取的记录介质中。根据硬件实现方式，本公开的实施例可使用以下项中的至少一项来实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及用于执行其它功能的电子单元。
根据本公开的实施例，一种存储用于执行包括以下步骤的操作的程序的计算机可读记录介质：检测操作事件；响应于所述操作事件，跟踪用户的状态和电子装置的状态，基于跟踪的结果来改变电子装置中与显示屏幕相关联的选项；以及输出与改变后的选项相应的结果。
在一些情况下，在本公开中描述的实施例可通过控制器180本身来实现。根据软件实现方式，在本公开中描述的诸如流程和功能的实施例也可被实现为单独的软件模块。软件模块可执行本公开中描述的一个或更多个功能和操作。
根据本公开的实施例，由电子装置100执行的功能(例如，显示控制功能)中的至少一些功能可由诸如服务器的外部装置来执行。例如，服务器可包括与控制器180相应的处理模块，并通过该处理模块基于从电子装置100发送的状态信息和情境信息中的至少一些信息，对与获取用户的疲劳率和用于设置屏幕选项的调整信息的操作相关联的功能中的至少一些功能进行处理，并且将结果发送到电子装置100。
图2是示出根据本公开的实施例的电子装置的控制器180的配置的示图。
参照图2，根据本公开的实施例的电子装置100的控制器180可包括如上所述的状态跟踪单元181和输出处理器183。
根据本公开的实施例，状态跟踪单元181可包括操作事件检测模块210、第一跟踪模块220、第二跟踪模块230和计算模块240。
操作事件检测模块210可检测用于发起根据本公开的实施例的显示控制功能的操作事件(例如，状态跟踪)。将参照图4、图5、图6和图7来详细描述操作事件。
第一跟踪模块220可响应于操作事件对与跟踪用户的状态相关联的操作进行处理。例如，第一跟踪模块220响应于操作事件对虹膜扫描处理进行处理，并可基于虹膜扫描结果来测量眼睛的状态。第一跟踪模块220可基于对用户状态的跟踪来产生状态信息(疲劳率)。根据本公开的实施例，第一跟踪模块220可将虹膜扫描结果与预定参考数据进行比较，并获取与其相应的状态信息。
第二跟踪模块230可与第一跟踪模块220并行或依次进行操作。第二跟踪模块230可响应于操作事件对与跟踪电子装置100的各种状态相关联的操作进行处理。例如，第二跟踪模块230可基于情境识别技术，测量电子装置100的各种情境(例如，电子装置100的使用时间、操作状态和周边环境等)。第二跟踪模块230可基于对电子装置100的状态的跟踪来产生至少一个情境信息。第二跟踪模块230可基于电子装置100的操作信息、使用信息和周边环境信息中的至少一些信息来获取情境信息。
第二跟踪模块230可包括使用状态检测模块231、操作状态检测模块233和周边环境检测模块235。
使用状态检测模块231可检测电子装置100或用户当前执行的应用的使用时间或累计使用状态。
操作状态检测模块233可检测当前正在电子装置100中运行或用户请求运行的应用的属性(例如，视频、游戏、web、消息等)。
周边环境检测模块235可检测使用电子装置100的周边环境(例如、白天、夜晚、照度、灯光、天气、位置(内部/外部)等)。
计算模块240可基于第一跟踪模块220和第二跟踪模块230的跟踪结果(例如，状态信息或情境信息)，计算用户的疲劳率。计算模块240可基于跟踪结果来计算用于改变屏幕选项的调整信息(例如，用于设置选项的变量)。
根据本公开的实施例，输出处理器183可包括变量设置模块250和结果输出模块260。
变量设置模块250可将当前设置的屏幕选项的变量改变为与从计算模块240提供的调整信息相应的变量。
结果输出模块260可对输出基于与由变量设置模块250改变的变量的选项相应的屏幕的操作进行处理。根据本公开的实施例，结果输出模块260可实现软件滤层以便对输出改变后的屏幕的操作进行处理，其中，所述软件滤层与基于当前显示的屏幕上的改变后的变量的选项相应。结果输出模块260可对输出与由计算单元240计算的疲劳率相应的信息的操作进行处理。结果输出模块260可执行用于将与疲劳率相应的虹膜图像以及与疲劳率相应的警告消息显示为屏幕上的各种图形元素(例如，UI或GUI)的处理。
图3是示出根据本公开的实施例的在电子装置中改变屏幕的设置的过程的流程图。
参照图3，在步骤301，控制器180检测用于确定用户的状态的输入。例如，用户可通过设置的接口(例如，电源按钮)输入用于开启显示单元131并使用电子装置100的事件。控制器180可响应于所述事件来控制开启显示单元131，并可将所述事件检测为用于发起显示控制操作的操作事件(例如，用于通过状态跟踪来确定用户/电子装置100的状态的操作事件)。可选择地，虹膜扫描可被设置为与各种安全和生物识别验证功能(例如，锁屏、电子支付、金融业务、登录等)相关联的用于验证用户的方式。当虹膜扫描被发起以执行安全功能时，这可被检测为操作事件。可选择地，可为电子装置100设置在应用被执行的同时跟踪用户眼睛的眼睛跟踪功能，并且当眼睛跟踪功能进行操作时(例如，基于设置的周期、设置的条件等进行操作时)，控制器180可将其检测为操作事件。
在步骤303，当检测到操作事件输入时，控制器180自动测量或确定用户的状态，并可获取状态信息。例如，控制器180可响应于操作事件选择性地控制开启相机模块170(例如，前置相机)，并可通过相机模块170对眼睛跟踪和虹膜扫描进行处理。控制器180可从通过虹膜扫描识别出的用户眼睛的图像来确定用户眼睛的状态(例如，眼睛的充血程度等)，并可从确定的结果获取状态信息(例如，眼睛的疲劳率)。
在步骤305，控制器180通过针对电子装置100的情境识别来获取情境信息。例如，控制器180可通过基于情境识别技术来跟踪电子装置100的各种情境(例如，当前状态、累计用户状态、使用环境等)，确定所述状态，并可通过情境识别获取与一个或更多个情境相应的情境信息。根据本公开的实施例，情境信息可包括电子装置100的操作信息(例如，当前运行的应用或请求运行的应用的属性(视频、游戏、web、信使等))、电子装置100的使用信息(例如，电子装置100、应用等的使用时间)、使用电子装置100的周边环境信息(例如，白天、夜晚、照度、灯光、天气、位置(内部/外部))等。
在步骤307，控制器180基于状态信息和情境信息，计算用于设置屏幕的调整信息。例如，控制器180可基于状态信息和情境信息的多重因素来计算用于设置选项中的至少一些选项(诸如色调饱和值(HSV)、色调饱和亮度(HSB)、蓝光、分辨率等)的调整信息(例如，用于设置屏幕的每个选项的变量)。
当计算出调整信息时，控制器180可确定是使用将调整信息应用于整个屏幕的第一方案(例如，批量应用)还是使用通过辨别显示的对象、内容或屏幕区域来应用调整信息的第二方案(例如，通过进行辨别的应用)。根据本公开的实施例，控制器180可基于用户设置来确定第一方案或第二方案，或者可基于电子装置100中执行的应用的类型或情境信息的所显示的屏幕的形式(例如，对象(文本、图像等)的类型、内容的属性、辨别出的区域的数量)来确定第一方案或第二方案。
在步骤309，控制器180基于调整信息来改变电子装置100的屏幕设置中的至少一个设置。例如，控制器180可基于调整信息来改变需要被调整的至少一个选项设置。
在步骤311，控制器180输出改变后的结果。例如，控制器180可改变至少一个选项设置，并可控制输出与改变后的选项设置相应的屏幕。控制器180可与输出与选项设置相应的屏幕的操作顺序地或并行地提供与基于状态信息和情境信息中的至少一个确定的用户的状态(例如，疲劳信息)相关联的输出信息。
图4、图5、图6和图7是示出根据本公开的实施例的在电子装置中发起跟踪用户的状态的操作的示图。
对测量用户的状态(例如，用户眼睛的状态)的状态跟踪的发起可基于以下操作事件被执行：用户操作电子装置100的操作事件、在电子装置100操作的同时执行与眼睛跟踪相关联的功能的操作事件、在电子装置100操作的同时基于设置的周期而操作的操作事件、改变在电子装置100中当前执行的应用的操作事件、以及基于使用电子装置100的环境的改变(例如，内部->外部、白天->夜晚、低照度->高照度等)而操作的操作事件。
根据本公开的实施例，如图4中所示，电子装置100的显示单元131是关闭的并且用户可使用用于开启显示单元131设置的接口(例如，电源按钮410)来输入操作事件。控制器180可响应于使用电源按钮410输入的操作事件来控制开启显示单元131。控制器180可控制显示单元131并控制开启相机模块170(例如，前置相机)，并可基于来自相机模块170的数据来执行对用户的状态的跟踪(例如，眼睛跟踪或虹膜扫描)。
根据本公开的实施例，如图5中所示，当提供了电子装置100的锁定屏幕，并且用于解除锁定屏幕的验证方法是虹膜扫描时，用户可执行用于通过相机模块170(例如，前置相机)扫描用户的虹膜的处理(操作事件)。控制器180可响应于执行用于解除锁定屏幕的虹膜扫描处理的操作事件，对针对用户的状态跟踪进行处理。控制器180可与虹膜扫描处理顺序地或并行地执行针对用户的状态跟踪。
根据本公开的实施例，可提供如图6中所示的当用户使用虹膜扫描来在执行网站中的用户验证(例如，登录、电子支付等)时的操作的示例。根据本公开的实施例，当用户通过使用相机模块170(例如，前置相机)的虹膜扫描来执行用户验证时，与执行虹膜扫描处理相关联的各种图形元素(UI或GUI)可在当前显示的网站屏幕的一部分(例如，屏幕的底部)中被提供。在电子装置100进行操作的同时，控制器180可响应于使用虹膜扫描执行用户验证处理的操作事件，对针对用户的状态跟踪进行处理。控制器180可与用户验证处理顺序地或并行地执行针对用户的状态跟踪。
根据本公开的实施例，如图7中所示，通过眼睛跟踪来暂停电子装置100的操作状态的功能、通过确定用户的面部是否朝向屏幕而不关闭而是保持屏幕的功能(例如，智能休眠)等可由用户针对电子装置100而设置。所述暂停功能、智能休眠功能等可由用户提前设置，并可通过基于在电子装置100中设置的周期激活相机模块170(例如，前置相机)来执行。当所述功能中的至少一个功能在电子装置100中被设置时，在电子装置100进行操作的同时控制器180可识别用户的状态，并可响应于执行所述功能的操作事件来对针对用户的状态跟踪进行处理。控制器180可与处理所述功能的操作顺序地或并行地执行针对用户的状态跟踪。控制器180可在功能被执行时在显示单元131的一部分(例如，状态栏或通知栏)中提供指示功能被执行的相关项(例如，眼状图标710)。
根据本公开的实施例，电子装置100可由用户设置以产生基于预定周期(例如，5、10、20分钟等)的操作事件。控制器180可在电子装置100进行操作时检查所述预定周期，并且当所述预定周期开始时，控制器180将其识别为操作事件并对针对用户的状态跟踪进行处理。
用户可设置意图处理状态跟踪的有意输入，并且当检测到所述有意输入时，控制器180将其识别为操作事件，并对针对用户的状态跟踪进行处理。所述有意输入可包括：按钮输入、菜单选择输入、触摸(或手势)输入、电子装置100的运动控制输入、电子装置100的空中手势输入、应用运行输入等。
图8是示出根据本公开的实施例的电子装置中提供的设置菜单的示例的示图。
参照图8，图8示出设置由本公开的电子装置100支持的屏幕的各种选项的示例。
根据本公开的实施例，各种属性可与屏幕设置(诸如亮度810、屏幕模式820、分辨率830、蓝光840、自动调整850等)相关联地被包括。亮度选项810可设置诸如“颜色”、“色度”、“亮度”、“自动调整”等项。屏幕模式选项820可设置诸如“屏幕最优化”、“清晰屏幕”、“标准屏幕”、“指定画面的屏幕”、“指定电影的屏幕”等项。分辨率选项830可设置诸如“高”、“中”、“低”、“自动调整”等项。蓝光选项840可设置诸如“中断(cutoff)”、“低”、“中”、“高”等项。自动调整选项850可设置诸如“激活/去激活(例如，开/关)”、“注册(例如，标准、数据1、数据2、数据3等)”、“辨别(例如，整体、区域、对象等)”、“装置(例如，操作、使用、环境等)”、“显示(例如，激活/去激活、弹出、状态栏、整体等)”等项。
自动调整选项850可以是下述选项：所述选项执行针对用户的状态跟踪并自动调整与屏幕设置相关联的各种选项(例如，亮度810、屏幕模式820、分辨率830、蓝光840等)。
自动调整选项850可通过激活/去激活项来设置是否执行基于所跟踪的用户的状态来自动改变和设置屏幕选项的操作。
“注册”项可以是产生并注册一条或更多条跟踪用户的状态所需的参考数据(例如，虹膜信息(用户虹膜图像))。例如，“注册”项是用于在基于用户的状态自动改变和设置屏幕设置的功能被使用时将参考数据(例如，虹膜信息)注册并存储在电子装置100中的项。一条或更多条参考数据可被注册。电子装置100可对通过使用相机模块170(例如，前置相机)、虹膜识别传感器等的虹膜扫描获取的图像进行处理，并可存储经过处理的图像(例如，由用户注册的至少一个虹膜(或虹膜图像))。
用户可注册与通过扫描虹膜的操作识别出的参考数据(例如，虹膜图像)相关联的标准、数据1、数据2、数据3等。根据本公开的实施例，所述标准可指示用户的眼睛处于良好状态(例如，不疲劳或疲劳率低于或等于设置的阈值疲劳率的一般状态)，并且数据1、数据2和数据3通过不同地区分用户的疲劳率(例如，眼睛充血的程度)而被注册。所述标准、数据1、数据2或数据3中的一个或更多个可被注册。与所述标准、数据1、数据2或数据3相关联的参考数据可通过对用户眼睛的虹膜扫描而被直接注册，可通过从外部电子装置(例如，另一电子装置或外部服务器)被接收而被注册，或可根据基于疲劳率的统计数据而从电子装置100被提供。
“辨别”项指示用于设置基于根据用户的状态而被改变的设置选项来显示屏幕的项。例如，当在“辨别”项中选择了“全部”时，改变后的选项被应用于整个屏幕。当在“辨别”项中选择了“属性”时，改变后的选项通过辨别显示在屏幕中的内容的属性(例如，视频、文本、图像等)而被不同的应用。当在“辨别”项中选择了“对象”时，通过辨别显示在屏幕中的对象而不同地应用改变后的选项。
“装置”项指示用于设置与跟踪用户的状态相关联的另一元素的项。例如，可在用户使用电子装置100的时间(例如，游戏时间、应用使用时间等)被反映至针对用户的状态跟踪的情况下选择“装置”项中的“使用”。可在电子装置100中当前执行的或在跟踪的时间点请求操作的应用的属性(视频、游戏、网络、信使等)被反映至针对用户的状态跟踪时选择“装置”项中的“操作”。可在跟踪的时间点使用电子装置100的周边换环境(例如，白天、夜晚、照度、灯光、天气、位置(内部/外部)等)被反映至针对用户的状态跟踪时选择“装置”项中的“环境”。可通过用户进行的选择来设置“使用”、“操作”和“环境”中的一个或更多个。
“显示”项可指示用于设置显示与所跟踪的用户的状态(例如，状态信息或情境信息)相关联的输出信息(例如，测量信息或疲劳率信息)的方案的项。例如，“显示”项中的“激活/去激活”可设置是否执行用于显示所述输出信息的操作。“显示”项中的“弹出”可指示基于诸如文本、图像等的各种图形元素(例如，UI或GUI)通过屏幕上的弹出窗口显示所述输出信息的方案。“显示”项中的“状态栏”可指示基于通知项(例如，文本、通知图标等)通过电子装置100的状态栏(例如，通知栏或指示符区)显示相关信息的方案。“显示”项中的“整体”可指示基于诸如文本、图像等的各种图形元素(例如，UI或GUI)在整个屏幕上(例如，切换屏幕)显示所述输出信息的方案。
根据本公开的实施例，针对用户的状态跟踪可包括以上的示例中所描述的跟踪用户眼睛的状态，以及通过针对电子装置100的情境识别来跟踪(例如，情境识别)电子装置100的各种情境(例如，操作、使用、环境等)。当基于用户的状态来改变屏幕设置时，可基于考虑用户的物理状态(例如，眼睛的疲劳率)的第一元素(例如，状态信息)和考虑电子装置100的使用状态和操作状态的第二元素(例如，情境信息)来改变屏幕设置。
例如，当通过跟踪用户的状态(例如，眼睛充血的状态)获取了与在“注册”项中注册的标准相应的状态信息时，控制器180可执行用于维持与当前设置的选项相关联的屏幕的处理。控制器180可通过获取与“装置”项中设置的元素相应的状态信息和情境信息来获取用于改变选项的信息(例如，调整信息)。控制器180可基于调整信息来自动改变一个或更多个选项。
根据本公开的实施例，当通过跟踪用户的状态(眼睛充血的状态)获取了与“注册”项中所注册的数据1、数据2或疲劳率3相应的状态信息时，控制器180可基于相应的状态信息执行用于通过不同地改变当前设置的项来显示屏幕的处理。在数据1的情况下，控制器180可执行应用调整选项1(例如，亮度)中的一项或更多项的处理。在数据2的情况下，控制器180可执行用于调整选项1(例如，亮度)和选项4(例如，蓝光)中的一项或更多项的处理。在数据3的情况下，控制器180可执行用于调整选项1(例如，亮度)、选项2(例如，屏幕模式)、选项3(例如，分辨率)和选项4(例如，蓝光)中的一项或更多项的处理。
根据本公开的实施例，控制器180可通过获取状态信息(例如，标准、数据1、数据2和数据3)来获取用于改变选项的第一调整信息，并可通过获取与在“装置”项中设置的元素相应的情境信息来从用于改变选项的第一调整信息获取基于情境信息而另外改变选项的第二调整信息。控制器180可执行基于第二调整信息不同地改变当前设置的操作和显示屏幕的处理。
如上所述，根据本公开的实施例，可基于与用户相应的状态信息首要改变选项设置，并可基于与电子装置100相应的情境信息其次改变选项设置。可选择地，可通过考虑与用户相应的状态信息和与电子装置100相应的情境信息两者来改变选项设置。也就是说，可通过依次或顺序处理状态信息和情境信息来改变选项设置，并且所述并行或顺序处理的结果可示出相同的结果。
图9、图10和图11是示出根据本公开的实施例的在电子装置中输出与用户的状态相关联的信息的示例的示图。
图9、图10和图11示出通过使用各种图形元素(例如，UI或GUI)使用户的疲劳率可视化来基于所跟踪的状态信息和情境信息显示用户的疲劳率的示例。
参照图9，图9示出通过在当前显示的执行屏幕910上运行弹出窗口来显示与疲劳率相应的输出信息的情况的示例。例如，弹出窗口930可显示输出信息，其中，所述输出信息包括与所跟踪的用户的状态信息相应的图像950(例如，眼状图像)和警告消息970(例如，诸如“请推迟对装置的使用以保护眼睛”的文本以及疲劳率的指标(例如，疲劳率F))。根据本公开的实施例，可基于所跟踪的用户状态不同地提供所述输出信息(例如，图像950或警告消息970)。根据本公开的实施例，基于眼睛充血的状态，眼睛充血的程度可在眼状图像950中被显示为不同，并且基于眼睛充血的状态，警告消息970被提供为不同。此外，眼状图像950可通过包括与瞳孔的尺寸改变相关联的信息而被提供。
参照图10，图10示出保持当前显示的屏幕910并在显示单元131的一部分(例如，状态栏1010)中显示与疲劳率相应的输出信息的情况的示例。例如，状态栏1010基于与所跟踪的用户的状态信息相应的通知项1030来显示输出信息。状态栏1010可显示包括眼状图像(或图标)的通知项以及与所跟踪的用户状态相应的消息(例如，疲劳率指标、疲劳率F)。根据本公开的实施例，假设用户眼睛的疲劳率被区分为级别A至级别G，并且疲劳率随着所述级别越接近级别G而变得更高。根据本公开的实施例，可基于所跟踪的用户状态来不同地提供通知项(例如，眼状图像或疲劳率指标)。
根据本公开的实施例，当用户从状态栏1010选择(例如，触摸、拖动、轻拂/轻弹等)通知项1030时，可如图9中所示基于电子装置100中设置的方案来通过弹出窗口显示输出信息，或者可如图11中所示将输出信息显示在整个屏幕上。
参照图11，图11示出整个屏幕上与疲劳率相应的输出信息的情况的示例(例如，切换屏幕)。例如，包括与所跟踪的用户的状态信息相应的图像1150(例如，眼状图像)和警告消息(例如，诸如“请推迟对装置的使用以保护眼睛”的文本以及疲劳率指标(例如，疲劳率F)等)的输出信息可通过切换屏幕被显示在整个屏幕上。
根据本公开的实施例，当与图9、图10、或图11的示例相应的输出信息被提供时，可基于改变为与用户状态相应的屏幕选项来显示输出信息。
图12、图13、图14和图15是示出根据本公开的实施例的当在电子装置中在屏幕的设置中做出改变时的输出操作的示例的示图。
图12、图13、图14和图15是示出通过根据基于跟踪用户眼睛的状态的结果(例如，状态信息)以及跟踪电子装置100的状态的结果(例如，情境信息)而获取的调整信息改变屏幕设置来显示屏幕的处理的示图。
观看电子装置100的用户的眼睛的疲劳率可随着用户对电子装置100花费时间的增加而快速增加。根据本公开的实施例，可基于各种测量(诸如瞳孔扩大/瞳孔收缩状态测量(例如，瞳孔尺寸的改变)、基于RGB值(例如，红色值)执行的眼镜充血状态测量(例如，眼镜充血的状态的改变)、基于眼睛的光亮执行的眼睛状态测量(例如，光亮的程度)、对眼睛周围的热量的状态的测量、基于眼部组织的改变的眼睛状态测量等)来确定用户的疲劳率。电子装置100可基于与瞳孔的尺寸相关联的眼睛状态跟踪信息、眼睛充血的状态等中的至少一些(例如，状态信息)以及与电子装置100的使用状态相关联的跟踪信息(例如，情境信息)来确定用户眼睛的疲劳率。
参照图12，图12示出电子装置100执行与用户输入相应的操作(功能)并显示相关屏幕的示例。电子装置100可响应于用户输入(例如，操作事件)发起测量用户的状态(例如，眼睛1210的状态)的状态跟踪。例如，如图12中所示，当用户的视线观看当前显示在电子装置100中的屏幕，并且电子装置100基于眼睛跟踪技术通过相机模块170(例如，前置相机)拍摄用户的眼睛1210时，电子装置100基于拍摄的用户眼睛图像(例如，虹膜图像)和预定参考数据来获取状态信息，并可基于情境识别技术，获取与电子装置100的使用时间、操作状态、周边环境等相应的情境信息。
电子装置100可基于状态信息和情境信息来获取(计算)调整信息，并可通过基于获取的调整信息实时改变屏幕选项的设置来显示屏幕。图12示出电子装置100发起操作并且所跟踪的用户状态良好(例如，无疲劳率)时的时间点(例如，当用户开始使用电子装置100时的时间点)。根据本公开的实施例，当如图12中所示确定不存在用户的疲劳率时，可基于电子装置100中先前(或当前)设置的屏幕选项来对显示屏幕的操作进行处理。例如，当电子装置100开始操作时显示的屏幕可被维持并被提供。可选择地，可通过将屏幕选项实时改变为与所跟踪的用户状态相应来显示屏幕。
参照图13，图13示出在图12的状态下用户使用电子装置100超过一段预定时间并且检测到设置的操作事件的情况的示例。电子装置100可响应于操作事件发起针对用户的状态跟踪(例如，眼睛1310的状态)以及跟踪电子装置100的情境的状态跟踪。例如，如图13中所示，当用户的视线连续观看当前显示在电子装置100中的屏幕时，电子装置100通过相机模块170(例如，前置相机)跟踪用户眼睛1310并获取状态信息。此外，电子装置100可通过跟踪与电子装置100相关联的使用时间、操作状态、周边环境等来获取情境信息。
电子装置100可基于状态信息和情境信息获取调整信息，并可通过基于获取的调整信息实时改变屏幕选项的设置来显示如示图1330中所示的屏幕。例如，图13示出当电子装置100被使用超过一段预定时间(例如，N(其中，N是小时、分钟和秒单位))(例如，10分钟、30分钟、1小时等)时用户的眼睛充血的状态的示例。因此，电子装置100可通过将屏幕选项实时改变为与调整信息相应来显示屏幕。根据本公开的实施例，如图13中所示，可响应于用户的疲劳率，通过调整电子装置100的屏幕选项中的至少一些(例如，设置亮度、屏幕模式、分辨率和蓝光中的至少一些)来显示屏幕。电子装置100将蓝光设置为低，并将颜色设置为降低“亮度”中的预定比例，并且基于上述(例如，示图1330的状态)显示屏幕改变。
参照图14，图14示出在与图13相同的状态下用户使用电子装置100超过图13的所述一段预定时间段并且检测到设置的操作事件的情况的示例。电子装置100可响应于操作事件来发起针对用户的状态跟踪(例如，眼睛1410的状态)以及跟踪电子装置100的情境的状态跟踪。例如，如图14中所示，当用户的视线连续查看当前显示在电子装置100中的屏幕时，电子装置100通过相机模块170(例如，前置相机)跟踪用户眼睛1410并获取状态信息。此外，电子装置100可通过跟踪使用时间、操作状态、周边环境等来获取情境信息。
电子装置100可基于状态信息和情境信息来获取调整信息，并可通过基于获取的调整信息实时改变屏幕选项的设置来显示示图1430中所示的屏幕。例如，图14示出当电子装置100被使用超过一段预定时间(例如，M(其中，M是小时、分钟和秒单位))(例如，1小时20分钟、2小时等)时用户的眼睛充血的状态的示例。这里，图14的预定时间M大于图13的预定时间N(例如，M＞N)，并且图14中的用户的眼睛充血的状态可高于图13的用户的眼睛充血的状态。因此，电子装置100可通过将屏幕选项实时改变为与调整信息相应来显示屏幕。根据本公开的实施例，如图14中所示，可响应于用户的疲劳率，通过调整电子装置100的屏幕选项中的至少一些选项(例如，亮度、屏幕模式、分辨率和蓝光中的至少一些选项)来显示屏幕(例如，选项被调整的次数或选项中做出的改变量可大于图13)。根据本公开的实施例，电子装置100可设置与蓝光相关联的“中断”，将“颜色”和“色度”设置为降低“亮度”中的预定比例，并将“分辨率”设置为更低，并且可基于上述(例如，示图1430的状态)显示屏幕改变。根据本公开的实施例，如图14中所示，电子装置100可显示在与图13的情况相比时对用户的疲劳率反应更加灵敏的屏幕(比图13的屏幕更暗的屏幕)。
根据本公开的实施例，可基于状态信息和情境信息来调整用于设置屏幕的调整信息。例如，可基于状态信息和情境信息中的多重因素来计算用于设置各种选项(诸如屏幕的HSV或HSB、蓝光、分辨率、屏幕模式等)中的至少一些选项的调整信息(例如，针对用于设置屏幕的每个选项的变量)。
根据本公开的实施例，如图12、图13和图14中所示，可将基于调整信息改变的屏幕选项应用于整个屏幕。根据本公开的实施例，可通过辨别内容、区域或对象中的至少一些来不同地应用基于调整信息而被改变的选项。图15是针对每个内容(或辨别出的区域)应用选项设置的情况的示例。
如图15中所示，可显示具有不同属性(例如，视频、文本、图像等)的内容1510、1520和1530，并且电子装置100可基于内容1510、1520和1530的属性在调整信息中选择性地改变和应用至少一些选项。如图15中所示，可通过基于调整信息改变至少一些选项(第一选项)的设置，如示图1515中所示显示第一内容1510(例如，视频)。可通过基于调整信息改变至少一些选项(第二选项)的设置，如示图1525中所示显示第二内容1520(例如，文本)。可通过基于调整信息改变至少一些选项(第三选项)的设置，如示图1535中所示显示第三内容1530(例如，图像)。
根据本公开的实施例，可通过选择调整信息中的一些调整信息或全部调整信息来设置第一选项、第二选项和第三选项，其中，第一选项、第二选项和第三选项可被设置为彼此相同，或者第一选项、第二选项和第三选项中的至少一部分可不同，第一选项、第二选项和第三选项被设置为与内容1510、1520和1530相应。视频内容可能比文本内容对用户的疲劳率产生更加负面的影响，因此，作为改变目标的所有选项设置可基于调整信息被应用于视频内容，并且作为改变目标的选项设置中的一些选项设置可基于调整信息被应用于文本内容。
根据本公开的实施例，除了根据图15的示例的基于内容的选项设置或替代根据图15的示例的基于内容的选项设置，可针对每个对象改变选项设置。对象可包括背景屏幕、图标、指示符、指示物、图像、文本以及显示在背景屏幕中的类似物，并且每个对象的颜色、亮度、可视度和透明度中的至少一个可被改变。
根据本公开的实施例，基于调整信息应用选项设置改变可被实现为可保护用户眼睛的至少一个保护滤层。例如，如图13中所示，基于用户眼睛1310的疲劳率，具有亮色和高透明度的保护滤层(例如，示图1330的形式的滤层)可通过被叠加在屏幕上而被显示。随后，如图14中所示，基于用户眼睛1410的疲劳率，具有暗色和低透明度的保护滤层(例如，示图1430的形式的滤层)可通过被叠加在屏幕上而被显示。从示图1330的形式的滤层(第一滤层)到示图1430的形式的滤层(第二滤层)的切换可以以通过基于改变后的疲劳率另外地调整第一滤层1330来产生第二滤层1430的方式被执行。可选择地，从第一滤层1330到第二滤层1430的切换可以以去除第一滤层1330并替换为第二滤层1430的方式被执行。
根据本公开的实施例，基于调整信息应用选项设置改变可被实现为可保护用户眼睛的多个保护滤层。例如，如图15中所示，基于用户眼睛的疲劳率，不同属性(例如，应用了不同颜色和不同级别的暗度)的保护滤层(例如，示图1515、1525和1535的形式的不同滤层)可通过被叠加在内容1510、1520和1530中的每一个上而被显示。在图15的示例中，保护滤层1515、1525和1535可通过被叠加在与屏幕中内容1510、1520和1530所在的区域相应的区域上而以相应的尺寸被显示。
根据本公开的实施例，可通过基于电子装置100的控制器180的控制改变亮度、屏幕模式、分辨率、蓝光、可见度和透明度中的至少一个来显示保护滤层，从而保护滤层被不同地实现。保护滤层可以是在显示单元131的屏幕上以软件方式产生和改变的、与硬件方式的组成元件相对的组成元件。
如上所述，根据本公开的实施例，基于跟踪的各种状态(例如，用户的状态和电子装置的状态)自动调整屏幕或滤层的各种选项(例如，强度、亮度、蓝光等)。当用户在夜晚使用电子装置100时，用户可将屏幕的亮度设置为比现有的自然设置的最低亮度更低，从而有效防止刺眼。在使用户眼睛以相对近的距离观看屏幕的电子装置(例如，HMD)的情况下，可防止用户眼睛受从屏幕产生的光的不良影响。
根据本公开的实施例，本公开不仅基于预定条件(诸如时间等)调整预定选项(例如，亮度或蓝光)，还基于使用电子装置100的用户的状态、应用(例如，视频(电影)、互联网、信使、游戏等)的情境、使用应用或电子装置100时的使用时间、使用电子装置100的周边环境等来自动调整一个或更多个选项，从而向用户提供最佳屏幕。电子装置100在用户使用电子装置100的同时自动向用户通知眼睛充血状态(例如，疲劳率或警告消息)，相应地自动调整屏幕选项，并向用户通知用户眼睛的状态，因此电子装置100可对用户的健康具有积极影响。
图16是示出根据本公开的实施例的在电子装置中改变屏幕的设置的过程的流程图。
参照图16，在步骤1601，控制器180响应于上述操作事件来跟踪用户的状态，并相应地获取状态信息。
在步骤1603，控制器180跟踪电子装置100的状态。例如，控制器180与获取状态信息的操作顺序或并行地执行针对与电子装置100相关联的使用时间、操作状态、周边环境等的情境识别。
在步骤1605，控制器180响应于针对电子装置100的状态跟踪，确定是否存在针对调整信息将被考虑的目标。例如，控制器180可在状态跟踪被发起的时间点，执行针对各种元素(诸如与电子装置100相关联的使用历史、使用时间、当前执行的应用、周边环境)的情境识别。控制器180可响应于情境识别来确定是否存在针对调整信息将被考虑的目标。根据本公开的实施例，当电子装置100刚刚开始进行操作时，或者当用户开始使用电子装置100并且周边环境是阳光灿烂的白天下午的室内空间时，确定不存在将被考虑的目标。相反，当电子装置100被连续使用时，控制器180可确定存在将被考虑的目标。
在步骤1605，当控制器180确定不存在考虑的目标时(步骤1605中的“否”)，在步骤1607，控制器180基于状态信息来确定用户的疲劳率。例如，控制器180可基于使用从跟踪操作获取的虹膜图像以及参考数据而获取的状态信息，确定用户的疲劳率是否良好(例如，低于或等于设置的疲劳率)
在步骤1607，当控制器180基于状态信息确定用户的疲劳率良好(步骤1607中的“是”)时，在步骤1609，控制器180可保持电子装置100的当前设置。可选择地，控制器180可根据电子装置100的设置，改变至少一些选项设置，以便使得当前设置与状态信息相应。
在步骤1607，当控制器180基于状态信息确定用户的疲劳率不是良好(步骤1607中的“否”)时，在步骤1611，控制器180可基于状态信息来计算调整信息。随后，控制器180可进行步骤1621以便对以下操作进行处理。
在步骤1605，当控制器180确定存在考虑的目标时(步骤1605中的“是”)，在步骤1613，控制器180获取与考虑的目标相应的至少一个情境信息。控制器180可从每条信息计算情境信息，其中，所述每条信息是通过针对与电子装置100相关联的使用时间、操作状态、周边环境等的情境识别而获取的。
在步骤1615，控制器180基于状态信息和情境信息计算调整信息。
在步骤1617，控制器180确定基于状态信息和情境信息的用户的疲劳率是否良好(低于或等于设置的疲劳率)。
在步骤1617，当控制器180确定基于状态信息和情境信息的用户的疲劳率良好时(步骤1617中的“是”)，在步骤1619，控制器180保持电子装置100的当前设置。可选择地，控制器180可根据电子装置100的设置，改变至少一些选项设置以便使得当前设置与状态信息和情境信息相应。
在步骤1617，当控制器180确定基于状态信息和情境信息的用户疲劳率不是良好时(步骤1617中的“否”)，在步骤1621，控制器180基于调整信息来改变至少一个选项设置。
在步骤1623，控制器180可输出改变后的结果。例如，控制器180可改变至少一个选项设置，并可控制输出与改变后的选项设置相应的屏幕。此外，控制器180可与输出与选项设置相应的屏幕的操作顺序或并行地通过设置的方案(例如，弹出输出方案、状态栏输出方案或批量输出方案)提供与用户状态相关联的输出信息(例如，疲劳率信息)，其中，用户状态是基于状态信息和情境信息中的至少一些而确定的。
图17、图18和图19是示出根据本公开的实施例的在电子装置中通过考虑各种信息来改变屏幕的设置的操作的示例的示图。
如图17、图18和图19中所示，图17示出根据本公开的实施例的通过考虑状态信息和情境信息的环境信息(例如，白天和夜晚)来改变屏幕选项的示例。图18示出根据本公开的实施例的通过考虑状态信息和情境信息的环境信息(例如，照度)来改变屏幕选项的示例。图19示出根据本公开的实施例的通过考虑状态信息和情境信息的环境信息(例如，应用的属性)来改变屏幕选项的示例。
参照图17，控制器180基于通过跟踪用户眼睛的状态而获取的状态信息(例如，眼睛的状态)1710以及环境信息1720(例如，白天1721和夜晚1723)，将用户眼睛的疲劳率确定为不同。
例如，在相同的用户眼睛的疲劳率(例如，相同的状态信息)的条件下，在当前时间与白天1721相应时，如示图1730中所示，控制器180可通过使用亮色并增加透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。在相同的用户眼睛的疲劳率(例如，相同的状态信息)的条件下，在当前时间与夜晚1723对应时，如示图1740中所示，控制器180可通过使用暗色并降低透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。
参照图18，控制器180基于通过跟踪用户眼睛的状态而获取的状态信息(例如，眼睛状态)1810以及环境信息1820(例如，照度1(例如，低勒克斯)1821和照度2(例如，高勒克斯)1823)将用户眼睛的疲劳率确定为不同。
例如，在相同的用户眼睛的疲劳率(例如，相同的状态信息)的条件下，在当前周边照度与照度1(例如，低勒克斯)相应时，如示图1830中所示，控制器180可通过使用亮色并增加透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。在相同的用户眼睛的疲劳率(例如，相同的状态信息)的条件下，在当前周边照度与照度2(例如，高勒克斯)对应时，如示图1840中所示，控制器180可通过使用暗色并降低透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。
参照图19，控制器180基于通过跟踪用户眼睛的状态而获取的状态信息(例如，眼睛的状态)1910、操作信息(例如，应用的属性)1920、使用信息1930(例如，使用时间11931(例如，30分钟)、使用时间21933(例如，一小时)和使用时间31935(例如，两小时))，将用户眼睛的疲劳率确定为不同。
例如，在相同的用户眼睛的疲劳率(例如，相同的状态信息和相同的应用属性)的条件下，在应用的使用时间与使用时间11931(例如，30分钟)相应时，如示图1940中所示，控制器180可通过使用亮色并增加透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。在相同的用户眼睛的疲劳率(例如，相同的状态信息和相同的应用属性)的条件下，在应用的使用时间与使用时间21933(例如，一小时)相应时，如示图1950中所示，控制器180可通过使用中等亮色并将透明度降低预定级别来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。在相同的用户眼睛的疲劳率(例如，相同的状态信息和相同的应用属性)的条件下，在应用的使用时间与使用时间31935(例如，两小时)相应时，如示图1960中所示，控制器180可通过使用暗色并显著降低透明度来调整屏幕选项并显示屏幕，或者控制器180可控制相关滤层的显示。
根据本公开的实施例，在相同的用户眼睛的疲劳率(例如，相同的状态信息)的条件下，在使用的应用的属性不同时，可自适应地改变和显示屏幕选项。根据本公开的实施例，可通过考虑图17、图18和图19的示例中所考虑的状态信息、环境信息、操作信息、使用信息等来自适应地改变和显示屏幕选项。
在此公开并且在附图中被示出的本公开的实施例仅仅是为了容易描述本公开的技术细节并帮助理解本公开而呈现的特定示例，并不意图限制本公开的范围。因此，应该理解，除了在此描述的实施例以外，从本公开的技术构思得到的所有修改、改变或经过修改和改变的形式落入权利要求及其等同物限定的本公开的范围内。

Claims (11)

1.一种电子装置，包括：
显示器；
存储单元，被配置为存储指令；
控制器，当执行所述指令时，被配置为：
检测用于激活显示器的事件，
响应于检测到所述事件，基于用于防止用户的疲劳的显示设置来识别当前时间是包括在第一时间区还是第二时间区中，
响应于识别出当前时间包括在第一时间区中，基于通过显示器发出具有第一强度的蓝光的配置来显示屏幕，和
响应于识别出当前时间包括在第二时间区中，基于通过显示器发出具有小于第一强度的第二强度的蓝光的配置来显示屏幕。
2.如权利要求1所述的电子装置，其中，第一时间区对应于从太阳落下时间至太阳升起时间的时间段，
其中，第二时间区对应于从太阳升起时间至太阳落下时间的时间段。
3.如权利要求2所述的电子装置，还包括：
至少一个传感器，被配置为检测电子装置的位置，
其中，基于电子装置的位置确定第一时间区和第二时间区中的每个时间区。
4.如权利要求3所述的电子装置，其中，当执行所述指令时，所述控制器还被配置为：
基于用户输入，显示包括用于确定第二强度的至少一个对象的显示设置菜单(840)，
其中，当执行所述指令时，所述控制器被配置为：响应于识别出当前时间包括在第二时间区中，基于发出具有基于在所述至少一个对象上的用户输入所确定的第二强度的蓝光的配置来显示屏幕。
5.如权利要求4所述的电子装置，其中，所述显示设置菜单还包括用于确定是否激活显示设置的对象。
6.一种操作电子装置的方法，所述方法包括：
检测用于激活显示器的事件，
响应于检测到所述事件，基于用于防止用户的疲劳的显示设置来识别当前时间是包括在第一时间区还是第二时间区中，
响应于识别出当前时间包括在第一时间区中，基于通过显示器发出具有第一强度的蓝光的配置来显示屏幕，和
响应于识别出当前时间包括在第二时间区中，基于通过显示器发出具有小于第一强度的第二强度的蓝光的配置来显示屏幕。
7.如权利要求6所述的方法，其中，第一时间区对应于从太阳落下时间至太阳升起时间的时间段，
其中，第二时间区对应于从太阳升起时间至太阳落下时间的时间段。
8.如权利要求7所述的方法，其中，基于由电子装置的至少一个传感器检测的电子装置的位置来确定第一时间区和第二时间区中的每个时间区。
9.如权利要求8所述的方法，还包括：
基于用户输入，显示包括用于确定第二强度的至少一个对象的显示设置菜单(840)，
其中，基于发出具有第二强度的蓝光的配置来显示屏幕的步骤包括：响应于识别出当前时间包括在第二时间区中，基于发出具有基于在所述至少一个对象上的用户输入所确定的第二强度的蓝光的配置来显示屏幕。
10.如权利要求9所述的方法，其中，所述显示设置菜单还包括用于确定是否激活显示设置的对象。
11.一种记录用于执行操作的程序的计算机可读记录介质，所述操作包括：
检测用于激活显示器的事件，
响应于检测到所述事件，基于用于防止用户的疲劳的显示设置来识别当前时间是包括在第一时间区还是第二时间区中，
响应于识别出当前时间包括在第一时间区中，基于通过显示器发出具有第一强度的蓝光的配置来显示屏幕，和
响应于识别出当前时间包括在第二时间区中，基于通过显示器发出具有小于第一强度的第二强度的蓝光的配置来显示屏幕。
CN201510958852.6A 2014-12-18 2015-12-18 用于控制电子装置的方法和设备 Active CN105718043B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910033386.9A CN109782915B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201910032787.2A CN109753159B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0183289 2014-12-18
KR20140183289 2014-12-18
KR1020150156883A KR102362042B1 (ko) 2014-12-18 2015-11-09 전자 장치의 제어 방법 및 장치
KR10-2015-0156883 2015-11-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910032787.2A Division CN109753159B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201910033386.9A Division CN109782915B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备

Publications (2)

Publication Number Publication Date
CN105718043A CN105718043A (zh) 2016-06-29
CN105718043B true CN105718043B (zh) 2019-02-12

Family

ID=54979444

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910033386.9A Active CN109782915B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201910032787.2A Active CN109753159B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201510958852.6A Active CN105718043B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910033386.9A Active CN109782915B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201910032787.2A Active CN109753159B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备

Country Status (3)

Country Link
US (2) US20160180801A1 (zh)
EP (1) EP3035656B1 (zh)
CN (3) CN109782915B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD618248S1 (en) 2008-09-23 2010-06-22 Apple Inc. Graphical user interface for a display screen or portion thereof
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
USD741874S1 (en) 2013-06-09 2015-10-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD753711S1 (en) 2014-09-01 2016-04-12 Apple Inc. Display screen or portion thereof with graphical user interface
CN104869242B (zh) * 2015-05-05 2018-10-26 惠州Tcl移动通信有限公司 调整屏幕亮度的方法及系统
US20160334868A1 (en) * 2015-05-15 2016-11-17 Dell Products L.P. Method and system for adapting a display based on input from an iris camera
US10652480B2 (en) * 2016-02-23 2020-05-12 Essilor International Display exposure monitoring module
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
USD818037S1 (en) 2017-01-11 2018-05-15 Apple Inc. Type font
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
US10264231B2 (en) * 2017-03-31 2019-04-16 The Directv Group, Inc. Dynamically scaling the color temperature and luminance of a display output
CN107122150A (zh) * 2017-04-19 2017-09-01 北京小米移动软件有限公司 显示控制方法和装置、电子设备、计算机可读存储介质
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107291416B (zh) * 2017-06-20 2021-02-12 广东小天才科技有限公司 一种音频播放方法、系统及终端设备
KR101889463B1 (ko) * 2017-08-03 2018-08-17 연세대학교 산학협력단 사용자 단말의 화면 표시 제어 방법 및 이를 이용한 사용자 단말
US10878778B2 (en) * 2017-11-08 2020-12-29 Paypal, Inc. Reactive interface based on eyestrain
CN108536284A (zh) * 2018-03-14 2018-09-14 广东欧珀移动通信有限公司 图片显示方法及相关设备
CN108459806A (zh) * 2018-03-30 2018-08-28 努比亚技术有限公司 终端控制方法、终端及计算机可读存储介质
CN109101207A (zh) * 2018-07-20 2018-12-28 重庆宝力优特科技有限公司 一种显示方法、终端及计算机可读存储介质
USD898755S1 (en) 2018-09-11 2020-10-13 Apple Inc. Electronic device with graphical user interface
CN111381748A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种图像显示方法、装置、设备和存储介质
CN109889630B (zh) * 2019-01-11 2022-03-08 华为技术有限公司 显示方法及相关装置
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900925S1 (en) 2019-02-01 2020-11-03 Apple Inc. Type font and electronic device with graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
CN109995942B (zh) * 2019-03-28 2021-03-30 中国医学科学院生物医学工程研究所 一种智能终端的护眼方法及系统
CN110211549B (zh) * 2019-04-25 2023-06-09 深圳市泰衡诺科技有限公司 一种屏幕亮度调整方法、装置、终端及存储介质
WO2021006366A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
CN110381202B (zh) * 2019-07-11 2021-11-16 努比亚技术有限公司 显示调节方法、移动终端及计算机可读存储介质
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
EP3798798A1 (en) 2019-09-26 2021-03-31 Aptiv Technologies Limited Methods and systems for energy and/or resource management of a human-machine interface
CN110867172B (zh) 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN112860046B (zh) * 2019-11-27 2023-05-12 宇龙计算机通信科技(深圳)有限公司 选择运行模式的方法、装置、电子设备及介质
WO2022123746A1 (ja) * 2020-12-10 2022-06-16 日本電信電話株式会社 情報処理方法、情報処理装置、及びプログラム
EP4262200A1 (en) * 2021-01-05 2023-10-18 Samsung Electronics Co., Ltd. Electronic device for displaying contents and operation method therefor
CN112612153B (zh) * 2021-02-23 2021-07-23 宁波圻亿科技有限公司 一种光学显像模组及穿戴装置
CN113009963A (zh) * 2021-04-13 2021-06-22 海信电子科技（深圳）有限公司 一种浏览器语音提醒方法及显示设备
CN113835807A (zh) * 2021-09-23 2021-12-24 维沃移动通信有限公司 一种提醒方法、装置及电子设备
JP7416033B2 (ja) * 2021-10-15 2024-01-17 セイコーエプソン株式会社 表示方法、表示システムおよび表示プログラム
WO2023224803A1 (en) * 2022-05-18 2023-11-23 Apple Inc. Eye characteristic determination

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382822A (zh) * 2008-10-31 2009-03-11 华硕电脑股份有限公司 折叠式移动运算装置与应用于其上的操作方法
CN101859223A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、通知方法和程序

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970039546A (ko) 1995-12-30 1997-07-24 한승준 이산화탄소 센서부착으로 질식사 방지법
TW455769B (en) * 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP3924583B2 (ja) 2004-02-03 2007-06-06 松下電器産業株式会社 ユーザ適応型装置およびその制御方法
JP4896002B2 (ja) * 2005-03-01 2012-03-14 パナソニック株式会社 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
KR100637220B1 (ko) * 2005-03-18 2006-10-20 삼성에스디아이 주식회사 주변에 간접 조명을 비추는 디스플레이 장치
KR100727164B1 (ko) 2005-08-18 2007-06-13 엘지전자 주식회사 영상표시기기의 최적 영상 구현장치 및 방법
US7831264B2 (en) 2006-10-23 2010-11-09 Sony Ericsson Mobile Communications Ab Tracking a group of mobile terminals
JP4692528B2 (ja) * 2007-08-03 2011-06-01 ソニー株式会社 画像表示装置
US20090055739A1 (en) * 2007-08-23 2009-02-26 Microsoft Corporation Context-aware adaptive user interface
CN101493532A (zh) * 2008-01-24 2009-07-29 Tcl集团股份有限公司 一种显示装置
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
CN102014560B (zh) * 2010-11-24 2012-11-28 四川省桑瑞光辉标识系统股份有限公司 一种自适应led照明装置及其控制方法
TW201223294A (en) * 2010-11-30 2012-06-01 Inventec Corp Electronic device with color temperature automatically adjusting mechanism and method for automatically adjusting color temperature
CN102281680A (zh) * 2011-06-29 2011-12-14 福州大学 基于人眼视觉感受的色温自动调节照明系统
KR101818573B1 (ko) 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
US8483772B2 (en) * 2011-07-07 2013-07-09 Microsoft Corporation Inconspicuous mode for mobile devices
EP2557557A1 (en) * 2011-08-12 2013-02-13 Sony Ericsson Mobile Communications AB Method for operating a color display of a mobile device
TWI530788B (zh) * 2011-12-30 2016-04-21 富智康（香港）有限公司 使用電子裝置時緩解視覺疲勞的系統及方法
CN103390390B (zh) * 2012-05-10 2016-05-11 刘鸿达 用于显示器的显示控制方法
CN102682738B (zh) * 2012-05-11 2015-08-26 Tcl集团股份有限公司 一种显示装置色温调整方法及系统
KR101952177B1 (ko) 2012-07-30 2019-02-26 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9875724B2 (en) * 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
KR101978743B1 (ko) 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US20140111558A1 (en) * 2012-10-23 2014-04-24 Semiconductor Energy Laboratory Co., Ltd. Display device and program
US10009644B2 (en) * 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
CN104077991B (zh) * 2013-03-25 2018-03-20 刘鸿达 显示装置及其色温调整方法
TWI498858B (zh) * 2013-03-29 2015-09-01 Wistron Corp 自動偵測疲勞的電腦系統及方法
US9406277B1 (en) * 2013-05-29 2016-08-02 Amazon Technologies, Inc. Control of spectral range intensity in media devices
CN203784730U (zh) * 2014-01-23 2014-08-20 广东夏野日用电器有限公司 一种智能模拟动态自然光的视力保健灯
CN104053053A (zh) * 2014-06-13 2014-09-17 乐视致新电子科技（天津）有限公司 基于智能电视的护眼方法及装置
CN104052878B (zh) * 2014-06-19 2016-01-06 广东欧珀移动通信有限公司 一种通过控制移动终端屏幕亮度的智能护眼方法及装置
US9530362B2 (en) * 2014-12-23 2016-12-27 Apple Inc. Ambient light adaptive displays with paper-like appearance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382822A (zh) * 2008-10-31 2009-03-11 华硕电脑股份有限公司 折叠式移动运算装置与应用于其上的操作方法
CN101859223A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、通知方法和程序

Also Published As

Publication number Publication date
EP3035656B1 (en) 2021-08-04
US20200051522A1 (en) 2020-02-13
CN105718043A (zh) 2016-06-29
US20160180801A1 (en) 2016-06-23
EP3035656A1 (en) 2016-06-22
US11257459B2 (en) 2022-02-22
CN109753159B (zh) 2023-05-02
CN109782915A (zh) 2019-05-21
CN109782915B (zh) 2022-12-20
CN109753159A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN105718043B (zh) 用于控制电子装置的方法和设备
US11054973B1 (en) User interfaces for managing media
US11212449B1 (en) User interfaces for media capture and management
KR102362042B1 (ko) 전자 장치의 제어 방법 및 장치
KR102627244B1 (ko) 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
KR102265086B1 (ko) 정보를 공유하기 위한 가상 환경
US20200026920A1 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
CN106462325B (zh) 控制显示器的方法和提供该方法的电子设备
KR102360067B1 (ko) 전자 장치 및 전자 장치의 정보 공유 방법
US20220382440A1 (en) User interfaces for managing media styles
KR102360453B1 (ko) 카메라 설정 방법 및 장치
EP3411780B1 (en) Intelligent electronic device and method of operating the same
KR102576654B1 (ko) 전자 장치 및 그의 제어 방법
CN105574484A (zh) 电子装置及用于在电子装置中分析脸部信息的方法
EP3964937A1 (en) Method for generating user profile photo, and electronic device
KR20160092256A (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102371683B1 (ko) 컨텐츠 공유 방법 및 이를 지원하는 전자 장치
US11711414B2 (en) Triggering changes to real-time special effects included in a live streaming video
JP2015090569A (ja) 情報処理装置及び情報処理方法
KR102319286B1 (ko) 드래그 앤 드롭 처리 방법 및 장치
CN108646958A (zh) 一种应用程序启动方法及终端
CN109791475A (zh) 具有双面显示器的电子设备和用于控制应用的方法
WO2020103091A1 (zh) 锁定触控操作的方法及电子设备
CN108765324A (zh) 一种基于红外的图像处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant