CN111867447A - 用于监测用户眼部健康的电子设备及其操作方法 - Google Patents

用于监测用户眼部健康的电子设备及其操作方法 Download PDF

Info

Publication number
CN111867447A
CN111867447A CN201980019345.2A CN201980019345A CN111867447A CN 111867447 A CN111867447 A CN 111867447A CN 201980019345 A CN201980019345 A CN 201980019345A CN 111867447 A CN111867447 A CN 111867447A
Authority
CN
China
Prior art keywords
user
electronic device
eye health
content
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980019345.2A
Other languages
English (en)
Other versions
CN111867447B (zh
Inventor
克里希纳·基索·加
艾希什·库玛·辛格
马哈玛德拉菲·雷曼萨布·马尼雅
维萨赫·蓬内卡图·奇拉伊尔苏希什巴布
拉吉卜·巴苏
古拉夫·古普塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111867447A publication Critical patent/CN111867447A/zh
Application granted granted Critical
Publication of CN111867447B publication Critical patent/CN111867447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

本文的实施方式公开了用于监测用户的眼部健康的方法和系统，该方法包括确定用户的电子设备周围的环境光。在确定出环境光低于预定阈值的情况下，该方法包括以连续方式和以预配置间隔中的至少一种方式确定显示的至少一个内容的流明输出。基于所确定的流明输出和至少一个用户简档，该方法包括估计用户的瞳孔大小的变化。此外，该方法包括基于所估计的用户瞳孔大小的变化为用户生成眼部健康指数。此外，该方法包括基于用于查看至少一个内容的眼部健康指数将至少一个内容标记为安全的。

Description

用于监测用户眼部健康的电子设备及其操作方法
技术领域
本公开涉及眼部健康监测，并且更具体地涉及基于背景显示辐射暴露来监测用户的眼部健康。
背景技术
在传统方法中，电子设备的显示设置(亮度级)可能仅基于环境光来(自动地或手动地)控制，以减少用户眼部疲劳。
发明内容
技术问题
当前，随着电子显示设备(例如移动电话、智能电话、平板电脑、计算机、膝上型电脑、物联网(IoT)设备、可穿戴计算设备等)的激增，用户查看内容花费的时间显著增加。这可能导致视疲劳，也称为眼疲劳、眼睛乏力或计算机视觉并发症状。这可能由各种原因引起，例如电子设备的延长使用、由于在弱光环境中查看而引起的疲劳、暴露于亮光/眩光、需要聚焦和集中的长时间活动、黑暗环境中连续凝视显示器等。症状可能是干眼症、聚焦困难、刺激性眼痛、头痛、聚焦缓慢、眼泪过多、光敏感性增加等。
技术方案
本文的实施方式的主要目的是公开用于基于从电子设备发射的总光和用户的瞳孔大小的变化为用户生成眼部健康指数的方法和系统，其中眼部健康指数指示用户眼部的健康状态。
本文的实施方式的另一目的是公开用于使用流明模型来确定由电子设备的显示器(显示辐射)发射的总光的方法。
本文的实施方式的另一目的是公开用于基于显示辐射和用户简档来估计用户的瞳孔大小变化的方法。
本文的实施方式的另一目的是公开基于用于显示内容的眼部健康指数来控制显示器的配置/设置的方法。
本文的实施方式的另一目的是公开基于眼部健康指数将内容标记为安全以用于查看内容的方法。
本文的实施方式的另一目的是公开基于眼部健康指数向用户提供推荐的方法。
有益效果
相应地，本文的实施方式提供了用于监视用户眼部健康的方法和系统。本文的方法包括确定用户正使用的电子设备周围的环境光。当所确定的环境光低于预定阈值时，该方法包括确定由电子设备以连续方式和预先配置的间隔中的至少一种而显示的至少一个内容的流明输出。此外，该方法包括基于流明输出和至少一个用户简档来估计用户的瞳孔大小的变化。基于所估计的用户的瞳孔大小的变化，该方法包括为用户生成眼部健康指数。
相应地，本文的实施方式提供了用于监测用户眼部健康的电子设备。该电子设备包括存储器、显示模块和眼部健康监测引擎。眼部健康监测引擎配置为确定用户正使用的电子设备周围的环境光。当所确定的环境光低于预定阈值时，眼部健康监测引擎配置为确定将由电子设备以连续方式和以预定间隔中的至少一种方式显示的至少一个内容的流明输出。眼部健康监测引擎还配置为基于流明输出和至少一个用户简档来估计用户的瞳孔大小的变化。基于所估计的用户瞳孔大小的变化，眼部健康监测引擎为用户生成眼部健康指数。
当结合以下描述和附图考虑时，将更好地理解本文中的示例性实施方式的这些和其它方面。然而，应该理解，以下描述虽然指示示例性实施方式及其许多具体细节，但是以下描述是通过说明而非限制的方式提供的。在不脱离本申请精神的情况下，可以在本文的示例性实施方式的范围内进行许多改变和修改，并且本文的示例性实施方式包括所有这些修改。
附图说明
附图中示出了本文的实施方式，在所有附图中，相同的附图标记表示各个附图中的相应部分。通过以下参考附图的描述，将更好地理解本文中的实施方式，在附图中：
图1是示出根据本文所公开的实施方式用于监视用户眼部的健康的电子设备的各种模块的框图；
图2是示出根据本文所公开的实施方式的用于生成眼部健康指数的眼部健康监测引擎的各种单元的框图；
图3是示出根据本文所公开的实施方式的用于监视用户眼部的健康的方法的流程图；
图4A和图4B是示出根据本文所公开的实施方式为用户生成眼部健康指数的示例图；
图5是示出根据本文所公开的实施方式的显示基于眼部健康指数的内容的示例图；
图6是示出根据本文所公开的实施方式的基于眼部健康指数的内容的标记的示例图；
图7是示出根据本文所公开的实施方式的基于眼部健康指数向用户提供推荐的示例图；
图8A和图8B是示出根据本文所公开的实施方式的对用户眼部的健康进行监视的示例图；
图9A、图9B、图9C和图9D是示出根据本文所公开的实施方式的用户用于监视用户眼部的健康的活动的记录的示例图；
图10示出根据本文所公开的实施方式的示例性用例，其中在驻留在电子设备上的应用程序上显示眼部健康状态、建议和推荐；
图11示出根据本文所公开的实施方式的用于提供视力保护模式的示例性用例；
图12示出根据本文所公开的实施方式的用于基于眼部健康指数来启用舒缓用户界面(UI)的示例用例；
图13示出根据本文所公开的实施方式的用于提供与虚拟现实(VR)设备的使用相关的警告以及在VR设备中限制亮度以及基于眼部健康指数来实现舒缓UI的示例用例；
图14A和图14B是示出根据本文所公开的实施方式的基于眼部健康指数来控制电子设备上的亮度设置的示例图；
图15A和图15B是示出根据本文所公开的实施方式的基于眼部健康指数来控制从电子设备发出的眩光的示例图；
图16是示出根据本文所公开的实施方式的基于眼部健康指数的儿童护理模式的示例性用例；
图17是示出根据本文所公开的实施方式的用于基于眼部健康指数来适配内容颜色的示例用例；
图18是示出根据本文所公开的实施方式的用于基于眼部健康指数向用户提供建议的示例用例；
图19是示出根据本文所公开的实施方式的基于眼部健康指数向用户提供推荐的示例图；以及
图20是示出根据本文所公开的实施方式的智能屏幕可读性的改进的示例用例。
具体实施方式
参考附图中所示和以下描述中所详述的非限制性实施方式更全面地解释本文中的示例性实施方式及其各种特征和有利细节。省略了对众所周知的部件和处理技术的描述，从而不会不必要地使本文的实施方式模糊。本文的描述仅旨在有助于理解本文可实现的示例性实施方式的方式，并进一步使本领域的技术人员能够实现本文的示例性实施方式。因此，本公开不应被解释为限制本文示例性实施方式的范围。
本文的实施方式公开了基于从电子设备的显示器发射的总光来监视用户的眼部的健康的方法和系统。现参考附图，更具体地参考图1至图20中示出的示例性实施方式，其中相同的附图标记始终表示相应的特征。
图1是示出根据本文所公开的实施方式的用于监视用户眼部的健康的电子设备100的各种模块的框图。本文的电子设备100是指包括至少一个用于显示内容的显示装置的数字设备。电子设备100的示例可以是，但不限于，移动电话、智能电话、平板电脑、平板手机、个人数字助理(PDA)、膝上型计算机、计算机、可穿戴设备、IoT(物联网)设备、可穿戴计算设备、车辆信息娱乐系统、医疗设备、相机、电视(TV)、虚拟现实(VR)设备、车辆显示器等。本文中的内容是指图像、视频、动画、文本、应用程序、图标等中的至少一个。
电子设备100包括眼部健康监测引擎102、至少一个显示模块104、存储器106、标记模块108以及推荐模块110。在实施方式中，眼部健康监测引擎102可以包括单个处理器、多个处理器、多同质核、多异质核、不同种类的多个中央处理单元(CPU)等中的至少一个。显示模块104包括显示处理器104a和显示面板/显示器104b。在实施方式中，显示器104b可以包括至少一个适于电子设备100并且能够向用户显示内容的显示装置/视觉接口。在实施方式中，显示器104b可以包括液晶显示器(LCD)、发光二极管(LED)、有机电致发光二极管(OLED)、阴极射线管(CRT)显示器等中的至少一个。在实施方式中，标记模块108可实现为单个处理器、多个处理器、多同质核、多异质核、不同种类的多个中央处理单元(CPU)等中的至少一个。在实施方式中，推荐模块110可实现为单个处理器、多个处理器、多同质核、多异质核、不同种类的多个中央处理单元(CPU)等中的至少一个。在实施方式中，眼部健康监测引擎102、标记模块108和推荐模块110可以使用单独的一个或多个硬件设备来实现，例如，单个处理器、多个处理器、多同质核、多异质核和多个CPU。可替换地，可使用单独的一个或多个硬件装置，例如，单个处理器、多个处理器、多同质核、多异质核和多个CPU来实现眼部健康监测引擎102、标记模块108和推荐模块110中的至少两者。
电子设备100还可以访问数据库(未示出)和存储器106中的至少一个，以获得待显示的内容。电子设备100还可以使用因特网、有线网络(局域网(LAN)、以太网等)、无线网络(Wi-Fi网络、蜂窝网络、Wi-Fi热点、蓝牙、Zigbee等)中的至少一个连接到服务器(未示出)，以用于访问待显示给用户的内容。电子设备100可以响应于用户与电子设备100的交互或者用户提供的命令、动作、手势等中的至少一个来监视用户的眼部的健康。在实施方式中，诸如服务器(未示出)的设备可实现为用于通过从电子设备100收集信息来监视用户眼部的健康。在另一实施方式中，服务器可以是远程服务器、云服务器等中的至少一个。
电子设备100还可以与诸如但不限于至少一个相机、虹膜扫描仪、睡眠跟踪设备等设备联接，以用于监视用户与电子设备100的交互、用户的活动/睡眠模式等。此外，所监视的用户与电子设备100的交互以及用户的活动可以被提供给眼部健康监测引擎102。
眼部健康监测引擎102可配置为在电子设备100周围的环境光低于预定阈值时生成眼部健康指数。为了生成眼部健康指数，眼部健康监测引擎102在包括昼间、夜间、低光、当日时间、用户年龄、用户健康等的不同环境中识别并解释在预定时间段(其可以是长时间段)内从电子设备100的显示器104b(显示辐射)发射的光。眼部健康监测引擎102使用流明模型来识别从电子设备100的显示器104b发射的总光。基于所识别的全部发射光和用户简档数据，眼部健康监测引擎102使用瞳孔大小估计模型来估计用户的瞳孔大小的变化(瞳孔扩张变化)。基于估计的用户的瞳孔大小的变化、用户简档和用户的活动，眼部健康监测引擎102使用眼疲劳模型为用户生成眼部健康指数。眼部健康指数指示用户眼部的健康状态。
在实施方式中，眼部健康监测引擎102可以估计由于先前显示的内容与待显示的新内容之间的差异而导致的预期眼疲劳(眼部健康指数)。
显示处理器104a可配置为基于眼部健康指数来控制显示器104b的配置/设置。在实施方式中，显示处理器104a可以增加/降低显示器104b的亮度级。在另一实施方式中，显示处理器104a可启用用于显示内容的舒缓用户界面(UI)/照明/色彩方案。因此，减少了用户眼部的紧张。显示器104b可配置为根据由显示处理器104a设置的配置在显示器104b上显示内容。
标记模块108可配置为针对用于查看的内容分配标签。标记模块108扫描内容(在一个或多个电子设备上可用/存储在电子设备100上)，并将该内容馈送到眼部健康监测引擎102，以使用流明模型、瞳孔大小估计模型和眼部疲劳模型来生成关于扫描内容的眼部健康指数。标记模块108分析针对每个扫描内容(待显示的内容)而生成的眼部健康指数，并为每个扫描内容分配标签以供查看。标签可以是，但不限于，安全标签、不安全标签、预定义的控制范围标签等。安全标签指示可在弱光下安全地查看内容。不安全标签指示在弱光中查看内容时增加眼疲劳的可能性。预定义的控制范围标签指示对显示器104b的配置的修改的要求，以使用户能够以无/最小眼疲劳的方式在弱光下查看内容。
推荐模块110可配置为基于用户的眼部健康指数向用户提供推荐。在实施方式中，推荐模块110基于用户的眼部健康指数来推荐这些，但不限于媒体、文本、应用、设置/配置改变、其它参数/内容等中的至少一个。在另一实施方式中，推荐模块110基于用户的眼部健康指数推荐这些，但不限于字体大小、颜色主题等中的至少一个。因此，基于眼部健康指数提供的建议可以减少用户眼部的紧张。在另一实施方式中，推荐模块110基于用户的眼部健康指数向用户建议基于设备/诊所的眼科检查/访问眼科医生。
存储器106可配置为存储内容、用户简档、关于从电子设备100发射的显示辐射的信息以及瞳孔大小变化、用户的眼部健康指数等。存储器106可以包括一个或多个计算机可读存储介质。存储器106可以包括非易失性存储元件。非易失性存储元件的示例可包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。此外，在一些示例中，存储器106可认为是非暂时性存储介质。术语“非暂时性”可指示存储介质没有以载波或传播信号体现。然而，术语“非暂时性”不应解释为意味着存储器106是不可移动的。在一些示例中，存储器106可配置为存储比内存更大量的信息。在某些示例中，非暂时性存储介质可存储可能随时间改变的数据(例如，在随机存取存储器(RAM)或缓存中)。
图1示出了电子设备100的示例性单元，但是应当理解，其它实施方式不限于此。在其它实施方式中，电子设备100可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明的目的，并不限制本文的实施方式的范围。一个或多个单元可以组合在一起以在电子设备100中执行相同或基本上类似的功能。
图2是示出根据本文所公开的实施方式的用于为用户生成眼部健康指数的眼部健康监测引擎102的各种单元的框图。眼部健康监测引擎102包括处理单元202、流明输出估计单元204、瞳孔大小估计单元206以及眼部健康测量单元208。
处理单元202可配置为确定环境光(环境勒克斯(亮度)水平/环境光水平)。环境光包括低/暗光、目光、夜光、环境光等中的至少一种。在实施方式中，处理单元202可以使用环境传感器来确定环境光。在确定出环境光低于预定阈值(低光条件)的情况下，处理单元202计算待显示的内容的直方图数据。在实施方式中，处理单元202执行内容的周期采样以计算该内容的直方图数据。处理单元202还识别内容的一个或多个显示特征(例如色温、位深度、像素颜色分布等)、显示器104b的背光以及显示面板配置文件(分辨率、面板类型等)。处理单元202向流明输出估计单元204提供直方图数据、内容的显示特征、背光和显示面板配置文件。
流明输出估计单元204可配置为计算从电子设备100的显示器104b发射的总光(显示辐射/内容的亮度(流明)输出)以及相应的亮度变化。本文的实施方式互换地使用术语“显示辐射”、“内容的亮度输出”、“由内容发射的总光”、“总亮度”等，并且指的是从显示器104b发射的总光。在实施方式中，流明输出估计单元204使用流明模型来计算从显示器104b发射的总光。流明输出估计单元204使用直方图数据、内容的显示特征、背光和显示面板配置文件作为流明模型的输入。流明模型计算从显示器104b发射的总光/总亮度。在实施方式中，从显示器104b发射的总光是归因于显示器104b上的内容(包括内容的显示特征)和背光水平(亮度水平)的组合。
为了估计从显示器104b发射的总光，流明模型建立内容的子像素与在给定背光下的相应亮度之间的关系。子像素可以构成内容的像素，其中本文的子像素是指红色、绿色和蓝色中的至少一种。每个子像素可以具有256级颜色。零意味着黑色，255意味着完全饱和的纯色。最初，流明模型分析1600万种颜色中的64种颜色(每个子像素4个级别，并且可以通过将子像素的总亮度范围划分为3个相等的部分来获得级别)。在没有红色子像素的情况下，流明模型将绿色和蓝色(子像素)的亮度行为观察为线性的。绿色和蓝色子像素的亮度行为可以表示为：
[数学图1]
L(O，G，B)＝1.002*L(G)+0.748*L(B)
其中，L是亮度函数，G和B是绿色和蓝色子像素级别，并且上述等式可以从亮度行为的线性回归中获得。
一旦获得了具有绿色和蓝色子像素亮度的像素亮度线性关系，流明模型将红色子像素加到数学图1中，并观察相同的线性关系/亮度行为。添加有红色子像素的亮度行为可以表示为：
[数学图2]
L(R，G，B)＝1.243*L(R)+0.9462*L(O，G，B)＝1.234*L(R)+0.948*L(G)+0.708*L(B)
此外，流明模型在没有绿色子像素的情况下观察到与红色子像素和蓝色子像素的组合类似的线性关系或亮度行为。红色和蓝色子像素的亮度行为可以表示为：
[数学图3]
L(R，O，B)＝1.177*L(R)+1.182*L(B)
即使添加了绿色子像素，流明模型也观察到相同的线性关系/亮度行为。添加有绿色子像素的亮度行为可以表示为：
[数学图5]
L(R，G，B)＝0.688*L(R)+0.772*L(G)＝0.913*L(G)+1.078*L(R，G，B)＝1.269*L(R)+0.913*L(G)+1.274*L(B)
类似地，对于没有蓝色子像素的红色和绿色的组合，流明模型观察到相同的线性关系或亮度行为。亮度行为可以表示为：
[数学图6]
L(R，G，B)＝2.515*L(B)+1.185*L(R，G，O)＝0.816*L(R)+0.932*L(G)+2.515*L(B)
通过数学图1-6，流明模型推断出像素亮度与内容的独立子像素的亮度之间存在线性关系。因此，流明模型应用线性回归，其中每个子像素的亮度作为预测变量，并且相应像素的亮度作为输出变量。通过应用线性回归获得的每个像素的亮度的方程可以表示为：
[数学图7]
L(R，G，B)＝1.011*L(R)+0.896*L(G)+2.332*L(B)
在实施方式中，流明模型可以使用基于机器学习的线性回归，来找到针对子像素的给定亮度值的、像素的输出亮度的最佳拟合线。
此外，存在于内容上的像素可以构成由显示器104b发射的总光。流明模型将存在于内容上的像素的平均亮度值计算为内容的总亮度。
每个像素的亮度可以表示为：
[数学图8]
L(RGB)＝1.072*L(R)+0.9148*L(G)+2.3828*L(B)
具有红色子像素的像素亮度可以表示为：
[数学图9]
L(R)＝0.0007*R2-0.0223*R+0.5378
具有绿色子像素的像素亮度可以表示为：
[数学图10]
L(G)＝0.0035*G2-0.1112*G+2.1628
蓝色像素的亮度可以表示为：
[数学图11]
L(B)＝0.0002*B2-0.0121*B+0.4412
内容的亮度可以表示为：
[数学图12]
Figure BDA0002682118200000101
其中，p1、p2、p3、…、pn可以是存在于内容的像素，并且n1、n2、n3、…、nn可以分别代表这些像素的数量。
从显示器104b发射的总光取决于内容的亮度和背光。基于内容的亮度和背光计算的从显示器104b发射的总光可以表示为：
[数学图13]
Figure BDA0002682118200000102
其中，Crk、CGk和Cbk表示级别k处的红、绿和蓝子像素的计数，并且L(rk)、L(gk)和L(bk)表示背光级别k处的红、绿和蓝子像素的亮度值。
此外，流明模型将内容的亮度从电子设备100的各种背光水平转换为当前背光水平。例如，考虑所确定的背光水平可以是160。流明模型将内容的亮度从背光水平160转换为电子设备100的当前背光水平。流明模型规定了在不同背光水平的内容的亮度之间的关系。在不同背光水平的内容的亮度之间的公式关系可以表示为：
[数学图14]
Figure BDA0002682118200000111
[数学图15]
Y＝314.9x-1.134
其中，x可以是电子设备100的当前背光亮度级，并且Y可以是用于确定背光亮度级x的所需的内容亮度的划分因子。
此外，从显示器104b发射的总光可以表示为L(content)/Y。因此，流明模型使用内容的亮度和背光的组合来确定从显示器104b发射的总光。
瞳孔大小估计单元206可配置为估计用户的瞳孔大小的变化。在实施方式中，瞳孔大小估计单元206使用瞳孔大小估计模型/分层回归模型来估计用户的瞳孔大小的变化(瞳孔扩张方差)。这样瞳孔大小依赖于适应亮度、适应场面积(视野面积)、观察者/用户年龄、单目刺激、双目刺激等。瞳孔大小估计单元206提供所确定的显示辐射和用户简档作为瞳孔大小估计模型的输入变量。用户简档可以包括诸如但不限于用户年龄、用户的眼部简档、虹膜扫描数据等信息。在实施方式中，可以使用诸如虹膜扫描仪、相机等设备来收集虹膜扫描数据。在实施方式中，用户简档还可以包括关于用户的信息，例如但不限于，心理活动、情绪唤醒、对比、识别、注意力等。
在接收到输入变量时，瞳孔大小估计模型使用Holladay(荷拉第)公式作为用于表示输入变量之间关系的参考，并估计从显示器104b发射的估计光的瞳孔直径。使用荷拉第公式估计出的瞳孔直径可以表示为：
[数学图16]
D(in mm)＝7*Expo(-0.1007*L^0.4)
其中，D表示估计的瞳孔直径，L表示内容的亮度。
在另一实施方式中，瞳孔大小估计模型可以考虑适应场面积(视野面积)来估计瞳孔直径。使用基于适应场面积的荷拉第公式估计的瞳孔直径可以表示为：
[数学图17]
Figure BDA0002682118200000121
其中，D表示估计的瞳孔直径，L表示内容的亮度，并且A表示以m2为单位的适应场面积。
一旦对用于从显示器104b发射的所确定的总光的瞳孔直径进行估计，瞳孔大小估计模型计算所估计的瞳孔直径与从用户简档获得的瞳孔直径之间的差。基于所计算的差值，瞳孔大小估计模型估计用户的瞳孔大小的变化。
眼部健康测量单元208可配置为用于生成用户的眼部健康指数。在实施方式中，眼部健康测量单元208使用眼疲劳模型来为用户生成眼部健康指数。眼部健康测量单元208将所确定的瞳孔大小变化、用户简档、用户的活动数据、电子设备100发射的显示辐射等作为输入变量提供给眼疲劳模型。用户的活动数据包括诸如但不限于用户睡眠模式、电子设备交互数据等信息。在实施方式中，电子设备100的红外传感器/正面相机可以用于确定用户与电子设备100的交互。在另一实施方式中，显示处理器104a可以显示弹出消息，以通过电子设备100检查用户的活动。在另一实施方式中，显示处理器104a可以记录由用户在电子设备100上执行的手势(触摸、滑动、敲击、点击、拖拽等)。在实施方式中，传感器设备可以用于记录用户的睡眠模式。
眼疲劳模型针对用户的瞳孔大小的估计变化执行输入变量的主观评估。基于对输入变量的主观评估，眼疲劳模型生成表示用户的眼部的健康状态的眼部健康指数(眼部健康状态/眼疲劳数据)。在实施方式中，眼疲劳模型生成表示过去24小时的眼疲劳数据的、过去24小时的眼部健康指数。在另一实施方式中，眼疲劳模型生成表示从使用电子设备100开始的眼疲劳数据的总体眼部健康指数。在另一实施方式中，眼部健康指数可以从0级(LVL0)变化到10级(LVL10)。LVL0代表最小眼疲劳，LVL10代表最大眼疲劳。
图2示出了眼部健康监测引擎102的示例性单元，但是应当理解，其它实施方式不限于此。在其它实施方式中，眼部健康监测引擎102可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明的目的，并不用于限制本文的实施方式的范围。可以将一个或多个单元组合在一起以在眼部健康监测引擎102中执行相同或基本上类似的功能。
图3是示出根据本文所公开的实施方式的用于监测用户眼部健康的方法的流程图。
在步骤302中，该方法包括通过眼部健康监测引擎102确定用户正在使用的电子设备102周围的环境光的水平。眼部健康监测引擎102可以使用环境传感器来确定环境光水平。
在步骤304中，该方法包括当所确定的环境光低于预定阈值时，由眼部健康监测引擎102以连续方式和以预先配置的间隔方式中的至少一种方式确定显示的内容(从电子设备100发射的显示辐射)的流明输出。在实施方式中，眼部健康监测引擎102可以以一致的预先配置的间隔识别在电子设备(100)的显示器上显示的至少一个内容的流明输出。在另一实施方式中，眼部健康监测引擎102识别出流明输出的间隔可以是变化的。例如，间隔可以被预先配置为时间的函数。在另一示例中，间隔可根据电子设备的状态，例如电池状态或设备温度来预先配置。在确定出环境光低于预定阈值的情况下，眼部健康监测引擎102确定待显示的内容的直方图数据、内容的显示特征、显示器104b的背光、显示面板配置文件等。眼部健康监测引擎102提供所确定的直方图数据、内容的显示特征、背光和显示面板配置文件作为流明模型的输入变量。流明模型针对所确定的环境光计算待显示的内容的流明输出。流明模型基于内容的亮度和背光来计算流明输出。为了计算内容的亮度，流明模型解释内容的像素和子像素，并建立子像素(红、绿和蓝中的至少一个)级别与其在所确定的背光处的相应亮度之间的关系。此外，流明模型建立内容的两个子像素(红、绿和蓝中的至少一个)的组合的亮度之间的关系。此后，流明模型考虑第三子像素(红、绿和蓝中的至少一个)，并建立像素亮度的关系作为各个独立子像素的函数。流明模型确定内容中存在的所有像素的亮度的平均值，以确定内容的亮度。此外，流明模型建立背光水平与内容的亮度之间的关系，以确定内容/从显示器104b发射的总光的流明输出。在实施方式中，流明模型对输入变量应用基于机器学习的线性回归，以建立像素的亮度的关系作为各个独立子像素的函数以及背光水平与内容亮度之间的关系。因此，可以基于内容的RGB(子像素)级和背光级来计算内容的流明输出/从显示器104b发射的总光。
在步骤306中，该方法包括由眼部健康监测引擎102使用流明输出和用户简档来估计用户的瞳孔大小的变化。眼部健康监测引擎102将所计算的内容的流明输出和用户简档提供给瞳孔估计模型，以用于估计用户的瞳孔大小的变化。在实施方式中，瞳孔估计模型使用Holladay公式，以用于基于用户的瞳孔大小的变化和内容的流明输出/从显示器104b发射的总光来估计用户的瞳孔大小的变化。
在步骤308中，该方法包括由眼部健康监测引擎102基于估计的用户瞳孔大小的变化为用户生成眼部健康指数。眼部健康监测引擎102使用眼疲劳模型来基于用户的瞳孔大小的变化、用户简档、流明输出和用户的活动来生成眼部健康指数。
方法和流程图300中的各种动作、模块、步骤等可以以所呈现的顺序执行、以不同的顺序执行或同时执行。此外，在一些实施方式中，在不脱离本发明的范围的情况下，这些动作、模块、步骤中的一些可省略、添加、修改、跳过或类似操作。
图4A和图4B是示出根据本文所公开的实施方式的为用户生成眼部健康指数的示例图。眼部健康监测引擎102的处理单元202计算待显示的内容的直方图数据。基于直方图数据，眼部健康监测引擎102的流明输出估计单元204使用流明模型确定从显示器104b发射的总光(内容的流明输出)。眼部健康监测引擎102的瞳孔大小估计单元206使用瞳孔大小估计模型、内容的流明输出和用户简档来估计用户的瞳孔大小的变化。在实施方式中，可以通过从联接到电子设备100的设备诸如虹膜扫描仪或相机来获取周期输入，从而自动校正瞳孔大小估计模型。基于用户的瞳孔大小的估计变化，眼部健康监测引擎102的眼部健康测量单元208使用眼疲劳模型生成眼部健康指数。在本文的示例中，眼部健康指数可以在半圆形图表上以针状显示。
图5是示出根据本文所公开的实施方式的基于眼部健康指数来显示的内容的示例图。本文的实施方式使得眼部健康监测引擎102能够在弱光水平情况下基于直方图数据来确定内容的流明输出。例如，待显示内容的流明输出可以是LUX 10。此外，眼部健康监测引擎102基于内容的流明输出来估计用户的瞳孔大小的变化。基于所估计的用户瞳孔大小的变化，眼部健康监测引擎102估计用户的眼部健康指数。显示处理器104a基于眼部健康指数来调节显示器104b的亮度级。例如，考虑到眼部健康指数因瞳孔大小改变0.7mm(从5.7mm变化到5mm)而发生转变。基于眼部健康指数，显示处理器104a通过增加显示器104b的亮度来执行内容由暗到亮的转变，使得内容的流明输出可以增加到LUX 20。因此，内容由暗到亮的转变可以减少用户眼部的疲劳(或头痛)，并且可以给用户的眼部提供舒缓效果。
图6是示出根据本文所公开的实施方式的基于眼部健康指数将内容标记为对查看安全的示例图。本文的实施方式扫描和分析存储在存储器106上的可能用于查看的视频/内容。眼部健康监测引擎102通过应用流明模型和瞳孔大小估计模型来估计周期内需要查看的内容的瞳孔扩张方差(用户的瞳孔大小的变化)。基于所估计的瞳孔扩张方差，眼部健康监测引擎102使用眼部疲劳模型生成眼部健康指数。标记模块108可以基于眼部健康指数将内容标记为安全/不安全以用于弱光查看。例如，如图6所示，为视频分配安全标签以用于在弱光条件下查看视频。
图7是示出根据本文所公开的实施方式的基于眼部健康指数向用户提供推荐的示例图。本文的实施方式使得眼部健康监测引擎102能够基于从电子设备100发射的显示辐射为用户生成眼部健康指数。基于所生成的眼部健康指数，推荐模块110推荐内容/视频/频道、应用、配置/设置更改、字体大小/颜色主题、亮度等中的至少一个，以减少用户眼部疲劳。此外，推荐模块110可以为用户提供基于设备/诊所的眼部测试、访问眼科医生等建议。
图8A和图8B是示出根据本文所公开的实施方式的监测用户的眼部健康的示例图。
图8A示出了眼部健康指数生成的示例图。如图8A所示，眼部健康监测引擎102执行待显示内容的周期性采样，并计算待显示内容的直方图数据。眼部健康监测引擎102使用流明模型计算内容的流明输出(显示辐射/总显示光)。流明模型接收诸如但不限于直方图数据、电子设备100周围的环境光、显示面板配置文件等信息以计算流明输出。基于所接收的信息，流明模型确定子像素光强度响应，并对所确定的子像素光强度响应应用线性回归来预测线性模型。线性模型预测像素光响应聚合/流明输出。
此外，眼部健康监测引擎102使用瞳孔大小估计模型来估计用户瞳孔大小的变化。瞳孔大小估计模型基于流明输出和用户简档(用户年龄、虹膜扫描数据、眼部健康简档等)来估计用户瞳孔大小的变化。基于估计的用户瞳孔大小的变化，眼部健康监测引擎102使用眼疲劳模型来生成眼部健康指数。眼疲劳模型使用估计的用户瞳孔大小的变化、流明输出、用户简档和用户活动来计算眼部健康指数。在实施方式中，可以使用用户的活动(睡眠模式、来自诸如虹膜扫描仪、相机等设备的输入/反馈)中的至少一个来校正眼疲劳模型，以生成眼部健康指数。在本文的示例中，眼部健康指数可以包括用户眼部的健康状态，例如但不限于一般状态、过渡状态、报警状态、严重状态等。基于一段时间内的眼疲劳数据/眼部健康指数，眼部健康监测引擎102可以向用户提供双眼健康指数度量(最近24小时的眼部健康指数和总体眼部健康指数)。此外，眼部健康监测引擎102可以向用户提供瞬时眼疲劳数据。
图8B示出了用于监测用户眼部健康的眼部健康监测引擎102。如图8B所示，眼部健康监测引擎102最初执行显示内容直方图、显示器的背光水平、瞳孔大小、VR使用、眨眼速率、显示亮度和内容直方图(在弱光情况下)等的周期性采样。
然后，眼部健康监测引擎102统计地转换所采样的数据，采样的数据包括确定从显示面板104b发射的显示辐射，瞳孔和眨眼变化。眼部健康监测引擎102可以使用显示面板配置文件、直方图和背光数据来计算亮度变化。眼部健康监测引擎102计算瞳孔扩张和收缩变化。此外，眼部健康监测引擎102使用分层回归模型对眼疲劳进行建模，分层回归模型可以包括具有经处理的采样数据集的自校正技术。然后，眼部健康监测引擎102在考虑到用户简档的情况下预测用户的眼部健康(眼部健康指数)。
图9A、图9B、图9C和图9D是示出根据本文所公开的实施方式的用于监测用户眼部的健康的用户活动记录的示例图。在示例性实施方式中，电子设备102的前摄像机可用于确定用户是否正在查看显示内容(记录用户的活动)。当未检测到用户活动时，如图9A所示，本文的实施方式关闭电子设备102。在另一实施方式中，如图9B所示，可使用红外传感器检测用户在电子设备100附近的存在。在另一实施方式中，如图9C和图9D所示睡眠跟踪设备可以用于跟踪用户的睡眠模式。此外，可以向用户显示弹出消息，以检查用户对电子设备100的活跃度。此外，可以记录在电子设备100上执行的最后的手势(触摸、拖动、点击、敲击等)。因此，本文的实施方式使用电子设备100的相机、红外传感器、睡眠跟踪设备等中的至少一个来确定用户的活动。用户的活动可以是，但不限于，用户正在查看电子设备100上显示的内容的时间段、用户在夜间暗光或无光状态对电子设备100的使用、通过用户保持电子设备100过于靠近眼部对电子设备100的使用等。因此，所记录的用户活动可用于预测用户眼部的健康状态。
图10示出根据本文所公开的实施方式的示例用例，其中在驻留在电子设备100上的应用程序上显示有眼部健康状态、建议和推荐。本文的实施方式使得眼部健康监测引擎102能够基于电子设备100周围的采样环境光水平、显示辐射简档、用户简档等来预测眼部健康状态。基于预测的眼部健康状态，推荐模块110可以向用户显示眼部的健康状态、建议/提示、推荐。因此，可以减少眼部疲劳。
图11是示出根据本文所公开的实施方式的用于提供视力保护模式的示例用例。本文的实施方式提供视力保护模式，以便基于眼部健康指数启用电子设备100上存在的至少一个特征，例如但不限于内容标记特征、舒缓UI特征、儿童护理特征、颜色适配特征等。当内容标记特征被启用时，标记模块108可以向电子设备上存在的内容分配用于安全查看的标签。标签可以基于环境光(例如夜晚/白天/环境光等)在应用中显示。标签可以是具有用于显示预期疲劳强度的颜色的动态标签。当启用舒缓UI特征时，显示处理器104a可以基于眼部健康指数来启用舒缓UI，其进一步向用户的眼部提供舒缓。当儿童护理特征被启用时，显示处理器104a可以通过监测暴露于显示辐射的儿童来调整显示控制以减少对眼部健康影响。当颜色适配特征被启用时，显示处理器104a向用户推荐文本颜色和背景颜色以减少用户眼部的疲劳。
图12示出了根据本文所公开的实施方式的用于基于眼部健康指数来启用舒缓UI的示例用例。本文的实施方式将环境光、待显示的内容和预先生成的眼部健康指数作为输入提供给眼部健康监测引擎102。眼部健康监测引擎102将环境光与用于显示内容的预定阈值进行比较。当环境光大于预定阈值时，眼部健康监测引擎102将内容提供给显示器104b，以便在没有任何修改的情况下显示内容。
当环境光水平小于预定阈值时，眼部健康监测引擎102指示显示处理器104a使用应用到接收的输入的流明模型来生成类似于前一帧的新帧的流明输出。如图12所示，基于眼部健康指数，舒缓UI能够执行从暗到亮的内容转换(亮度可以改变到LUX 20)。因此，可以消除由于内容/显示的改变而可能发生的眼部的光适应。此外，舒缓UI的启用为用户的眼部提供了舒缓并且减少了头痛/疲劳。
图13示出了根据本文所公开的实施方式的用于提供与虚拟现实(VR)设备100(电子设备100)的使用相关的警告以及基于眼部健康指数来遮盖VR设备中的亮度并启用舒缓UI的示例用例。本文的实施方式使得眼部健康监测引擎102能够监测由VR设备100的连续使用导致的眼疲劳。在实施方式中，基于监测到的眼疲劳，推荐模块110可以向用户显示警告。在另一实施方式中，基于所监视的眼疲劳，显示处理器104a可以限制VR设备100中的亮度。在另一实施方式中，基于监测到的眼疲劳，显示处理器104a可以启用舒缓UI从而消除由于内容的改变而导致眼部的光适应。
图14A和图14B是示出根据本文所公开的实施方式的基于眼部健康指数来控制电子设备100的亮度设置的示例图。眼部健康监测引擎102基于眼部健康指数来调整显示面板104b的亮度，如图14A所示。此外，眼部健康监测引擎102基于眼部健康指数确定最大亮度上限，如图14B所示。亮度上限可适用于手动和自动亮度设置。因此，确定最大亮度上限和调整亮度可以防止用户眼部健康的进一步恶化。
图15A和图15B是示出根据本文所公开的实施方式的基于眼部健康指数来控制从电子设备100发射的眩光的示例图。在弱光条件下电子设备100的突然开启会生成刺激用户的眩光。在这种情况下，显示处理器104a可基于用户眼部的健康状态来调节显示光。考虑如图15A所示的场景，其中用户的眼部健康状态为一般状态。显示模块104可以在不调节显示设置的情况下显示内容(因此亮度增加时间可以忽略)。因此，电子设备100可在无需任何修改的情况下从OFF(关闭)状态直接切换到ON(开启)状态。
考虑如图15B所示的另一场景，其中用户的眼部健康状态为严重状态。为严重眼部健康状态所计算的亮度增加可以是10秒。因此，显示模块调节显示光，而非直接将电子设备100从OFF状态切换到ON状态。因此，可以控制由电子设备100的突然打开所生成的眩光，这进一步减少用户的眼部疲劳。
图16示出了根据本文所公开的实施方式的基于眼部健康指数的儿童护理模式的示例性用例。眼部健康监测引擎102可以估计用户的年龄。在实施方式中，眼部健康监测引擎102可以使用来自虹膜扫描仪、相机等中的至少一个的输入来估计用户的年龄。眼部健康监测引擎102将估计的年龄与预定阈值进行比较。在确定估计的年龄低于预定阈值时，眼部健康监测引擎102将用户识别为儿童，并监测儿童对显示辐射的暴露。基于所监测的儿童对显示辐射的暴露，眼部健康监测引擎102生成眼部健康指数。基于眼部健康指数，显示处理器104a可以调整显示控制以减少眼部健康影响。显示控制可以是内容白度控制、依赖线性年龄的亮度控制、每5％眼部健康退化的动态亮度降低等中的至少一个。
图17示出了根据本文所公开的实施方式的用于基于眼部健康指数来调整内容颜色的示例性用例。显示处理器104a可以根据眼部健康指数来变换(存在于内容中的)文本和背景的颜色。在本文的示例中，基于眼部健康指数，显示处理器104a可以变换文本和背景的颜色，如图17所示，以便放置在显示器104上。在实施方式中，显示处理器104a可以将文本的颜色变换为红色。视杆细胞(rod)对红光的不敏感性导致在某些特殊情况下对红光的使用；例如，在潜艇的控制室中、在研究实验室中、飞机或在裸眼天文学期间，因为不需要改变眼部适应性。
图18示出了根据本文所公开的实施方式的用于基于眼部健康指数向用户提供建议的示例用例。在确定用户的眼部健康指数正在转换时，推荐模块110可以提供建议，例如但不限于，用于激活20-20眼部规则的建议(每20分钟中断20秒并且将眼部聚焦在至少20英尺远的东西上)、用于将亮度降低至少一定量(例如10％)的建议、用于在2小时后洗眼的建议等。
在确定用户的眼部健康指数正被警告时，推荐模块110可以提供建议，例如但不限于，用于激活20-20眼部规则的建议、用于将亮度降低至少20％的建议、用于在1小时后洗眼的建议等。此外，在确定用户的眼部健康指数正被警报时，显示处理器104a可以启用电子设备100上的舒缓UI特征和智能屏幕可读性特征(如图20所示)等。
在确定用户的眼部健康指数是严重时，推荐模块110可以提供建议，例如但不限于，用于激活20-20眼部规则的建议、用于将亮度降低至少35％的建议、用于在30分钟后洗眼的建议等。此外，在确定用户的眼部健康指数是严重时，显示模块104可以启用电子设备100上的舒缓UI特征和智能屏幕可读性特征(如图20所示)、启用内容颜色适配特征(如图17所示)等。
图19是示出根据本文所公开的实施方式的基于眼部健康指数向用户提供建议的示例图。如图19所示，眼部健康监测引擎102扫描(存储在存储器中或从服务器/数据库、一个或多个电子设备等访问的)内容并估计预期的眼疲劳。基于所估计的预期眼部疲劳和当前眼部健康状态，推荐模块110可以向用户推荐适当的视频、应用、设置(亮度、壁纸等)等。
图20是示出根据本文所公开的实施方式的智能屏幕可读性的改进的示例用户情况。如果电子设备100上的自动亮度模式被关闭，则用户在改变亮度时可能面临强阳光的困难。因此，眼部健康监测引擎102从环境传感器收集数据并计算总显示光。基于总显示光，眼部健康监测引擎102检查屏幕是否可以通过当前显示设置来读取。在确定出屏幕通过当前显示设置不可读时，眼部健康监测引擎102指示显示处理器104b在显示器上布置亮度改变图标，该显示器进一步显示具有高对比度的亮度改变图标。因此，可以降低功耗并且可以保护用户手动亮度设置的便利性。
本文公开的实施方式可以通过运行在至少一个硬件设备上并执行网络管理功能以控制元件的至少一个软件程序来实现。图1和图2所示的元件可以是硬件设备中的至少一个，或者是硬件设备和软件模块的组合。
本文公开的实施方式描述了用于监视用户眼部健康的方法和系统。因此，应当理解，保护范围被扩展到这样的程序，除了其中具有消息的计算机可读装置之外，当该程序在服务器或移动设备或任何合适的可编程设备上运行时，这种计算机可读存储装置还包括用于实现方法的一个或多个步骤的程序代码装置。在优选实施方式中，该方法通过以例如超高速集成电路硬件描述语言(VHDL)的另一种编程语言编写的软件程序来实现、或者与该软件程序一起实现、或者通过在至少一个硬件设备上执行的一个或多个VHDL或几个软件模块来实现。硬件设备可以是能够编程的任何类型的便携式设备。设备还可以包括以下装置，例如可以是诸如ASIC的硬件装置，或者是诸如ASIC和FPGA的硬件和软件装置的组合，或者是至少一个微处理器和至少一个具有位于其中的软件模块的存储器。本文描述的方法实施方式可以部分地以硬件实现、部分地以软件实现。可替换地，本发明可以以不同的硬件设备实现，例如使用多个CPU。
上面对具体实施方式的描述将完全揭示本文中的实施方式的一般性质，使得在不脱离一般概念的情况下，其它实施方式可通过应用现有技术而容易地修改和/或适配于各种应用，且因此，此类适配和修改应且旨在所公开的实施方式的等同的意义和范围内领会。应当理解，本文使用的措辞或术语是为了描述的目的而非限制的目的。因此，虽然已根据实施方式描述了本文的实施方式，但是本领域技术人员将认识到，可以在本文所述的实施方式的精神和范围内通过修改来实践本文的实施方式。

Claims (15)

1.一种操作电子设备(100)以用于监测所述电子设备(100)的用户的眼部健康的方法，所述方法通过所述电子设备(100)的一个或多个处理器执行，所述方法包括：
识别所述电子设备(100)周围的环境光水平；
基于识别出所述环境光水平低于第一预定阈值，以预配置间隔识别待显示在所述电子设备(100)的显示器(104b)上的至少一个内容的流明输出；
基于所述流明输出和至少一个用户简档来识别所述用户的瞳孔大小变化；以及
基于所识别的用户的瞳孔大小变化为所述用户提供眼部健康指数。
2.根据权利要求1所述的方法，还包括：
根据所述用户的所述眼部健康指数，控制所述显示器(104b)的亮度设置。
3.根据权利要求1所述的方法，还包括：
基于识别出所述环境光水平低于第二预定阈值，基于所述眼部健康指数，显示与所述至少一个内容中的每一个对应的至少一个标签，其中，所述至少一个标签包括安全标签、不安全标签、预定范围标签中的至少一个。
4.一种用于监测用户的眼部健康的电子设备(100)，所述电子设备包括：
显示器(104b)；以及
一个或多个处理器，配置为：
识别所述电子设备(100)周围的环境光水平；
基于识别出所述环境光水平低于第一预定阈值，以预配置间隔识别待显示在所述显示器(104b)上的至少一个内容的流明输出；
基于所述流明输出和至少一个用户简档来识别所述用户的瞳孔大小变化；以及
基于所识别的用户的瞳孔大小变化为所述用户提供眼部健康指数。
5.根据权利要求4所述的电子设备(100)，其中，所述一个或多个处理器进一步配置为：
识别待显示的所述至少一个内容的亮度、以及背光水平；以及
基于所述至少一个内容的亮度与所述背光水平之间的关系，识别待显示的所述至少一个内容的流明输出。
6.根据权利要求5所述的电子设备(100)，其中，待显示的所述至少一个内容的流明输出指示从所述显示器(104b)发射的总光以及相应的亮度变化。
7.根据权利要求5所述的电子设备(100)，其中，待显示的所述至少一个内容的亮度与所述背光水平之间的关系被识别为基于机器学习的流明模型的至少一部分。
8.根据权利要求4所述的电子设备(100)，其中，使用基于荷拉第公式识别的瞳孔大小估计模型来识别所述用户的瞳孔大小变化。
9.根据权利要求4所述的电子设备(100)，其中，使用基于分层回归建模识别的眼疲劳模型来识别所述用户的眼部健康指数。
10.根据权利要求9所述的电子设备(100)，其中，所述眼疲劳模型识别眼部健康指数与以下中的至少一项之间的关系：所识别的瞳孔大小变化、所述至少一个用户简档、待显示的内容的流明输出或所述用户的至少一个活动。
11.根据权利要求4所述的电子设备(100)，其中，所述一个或多个处理器进一步配置为：
基于所述用户的所述眼部健康指数，控制所述显示器(104b)的亮度设置。
12.根据权利要求4所述的电子设备(100)，其中，所述一个或多个处理器进一步配置为：
基于识别出环境光水平低于第二预定阈值，基于用于所述用户的所述眼部健康指数，显示与所述至少一个内容中的每一个对应的至少一个标签，其中，所述至少一个标签包括安全标签、不安全标签、预定范围标签中的至少一个。
13.根据权利要求4所述的电子设备(100)，其中，所述一个或多个处理器进一步配置为：
基于所述用户的所述眼部健康指数在所述显示器(104b)上显示与显示设置相关的至少一个推荐。
14.根据权利要求4所述的电子设备(100)，其中，所述一个或多个处理器进一步配置为：
基于识别出待显示的所述至少一个内容的变化来识别新的眼部健康指数；以及
在所述显示器(104b)上，根据所述新的眼部健康指数显示至少一个内容。
15.根据权利要求4所述的电子设备(100)，其中所述预配置间隔是能够改变的。
CN201980019345.2A 2018-03-26 2019-03-26 用于监测用户眼部健康的电子设备及其操作方法 Active CN111867447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201841011158 2018-03-26
IN201841011158 2018-09-26
PCT/KR2019/003519 WO2019190174A1 (en) 2018-03-26 2019-03-26 Electronic device for monitoring health of eyes of user and method for operating the same

Publications (2)

Publication Number Publication Date
CN111867447A true CN111867447A (zh) 2020-10-30
CN111867447B CN111867447B (zh) 2023-12-05

Family

ID=67984427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019345.2A Active CN111867447B (zh) 2018-03-26 2019-03-26 用于监测用户眼部健康的电子设备及其操作方法

Country Status (4)

Country Link
US (1) US11839495B2 (zh)
EP (1) EP3737278A4 (zh)
CN (1) CN111867447B (zh)
WO (1) WO2019190174A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018474A (ja) * 2018-07-31 2020-02-06 株式会社デンソー 瞳孔推定装置および瞳孔推定方法
US11051689B2 (en) 2018-11-02 2021-07-06 International Business Machines Corporation Real-time passive monitoring and assessment of pediatric eye health
CN111273776A (zh) * 2020-01-20 2020-06-12 芋头科技（杭州）有限公司 不透明度控制方法、装置以及ar/mr设备、控制器和介质
US11918382B2 (en) 2020-04-13 2024-03-05 International Business Machines Corporation Continual background monitoring of eye health
US11468990B2 (en) 2020-10-12 2022-10-11 Kyndryl, Inc. Prevention of computer vision syndrome using explainable artificial intelligence

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02102634A (ja) * 1988-10-12 1990-04-16 Canon Inc 眼屈折計
JPH10127584A (ja) * 1996-10-31 1998-05-19 Nidek Co Ltd 眼底カメラ
JP2004097377A (ja) * 2002-09-06 2004-04-02 Topcon Corp 眼特性測定装置
US20070273611A1 (en) * 2004-04-01 2007-11-29 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20080297662A1 (en) * 2007-06-01 2008-12-04 Gibbs Benjamin K Method and system for optimizing mobile electronic device performance when processing video content
JP2010220942A (ja) * 2009-03-25 2010-10-07 Yaskawa Information Systems Co Ltd 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
US20100302507A1 (en) * 2009-05-28 2010-12-02 Annidis Health Systems Corp. Method and system for retinal health management
US20110080421A1 (en) * 2009-10-06 2011-04-07 Palm, Inc. Techniques for adaptive brightness control of a display
US20110205397A1 (en) * 2010-02-24 2011-08-25 John Christopher Hahn Portable imaging device having display with improved visibility under adverse conditions
US20110270914A1 (en) * 2008-05-21 2011-11-03 Jung Edward K Y Acquisition and presentation of data indicative of an extent of congruence between inferred mental states of authoring users
US20120057130A1 (en) * 2009-04-24 2012-03-08 Kabushiki Kaisha Topcon Ophthalmologic apparatus
US20130120390A1 (en) * 2010-06-11 2013-05-16 Back In Focus Systems and methods for rendering a display to compensate for a viewer's visual impairment
KR20130059768A (ko) * 2011-11-29 2013-06-07 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US20130229624A1 (en) * 2009-04-01 2013-09-05 Tearscience, Inc. Background reduction apparatuses and methods of ocular surface interferometry (osi) employing polarization for imaging, processing, and/or displaying an ocular tear film
US20140285436A1 (en) * 2008-11-17 2014-09-25 Roger Wu Vision Protection Method and System Thereof
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
US9066796B2 (en) * 2007-08-02 2015-06-30 Elenza, Inc. Multi-focal intraocular lens system and methods for dynamic visual environments
US20160045108A1 (en) * 2014-08-14 2016-02-18 Roger Li-Chung Wu Vision Protection Method and System Thereof
US20160191395A1 (en) * 2014-12-29 2016-06-30 Verizon Patent And Licensing Inc. Applying policies based on unique content identifiers
US20160232408A1 (en) * 2015-02-10 2016-08-11 Samsung Electronics Co., Ltd. User Terminal and Providing Method Thereof
KR20170015143A (ko) * 2015-07-31 2017-02-08 삼성전자주식회사 스마트 디바이스 및 그 동작 방법
CN106663183A (zh) * 2013-11-27 2017-05-10 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
CN106991792A (zh) * 2017-05-15 2017-07-28 广东小天才科技有限公司 一种眼睛疲劳检测方法及装置、用户设备
US20170286745A1 (en) * 2016-04-05 2017-10-05 Hon Hai Precision Industry Co., Ltd. Electronic device and screen adjusting method based on condition of user's eye
US20170315348A1 (en) * 2014-11-07 2017-11-02 Sony Corporation Display device and display control method
CN107369431A (zh) * 2017-07-25 2017-11-21 惠科股份有限公司 显示装置及其控制方法
WO2018022521A1 (en) * 2016-07-25 2018-02-01 Magic Leap, Inc. Light field processor system
CN107665696A (zh) * 2016-07-28 2018-02-06 广东野光源视力保健研究院 一种显示亮度动态改变的显示装置
US20180078445A1 (en) * 2016-09-21 2018-03-22 International Business Machines Corporation Visual health maintenance and improvement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7744216B1 (en) * 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
US8847972B2 (en) 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US8623081B2 (en) * 2010-12-15 2014-01-07 Amo Groningen B.V. Apparatus, system, and method for intraocular lens power calculation using a regression formula incorporating corneal spherical aberration
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
WO2017143091A1 (en) 2016-02-16 2017-08-24 Massachusetts Eye And Ear Infirmary Mobile device application for ocular misalignment measurement
US20170277258A1 (en) 2016-03-28 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method for adjusting screen luminance and electronic device
WO2018035147A1 (en) * 2016-08-15 2018-02-22 Valentine Edmund L Drug and device combination products with improved safety and efficacy profiles
US10297233B2 (en) * 2017-02-28 2019-05-21 International Business Machines Corporation Modifying a presentation of content based on the eyewear of a user
WO2018222897A1 (en) * 2017-06-01 2018-12-06 University Of Washington Smartphone-based digital pupillometer
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019046215A1 (en) * 2017-08-29 2019-03-07 Apple Inc. ADAPTIVE SCREEN ELECTRONIC DEVICE
CN107731201B (zh) * 2017-10-31 2020-05-19 武汉华星光电技术有限公司 屏幕亮度调节方法及调节装置

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02102634A (ja) * 1988-10-12 1990-04-16 Canon Inc 眼屈折計
JPH10127584A (ja) * 1996-10-31 1998-05-19 Nidek Co Ltd 眼底カメラ
JP2004097377A (ja) * 2002-09-06 2004-04-02 Topcon Corp 眼特性測定装置
US20070273611A1 (en) * 2004-04-01 2007-11-29 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
CN102068237A (zh) * 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
US20080297662A1 (en) * 2007-06-01 2008-12-04 Gibbs Benjamin K Method and system for optimizing mobile electronic device performance when processing video content
US9066796B2 (en) * 2007-08-02 2015-06-30 Elenza, Inc. Multi-focal intraocular lens system and methods for dynamic visual environments
US20110270914A1 (en) * 2008-05-21 2011-11-03 Jung Edward K Y Acquisition and presentation of data indicative of an extent of congruence between inferred mental states of authoring users
US20140285436A1 (en) * 2008-11-17 2014-09-25 Roger Wu Vision Protection Method and System Thereof
JP2010220942A (ja) * 2009-03-25 2010-10-07 Yaskawa Information Systems Co Ltd 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
US20130229624A1 (en) * 2009-04-01 2013-09-05 Tearscience, Inc. Background reduction apparatuses and methods of ocular surface interferometry (osi) employing polarization for imaging, processing, and/or displaying an ocular tear film
US20120057130A1 (en) * 2009-04-24 2012-03-08 Kabushiki Kaisha Topcon Ophthalmologic apparatus
US20100302507A1 (en) * 2009-05-28 2010-12-02 Annidis Health Systems Corp. Method and system for retinal health management
US20110080421A1 (en) * 2009-10-06 2011-04-07 Palm, Inc. Techniques for adaptive brightness control of a display
US20110205397A1 (en) * 2010-02-24 2011-08-25 John Christopher Hahn Portable imaging device having display with improved visibility under adverse conditions
US20130120390A1 (en) * 2010-06-11 2013-05-16 Back In Focus Systems and methods for rendering a display to compensate for a viewer's visual impairment
KR20130059768A (ko) * 2011-11-29 2013-06-07 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
CN106663183A (zh) * 2013-11-27 2017-05-10 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
US20160045108A1 (en) * 2014-08-14 2016-02-18 Roger Li-Chung Wu Vision Protection Method and System Thereof
US20170315348A1 (en) * 2014-11-07 2017-11-02 Sony Corporation Display device and display control method
US20160191395A1 (en) * 2014-12-29 2016-06-30 Verizon Patent And Licensing Inc. Applying policies based on unique content identifiers
US20160232408A1 (en) * 2015-02-10 2016-08-11 Samsung Electronics Co., Ltd. User Terminal and Providing Method Thereof
KR20170015143A (ko) * 2015-07-31 2017-02-08 삼성전자주식회사 스마트 디바이스 및 그 동작 방법
US20170286745A1 (en) * 2016-04-05 2017-10-05 Hon Hai Precision Industry Co., Ltd. Electronic device and screen adjusting method based on condition of user's eye
WO2018022521A1 (en) * 2016-07-25 2018-02-01 Magic Leap, Inc. Light field processor system
CN107665696A (zh) * 2016-07-28 2018-02-06 广东野光源视力保健研究院 一种显示亮度动态改变的显示装置
US20180078445A1 (en) * 2016-09-21 2018-03-22 International Business Machines Corporation Visual health maintenance and improvement
CN106991792A (zh) * 2017-05-15 2017-07-28 广东小天才科技有限公司 一种眼睛疲劳检测方法及装置、用户设备
CN107369431A (zh) * 2017-07-25 2017-11-21 惠科股份有限公司 显示装置及其控制方法

Also Published As

Publication number Publication date
US20190290118A1 (en) 2019-09-26
US11839495B2 (en) 2023-12-12
CN111867447B (zh) 2023-12-05
EP3737278A1 (en) 2020-11-18
EP3737278A4 (en) 2021-04-21
WO2019190174A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
CN111867447B (zh) 用于监测用户眼部健康的电子设备及其操作方法
US10963998B1 (en) Electronic devices with dynamic control of standard dynamic range and high dynamic range content
US10204593B2 (en) Display apparatus and method for controlling the same
US10460164B2 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
US9965860B2 (en) Method and device for calibration-free gaze estimation
US9530380B2 (en) Display device and driving method thereof
US11211030B2 (en) Electronic device with adaptive display
WO2017113343A1 (zh) 一种调节背光亮度的方法和终端
US11030728B2 (en) Tone mapping techniques for increased dynamic range
KR20150049045A (ko) 휴대단말에서 화면 밝기를 제어하는 방법 및 장치
US11354805B2 (en) Utilization of luminance changes to determine user characteristics
US20160110846A1 (en) Automatic display image enhancement based on user's visual perception model
CN107134272A (zh) 一种屏幕显示的控制方法、系统和计算机处理设备
CN104063846A (zh) 用于基于检测到的信息来处理图像的方法和装置
EP3312717A1 (en) User device and computer program stored in computer-readable medium for controlling display
KR20150098976A (ko) 디스플레이 장치 및 그 제어 방법
Schuchhardt et al. CAPED: Context-aware personalized display brightness for mobile devices
CN107968939B (zh) 显示画面的处理方法、装置、存储介质及电子装置
CN112233631B (zh) 一种全固平板电脑屏幕亮度自动调整装置及方法
JP2011133877A (ja) 画像表示装置、および画像処理装置
US20190043441A1 (en) Automatically adjusting a display property of data to reduce impaired visual perception
CN115278027B (zh) 一种显示的控制方法及装置
US11735088B2 (en) Information handling system blue light exposure system and method
US20240078961A1 (en) Content Dependent Brightness Management System
US20230245494A1 (en) Automatic face and human subject enhancement algorithm for digital images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant