CN107077593A - 用于显示屏增强的系统和方法 - Google Patents

用于显示屏增强的系统和方法 Download PDF

Info

Publication number
CN107077593A
CN107077593A CN201580029077.4A CN201580029077A CN107077593A CN 107077593 A CN107077593 A CN 107077593A CN 201580029077 A CN201580029077 A CN 201580029077A CN 107077593 A CN107077593 A CN 107077593A
Authority
CN
China
Prior art keywords
user
display screen
wearable
mobile device
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580029077.4A
Other languages
English (en)
Inventor
杰弗里·詹姆士·埃斯塔西奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107077593A publication Critical patent/CN107077593A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

提供了一种用于增强显示屏(125)的方法，一种移动装置(360)和一种可穿戴装置(392)。该方法包括：接收用户(122)面部的光学图像；以及根据所述光学图像检测所述用户(122)是否正在看；检测所述用户(122)正在注视的所述显示屏(125)上的区域；在所述用户(122)看时，增强所述用户(122)注视的所述显示屏(125)上的所述区域。

Description

用于显示屏增强的系统和方法
技术领域
本申请要求2014年7月14日递交的发明名称为“用于显示屏增强的系统和方法(System and Method for Display Enhancement)”的第14/330,648号美国非临时申请案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。
本发明涉及一种用于显示屏的系统和方法，尤其涉及一种用于显示屏增强的系统和方法。
背景技术
当用户在观看感兴趣区域有困难时，希望对用户感兴趣的显示屏区域的可视性和视觉清晰度进行提升。例如，小型文本或低对比度图像可能很难看得清楚。当显示屏，例如，位于移动设备上，希望显示屏能够自动增强，无需用户专门提出增强请求。
发明内容
一种用于增强显示屏的实施例方法包括接收用户面部的光学图像，以及根据所述光学图像检测所述用户是否正在斜视。所述方法还包括检测所述用户正在注视的所述显示屏上的区域。此外，所述方法包括在所述用户斜视时，增强所述用户注视的所述显示屏上的所述区域。
一种实施例移动设备包括显示屏和处理器。所述移动设备还还包括存储由所述处理器执行的程序的非瞬时性计算机可读存储介质。所述程序包括用于进行以下操作的指令：接收用户面部的光学图像，以及根据所述光学图像检测所述用户是否正在斜视。所述程序还包括用于接收所述用户的所述面部的红外图像以及根据所述红外图像检测所述用户正在注视的所述显示屏上的区域的指令。此外，所述程序还包括用于在所述用户斜视时，增强所述用户正在注视的所述显示屏上的所述区域的指令。
一种实施例穿戴式设备包括红外摄像机和与所述红外摄像机相距2厘米以内的第一红外光源。所述穿戴式设备还包括第二红外光源，与所述红外摄像机相距至少5厘米，其中所述穿戴式设备用于在所述穿戴式设备收到亮瞳检测信号时激活所述第一红外光源，以及在所述穿戴式设备收到暗瞳检测信号时激活所述第二红外光源，所述穿戴式设备用于以无线方式将图像从所述红外摄像机传输到移动设备。
前述内容已经相当宽泛地概述了本发明一项实施例的特征，从而能够更好地理解接下来对本发明的详细说明。下文将描述本发明实施例的另外特征和优点，这些构成本发明权利要求的主题。本领域技术人员应理解，所公开的构思和具体实施例可被很容易地用作修改或设计用于实现本发明的相同目的的其它结构或过程的基础。本领域技术人员也应该认识到，这类等同结构没有偏离所附权利要求中阐述的本发明的精神和范围。附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：
图1示出了一种显示屏增强实施例方法的流程图；
图2示出了眼睛的亮瞳效果；
图3示出了眼睛的暗瞳效果；
图4A-B示出了显示屏上图像对比度的调整；
图5A-B示出了通过放大文本对一个含有小型文本的区域作出的增强；
图6A-B示出了对含有小型文本的图形用户界面(user interface，UI)元素作出的修改；
图7A-B示出了对GUI元素布局进行的重新排列；
图8示出了一种斜视检测实施例方法的流程图；
图9示出了一种眼球追踪实施例方法的流程图；
图10示出了一种斜视检测实施例系统；
图11示出了一种眼球追踪实施例系统；
图12示出了另一种眼球追踪实施例系统；
图13示出了一种用于显示器增强的实施例系统；
图14示出了另一种用于显示器增强的实施例系统；以及
图15示出了实施例通用计算机系统的方框图。
除非另有指示，否则不同图中的对应标号和符号通常指代对应部分。绘制各图是为了清楚地说明实施例的相关方面，因此未必是按比例绘制的。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
一项实施例通过检测用户是否正在斜视以及用户正在注视显示屏上的哪个区域来增强显示屏，例如移动设备上的显示屏。用户斜视时，用户正在注视的区域将得到增强。这样，无需用户手部进行任何操作，或者进行其他类型的主动物理互动，即可增强显示屏。
图1示出了一种用于增强显示屏的方法的流程图100。显示屏向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏可能是液晶显示屏(liquid crystaldisplay，LCD)。例如，该方法可供智能手机、平板电脑、手持计算机、媒体播放器或个人数字助理(personal digital assistant，PDA)等移动设备使用。首先，在步骤102中，系统检测到用户的眼球斜视。斜视种种是一种斜视用户正在经受极差可视性的良好指标。这是因为斜视会提升具有折射误差(近视、远视、散光或老花)的主体的视敏度并减少了误差。斜视会改变眼睛形状和减少进入眼睛的光量。由于斜视是一种辅助视力不良的自然机制，所以斜视是一种斜视用户正在经受极差可视性的良好指标。
因为斜视是一种面部表情，所以斜视可通过人脸识别技术检测。面部表情衡量指标标准是面部动作编码系统(facial action coding system，FACS)。面部表情可通过动作单元(action unit，AU)确定，AU表示产生面容瞬时变化的肌肉运动。面部表情特征有着其标准的衡量指标，如眉毛下垂、皱起鼻子和下颌张开。FACS中存在斜视动作单元AU 44。也可以通过眉毛下垂(AU 4)、面颊上扬(AU 6)和眼睑皱起(AU 7)的组合检测斜视。可以使用摄像机和人脸识别软件来识别动作单元。
接着，在步骤104中，进行用户注视的眼球追踪。可通过亮瞳效果或暗瞳效果，使用红外光对瞳孔进行追踪。在亮瞳效果中，当红外光线对齐红外(infrared，IR)摄像机时，红外光线会被视网膜反射到IR摄像机中，让所记录的图像上的瞳孔显得明亮。图2示出了亮瞳效果。眼睛206包含瞳孔202、虹膜204和第一普尔钦斑208。第一普尔钦斑是角膜外表面的反射。在暗瞳效果中，当红外光线偏离IR摄像机的光轴时，反射会从IR摄像机中投射出来，让所记录的图像上的瞳孔显得暗淡。图3示出了暗瞳效果，其中眼睛118包含瞳孔112、虹膜116和第一普尔钦斑114。第一普尔钦斑是角膜外表面的反射，在这两种瞳孔追踪方法中它都处在相同位置。亮瞳检测对蓝色或浅色眼睛的效果最好；而暗瞳效果则最适用于深色眼睛。暗瞳效果在光线明亮和自然光条件中发挥较好；亮瞳方法则在光线较少时效果更好。此外，亮瞳检测的假阳性较少。
装配一项实施例执行暗瞳检测和亮瞳检测。使用一个红外摄像机和两个红外光源，其中一个红外光源对齐IR摄像机，另一个光源偏离IR摄像机光轴。对齐摄像机用于亮瞳检测；离轴摄像机可用于暗瞳检测。在一个示例中，眼球追踪硬件嵌入到智能手机、平板电脑、手持计算机、媒体播放器或PDA等移动设备中。在另一个示例中，眼球追踪硬件以穿戴式设备安装在用户头部或嵌入在穿戴式设备中，如Google GlassTM。
在另一个示例中，使用可见光谱光进行暗瞳检测和/或亮瞳检测。
或者，使用电极跟踪用户的注视。使用放置在眼睛周围的电极测量眼睛的电势。在另一个示例中，使用与用户眼睛连接的物体来跟踪眼睛，这个物体可以是一个带有嵌入式镜子和/或磁场传感器的专用隐形眼镜。
最后，在步骤106中，在用户正在注视的区域中增强显示屏。该区域，例如通过调整图像的对比度、减少噪音、锐化、调整色彩平衡、增加文本框或图像大小、调整图形用户界面(graphical user interface，GUI)元素增加某些GUI元素的大小，或通过其他能够提升图像质量的技术得以增强。
可调整可视性来提升可视性。图4A-B示出了通过调整对比度得到提升的可视性和视觉清晰度。在图4A中，用户122的眼睛124正在注视设备126的显示屏125上的图片128。显示屏125还含有作为小型文本框的文本130和文本132。当用户122的眼睛124在注视图片128时斜视，通过调整对比度增强图片128。在一个示例中，调整整个显示屏的对比度。或者，只调整图像的对比度。在一个示例中，调整亮度对比和平均亮度；亮度对比是亮度差异的比例。所使用的对比方法包括Weber对比、Michelson对比、均方根(root-mean-square，RMS)对比或其他技术。
视觉元素可被放大。在图5A-B中，通过放大文本区域增强用户斜视时注视的小型文本的清晰度。用户162的眼睛164正在注视设备166的显示屏165上的文本框170，其中还含有图像168和文本172。当用户162的眼睛164斜视时，文本框170中的小型文本将会放大以变得更清晰。图像168会被部分覆盖。在另一个示例中，放大用户正在注视的区域。
可以修改GUI元素以提升它们的可视性，而其他GUI元素可被减少或移除。GUI元素包括窗口、文本框、按钮、超链接、下拉列表、列表框、组合框、复选框、单选按钮、循环按钮、数据网格、游标、标签、图像和视频。图6A-B示出了通过修改含有难以辨认的小型文本的GUI元素提升小型文本的可视性。用户212的眼睛214正在注视设备216的显示屏215上的文本222。显示屏215还含有图片218和文本220。用户斜视时，放大含有文本222的GUI，让文本变大和更易读。在另一个示例中，移除或缩小其他GUI元素。
如图7A-B所示，通过重新排列GUI元素布局提升图片的可见性。用户252的眼睛254正在注视设备256的显示屏299上的图片258。显示屏299还含有图片260、262、264、266、268、290、292、294和296。当用户在注视图片258时斜视，会增加图片258的分辨率或大小。移除图片268、260和290，为图片258提供充足的空间。
图8示出了一种检测眼睛斜视的方法的流程图401。首先，在步骤402中，获取面部。这可以通过面部检测和/或头部姿势估计完成。在图像中自动找到面部区域。在一个示例中，检测每一帧中的面部。在另一个示例中，在第一帧中检测到面部，然后在后继帧中追踪面部。
接着，在步骤404中，从步骤402中获取到的面部中提取面部数据，并将通过面部表情表现出来的面部变化呈现出来。面部特征可通过基于几何特征的方法和/或基于外观的方法提取出来。几何面部特征包括嘴巴、眼睛、眉毛和鼻子等面部器官的形状和位置。可提取面部器官或面部特征点形成用于表示面部几何形状的特征向量。在基于外观的方法中，会对整个面部或指定脸部部位应用Gabor小波等图像滤波器以提取特征向量。可在提取特征前进行面部正常化或通过特征表示来降低面内头部旋转和面部大小差异效果。
最后，在步骤406中，根据面部特征以识别面部表情。面部变化可标识为面部动作单元、原型面部表情。AU可由专家手动编码。可以使用一个用于表示肌肉收缩程度的强度评量来确定面部表情的强烈程度。可以使用分类器，如神经网络(neural network，NN)、支持向量机(support vector machines，SVM)、线性判别分析(linear discriminantanalysis，LDA)、K最近邻算法、多项逻辑岭回归(multinomial logistic ridgeregression，MLR)、隐马尔科夫模型(hidden Markov models，HMM)、树扩张型朴素贝叶斯和其他。某些系统按照面部动作定义使用基于规则的分类方法。可以使用基于帧和基于序列的表情识别方法。基于帧的识别方法使用当前帧和参考图像或者使用当前帧而不使用参考图像来识别帧中的面部表情。在基于序列的识别方法中，使用序列的时间信息来识别一个或多个帧的表情。
图9示出了一种眼球追踪方法的流程图410。首先，在步骤420中，检测眼睛。在斜视检测中提取眼睛位置后，便可以检测到眼睛。在另一个示例中，使用亮瞳检测和/或暗瞳检测来检测眼睛位置。在亮瞳检测中，IR光源对齐IR摄像机。IR光源直接反射回IR摄像机，让瞳孔变得明亮。另一方面，在暗瞳检测中，IR光源偏离IR摄像机。由于IR光反射回IR光源，在偏离IR摄像机视点中瞳孔会变得暗淡。
在步骤412中，系统决定是使用暗瞳检测还是亮瞳检测来检测瞳孔。系统检测环境光照条件和用户眼睛的颜色。对于浅色眼睛和明亮光照条件，使用亮瞳方法；对于深色眼睛和昏暗光照条件，则使用暗瞳方法。还可确定干扰。如果有太多干扰，系统会从亮瞳方法切换至暗瞳方法。如果有阴影，例如睫毛或面部，系统会从暗瞳方法切换至亮瞳方法。在一个示例中，系统交替使用亮瞳检测和暗瞳检测。或者，同时使用两种方法。选择暗瞳方法时，会在步骤414执行暗瞳检测。选择亮瞳检测时，会在步骤416执行亮瞳检测。
在步骤416中，执行亮瞳检测。在暗瞳检测和亮瞳检测中，都会使用红外发光器照亮用户面部。红外发光器可以是一个发光二极管(light emitting diode，LED)。与使用可见光相比，使用红外发光器可降低环境光照条件的影响、产生亮瞳或暗瞳效果，以及将用户的干扰减到最小。眼睛被近红外发光器发出的沿着摄像机光轴的亮光照亮时，可检测到亮瞳。在近红外波长中，瞳孔会将绝大部分的红外光反射回摄像机，从而产生亮瞳效果。这类似于在摄影时使用闪光灯造成的红眼效果。在暗瞳检测和亮瞳检测中，角膜对照明光源的第一面镜面反射是可见的。瞳孔中央和角膜反射之间的向量可用作为因变量。向量差异基本不受摄像机和红外光源移动的影响。瞳孔检测是基于瞳孔的强度，也可以基于眼睛的外观，例如使用支持向量机。
在步骤414中，执行暗瞳检测。红外发光器配合离轴红外摄像机一起使用。瞳孔颜色暗淡，因为反射的光同轴反射回IR光源，而不是反射回离轴摄像机。和亮瞳检测一样，角膜对照明光源的第一面镜面反射也是可见的，瞳孔中央和和角膜反射之间的向量可用作因变量。
可以使用基于特征或基于模型的方法。在一个示例中，使用结合了基于特征和基于模型的方法的星爆算法。在另一个示例中，使用亮瞳追踪和暗瞳追踪的组合。例如，使用支持向量机分类器将基于亮瞳效果的卡尔曼滤波追踪增强以对检测到的眼睛进行验证。当卡尔曼眼球追踪器因瞳孔强度弱或没有亮瞳而未能发挥作用时，便会激活基于均值偏移的眼球追踪以继续追踪眼球。亮瞳再次出现时，眼球追踪器返回卡尔曼滤波追踪器。
图10示出了可用于斜视检测的硬件的示例。例如，移动设备310是一台智能手机、平板电脑、手持计算机、媒体播放器或个人数字助理(personal digital assistant，PDA)。移动设备310含有摄像机314和显示屏312。显示屏312，例如LCD，向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏312还可能是触摸屏。摄像机314是一个可见光谱摄像机。摄像机314有一个光学系统，例如一个带有可变光圈的镜头，将光线聚焦到一个能够检测光线的电子传感器上。摄像机314有一个定焦镜头，镜头后面又有一个光学传感器，如互补型金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器或电荷耦合器(charge-coupled device，CCD)图像传感器。移动设备310含有应用处理器、基带处理器、永久性存储器、内存控制器、图形处理器(graphics processing unit，GPU)、外设接口、射频(radio frequency，RF)电路、音频电路、全球定位系统(globalpositioning system，GPS)模块、电源系统和操作系统(operating system，OS)。OS执行储存在永久性存储器中的斜视检测软件。当用户处于摄像机314视野范围内，软件便会检测用户的面部。从用户面部的图像中提取特征。然后，软件会检测用户是否正在斜视。使用人脸识别技术可检测斜视的面部表情。面部表情可通过AU确定；AU表示产生面容瞬时变化的肌肉运动。FACS中有一个可用于检测斜视的斜视动作单元AU 44。也可以通过眉毛下垂(AU4)、面颊上扬(AU 6)和眼睑皱起(AU 7)的组合来检测斜视。
图11示出了用于眼球跟踪的硬件的示例。移动设备320，例如智能手机、平板电脑、手持计算机、媒体播放器或PDA，含有红外单元326，该红外单元又含有IR摄像机328、IR光源330、IR光源324和显示屏322，其中显示屏可能是触摸屏。IR摄像机328含有镜头和传感器阵列，例如热电材料、铁电体检测器或微测热辐射计结构；IR光源324和330可能是LED。显示屏322，例如LCD，向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏322还可能是触摸屏输入设备也可能是输出设备。此外，移动设备320含有应用处理器、基带处理器、永久性存储器、内存控制器、GPU、外设接口、RF电路、音频电路、GPS、电源系统，以及能够执行储存在永久性存储器中的眼球追踪软件的OS。IR光源330在IR摄像机328旁边，用于接收同轴反射以执行亮瞳检测；而IR光源324距离IR摄像机328相对较远，用于离轴检测以进行暗瞳检测。要执行亮瞳检测，眼球追踪算法会打开IR光源330，使用亮瞳检测在来自IR摄像机328的图像上检测瞳孔。此外，要执行暗瞳检测，眼球追踪软件会打开IR光源324，从离轴IR摄像机328的反射中检测瞳孔。
图12示出了用于眼球追踪的硬件340。用户346将穿戴式设备350佩戴在眼睛348旁边。在一个示例中，穿戴式设备350是Google GlassTM。或者，穿戴式设备350是一个佩戴在眼睛旁边的独立设备。穿戴式设备350含有IR光源352和IR模块354。IR模块354含有IR光源358和IR摄像机356。IR摄像机356含有镜头和传感器阵列，例如热电材料、铁电体检测器或微测热辐射计结构。IR光源352和358可能是LED。IR摄像机356在IR光源358旁边，例如距离可能在2厘米以内，用于亮瞳检测；而IR光源352距离IR摄像机356相对较远，例如距离至少5厘米，用于暗瞳检测。穿戴式设备350含有用于确定其相对于面部的方向和位置的设备。这可以通过陀螺仪、加速度计和数字罗盘等传感器来进行。
穿戴式设备350与移动设备342通信，例如使用蓝牙或专有频率进行通信。在一些示例中，移动设备342是一台智能手机、平板电脑、手持计算机、媒体播放器或PDA。移动设备342含有显示屏344，该显示屏可能是LCD，用于向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏344还可能是触摸屏输入设备也可能是输出设备。显示屏344有一个覆盖用户观看区域、用于OS的用户界面。移动设备342还含有应用处理器、基带处理器、永久性存储器、内存控制器、GPU、外设接口、RF电路、音频电路、GPS、电源系统、OS、位置传感器和方向传感器(未图示)。位置传感器和方向传感器用于确定穿戴式设备350相对于移动设备342的位置和方向。穿戴式设备350和移动设备342的位置和方向数据会由移动设备342进行比较，以确定它们的相对位置和方向。这用于确定用户正在注视显示屏344上的哪个位置。OS含有一个用户界面，能够执行储存在永久性存储中的眼球追踪软件。当光源358打开时，软件使用亮瞳检测以检测注视位置；当IR光源352打开时，软件使用暗瞳检测以检测注视位置。软件传输信号以激活和去激活合适的IR光源。
图13示出了用于执行显示屏增强的移动设备360。移动设备360可能是一台智能手机、平板电脑、手持计算机、媒体播放器或PDA。移动设备360含有用于亮瞳检测的IR光源364、显示屏362和光学组件366。显示屏362，例如LCD，向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏362还可能是触摸屏输入设备也可能是输出设备。摄像机314是一个可见光谱摄像机。光学组件366含有摄像机372、IR摄像机370和IR光源368。IR摄像机370含有镜头和传感器阵列，例如热电材料、铁电体检测器或微测热辐射计结构；摄像机372有一个镜头，如定焦镜头，镜头后面有一个光学传感器，如CMOS图像传感器或CCD图像传感器。此外，移动设备360含有应用处理器、基带处理器、永久性存储器、内存控制器、GPU、外设接口、RF电路、音频电路、GPS、电源系统和OS；其中，OS有一个用户界面，以及能够执行储存在永久性存储器中的眼球追踪软件。软件存储在永久性存储器中。
软件使用摄像机372检测用户斜视。摄像机372会拍摄一张用户面部的图像。软件检测用户面部，从检测到的面部提取面部特征，以及，例如使用AU确定用户的面部表情。软件还会使用IR摄像机370、IR光源368和IR光源364来检测用户的注视情况。IR光源368和364可能是LED。当IR光源368和IR摄像机370收到来自用户眼睛的反射时，会使用亮瞳检测来检测用户的瞳孔，因为IR光被反射回摄像机。使用IR光源364时，会使用暗瞳检测来检测用户瞳孔，因为IR光被反射回IR光源364，而不是反射回IR摄像机370。软件会激活和去激活合适的IR光源进行亮瞳检测和暗瞳检测。例如，在光照条件昏暗或用户眼睛颜色较浅时，IR光源368会被激活；在光照条件明亮或用户眼睛颜色较深时，IR光源364会被激活。在另一个示例中，IR光源368和364会交替激活。使用亮瞳检测和/暗瞳检测来检测用户的注视情况。用户斜视时，会增强显示屏上用户正在注视的显示屏区域的显示屏。调整图像对比度以提升清晰度。在一个示例中，小型文本或小型图像会被放大以提升清晰度。在另一个示例中，GUI元素布局会被改变，以增加用户正在注视的GUI元素的大小，以及移除其他GUI元素或缩小其大小。所讨论的GUI元素可能是图像或文本元素。
图14示出了用于检测用户面部斜视的系统380，以确定用户正在注视移动设备的显示屏区域，以及增强该显示屏区域。用户388将穿戴式设备392佩戴在用户眼睛，眼睛390，旁边。穿戴式设备392可能有额外功能，例如穿戴式设备392是Google GlassTM。或者，穿戴式设备392是一个独立设备。穿戴式设备392含有IR光源394和IR模块396，该IR模块含有IR光源400和IR摄像机398。IR摄像机398含有镜头和传感器阵列，例如热电材料、铁电体检测器或微测热辐射计结构。IR光源394和400可能是LED。打开IR光源400或IR光源394时，IR摄像机398接收眼睛390的IR反射。打开IR光源400时，光反射回IR摄像机398，并执行亮瞳检测。另一方面，使用IR光源394时，会使用暗瞳检测。穿戴式设备392还可能含有位置传感器、方向传感器或数字罗盘，可用于确定穿戴式设备392相对于移动设备382的方向。
穿戴式设备392，例如使用蓝牙或专有通信频带，与移动设备382通信。移动设备382可能是一台智能手机、平板电脑、手持计算机、媒体播放器或PDA。移动设备382向穿戴式设备392传输一条信息，通知其打开IR光源400和IR光源394中合适IR光源。此外，移动设备382接收IR摄像机398在用户瞳孔反射IR光的情况下拍摄到的图像。移动设备382含有摄像机386、显示屏384、应用处理器、基带处理器、永久性存储器、内存控制器、GPU、外设接口、RF电路、音频电路、GPS、电源系统和OS。显示屏384可能是LCD，用于向用户显示可视化输出，如文本、图形、视频或它们的组合。显示屏384还可能是触摸屏输入设备也可能是输出设备。摄像机386有一个定焦镜头，镜头后面又有一个光学传感器，如CMOS图像传感器或CCD图像传感器。执行瞳孔检测时，确定穿戴式设备392和移动设备382的方向，以确定用户正在注视显示屏384的哪个区域。移动设备382和穿戴式设备392上的位置和方向传感器可用于确定这两个设备的位置和方向。穿戴式设备392将其位置和方向传输至移动设备382。然后，移动设备382便会根据它们之间的位置和方向差异，确定它们的相对位置和方向。根据相对位置和用户注视情况，使用暗瞳检测或亮瞳检测以确定用户正在注视显示屏384的位置。根据来自摄像机386的图像确定用户是否正在斜视。在图像中检测到面部，并从检测到的面部提取面部特征。然后确定面部表情。检测到斜视时，会确定用户正在注视的位置并对显示屏中的该位置进行增强。增强可能会增加图像的对比度。或者，增加文本框或图像的大小。在另一个示例中，重新排列UI，以放大用户正在注视的GUI元素，这可能需要移除其他GUI元素。
图15示出了处理系统270的方框图，该处理系统可以用来实现本文公开的设备和方法。特定设备可利用所有所示的组件或这些组件的仅一子集，且装置之间的集成程度可能不同。此外，设备可以包括部件的多个实例，例如多个处理单元、处理器、存储器、发射器、接收器等。处理系统可以包括配备一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等的处理单元。另外，处理系统270可配备一个或多个输出设备，例如，扬声器、打印机、显示器等。处理单元可以包括中央处理器(centralprocessing unit，CPU)274、存储器276、大容量存储器设备278、视频适配器280以及连接至总线的I/O接口288。
总线可以是任意类型的若干总线架构中的一个或多个，包括存储总线或存储控制器、外设总线、视频总线等等。CPU 274可包括任意类型的电子数据处理器。存储器276可包括任何类型的系统存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)或其组合等等。在实施例中，存储器可包括在开机时使用的ROM以及执行程序时使用的程序和数据存储器的DRAM。
大容量存储器设备278可包括任意类型的存储设备，其用于存储数据、程序和其它信息，并使这些数据、程序和其它信息通过总线访问。大容量存储器设备278可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。
视频适配器280以及I/O接口288提供接口以将外部输入以及输出装置耦合到处理单元上。如所图示，输入以及输出装置的实例包含耦合到显示卡上的显示器以及耦合到I/O接口上的鼠标/键盘/打印机。其它装置可以耦合到处理单元上，并且可以利用额外的或较少的接口卡。举例来说，串行接口卡(未图示)可以用于为打印机提供串行接口。
处理单元还包含一个或多个网络接口284，该网络接口可以包括例如以太网电缆或其类似者等有线链路，和/或用以接入节点或不同网络的无线链路。网络接口284允许处理单元经由网络与远程单元通信。举例来说，网络接口可以经由一个或多个发射器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一个实施例中，所述处理单元与局域网或者广域网耦合以进行数据处理以及与远端设备比如其他处理单元、因特网、远端存储设备等通信。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (21)

1.一种用于增强显示屏的方法，其特征在于，所述方法包括：
接收用户面部的光学图像；
根据所述光学图像检测用户是否正在斜视；
检测所述用户正在注视的所述显示屏上的区域；以及
当所述用户斜视时，增强所述用户正在注视的所述显示屏上的所述区域。
2.根据权利要求1所述的方法，其特征在于，检测所述用户是否正在斜视包括：
从所述光学图像中检测所述用户的所述面部；
从所述用户的所述面部提取面部数据，以产生所提取的面部数据；以及
根据所述所提取的面部数据，识别所述用户的所述面部的面部表情。
3.根据权利要求1所述的方法，其特征在于，进一步包括接收所述用户的所述面部的红外图像，其中检测所述用户正在注视的所述显示屏上的所述区域包括根据所述红外图像检测所述用户正在注视的所述显示屏上的所述区域。
4.根据权利要求3所述的方法，其特征在于，接收所述红外图像包括：
打开红外光源；以及
接收来自红外摄像机的所述红外图像。
5.根据权利要求3所述的方法，其特征包括，检测所述用户正在注视的所述显示屏上的所述区域包括：
根据所述红外图像确定执行暗瞳检测还是亮瞳检测；
在确定执行暗瞳检测后，执行暗瞳检测；以及
在确定执行亮瞳检测后，执行亮瞳检测。
6.根据权利要求5所述的方法，其特征在于，确定执行暗瞳检测还是亮瞳检测包括：
确定所述红外图像的亮度等级；
当所述亮度等级高时，确定执行亮瞳检测；以及
当所述亮度等级低时，确定执行暗瞳检测。
7.根据权利要求5所述的方法，其特征在于，确定执行暗瞳检测还是亮瞳检测包括：
在所述红外图像中检测所述用户的所述面部的虹膜；
如果所述虹膜的颜色较浅，决定执行亮瞳检测；以及
如果所述虹膜的颜色较暗，决定执行暗瞳检测。
8.根据权利要求3所述的方法，其特征在于，还包括：
移动设备向穿戴式设备传输一条激活红外光源消息；以及
所述移动设备接收来自所述穿戴式设备的所述红外图像。
9.根据权利要求1所述的方法，其特征在于，检测所述用户正在注视的所述显示屏上的所述区域包括：
移动设备从单独的穿戴式设备接收所述穿戴式设备的位置和所述穿戴式设备的方向；
确定所述移动设备的位置；
确定所述移动设备的方向；
根据所述移动设备的所述位置和所述穿戴式设备的所述位置，确定所述移动设备和所述穿戴式设备的相对位置；以及
根据所述移动设备的所述方向和所述穿戴式设备的所述方向，确定所述移动设备和所述穿戴式设备的相对方向。
10.根据权利要求1所述的方法，其特征在于，增强所述显示屏的所述区域包括调整所述显示屏的所述区域的对比度。
11.根据权利要求1所述的方法，其特征在于，增强所述显示屏上的所述区域包括放大所述显示屏上的所述区域。
12.根据权利要求1所述的方法，其特征在于，增强所述显示屏上的所述区域包括修改所述显示屏上的所述区域的用户界面(user interface，UI)元素。
13.根据权利要求12所述的方法，其特征在于，修改所述UI元素包括重新排列组成所述UI元素的多个UI元素。
14.一种移动设备，其特征在于，包括：
显示屏；
处理器；以及
存储由所述处理器执行的程序的非瞬时性计算机可读存储介质，所述程序包括执行以下操作的指令：
接收用户面部的光学图像；
根据所述光学图像检测所述用户是否正在斜视；
接收所述用户的所述面部的红外图像；
根据所述红外图像检测所述用户正在注视的所述显示屏上的区域，以及
在所述用户斜视时，增强所述用户正在注视的所述显示屏上的所述区域。
15.根据权利要求14所述的移动设备，其特征在于，还包括用于提供所述光学图像的摄像机。
16.根据权利要求14所述的移动设备，其特征在于，还包括：
红外摄像机；以及
第一红外光源，其中所述编程还包括用于激活所述第一红外光源和接收来自所述红外摄像机的所述红外图像的指令。
17.根据权利要求16所述的移动设备，其特征在于，所述红外摄像机与所述第一红外光源相距2厘米以内。
18.根据权利要求16所述的移动设备，其特征在于，所述红外摄像机与所述第一红外光源相距至少5厘米。
19.根据权利要求16所述的移动设备，其特征在于，还包括第二红外光源。
20.一种穿戴式设备，其特征在于，包括：
红外摄像机；
第一红外光源，与所述红外摄像机相距2厘米以内；以及
第二红外光源，与所述红外摄像机相距至少5厘米，其中所述穿戴式设备用于在所述穿戴式设备收到亮瞳检测信号时激活所述第一红外光源，以及在所述穿戴式设备收到暗瞳检测信号时激活所述第二红外光源，所述穿戴式设备用于以无线方式将图像从所述红外摄像机传输到移动设备。
21.根据权利要求20所述的穿戴式设备，其特征在于，还包括：
方向传感器，用于确定所述穿戴式设备的方向；以及
位置传感器，用于确定所述穿戴式设备的位置，其中所述穿戴式设备用于以无线方式将所述穿戴式设备的所述位置和所述穿戴式设备的方向传输到所述移动设备。
CN201580029077.4A 2014-07-14 2015-06-25 用于显示屏增强的系统和方法 Pending CN107077593A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/330,648 US20160011657A1 (en) 2014-07-14 2014-07-14 System and Method for Display Enhancement
US14/330,648 2014-07-14
PCT/CN2015/082368 WO2016008354A1 (en) 2014-07-14 2015-06-25 System and method for display enhancement

Publications (1)

Publication Number Publication Date
CN107077593A true CN107077593A (zh) 2017-08-18

Family

ID=55067540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580029077.4A Pending CN107077593A (zh) 2014-07-14 2015-06-25 用于显示屏增强的系统和方法

Country Status (6)

Country Link
US (1) US20160011657A1 (zh)
EP (1) EP3158424B1 (zh)
JP (1) JP6339287B2 (zh)
KR (1) KR101890542B1 (zh)
CN (1) CN107077593A (zh)
WO (1) WO2016008354A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257091A (zh) * 2018-01-16 2018-07-06 北京小米移动软件有限公司 用于智能镜子的成像处理方法和智能镜子
CN108542348A (zh) * 2018-03-15 2018-09-18 中国人民解放军陆军军医大学 非人灵长类动物瞳孔监测及视线追踪系统及其实验方法
CN111258414A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于调整屏幕的方法和装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180885A (ja) * 2015-03-24 2016-10-13 株式会社東芝 表示システム、情報処理装置および情報処理方法
US10275672B2 (en) * 2015-04-29 2019-04-30 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for authenticating liveness face, and computer program product thereof
US9916525B2 (en) * 2015-10-13 2018-03-13 Siemens Healthcare Gmbh Learning-based framework for personalized image quality evaluation and optimization
JP2017130201A (ja) * 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
JP2017181683A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 表示処理装置、表示処理方法、およびプログラム
US9655504B1 (en) * 2016-05-26 2017-05-23 Dental Smartmirror, Inc. Autoclavable intraoral mirror with an integrated camera, and applications thereof
KR102196380B1 (ko) * 2016-07-21 2020-12-30 매직 립, 인코포레이티드 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US10860841B2 (en) * 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
KR20190121758A (ko) * 2017-02-27 2019-10-28 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US11763598B2 (en) * 2018-12-18 2023-09-19 Nec Corporation Image processing device, image processing method, and storage medium
US11430414B2 (en) 2019-10-17 2022-08-30 Microsoft Technology Licensing, Llc Eye gaze control of magnification user interface
ES2925382T3 (es) * 2020-04-09 2022-10-17 Irisbond Crowdbonding S L Método para el seguimiento de la mirada
EP4202611A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Rendering a virtual object in spatial alignment with a pose of an electronic device
WO2023181862A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN103024338A (zh) * 2011-04-08 2013-04-03 数字光学欧洲有限公司 具有图像捕获和分析模块的显示设备
US20130250086A1 (en) * 2012-03-20 2013-09-26 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
CN103914130A (zh) * 2013-01-05 2014-07-09 鸿富锦精密工业(武汉)有限公司 显示装置及调整显示装置观测距离的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3520618B2 (ja) * 1995-08-16 2004-04-19 日産自動車株式会社 車両用視線方向計測装置
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
JP4693329B2 (ja) * 2000-05-16 2011-06-01 スイスコム・アクチエンゲゼルシヤフト 命令を入力する方法と端末装置
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) * 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
WO2008053585A1 (fr) * 2006-10-31 2008-05-08 Mitsubishi Electric Corporation Dispositif électrique d'isolation de gaz
JP4884417B2 (ja) * 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
EP2579127A1 (en) * 2011-10-04 2013-04-10 Research In Motion Limited Orientation determination for a mobile device
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
CN104781873B (zh) * 2012-11-13 2017-06-06 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统
CN103902179A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 一种交互方法及装置
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
JP5273323B1 (ja) * 2013-03-13 2013-08-28 パナソニック株式会社 ヘッドマウントディスプレイ装置
JP2015176186A (ja) * 2014-03-13 2015-10-05 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
CN103902157B (zh) * 2014-03-14 2017-06-27 联想(北京)有限公司 一种信息处理方法和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN103024338A (zh) * 2011-04-08 2013-04-03 数字光学欧洲有限公司 具有图像捕获和分析模块的显示设备
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
US20130250086A1 (en) * 2012-03-20 2013-09-26 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
CN103914130A (zh) * 2013-01-05 2014-07-09 鸿富锦精密工业(武汉)有限公司 显示装置及调整显示装置观测距离的方法
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257091A (zh) * 2018-01-16 2018-07-06 北京小米移动软件有限公司 用于智能镜子的成像处理方法和智能镜子
CN108542348A (zh) * 2018-03-15 2018-09-18 中国人民解放军陆军军医大学 非人灵长类动物瞳孔监测及视线追踪系统及其实验方法
CN111258414A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于调整屏幕的方法和装置
CN111258414B (zh) * 2018-11-30 2023-08-04 百度在线网络技术（北京）有限公司 用于调整屏幕的方法和装置

Also Published As

Publication number Publication date
KR101890542B1 (ko) 2018-08-21
KR20170026615A (ko) 2017-03-08
EP3158424B1 (en) 2024-03-13
EP3158424A1 (en) 2017-04-26
EP3158424A4 (en) 2017-11-08
JP2017528793A (ja) 2017-09-28
JP6339287B2 (ja) 2018-06-06
WO2016008354A1 (en) 2016-01-21
US20160011657A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
CN107077593A (zh) 用于显示屏增强的系统和方法
US11630311B1 (en) Enhanced optical and perceptual digital eyewear
US11474348B2 (en) Method and device for eye tracking using event camera data
US11442539B2 (en) Event camera-based gaze tracking using neural networks
US20230266590A1 (en) Enhanced Optical and Perceptual Digital Eyewear
US11675216B2 (en) Enhanced optical and perceptual digital eyewear
EP2967324B1 (en) Enhanced optical and perceptual digital eyewear
US11129530B2 (en) Eye tracking using eyeball center position
US8733927B1 (en) Enhanced optical and perceptual digital eyewear
US9710058B2 (en) Portable eye tracking device
CN109101873A (zh) 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN109923499B (zh) 便携式眼睛追踪装置
WO2017053871A2 (en) Methods and devices for providing enhanced visual acuity
EP3453317B1 (en) Pupil radius compensation
CN109155053A (zh) 信息处理设备、信息处理方法和记录介质
KR20220088678A (ko) 투영 면에 시각적 장면을 매핑하는 장치 및 방법
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
CN109587471A (zh) 图像显示系统、图像显示方法及图像显示程序
US20210350554A1 (en) Eye-tracking system
Nitschke et al. Corneal Imaging
Chaudhary Deep into the Eyes: Applying Machine Learning to Improve Eye-Tracking
WO2016121049A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication