CN109729334B - 去除反射区的方法以及眼部跟踪方法和设备 - Google Patents

去除反射区的方法以及眼部跟踪方法和设备 Download PDF

Info

Publication number
CN109729334B
CN109729334B CN201811258687.3A CN201811258687A CN109729334B CN 109729334 B CN109729334 B CN 109729334B CN 201811258687 A CN201811258687 A CN 201811258687A CN 109729334 B CN109729334 B CN 109729334B
Authority
CN
China
Prior art keywords
image
input image
region
reflection
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811258687.3A
Other languages
English (en)
Other versions
CN109729334A (zh
Inventor
姜东佑
许珍久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109729334A publication Critical patent/CN109729334A/zh
Application granted granted Critical
Publication of CN109729334B publication Critical patent/CN109729334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种去除反射区的方法以及眼部跟踪方法和设备。所述眼部跟踪方法包括：确定在输入图像中是否包括由照明产生的反射区；响应于确定在输入图像中包括反射区，从输入图像去除反射区；从去除了反射区的输入图像输出用户的眼睛的坐标。

Description

去除反射区的方法以及眼部跟踪方法和设备
本申请要求于2017年10月27日提交到韩国知识产权局的第10-2017-0141339号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例实施例一致的方法和设备涉及去除反射区以及跟踪用户的眼睛。
背景技术
基于相机的眼部跟踪技术用于各种领域，诸如，基于视点跟踪的自动立体或裸眼三维(3D)超多视图(SMV)显示器等。基于相机的眼部跟踪设备可在亮的环境中或在高照度下(例如，400lux)期望地操作。然而，眼部跟踪设备可能由于在暗的环境下或在低照度下将由相机捕获的图像的低质量而在这种环境中无法期望地操作。因此，考虑到在亮的或暗的环境下的电视(TV)观看和移动装置的频繁使用，以及还考虑到用于下一代车辆3D平视显示器(HUD)技术的夜间驾驶，存在用于在除了亮的环境之外的暗的环境中期望地操作的眼部跟踪设备的需要。
对于在低照度环境下(例如，在夜间或在暗处)使用彩色相机跟踪用户的眼睛，在这种环境下将被捕获的图像的质量可能相对低，并且在这种环境下眼部跟踪的精度和成功率也可能降低。然而，当使用可增加捕获的图像的质量的红外相机来跟踪佩戴眼镜的用户的眼睛时，眼部跟踪的精度和成功率还可能由于例如由红外相机的照明引起的在眼镜的镜片处的反射而降低。
发明内容
一个或多个示例实施例可解决至少以上问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述问题中的任意一个。
根据示例实施例的一个方面，提供一种眼部跟踪方法，包括：确定在输入图像中是否包括由照明产生的反射区；响应于确定包括反射区，从输入图像去除反射区；从去除了反射区的图像输出与用户的眼睛相应的坐标。
去除反射区的步骤可包括：通过使用参数对包括反射区的输入图像进行处理来去除反射区，其中，所述参数通过基于包括去除了反射区的图像的数据库的机器学习被学习。
去除反射区的步骤可包括：通过基于照度补偿算法的图像处理，从输入图像去除反射区。
照度补偿算法可包括被配置为使用与输入图像的局部区域相应的块来恢复反射区的图像修复算法。
去除反射区的步骤可包括：通过扩展反射区来确定用于图像恢复的遮蔽区；通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
眼部跟踪方法还可包括：对进行了图像处理的遮蔽区的边缘部分执行平滑。
确定是否包括反射区的步骤可包括：基于在输入图像中是否包括具有大于预设阈值的像素值的区域，来确定是否包括反射区。
眼部跟踪方法还可包括：使用去除了反射区的图像来配置用于机器学习的数据库。
反射区可包括由红外照明产生的眼镜镜片的反射区、眼睛的反射区和眼睛周围的反射区中的至少一个或它们的组合。
根据示例实施例的另一方面，提供一种去除反射区的方法，包括：确定在输入图像中是否包括由照明产生的反射区；响应于确定包括反射区，通过使用参数对包括反射区的输入图像进行处理来去除反射区，其中，所述参数通过基于包括去除了反射区的图像的数据库的机器学习被学习。
根据示例实施例的另一方面，提供一种去除反射区的方法，包括：确定在输入图像中是否包括由照明产生的反射区，其中，反射区包括由照明产生的眼镜镜片的反射区、眼睛的反射区或眼睛周围的反射区中的至少一个；响应于确定包括反射区，通过扩展反射区来确定用于图像恢复的遮蔽区；通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
所述方法还可包括对进行了图像处理的遮蔽区的边缘部分执行平滑。
一种非暂时性计算机可读存储介质可存储将由处理器执行以执行眼部跟踪方法的指令。
根据示例实施例的另一方面，提供一种眼部跟踪设备，包括：捕获器，被配置为获得输入图像；处理器，被配置为：确定在输入图像中是否包括由照明产生的反射区；响应于确定包括反射区，从输入图像去除反射区；从去除了反射区的图像输出与用户的眼睛相应的坐标。
眼部跟踪设备还可包括存储器，被配置为：存储通过基于包括去除了反射区的图像的数据库的机器学习而学习的参数，其中，处理器还可被配置为通过使用所述参数对包括反射区的输入图像进行处理来去除反射区。
处理器还可被配置为：通过基于照度补偿算法的图像处理，从输入图像去除反射区。
处理器还可被配置为：通过扩展反射区来确定遮蔽区；通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
处理器还可被配置为：对通过执行图像处理而获得的遮蔽区的边缘部分执行平滑。
处理器还可被配置为：基于在输入图像中是否包括具有大于预设阈值的像素值的区域，来确定是否包括反射区。
反射区可包括由红外照明产生的眼镜镜片的反射区、眼睛的反射区和眼睛周围的反射区中的至少一个或它们的组合。
附图说明
通过结合附图对特定示例实施例进行描述，以上和/或其他方面将更加清楚，其中：
图1是示出根据示例实施例的眼睛的瞳孔或形状由于红外光源的反射而被遮挡的示例的示图；
图2是示出根据示例实施例的眼部跟踪方法的示例的流程图；
图3是示出根据示例实施例的去除反射区的方法的示例的流程图；
图4是示出根据示例实施例的去除反射区的方法的示例的示图；
图5和图6是示出根据示例实施例的去除反射区的方法的示例的流程图；
图7、图8和图9是示出根据示例实施例的眼部跟踪设备的示例的示图。
具体实施方式
现在将详细参考示例实施例，示例实施例的示例在附图中示出，其中，相同的参考标号始终表示相同的元件。
以下结构性或功能性的描述是示例性的，仅用于描述示例实施例，并且示例实施例的范围不限于在本公开中提供的描述。本领域普通技术人员可对其进行各种改变和修改。
尽管使用术语“第一”或“第二”来解释各种组件，但这些组件不受这些术语限制。这些术语应仅用于将一个组件与另一个组件区分开来。例如，在根据本公开的示例实施例的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当一个组件被称为“连接到”另一组件时，该组件可直接连接或结合到另一组件，或者可存在中间组件。
如在此所使用的，除非上下文另有明确指示，否则单数形式也意在包括复数形式。还应当理解，当在本说明书中使用术语“包括”和/或“包含”时，指定存在叙述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。当诸如“……中的至少一个”的表述在一列元素之后时，该表述修饰整列元素，而不是修饰列中的单个元素。例如，表述“a、b和c中的至少一个”应当理解为包括：仅有a、仅有b、仅有c、a和b二者、a和c二者、b和c二者、或者所有的a、b和c。
除非在此另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则在通用词典中定义的术语应当被解释为具有与相关领域中的上下文含义匹配的含义，并且不应被解释为理想化或过于形式化的含义。
例如，在下文中将被描述的示例实施例可应用于自动立体或裸眼三维(3D)监视器、自动立体或裸眼3D平板或智能电话、车辆3D平视显示器(HUD)等，以使用红外相机跟踪用户的眼睛并输出眼睛的坐标。例如，示例实施例可以以监视器的芯片中的软件算法、平板或智能电话中的应用以及硬件眼部跟踪设备的形式来配置。例如，示例实施例可应用于自动驾驶车辆、智能车辆、智能电话、移动装置等。
图1是示出根据示例实施例的眼睛的瞳孔或形状由于红外光源的反射而被遮挡的示例的示图。图1示出使用单个红外相机获得的图像110和图像130。
例如，与通过彩色相机捕获的图像相比，因为即使在低照度下也不会产生阴影，所以可从通过红外相机捕获用户的脸部图像而获得的图像110和图像130更容易地辨认眼睛、鼻子、嘴唇和脸部的形状。
然而，在用户佩戴眼镜的情况下，反射区113可通过用于红外相机的红外光源在用户的眼睛周围的区域中产生。反射区136可在用户的眼睛或眼睛周围的区域产生，和/或反射区133可在眼镜的镜片中产生。反射区113、反射区133和反射区136可覆盖或遮挡用户的眼睛的瞳孔或形状，因此可能影响用于跟踪用户的眼睛或眼睛的位置的形状对准，并且可降低这样的眼部跟踪的精度和/或成功率。
根据示例实施例，在不必使用单独的大型相机装置和红外光源或者不必在相机和红外光源之间保持预设距离的情况下，通过经由机器学习或基于各种照度补偿算法的图像处理去除包括在输入图像中的反射区，眼部跟踪的精度和/或成功率可被提高。
图2是示出根据示例实施例的眼部跟踪方法的示例的流程图。参照图2，在操作210中，眼部跟踪设备确定输入图像中是否存在通过照明产生的反射区。例如，在此使用的输入图像可以是包括用户的眼睛的脸部图像和包括用户的脸部的身体图像。输入图像可以是由包括在眼部跟踪设备中的红外相机或图像传感器直接捕获的图像，或者由眼部跟踪设备的外部捕获并从眼部跟踪设备的外部接收的红外图像。
例如，反射区可具有与邻近区域的像素值相比更快速地改变的相对高的像素值。眼部跟踪设备可基于输入图像中是否存在具有大于预设阈值的像素值的区域来确定存在或不存在反射区。例如，反射区可包括由红外照明产生的眼镜的镜片的反射区、眼睛的反射区和/或眼睛周围的反射区。在操作220中，响应于在操作210中确定在输入图像中不存在反射区，眼部跟踪设备从输入图像输出用户的眼睛的坐标。
在操作230中，响应于在操作210中确定在输入图像中存在反射区，眼部跟踪设备从输入图像去除反射区。这里，表述“去除反射区”可包括将输入图像的反射区恢复为没有出现光源的反射的图像的区域。例如，眼部跟踪设备可通过机器学习或使用预先学习或预先训练的神经网络来去除反射区。眼部跟踪设备可通过经由基于包括去除了反射区的图像的数据库的机器学习或使用通过神经网络学习或训练的参数对包括反射区的输入图像进行处理，来去除反射区。例如，机器学习可通过自适应提升(adaptive boosting，adaboost)或支持向量机(SVM)来执行。然而，适用的方法的示例不限于前面描述的示例，并且其他学习或训练方法可被应用。神经网络可包括递归神经网络(RNN)或卷积神经网络(CNN)。然而，神经网络的示例不限于前面描述的示例，并且其他各种神经网络可被应用。
可选地，眼部跟踪设备可通过基于各种照度补偿算法的图像处理，从输入图像去除反射区。照度补偿算法可用于仅去除反射区或者由于照明而出现反射的区域，同时保持没有由于照明而出现反射的鼻子、嘴唇、瞳孔等的形状。
例如，照度补偿算法可包括被配置为使用与输入图像的局部区域相应的块(patch)来修复反射区的Telea图像修复算法和基于纳维-斯托克斯(Navier-Stokes，NS)的图像修复算法等。将参照图3更详细地描述通过眼部跟踪设备去除反射区的方法。
在操作240中，眼部跟踪设备从去除了反射区的图像输出用户的眼睛的坐标。眼部跟踪设备可包括被配置为从图像(例如，去除了反射区的图像)识别与用户的眼睛相应的特征点的多个分类器。例如，分类器可使用主动形状模型(ASM)、主动外观模型(AAM)和监督下降法(SDM)从输入图像中的脸部区域识别与用户的眼睛和鼻子相应的特征点或标志。眼部跟踪设备可使用被配置为识别与眼睛相应的特征点的多个分类器从去除了反射区的图像输出用户的眼睛的坐标。
此外，眼部跟踪设备可使用去除了反射区的图像来配置或更新用于机器学习的数据库。
图3是示出根据示例实施例的去除反射区的方法的示例的流程图。参照图3，在操作310中，眼部跟踪设备通过扩展反射区来确定遮蔽区。例如，眼部跟踪设备可将通过以预定比率扩展整个反射区而获得的区域或通过向左和向右扩展反射区而获得的区域确定为遮蔽区。可如图4所示确定遮蔽区(例如，遮蔽区430和遮蔽区440)。
在操作320中，眼部跟踪设备通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
在操作330中，眼部跟踪设备对通过执行图像处理而获得的遮蔽区的边缘部分执行平滑。例如，眼部跟踪设备可使用直方图均衡算法(histogram equalizationalgorithm)、样条平滑算法(spline smoothing algorithm)等对边缘部分执行平滑。直方图均衡算法可用于通过经由对比度调节均等地分布图像的像素值来填充整个图像中的所有可能区域，以使图像清晰和明显。例如，直方图均衡算法可使用单值函数(uniformfunction)或高斯(Gaussian)函数。
眼部跟踪设备可对遮蔽区的边缘部分执行平滑，并减小反射区与邻近区域之间的梯度差异，因此可能够更自然地表示反射区。
图4是示出根据示例实施例的去除反射区的方法的示例的示图。例如，在输入图像包括具有与邻近区域的像素值相比快速增加的像素值或具有大于预设阈值的像素值的反射区410和反射区420的假设下，眼部跟踪设备可确定在输入图像中存在由照明产生的反射区，并且如下去除反射区。
如图4所示，眼部跟踪设备确定通过分别向左和向右扩展反射区410和反射区420而获得的遮蔽区430和遮蔽区440。眼部跟踪设备可通过经由应用照度补偿算法(例如，Telea图像修复算法和NS图像修复算法)对遮蔽区430和遮蔽区440执行图像处理来去除反射区410和反射区420。这里，去除了反射区410和反射区420的图像450可被获得。通过图像处理，眼部跟踪设备可通过对遮蔽区的边缘部分或将被模糊的反射区的边缘部分执行平滑来去除反射区。
图5是示出根据示例实施例的去除反射区的方法的示例的流程图。参照图5，在操作510中，用于去除反射区的设备(在下文中，简称为反射区去除设备)确定在输入图像中是否存在由照明产生的反射区。响应于在操作510中确定在输入图像中不存在反射区，反射区去除设备终止操作。
在操作520中，响应于在操作510中确定在输入图像中存在反射区，反射区去除设备通过使用经由机器学习而学习的参数对包括反射区的输入图像进行处理来去除反射区。参数可基于包括去除了反射区的图像的数据库来学习或训练。
图6是示出根据示例实施例的去除反射区的方法的示例的流程图。参照图6，在操作610中，反射区去除设备确定在输入图像中是否存在由照明产生的反射区。反射区可包括由红外照明产生的眼镜的镜片的反射区、眼睛的反射区和/或眼睛周围的反射区。响应于在操作610中确定在输入图像中不存在反射区，反射区去除设备终止操作。
在操作620中，响应于在操作610中确定在输入图像中存在反射区，反射区去除设备通过扩展反射区来确定用于图像恢复的遮蔽区。
在操作630中，反射区去除设备通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
此外，反射区去除设备可对通过执行图像处理而获得的遮蔽区的边缘部分执行平滑。
图7是示出根据示例实施例的眼部跟踪设备的示例的示图。参照图7，眼部跟踪设备700包括捕获器710和处理器730。眼部跟踪设备700还包括存储器750。捕获器710、处理器730和存储器750可通过通信总线705彼此通信。
捕获器710获得输入图像。捕获器710可以是图像传感器或被配置为使用红外照明来捕获输入图像的红外相机。
处理器730确定在输入图像中是否存在由照明产生的反射区。处理器730基于在输入图像中是否存在具有大于预设阈值的像素值的区域来确定是否存在反射区。响应于确定存在反射区，处理器730从输入图像去除反射区，并且从去除了反射区的图像输出用户的眼睛的坐标。
处理器730通过基于照度补偿算法的图像处理，从输入图像去除反射区。处理器730通过扩展反射区来确定遮蔽区，并且通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。处理器730对通过执行图像处理而获得的遮蔽区的边缘部分执行平滑。
存储器750存储通过基于包括去除了反射区的图像的数据库的机器学习而学习的参数。处理器730通过使用存储在存储器750中的参数对包括反射区的输入图像进行处理来去除反射区。
除了前面描述的操作以外，处理器730可被配置为执行参照图1至图6描述的方法中的至少一种。处理器730可执行程序，并控制眼部跟踪设备700。由处理器730执行的程序代码可被存储在存储器750中。
图8是示出根据示例实施例的眼部跟踪设备的另一示例的示图。参照图8，眼部跟踪设备800包括数据库810和图像处理器830。眼部跟踪设备800可在低照度(例如，等于或小于10lux的照度)下操作，并且眼部跟踪设备800可以是被配置为从输入图像跟踪用户的眼睛的位置并输出眼睛的坐标的低照度眼部跟踪器。
数据库810可包括通过以上描述的反射区去除方法去除了反射区的图像。此外，数据库810还包括通过将高照度图像逆变换为低照度图像而获得的图像。数据库810可包括通过将低照度参考图像的图像直方图特征应用于高照度图像而生成的逆变换图像，其中，低照度参考图像使用在低照度下捕获的低照度图像而被预先建模。此外，数据库810可包括通过将除了低照度参考图像的图像直方图特征以外的低照度参考图像的噪声分量应用于高照度图像而生成的逆变换图像。数据库810可以是低照度数据库。例如，数据库810可存储在存储器(例如，图7的存储器750)中。
图像处理器830通过使用第一参数对包括反射区的输入图像进行处理来去除反射区，其中，第一参数通过基于数据库810的机器学习被预先学习或训练。此外，图像处理器830通过使用第二参数对用户的低照度图像进行处理来输出用户的眼睛的坐标，其中，第二参数通过基于数据库810的机器学习被预先学习或训练。例如，由图像处理器830输出的用户的眼睛的坐标可立即被用作到自动立体或裸眼3D显示器的输入。图像处理器830可执行图7的处理器730的操作，或者图像处理器830可以是处理器730。
除了前面描述的操作以外，图像处理器830可被配置为执行以上参照图1至图7描述的方法中的至少一种方法。图像处理器830可执行程序，并控制眼部跟踪设备800。由眼部跟踪设备800执行的程序代码可被存储在存储器中。
图9是示出根据示例实施例的眼部跟踪设备的另一示例的示图。参照图9，眼部跟踪设备900包括图像传感器910、照度传感器920、处理器930、低照度眼部跟踪器940和高照度眼部跟踪器950。眼部跟踪设备900还包括存储器960。
例如，图像传感器910通过捕获输入图像来获得输入图像。
照度传感器920在输入图像被捕获的时间点测量照度或照明度。
处理器930基于测量的照度来操作低照度眼部跟踪器940和高照度眼部跟踪器950中的至少一个，并控制低照度眼部跟踪器940和高照度眼部跟踪器950中的一个以输出从输入图像跟踪的用户的眼睛的坐标。
响应于测量的照度等于或小于参考值，处理器930操作低照度眼部跟踪器940以输出从用户的输入图像跟踪的用户的眼睛的坐标。例如，响应于测量的照度等于或小于作为参考值的10lux，处理器930可确定低照度并控制低照度眼部跟踪器940。以上参照图7描述的眼部跟踪设备700或以上参照图8描述的眼部跟踪设备800可以是低照度眼部跟踪器940。
响应于测量的照度大于参考值，处理器930操作高照度眼部跟踪器950以输出从用户的输入图像跟踪的用户的眼睛的坐标。例如，响应于测量的照度大于作为参考值的10lux，处理器930可确定高照度并控制高照度眼部跟踪器950。
除了前面描述的操作以外，处理器930可被配置为执行参照图1至图8描述的方法中的至少一种。处理器930可执行程序，并控制眼部跟踪设备900。由处理器930执行的程序代码可存储在存储器960中。
低照度眼部跟踪器940在低照度(例如，在参考值以下)下操作，从输入图像跟踪用户的眼睛的位置并输出眼睛的坐标。低照度眼部跟踪器940可通过基于低照度数据库的机器学习来学习或训练，其中，低照度数据库包括通过将高照度图像逆变换为低照度图像而获得的图像。低照度数据库可包括通过将低照度参考图像的图像直方图特征应用于高照度图像而获得的逆变换的图像，其中，低照度参考图像使用在低照度下捕获的低照度图像被预先建模。此外，低照度数据库也可包括通过将除了低照度参考图像的图像直方图特征以外的低照度参考图像的噪声分量应用于高照度图像而获得的逆变换的图像。
高照度眼部跟踪器950在高照度(例如，在参考值以上)下操作，从输入图像跟踪用户的眼睛的位置并输出眼睛的坐标。高照度眼部跟踪器950可通过基于高照度数据库的机器学习来学习或训练，其中，高照度数据库包括在高照度下捕获的高照度图像。
低照度眼部跟踪器940和高照度眼部跟踪器950中的每一个包括被配置为从输入图像识别与用户的眼睛相应的特征点的多个分类器。
例如，高照度眼部跟踪器950可跟踪用户的眼睛并通过分类器输出眼睛的坐标，其中，分类器被预先训练为基于眼睛从用户的脸部识别与眼睛相应的特征点。这里，通过高照度眼部跟踪器950获得的与眼睛相应的特征点还可用于通过逆变换获得和学习的低照度图像。包括在低照度数据库中的通过逆转换获得的低照度图像还可包括通过基于高照度数据库的机器学习而学习的特征点。
存储器960存储由图像传感器910获得的输入图像和/或由低照度眼部跟踪器940和高照度眼部跟踪器950输出的用户的眼睛的坐标。根据示例实施例，存储器960可包括低照度数据库和高照度数据库。
此外，存储器960存储在处理器930的操作期间产生的信息的各种集合。存储器960还存储数据的各种集合和程序。存储器960可包括易失性存储器或非易失性存储器。存储器960可包括大容量存储介质(诸如，硬盘等)，以存储数据的各种集合。
在此描述的单元可使用硬件组件或软件组件来实现。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器、非暂时性计算机存储器和处理装置。处理装置可使用一个或多个通用或专用的计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、微处理器或能够以定义的方式响应和执行指令的任何其他装置)来实现。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行而访问、存储、操纵、处理和创建数据。出于简化的目的，处理装置的描述被用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器和一个控制器。此外，不同的处理配置(诸如，并行处理器)是可行的。
软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或共同地指示或配置处理装置按期望那样的操作。软件和数据可永久地或暂时地实现在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中，或者在能够向处理装置提供指令或数据或由处理装置解释的传播信号波中。软件还可分布在联网的计算机系统上，使得软件以分布的方式存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质存储。非暂时性计算机可读记录介质可包括能够存储以后可被计算机系统或处理装置读取的数据的任何数据存储装置。
示例实施例包括包含用于实施由计算机实现的各种操作的程序指令的非暂时性计算机可读介质。介质也可包括单独的程序指令、数据文件、数据结构、表格等或程序指令、数据文件、数据结构、表格等的组合。介质和程序指令可以是为了示例实施例的目的而专门设计和构造的指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光介质(诸如，CD ROM盘)；磁光介质(诸如，光磁软盘)；以及专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)和随机存取存储器(RAM))。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器来执行的更高级代码的文件二者。描述的硬件装置可被配置为充当一个或多个软件模块，以执行上述示例实施例的操作，或者反之亦然。
在此描述的示例仅被认为是描述性的意义，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他的组件或它们的等同物替换或补充，则可实现合适的结果。
尽管本公开包括具体的示例，但是本领域普通技术人员将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。

Claims (16)

1.一种眼部跟踪方法，包括：
确定在输入图像中是否包括由照明产生的反射区；
响应于确定在输入图像中包括反射区，从输入图像去除反射区；
从去除了反射区的输入图像输出与用户的眼睛相应的坐标，
其中，去除反射区的步骤包括：
通过使用参数对包括反射区的输入图像进行处理来去除反射区，其中，所述参数通过基于数据库的机器学习被学习，数据库包括去除了反射区的图像和通过将高照度图像逆变换为低照度图像而获得的图像。
2.根据权利要求1所述的眼部跟踪方法，其中，去除反射区的步骤包括：
通过基于照度补偿算法的图像处理，从输入图像去除反射区。
3.根据权利要求2所述的眼部跟踪方法，其中，照度补偿算法包括被配置为使用与输入图像的局部区域相应的块来恢复反射区的图像修复算法。
4.根据权利要求2所述的眼部跟踪方法，其中，去除反射区的步骤包括：
通过扩展反射区来确定用于图像恢复的遮蔽区；
通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
5.根据权利要求4所述的眼部跟踪方法，还包括：
对进行了图像处理的遮蔽区的边缘部分执行平滑。
6.根据权利要求1所述的眼部跟踪方法，其中，确定在输入图像中是否包括反射区的步骤包括：
基于在输入图像中是否包括具有大于预设阈值的像素值的区域，来确定在输入图像中是否包括反射区。
7.根据权利要求1所述的眼部跟踪方法，还包括：
使用去除了反射区的输入图像来更新用于机器学习的数据库。
8.根据权利要求1所述的眼部跟踪方法，其中，反射区包括由红外照明产生的眼镜镜片的反射区、眼睛的反射区和眼睛周围的反射区中的至少一个。
9.一种去除反射区的方法，所述方法包括：
确定在输入图像中是否包括由照明产生的反射区；
响应于确定在输入图像中包括反射区，通过使用参数对包括反射区的输入图像进行处理来去除反射区，其中，所述参数通过基于数据库的机器学习被学习，数据库包括去除了反射区的图像和通过将高照度图像逆变换为低照度图像而获得的图像。
10.一种非暂时性计算机可读存储介质，存储指令，所述指令能够由处理器执行以执行权利要求1-8中的任意一项所述的眼部跟踪方法或权利要求9所述的方法。
11.一种眼部跟踪设备，包括：
捕获器，被配置为获得输入图像；
存储器，被配置为：存储通过基于数据库的机器学习而学习的参数；
处理器，被配置为：
确定在输入图像中是否包括由照明产生的反射区；
响应于确定在输入图像中包括反射区，从输入图像去除反射区；
从去除了反射区的输入图像输出与用户的眼睛相应的坐标，
其中，处理器还被配置为：通过使用所述参数对包括反射区的输入图像进行处理来去除反射区，
其中，数据库包括去除了反射区的图像和通过将高照度图像逆变换为低照度图像而获得的图像。
12.根据权利要求11所述的眼部跟踪设备，其中，处理器还被配置为：通过基于照度补偿算法的图像处理，从输入图像去除反射区。
13.根据权利要求12所述的眼部跟踪设备，其中，处理器还被配置为：
通过扩展反射区来确定遮蔽区；
通过对遮蔽区执行基于照度补偿算法的图像处理来去除反射区。
14.根据权利要求13所述的眼部跟踪设备，其中，处理器还被配置为：对通过执行图像处理而获得的遮蔽区的边缘部分执行平滑。
15.根据权利要求11所述的眼部跟踪设备，其中，处理器还被配置为：基于在输入图像中是否包括具有大于预设阈值的像素值的区域，来确定在输入图像中是否包括反射区。
16.根据权利要求11所述的眼部跟踪设备，其中，反射区包括由红外照明产生的眼镜镜片的反射区、眼睛的反射区和眼睛周围的反射区中的至少一个。
CN201811258687.3A 2017-10-27 2018-10-26 去除反射区的方法以及眼部跟踪方法和设备 Active CN109729334B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170141339A KR102410834B1 (ko) 2017-10-27 2017-10-27 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR10-2017-0141339 2017-10-27

Publications (2)

Publication Number Publication Date
CN109729334A CN109729334A (zh) 2019-05-07
CN109729334B true CN109729334B (zh) 2022-06-14

Family

ID=64316257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811258687.3A Active CN109729334B (zh) 2017-10-27 2018-10-26 去除反射区的方法以及眼部跟踪方法和设备

Country Status (4)

Country Link
US (1) US10962772B2 (zh)
EP (1) EP3477436B1 (zh)
KR (1) KR102410834B1 (zh)
CN (1) CN109729334B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR20200067465A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 영상 처리 방법 및 장치
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
KR20210073135A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
CN113132608B (zh) * 2019-12-30 2023-05-12 深圳云天励飞技术有限公司 图像处理方法及相关装置
US20220318954A1 (en) * 2021-03-31 2022-10-06 Advanced Micro Devices, Inc. Real time machine learning-based privacy filter for removing reflective features from images and video
KR102464704B1 (ko) * 2021-09-01 2022-11-09 주식회사 델타엑스 데이터 게시 방법 및 데이터 게시 장치
US12015855B2 (en) * 2021-11-16 2024-06-18 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images
US12013255B2 (en) 2021-12-20 2024-06-18 Here Global B.V. Method, apparatus, and computer program product for correcting lane geometry in map data
US20230196760A1 (en) * 2021-12-20 2023-06-22 Here Global B.V. Method, apparatus, and computer program product for identifying and correcting intersection lane geometry in map data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016131075A1 (en) * 2015-02-20 2016-08-25 Seeing Machines Limited Glare reduction
CN106326828A (zh) * 2015-11-08 2017-01-11 北京巴塔科技有限公司 人脸识别中的眼睛定位方法
CN106462236A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 在眼睛追踪中处理眩光
CN107209551A (zh) * 2014-10-08 2017-09-26 微软技术许可有限责任公司 通过眼具的注视跟踪
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788008B2 (en) * 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US5905562A (en) * 1996-07-31 1999-05-18 Nidek Co., Ltd. Ophthalmic apparatus for measuring an eye to be examined
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP2003339642A (ja) 2002-05-31 2003-12-02 Canon Inc 視線検出装置及びそれを有した光学装置
US7465050B2 (en) * 2004-02-04 2008-12-16 The Johns Hopkins University Method and apparatus for three-dimensional video-oculography
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US9014474B2 (en) * 2012-09-06 2015-04-21 Cyberlink Corp. Systems and methods for multi-resolution inpainting
EP2823751B1 (en) 2013-07-09 2023-07-05 Smart Eye AB Eye gaze imaging
WO2015086617A1 (en) * 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
KR101673701B1 (ko) 2014-11-24 2016-11-07 현대자동차주식회사 눈 검출장치 및 방법
KR101786754B1 (ko) 2015-03-11 2017-11-16 동국대학교 산학협력단 나이 추정 장치 및 방법
US9870049B2 (en) 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
KR102476757B1 (ko) * 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462236A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 在眼睛追踪中处理眩光
CN107209551A (zh) * 2014-10-08 2017-09-26 微软技术许可有限责任公司 通过眼具的注视跟踪
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪
WO2016131075A1 (en) * 2015-02-20 2016-08-25 Seeing Machines Limited Glare reduction
CN106326828A (zh) * 2015-11-08 2017-01-11 北京巴塔科技有限公司 人脸识别中的眼睛定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Improved Video-Based Eye-Gaze Detection Method;Yoshinobu Ebisawa;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;19980831;第47卷(第4期);正文B. Elimination of Eye Glass Reflection Light (GRL) *

Also Published As

Publication number Publication date
EP3477436B1 (en) 2022-06-29
US20190129165A1 (en) 2019-05-02
KR20190047442A (ko) 2019-05-08
EP3477436A1 (en) 2019-05-01
KR102410834B1 (ko) 2022-06-20
CN109729334A (zh) 2019-05-07
US10962772B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109729334B (zh) 去除反射区的方法以及眼部跟踪方法和设备
US9898080B2 (en) Method and apparatus for eye tracking
US11417003B2 (en) Method and apparatus for tracking eyes of user and method of generating inverse-transform image
EP3590027B1 (en) Multi-perspective eye-tracking for vr/ar systems
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
US11631180B2 (en) Apparatus and method for detecting reflection
US11151798B1 (en) Depth rate up-conversion
US11972634B2 (en) Image processing method and apparatus
US11170578B1 (en) Occlusion detection
KR20220018748A (ko) 안개 제거를 위한 영상 처리 방법 및 장치
US11989911B2 (en) Method and apparatus for tracking eye based on eye reconstruction
CN118043859A (zh) 高效视觉感知
WO2024099564A1 (en) Learnable point spread functions for image rendering
CN114830176A (zh) 用于深度神经网络特征匹配的非对称归一化相关层
CN112433599A (zh) 显示方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant