CN106504271A - 用于眼睛跟踪的方法和设备 - Google Patents

用于眼睛跟踪的方法和设备 Download PDF

Info

Publication number
CN106504271A
CN106504271A CN201610308480.7A CN201610308480A CN106504271A CN 106504271 A CN106504271 A CN 106504271A CN 201610308480 A CN201610308480 A CN 201610308480A CN 106504271 A CN106504271 A CN 106504271A
Authority
CN
China
Prior art keywords
eye
characteristic point
pixel
user
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610308480.7A
Other languages
English (en)
Other versions
CN106504271B (zh
Inventor
姜柄敏
许珍九
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106504271A publication Critical patent/CN106504271A/zh
Application granted granted Critical
Publication of CN106504271B publication Critical patent/CN106504271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种用于眼睛跟踪的方法和设备。眼睛跟踪设备可基于特征点确定图像中用户的眼睛区域；基于图像的眼睛区域的像素的位置和图像的眼睛区域的特征点的位置确定用户的内部眼睛区域；基于图像的内部眼睛区域的每个像素的像素值确定用户的瞳孔区域；基于图像的瞳孔区域的每个像素的位置值确定用户的眼睛位置。

Description

用于眼睛跟踪的方法和设备
技术领域
至少一个示例实施例涉及眼睛跟踪技术。
背景技术
存在与使用双眼视差原理提供三维(3D)效果的裸眼3D显示器关联的用于跟踪用户的位置的技术。可基于用户的位置控制3D显示器。精确地跟踪用户的位置是在不劣化图像质量的情况下向裸眼3D显示器输出3D图像的一部分。
发明内容
至少一些示例实施例涉及眼睛跟踪方法。
在至少一些示例实施例中，所述方法可包括：获取图像中与用户的脸部区域的至少一部分相应的特征点；基于特征点确定用户的第一眼睛的眼睛区域的内部区域；基于内部区域的至少一个像素的像素值确定用户的瞳孔区域；基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
确定内部区域的步骤包括：基于眼睛区域的像素的位置和眼睛区域的特征点的位置确定眼睛区域的内部区域，其中，内部眼睛区域在由特征点限定的边界内。
确定瞳孔区域的步骤可包括：基于内部区域的像素的第一亮度平均值和图像的眼睛中心特征点的邻近像素的第二亮度平均值确定瞳孔区域的像素，眼睛中心特征点是特征点中的与用户的第一眼睛的中心相应的特征点。
确定瞳孔区域的像素的步骤可包括：确定内部区域的选择的像素的亮度值是否小于第一阈值并小于第二阈值亮度平均值，第一阈值基于第一亮度值，第二阈值基于第二亮度平均值。
确定内部区域的步骤可包括：基于眼睛区域的选择的像素和特征点中的第一眼睛轮廓特征点计算第一向量；基于特征点中的第一眼睛轮廓特征点和第二眼睛轮廓特征点计算第二向量，第二眼睛轮廓特征点邻近第一眼睛轮廓特征点，基于第一向量和第二向量确定选择的像素是否在内部区域中，第一眼睛轮廓特征点和第二眼睛轮廓特征点与眼睛区域的眼睛轮廓相应。
确定选择的像素是否在内部区域中的步骤可包括：当第一眼睛轮廓特征点和第二眼睛轮廓特征点中的每个眼睛轮廓特征点的向量计算结果由同一符号表示时，确定选择的像素在内部区域中。
所述方法还可包括：基于确定的用户的眼睛位置控制裸眼显示器。
至少其它示例实施例涉及眼睛跟踪设备。
在至少一些示例实施例中，所述眼睛跟踪设备可包括：存储器，被配置为存储计算机可读指令；处理器，被配置为执行所述计算机可读指令，以使处理器被配置为：获取图像中与用户的脸部区域的至少一部分相应的特征点；基于特征点确定用户的第一眼睛的眼睛区域的内部区域；基于内部区域的至少一个像素的像素值确定用户的瞳孔区域；基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
存储器，被配置为存储计算机可读指令；处理器，被配置为执行所述计算机可读指令，以使处理器被配置为：基于眼睛区域的特征点确定图像中用户的眼睛区域，基于眼睛区域的像素的位置和眼睛区域的特征点的位置确定眼睛区域的内部区域，基于内部区域的每个像素的像素值确定用户的瞳孔区域，基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
处理器可被配置为响应于基于特征点与图像的眼睛区域的像素之间的位置关系的向量计算结果，确定内部区域的像素。
处理器可被配置为基于内部区域的像素的亮度值、图像的内部眼睛区域的像素的第一亮度平均值和特征点中的眼睛中心特征点的邻近像素的第二亮度平均值确定瞳孔区域的像素，眼睛中心特征点与用户的眼睛的中心相应。
至少其它示例实施例涉及眼睛跟踪设备。
在至少一些示例实施例中，所述眼睛跟踪设备可包括：存储器，被配置为存储计算机可读指令；处理器，被配置为执行所述计算机可读指令，以使处理器被配置为：基于特征点确定图像中用户的眼睛区域；检测眼睛区域的垂直方向的边缘组分，并基于检测的边缘组分检测与瞳孔区域关联的椭圆组分；基于椭圆组分确定椭圆的中心作为用户的眼睛位置。
至少一个示例实施例公开一种眼睛跟踪方法。所述方法包括：基于眼睛区域的特征点确定图像中用户的第一眼睛的眼睛区域；基于眼睛区域的像素的位置与眼睛区域的特征点的位置确定眼睛区域的内部区域，基于内部区域的每个像素的像素值确定用户的瞳孔区域，基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
示例实施例的另外的方面将在下面描述中部分进行阐述，部分从该描述将是清楚的，或者可以通过本公开的实践获知。
附图说明
从以下结合附图对示例实施例进行的描述，这些和/或其它方面将变得明显和更容易理解，其中：
图1示出根据至少一个示例实施例的眼睛跟踪设备的示例；
图2至图8示出根据至少一个示例实施例的眼睛跟踪设备跟踪图像中用户的眼睛位置的示例；
图9至图14示出根据至少一个示例实施例的眼睛跟踪设备跟踪图像中用户的眼睛位置的其它示例；
图15A至图15B示出根据至少一个示例实施例的显示装置的示例；
图16是示出根据至少一个示例实施例的眼睛跟踪方法的示例的流程图。
具体实施方式
以下，将参照附图详细描述一些示例实施例。关于附图中为元件分配的附图标记，应该注意的是：在任何可能的情况下，即使相同的元件在不同的附图中被示出，也将通过相同的附图标记来指示相同的元件。此外，在实施例的描述中，当认为公知的现有结构或功能的详细描述将模糊本公开的说明时，可省略公知的现有结构或功能的详细描述。
然而，应理解，不意在将本公开限制到所公开的具体示例实施例。相反地，示例实施例将涵盖落入示例实施例的范围内的所有修改、等同物和替代。贯穿附图的描述，相同的标号表示相同的元件。
此外，这里可使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语不用于限定相应组件的本质、顺序或序列，而仅用于将相应组件与其它组件进行区分。应该注意，如果在说明书描述了一个组件“连接”、“结合”或“接合”至另一组件，则尽管第一组件可直接地连接、结合或接合至第二组件，但第三组件可“连接”、“结合”或“接合”在第一组件和第二组件之间。
在此使用的术语仅为了描述具体示例实施例的目的，不意在限制。如在此使用的，除非上下文另外明确地指示，否则单数形式也意在包括复数形式。还将理解，当在此使用时，术语“包括”和/或“包含”指定存在所叙述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意，在一些选择性的实施例中，示出的功能/动作可不按附图中示出的顺序发生。例如，连续示出的两个图上可基本上同时执行或有时可以以相反的顺序执行，这取决于所包含的功能/动作。
示例实施例可被应用于在各种应用(例如，裸眼三维(3D)显示器、眼镜型可穿戴装置、虚拟现实(VR)、视频游戏、个人计算机(PC)、平板计算机、移动装置、智能家居设备和智能汽车)中跟踪用户的眼睛视点。例如，示例实施例可被应用于在裸眼3D显示器中通过跟踪用户的眼睛位置来基于用户的眼睛位置显示3D图像。
现在将参照附图更全面地描述各种示例实施例，在附图中示出一些示例实施例。在附图中，为了清楚起见，夸大层和区域的厚度。
图1示出根据至少一个示例实施例的眼睛跟踪设备的示例。
参照图1，眼睛跟踪设备100从拍摄了用户的眼睛区域的图像确定用户的眼睛位置。该图像可通过图像获取设备(未示出)(例如，相机)来获取，获取的图像可被发送到眼睛跟踪设备100。眼睛跟踪设备100可针对每个接收的图像帧确定用户的眼睛位置，并输出关于确定的眼睛位置的信息。输出的信息可被用于基于关于用户的眼睛位置的信息的各种应用。
眼睛跟踪设备100包括：特征点检测器110、眼睛区域确定器120、内部眼睛区域确定器130、瞳孔区域确定器140和眼睛位置确定器150。可由执行存储在存储器中的计算机可读指令的至少一个处理器或由现场可编程门阵列(FPGA)来执行特征点检测器110、眼睛区域确定器120、内部眼睛区域确定器130、瞳孔区域确定器140和眼睛位置确定器150的操作。
特征点检测器110从图像检测眼睛的特征点。特征点检测器110可检测图像中用户的脸部区域或者眼睛和鼻子区域，并在检测的脸部区域或者眼睛和鼻子区域中检测眼睛中心特征点和至少一个眼睛轮廓特征点。眼睛中心特征点指在眼睛区域的中心附近检测的特征点，眼睛轮廓特征点指在眼睛的轮廓上检测的特征点。
特征点检测器110可提取图像的局部特征(例如，局部二值模式(LBP)、尺寸不变特征转换(SIFT)、方向梯度直方图(HOG)、修正统计变换(MCT)和伽柏系数(Gabor jet))，并通过将检测的特征点输入到预先训练的眼睛和鼻子区域识别器(未示出)来从图像检测眼睛和鼻子区域。在一个示例中，特征点检测器110可使用主动轮廓模型(ACM)、主动形状模型(ASM)、主动外观模型(AAM)或监督下降法(SDM)来在眼睛和鼻子区域中检测眼睛轮廓特征点，并确定检测的眼睛轮廓特征点之间的中心点作为眼睛中心特征点。
眼睛区域确定器120基于由特征点检测器110检测的特征点确定图像中用户的眼睛区域。眼睛区域确定器120可通过计算眼睛中心特征点与每个眼睛轮廓特征点之间的距离来确定眼睛中心特征点与眼睛轮廓特征点之间的距离中的最大距离，并基于眼睛中心特征点和最大距离确定眼睛区域。例如，眼睛区域确定器120可基于眼睛中心特征点确定位于最大距离内的区域作为眼睛区域，或基于眼睛中心特征点确定水平、垂直地位于最大距离内的区域作为眼睛区域。
内部眼睛区域确定器130确定眼睛区域中的内部眼睛区域。内部眼睛区域指与用户的真实眼睛相应的区域。内部眼睛区域确定器130可响应于基于眼睛轮廓特征点与眼睛区域的像素之间的位置关系的向量计算结果确定内部眼睛区域。例如，内部眼睛区域确定器130可基于眼睛区域的当前像素的位置和眼睛轮廓特征点的位置计算第一向量，基于眼睛轮廓特征点的位置和邻近眼睛轮廓特征点的位置计算第二向量。位于所述眼睛轮廓特征点的顺时针方向的另一眼睛轮廓特征点可被确定为邻近眼睛轮廓特征点。内部眼睛区域确定器130可基于第一向量和第二向量执行向量的外积计算。
内部眼睛区域确定器130还可针对其它眼睛轮廓特征点计算第一向量和第二向量并执行外积计算。当针对当前像素和每个眼睛轮廓特征点的外积计算结果由同一符号表示时，内部眼睛区域确定器130可确定当前像素包括在内部眼睛区域中。当外积计算结果由不同的符号表示时，内部眼睛区域确定器130可确定当前像素包括在外部眼睛区域中而非内部眼睛区域中。
瞳孔区域确定器140基于内部眼睛区域的像素的像素值确定瞳孔区域。瞳孔区域确定器140可基于内部眼睛区域的像素的第一亮度平均值和眼睛中心特征点的邻近像素的第二亮度平均值来确定瞳孔区域的像素。例如，当内部眼睛区域的当前像素的亮度值小于基于第一亮度平均值的第一阈值和基于第二亮度平均值的第二阈值时，瞳孔区域确定器140确定当前像素包括在瞳孔区域中。在一个示例中，第一阈值可等于第一亮度平均值，第二阈值可具有大于或等于第二亮度平均值的值。
眼睛位置确定器150基于瞳孔区域的每个像素的位置值(例如，2D坐标)确定用户的眼睛位置。例如，眼睛位置确定器150确定瞳孔区域的像素的位置值的平均值作为用户的眼睛位置。
在另一示例中，特征点检测器110针对图像中的眼睛区域不完全检测特征点。以下，将描述当特征点检测器110从图像检测较少数量的眼睛轮廓特征点时，眼睛跟踪设备100从图像确定用户的眼睛位置的处理。
眼睛区域确定器120基于在图像中检测的眼睛轮廓特征点确定图像中用户的眼睛区域。例如，当检测到位于眼睛轮廓中的眼睛轮廓特征点时，眼睛区域确定器120可计算眼睛轮廓特征点之间的中心，并基于确定的中心计算眼睛轮廓特征点之间水平方向的距离。眼睛区域确定器120可通过将水平方向的距离与预定值和/或选择的值相乘来确定垂直方向的距离，并根据眼睛轮廓特征点之间的中心基于水平方向的距离和垂直方向的距离确定区域作为眼睛区域。瞳孔区域确定器140可检测确定的眼睛区域中垂直方向的边缘组分，并基于检测的边缘组分确定与瞳孔区域关联的椭圆组分。这里，椭圆组分的椭圆包括圆。眼睛位置确定器150可基于检测的椭圆组分估计与瞳孔区域重叠的虚拟椭圆，并确定椭圆的重心作为用户的眼睛位置。
眼睛位置确定器150可将基于上述处理确定的二维(2D)坐标值的眼睛位置信息转换为3D坐标值。例如，眼睛位置确定器150可基于关于两只眼睛之间的距离的距离信息和关于用户的脸部的方位信息将眼睛位置信息转换为3D坐标值。在此示例中，标准值(例如，65毫米(mm))可被用作关于两只眼睛之间的距离的距离信息。然而，关于两只眼睛之间的距离的距离信息不限于此。例如，眼睛位置确定器150可通过将在图像中检测的特征点与3D脸部模型进行匹配来产生个性化3D脸部模型，并基于关于个性化脸部模型的方位信息估计关于用户的脸部的方位信息。
以下，描述可基于上述处理准确地检测图像中用户的眼睛位置的眼睛跟踪设备100。眼睛跟踪设备100可通过跟踪每个图像帧的两个瞳孔区域的中心来减小图像帧之间产生的眼睛位置的振动。
图2至图8示出根据至少一个示例实施例的眼睛跟踪设备跟踪图像中用户的眼睛位置的示例。
参照图2，眼睛跟踪设备可检测图像中被估计为位于眼睛中心的眼睛中心特征点210以及位于眼睛轮廓中的眼睛轮廓特征点222、224、226、228、230和232。眼睛跟踪设备可计算眼睛中心特征点210与眼睛轮廓特征点222、224、226、228、230和232中的每个眼睛轮廓特征点之间的距离，并基于每个计算的距离的值确定最大距离值dmax(例如，计算的距离中的最大距离)。
参照图3，眼睛跟踪设备可基于图2中确定的最大距离值dmax确定眼睛区域310。眼睛跟踪设备可基于眼睛中心特征点210确定水平、垂直位于最大距离值dmax内的区域。眼睛区域310可以是图4中所示的矩形形状，或者眼睛区域310可以是基于眼睛中心特征点210的半径与最大距离值dmax相应的圆形，然而，示例实施例的范围不限于此。
参照图4，眼睛跟踪设备可确定眼睛区域310中的内部眼睛区域。眼睛跟踪设备可基于眼睛区域310的像素410与眼睛轮廓特征点222、224、226、228、230和232之间的位置关系，确定像素410是否包括在内部眼睛区域中。眼睛跟踪设备可在基于眼睛轮廓特征点224和像素410的第一向量V1与基于眼睛轮廓特征点224和顺时针方向邻近眼睛轮廓特征点224的眼睛轮廓特征点226的第二向量V2之间执行外积计算。以同样的方式，眼睛跟踪设备可在基于眼睛轮廓特征点226和像素410的第一向量V3与基于眼睛轮廓特征点226和顺时针方向邻近眼睛轮廓特征点226的眼睛轮廓特征点228的第二向量V4之间执行外积计算。眼睛跟踪设备可基于相同的处理针对其它眼睛轮廓特征点222、228、230和232执行外积计算，并确定是否所有的外积计算结果由同一符号表示。在像素410的情况下，外积计算结果由同一符号表示，因此确定像素410包括在内部眼睛区域中。
如图5所示，当针对存在于眼睛区域310中但实际上位于外部眼睛区域中的像素510执行与图4的处理相同的处理时，像素510与眼睛轮廓特征点222、224、226、228、230和232中的每个眼睛轮廓特征点之间的外积计算结果不由同一符号表示。例如，当基于眼睛轮廓特征点228和像素510的第一向量V5与基于眼睛轮廓特征点228和顺时针方向邻近眼睛轮廓特征点228的眼睛轮廓特征点230的第二向量V6之间的外积计算结果由符号“+”表示时，基于眼睛轮廓特征点230和像素510的第一向量V7与基于眼睛轮廓特征点230和顺时针方向邻近眼睛轮廓特征点230的眼睛轮廓特征点232的第二向量V8之间的外积计算结果由符号“-”表示。由于像素510与眼睛轮廓特征点222、224、226、228、230和232中的每个眼睛轮廓特征点之间的外积计算结果的符号不相同，因此眼睛跟踪设备可确定像素510未包括在内部眼睛区域中。
眼睛跟踪设备可通过针对包括在眼睛区域310中的每个像素执行图4和图5的处理，来确定眼睛区域310中内部眼睛区域的像素。图6示出基于图4和图5的处理从眼睛区域310检测的内部眼睛区域610。
参照图7，眼睛跟踪设备可基于关于内部眼睛区域610中的像素的像素值信息确定内部眼睛区域610中的瞳孔区域。眼睛跟踪设备可计算与内部眼睛区域610的像素的亮度值的平均值相应的第一亮度平均值，并计算与内部眼睛区域610的像素中眼睛中心特征点210的邻近区域710的像素的亮度值的平均值相应的第二亮度平均值。
例如，当包括在内部眼睛区域610中的预定像素和/或选择的像素满足等式1时，眼睛跟踪设备可确定预定像素和/或选择的像素包括在瞳孔区域中。
[等式1]
像素的亮度值<第一亮度平均值，并且
像素的亮度值<第二亮度平均值+补偿值
如等式1所示，补偿值是用于调整等式1的条件的预定值和/或选择的值，并且补偿值具有大于或等于“0”的值。
在大部分情况下，由于瞳孔区域的亮度值小于瞳孔区域的邻近区域的亮度值，因此针对内部眼睛区域610的第一亮度平均值可被认为是阈值。然而，由于瞳孔区域的大小小于内部眼睛区域610中瞳孔区域的邻近区域的大小，因此当仅考虑第一亮度平均值时包括在瞳孔区域的邻近区域中的像素可能被错误地确定为瞳孔区域。如等式1所示，眼睛跟踪设备可通过除考虑第一亮度平均值之外还考虑针对眼睛中心特征点210的邻近区域710的第二亮度平均值来更准确地确定内部眼睛区域610中的瞳孔区域。
眼睛跟踪设备可针对包括在内部眼睛区域610中的所有像素执行上述处理，并存储关于被确定为瞳孔区域的像素的信息，例如，位置值。
图8示出基于参照图7描述的跟踪处理确定的瞳孔区域810。眼睛跟踪设备可确定包括在确定的瞳孔区域810中的像素的位置值的平均值作为用户的眼睛位置820。
图9至图14示出根据至少一个示例实施例的眼睛跟踪设备跟踪图像中用户的眼睛位置的其它示例。
参照图9，眼睛跟踪设备可检测图像中的眼睛和鼻子区域910，并检测眼睛的特征点922、924、926和928。在图9至图14中，特征点是假设在如图9中所示的每只眼睛的轮廓中检测的特征点。眼睛跟踪设备可通过使用较少数量的特征点更快地检测用户的眼睛的位置。
参照图10，眼睛跟踪设备可基于在每只眼睛中检测的两个特征点之间的位置关系计算特征点之间的中心。眼睛跟踪设备可计算特征点922与特征点924之间的中心1010，并计算特征点926与特征点928之间的中心1020。
参照图11，眼睛跟踪设备可基于检测的中心1010和1020以及特征点922、924、926和928的位置确定眼睛区域1110和1120。例如，眼睛跟踪设备可计算特征点922与特征点924之间的水平距离，并通过将计算的水平距离与预定比率和/或选择的比率(例如，“1/3”)相乘来确定垂直距离。眼睛跟踪设备可基于距中心1010的水平距离和垂直距离确定区域作为眼睛区域1110。针对中心1020以及特征点926和928，眼睛跟踪设备可基于上述处理确定眼睛区域1120。
参照图12，眼睛跟踪设备可检测确定的眼部区域中沿垂直方向的边缘组分1212、1214、1216和1218。例如，眼睛跟踪设备可基于索贝尔(Sobel)边缘提取方案、普鲁伊特(Prewitt)边缘提取方案、罗伯茨(Robets)边缘提取方案和坎尼(Canny)边缘提取方案，来检测边缘组分1212、1214、1216和1218。
参照图13，眼睛跟踪设备可通过基于检测的边缘组分1212、1214、1216和1218调试椭圆，来检测与眼睛区域中的瞳孔区域关联的椭圆1310和1320。参照图14，眼睛跟踪设备可计算检测的椭圆1310和1320中的每个椭圆的重心，并将计算的重心确定为用户的眼睛位置1410和1420。
图15A示出根据至少一个示例实施例的显示装置的示例。
参照图15A，显示装置1510可以是，例如，用于在没有3D眼镜的情况下输出3D图像的裸眼3D显示器。显示装置1510可跟踪用户的眼睛位置，并通过基于跟踪的用户的眼睛位置重建3D图像来输出3D图像。显示装置1510包括：相机1520、眼睛位置检测器1520、图像处理器1540和显示器1550。
相机1520可通过拍摄位于显示装置1510前面的用户来获取呈现用户的脸部区域的脸部图像。
眼睛位置检测器1530可检测脸部图像中用户的眼睛位置。眼睛位置检测器1530可检测脸部图像中的脸部区域或者眼睛和鼻子区域中的眼睛的特征点，并基于检测的特征点检测用户的眼睛位置。眼睛位置检测器1530可根据检测的特征点的数量基于不同的方法检测眼睛的位置。例如，当在脸部图像中检测到眼睛中心特征点和大量的眼睛轮廓特征点时，眼睛位置检测器1530可从脸部图像检测用户的眼睛位置。眼睛位置检测器1530可基于图1至图14中描述的处理检测眼睛的位置。在另一示例中，眼睛位置检测器1530可通过在眼睛和鼻子区域中匹配的样板来检测眼睛位置，并确定样板的中心值作为眼睛中心的位置。
眼睛位置检测器1530可将基于上述处理确定的2D坐标值的眼睛位置信息转换为3D坐标值。为了通过显示装置1510产生与3D空间中用户的左眼和右眼的位置相应的3D图像，用户的两只眼睛的位置需要从2D坐标值被转换为3D坐标值。眼睛位置检测器1530可基于关于用户的两只眼睛之间的距离的距离信息和关于用户的脸部的方位信息，将眼睛位置信息转换为3D坐标值。预定值和/或选择的值(例如，65mm)可被用作关于两只眼睛的距离信息，然而，距离信息不限于此。可通过将从脸部图像检测的特征点与3D脸部模型进行匹配并计算3D脸部模型旋转的角度，来获取关于用户的脸部的方位信息。在另一示例中，眼睛位置检测器1530可基于使用至少两个相机(例如，相机1520)的三角测量方法来确定用户的眼睛位置的3D坐标值。
在一个示例中，眼睛位置检测器1530可将眼睛位置信息转换为3D坐标值，通过估计眼睛位置校正眼睛位置信息，并将眼睛位置信息传送到图像处理器1540。在图像处理器1540从眼睛位置检测器1530接收到眼睛位置信息之后，可需要预定时间量和/或选择的时间量来产生与用户的眼睛位置相应的3D图像。当用户运动时，由于检测到用户的眼睛位置的时间点与图像处理器1540产生并输出3D图像的时间点之间的时间延迟，因此关于用户的眼睛位置信息可需要校正。因此，眼睛位置检测器1530可基于用户的运动信息估计用户的眼睛位置路径，图像处理器1540可基于估计的眼睛位置路径重建3D图像。
图像处理器1540可基于由眼睛位置检测器1530确定的用户的眼睛位置重建3D图像，例如，立体图像或3D图形数据。图像处理器1540可重建将通过显示器1550输出的3D图像，从而3D图像到达用户的眼睛位置。
显示器1550可显示由图像处理器1540处理的3D图像。例如，显示器1550可使用柱状透镜、视差屏障和定向背光来显示3D图像。
图15B示出显示装置1510的硬件框图。图15B示出处理器1560，处理器1560被配置为将数据/指令发送到相机1520并从相机1520接收数据/指令以及将数据/指令发送到非暂时性计算机可读介质1570并从非暂时性计算机可读介质1570接收数据/指令。
非暂时性计算机可读介质1570存储用于执行图1至图14描述的功能的指令。更具体地讲，处理器1560可通过执行存储在非暂时性计算机可读介质1570中的指令，来执行眼睛跟踪设备100、眼睛位置检测器1530和图像处理器1540的功能。因此，通过执行由非暂时性计算机可读介质1570存储的指令，处理器1560变为执行以上参照图1至图14描述的眼睛跟踪和眼睛位置确定的专用计算装置。处理器1560可包括一个或多个处理装置，例如，中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。
处理器1560还可被配置为指示显示器1550来显示处理的3D图像。
图16是示出根据至少一个示例实施例的眼睛跟踪方法的示例的流程图。例如，可由眼睛跟踪设备100执行眼睛跟踪方法。
参照图16，在操作1610，眼睛跟踪设备从图像检测特征点。例如，眼睛跟踪设备可检测拍摄了用户的脸部的图像中的眼睛和鼻子区域，并检测眼睛和鼻子区域中的眼睛中心特征点以及至少一个眼睛轮廓特征点。
在操作1620，眼睛跟踪设备基于检测的特征点确定图像中的眼睛区域。例如，眼睛跟踪设备可通过计算眼睛中心特征点与每个眼睛轮廓特征点之间的距离来确定眼睛中心特征点与每个眼睛轮廓特征点之间的距离中的最大距离，并基于眼睛中心特征点与最大距离确定眼睛区域。
在操作1630，眼睛跟踪设备基于眼睛区域的像素的位置和特征点的位置确定内部眼睛区域。眼睛跟踪设备可基于眼睛区域的当前(选择的)像素的位置和眼睛轮廓特征点的位置计算第一向量，并基于眼睛轮廓特征点的位置和邻近眼睛轮廓特征点的位置计算第二向量。眼睛跟踪设备可基于第一向量和第二向量执行向量的外积计算。眼睛跟踪设备可同样地计算针对其它眼睛轮廓特征点的第一向量和第二向量。当针对眼睛轮廓特征点的外积计算结果由同一符号表示时，眼睛跟踪设备可确定当前像素包括在内部眼睛区域中，当外积计算结果由不同的符号表示时，眼睛跟踪设备确定当前像素未包括在内部眼睛区域中。眼睛跟踪设备可存储关于被确定为包括在内部区域中的像素的信息，例如，亮度和位置。
在操作1640，眼睛跟踪设备基于内部眼睛区域的每个像素的像素值确定瞳孔区域。当内部眼睛区域的当前像素的亮度值小于基于第一亮度平均值的第一阈值和基于第二亮度平均值的第二阈值时，眼睛跟踪设备可确定当前像素包括在瞳孔区域中。在这样的示例中，第一亮度平均值指内部眼睛区域的像素的亮度值的平均值，第二亮度平均值指眼睛中心特征点的邻近像素的亮度值的平均值。眼睛跟踪设备可存储关于被确定为包括在瞳孔区域中的像素的信息，例如，位置。
在操作1650，眼睛跟踪设备基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。眼睛跟踪设备确定瞳孔区域的像素的位置值的平均值作为用户的眼睛位置。
在操作1660，处理器1560基于确定的用户的眼睛位置控制显示器。
可使用硬件组件和执行软件组件的硬件组件来实施在此描述的单元和/或模块(例如，特征点确定器110、眼睛区域确定器120、内部眼睛区域确定器130、瞳孔区域确定器140、眼睛位置确定器150、眼睛位置检测器1530和图像处理器1540)。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。处理装置可使用一个或多个硬件装置被实施，其中，所述一个或多个硬件装置被配置为通过执行算术、逻辑和输入/输出操作来执行和/或运行程序代码。处理装置可包括：处理器、控制器和算术逻辑单元、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应和执行指令的任何其它装置。处理装置可运行操作系统(OS)以及一个或多个在OS上运行的软件应用。处理装置还可响应于软件的运行而访问、存储、操作、处理和创建数据。为了简洁的目的，对处理装置的描述被用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器和一个控制器。此外，不同的处理配置是可行的，例如，并行处理器。
软件可包括用于独立地或共同地命令和/或配置处理装置按照需要进行操作的计算机程序、一段代码、指令或它们的一些组合，从而将处理装置转换为专用处理器。可在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中或者以能够将指令或数据提供给处理装置或被处理装置解释的传输信号波来永久地或暂时地实施软件和数据。软件还可被分布在联网的计算机系统中，从而以分布式存储和执行软件。可通过一个或多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中以实现上述示例实施例的各种操作。介质还可包括单独的或与程序指令结合的数据文件、数据结构等。记录在介质上的程序指令可以是针对示例实施例的目的而专门设计和构造的那些程序指令，或者它们可以是对计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(例如，硬盘、软盘和磁带)；光介质(例如，CD ROM盘、DVD和/或蓝光光盘)；磁光介质(例如，光盘)；和专门配置为存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪速驱动器、存储卡、记忆棒等)等)。程序指令的示例包括机器代码(例如，由编译器所产生的)和包含计算机使用解释器可执行的高级代码的文件。上述装置可被配置为充当一个或多个软件模块以执行上述示例实施例的操作，反之亦然。
以上已经描述了多个示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果以不同的顺序执行描述的技术，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其它组件或其等同物代替或补充，则可实现合适的结果。因此，其它实施方式落入权利要求的范围内。

Claims (19)

1.一种眼睛跟踪方法，包括：
获取图像中与用户的脸部区域的至少一部分相应的特征点；
基于特征点确定用户的第一眼睛的眼睛区域的内部区域；
基于内部区域的至少一个像素的像素值确定用户的瞳孔区域；
基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
2.如权利要求1所述的眼睛跟踪方法，其中，确定内部区域的步骤包括：基于眼睛区域的像素的位置和眼睛区域的特征点的位置确定眼睛区域的内部区域，
其中，内部区域在由特征点限定的边界内。
3.如权利要求1所述的眼睛跟踪方法，其中，确定瞳孔区域的步骤包括：
基于内部区域的像素的第一亮度平均值和图像的眼睛中心特征点的邻近像素的第二亮度平均值确定瞳孔区域的像素，眼睛中心特征点是与第一眼睛的中心相应的特征点中的特征点。
4.如权利要求3所述的眼睛跟踪方法，其中，确定瞳孔区域的像素的步骤包括：
确定内部区域的选择的像素的亮度值是否小于第一阈值并小于第二阈值，第一阈值基于第一亮度平均值，第二阈值基于第二亮度平均值。
5.如权利要求1所述的眼睛跟踪方法，其中，确定内部区域的步骤包括：
基于眼睛区域的选择的像素和特征点中的第一眼睛轮廓特征点计算第一向量；
基于特征点中的第一眼睛轮廓特征点和第二眼睛轮廓特征点计算第二向量，第二眼睛轮廓特征点邻近第一眼睛轮廓特征点，第一眼睛轮廓特征点和第二眼睛轮廓特征点与眼睛区域的眼睛轮廓相应；
基于第一向量和第二向量确定选择的像素是否在内部区域中。
6.如权利要求5所述的眼睛跟踪方法，其中，确定选择的像素是否在内部区域中的步骤包括：
当第一眼睛轮廓特征点和第二眼睛轮廓特征点中的每个眼睛轮廓特征点的向量计算结果由同一符号表示时，确定选择的像素在内部区域中。
7.如权利要求1所述的眼睛跟踪方法，其中，确定用户的眼睛位置的步骤包括：
确定瞳孔区域的像素的位置值的平均值作为用户的眼睛位置。
8.如权利要求1所述的眼睛跟踪方法，其中，确定用户的眼睛位置的步骤包括：
确定特征点中的眼睛中心特征点与特征点中的每个眼睛轮廓特征点之间的距离中的最大距离，眼睛中心特征点与用户的第一眼睛的中心相应，眼睛轮廓特征点与第一眼睛的轮廓相应；
基于眼睛中心特征点的位置和最大距离确定眼睛区域。
9.如权利要求1所述的眼睛跟踪方法，其中，确定眼睛区域的步骤包括：
检测特征点中的眼睛中心特征点和特征点中的至少一个眼睛轮廓特征点，眼睛中心特征点与第一眼睛的中心相应，所述至少一个眼睛轮廓特征点与第一眼睛的轮廓的一部分相应；
基于检测的眼睛中心特征点和所述至少一个眼睛轮廓特征点确定眼睛区域。
10.如权利要求1所述的眼睛跟踪方法，其中，确定用户的眼睛位置的步骤包括：
基于瞳孔区域的每个像素的位置值确定第一眼睛的二维2D眼睛位置信息；
基于距离信息和方位信息将2D眼睛位置信息转换为三维3D坐标值，距离信息与用户的第一眼睛和第二眼睛之间的距离关联，方位信息与用户的脸部的方位关联。
11.如权利要求10所述的眼睛跟踪方法，其中，将眼睛位置信息转换为3D坐标值的步骤包括：
通过将特征点与3D脸部模型进行匹配，产生个性化3D脸部模型；
基于关于个性化3D脸部模型的方位信息估计关于用户的脸部的方位信息。
12.如权利要求1所述的眼睛跟踪方法，还包括：
基于确定的用户的眼睛位置控制裸眼显示器。
13.一种眼睛跟踪设备，包括：
存储器，被配置为存储计算机可读指令；
处理器，被配置为执行所述计算机可读指令，以使处理器被配置为：
获取图像中与用户的脸部区域的至少一部分相应的特征点；
基于特征点确定用户的第一眼睛的眼睛区域的内部区域；
基于内部区域的至少一个像素的像素值确定用户的瞳孔区域；
基于瞳孔区域的每个像素的位置值确定用户的眼睛位置。
14.如权利要求13所述的眼睛跟踪设备，其中，处理器被配置为响应于基于特征点与眼睛区域的像素之间的位置关系的向量计算，确定内部区域的像素。
15.如权利要求13所述的眼睛跟踪设备，其中，处理器被配置为基于内部区域的像素的亮度值、内部区域的像素的第一亮度平均值和特征点中的眼睛中心特征点的邻近像素的第二亮度平均值确定瞳孔区域的像素，眼睛中心特征点与用户的眼睛的中心相应。
16.如权利要求13所述的眼睛跟踪设备，其中，处理器被配置为：
检测特征点中的眼睛中心特征点和特征点中的至少一个眼睛轮廓特征点，眼睛中心特征点与用户的眼睛的中心相应，所述至少一个眼睛轮廓特征点与眼睛的轮廓的一部分相应。
17.一种眼睛跟踪设备，包括：
存储器，被配置为存储计算机可读指令；
处理器，被配置为执行所述计算机可读指令，以使处理器被配置为：
基于特征点确定图像中用户的眼睛区域；
检测眼睛区域的垂直方向的边缘组分，并基于检测的边缘组分检测与瞳孔区域关联的椭圆组分；
基于椭圆组分确定椭圆的中心作为用户的眼睛位置。
18.如权利要求17所述的眼睛跟踪设备，其中，处理器被配置为获取特征点中的眼睛轮廓特征点，确定眼睛轮廓特征点的中心，并基于眼睛轮廓特征点的中心和眼睛轮廓特征点之间的水平距离确定眼睛区域，眼睛轮廓特征点与用户的眼睛的轮廓相应。
19.如权利要求18所述的眼睛跟踪设备，其中，处理器被配置为基于所述水平距离确定垂直距离，并基于相对于眼睛轮廓特征点的中心的水平距离和垂直距离确定眼睛区域。
CN201610308480.7A 2015-09-07 2016-05-11 用于眼睛跟踪的方法和设备 Active CN106504271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0126149 2015-09-07
KR1020150126149A KR102463169B1 (ko) 2015-09-07 2015-09-07 시점 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
CN106504271A true CN106504271A (zh) 2017-03-15
CN106504271B CN106504271B (zh) 2022-01-25

Family

ID=56081220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610308480.7A Active CN106504271B (zh) 2015-09-07 2016-05-11 用于眼睛跟踪的方法和设备

Country Status (5)

Country Link
US (1) US9898080B2 (zh)
EP (1) EP3139303B1 (zh)
JP (1) JP6795930B2 (zh)
KR (1) KR102463169B1 (zh)
CN (1) CN106504271B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862732A (zh) * 2017-11-08 2018-03-30 清华大学 实时的三维眼皮重建方法及装置
CN108282650A (zh) * 2018-02-12 2018-07-13 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、系统及存储介质
CN108304071A (zh) * 2018-02-02 2018-07-20 惠州学院 一种基于眼球跟踪实现交互式2.5d的方法
CN108446595A (zh) * 2018-02-12 2018-08-24 深圳超多维科技有限公司 一种空间定位方法、装置、系统及存储介质
CN108737714A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN108922085A (zh) * 2018-07-18 2018-11-30 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
CN109102528A (zh) * 2018-08-07 2018-12-28 上海海事大学 一种船舶跟踪方法及系统
CN109151445A (zh) * 2018-09-26 2019-01-04 深圳市新致维科技有限公司 一种裸眼3d显示系统及其显示方法和计算机存储设备
CN109471527A (zh) * 2018-10-15 2019-03-15 上海理工大学 基于视觉跟踪技术的特殊病人信息交互系统及使用方法
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN113160765A (zh) * 2021-01-22 2021-07-23 京东方科技集团股份有限公司 显示装置的驱动方法、装置、电子设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564479B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
CN108134928A (zh) * 2017-12-26 2018-06-08 深圳Tcl新技术有限公司 Vr显示方法和装置
JP2021511606A (ja) * 2018-04-25 2021-05-06 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 顔の特徴点に基づく瞬き動作認識のためのシステムおよび方法
CN109086713B (zh) * 2018-07-27 2019-11-15 腾讯科技（深圳）有限公司 眼部识别方法、装置、终端及存储介质
WO2020054193A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109784285A (zh) * 2019-01-21 2019-05-21 深圳市云眸科技有限公司 实现人脸识别的方法及装置、电子设备、存储介质
KR102214411B1 (ko) * 2019-03-29 2021-02-09 상명대학교산학협력단 렌즈 가상 착용 장치 및 방법
CN110032278B (zh) * 2019-03-29 2020-07-14 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
US11307659B2 (en) * 2019-09-18 2022-04-19 Apple Inc. Low-power eye tracking system
JPWO2021124709A1 (zh) * 2019-12-19 2021-06-24
WO2021134160A1 (en) * 2019-12-30 2021-07-08 Fresenius Medical Care Deutschland Gmbh Method for driving a display, tracking monitor and storage medium
CN115398493A (zh) * 2020-04-02 2022-11-25 京瓷株式会社 检测装置以及图像显示模块
JP6757949B1 (ja) * 2020-05-28 2020-09-23 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
CN114939272B (zh) * 2022-06-15 2023-08-04 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统
CN115953332B (zh) * 2023-03-15 2023-08-18 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
KR101387775B1 (ko) * 2013-02-14 2014-04-21 인하대학교 산학협력단 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법
CN103793045A (zh) * 2012-10-31 2014-05-14 原相科技股份有限公司 瞳孔追踪装置
US20150002392A1 (en) * 2012-01-26 2015-01-01 Umoove Services Ltd. Eye tracking
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置
US20150097925A1 (en) * 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2324428A (en) 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
JP4898026B2 (ja) 2001-06-29 2012-03-14 本田技研工業株式会社 ステレオカメラを使用した顔・視線認識装置
CA2685976C (en) 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
JP2009181424A (ja) * 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR101286965B1 (ko) * 2009-12-29 2013-07-23 동국대학교 산학협력단 시선 추적 장치 및 방법
JP5618686B2 (ja) * 2010-08-03 2014-11-05 キヤノン株式会社 視線検出装置、視線検出方法及びプログラム
US9185352B1 (en) * 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
KR101874494B1 (ko) 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
KR20130068732A (ko) 2011-12-16 2013-06-26 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2013143736A (ja) * 2012-01-12 2013-07-22 Toshiba Corp 情報処理装置および表示制御方法
KR101471488B1 (ko) 2012-03-23 2014-12-10 경북대학교 산학협력단 시선 추적 장치 및 방법
KR102093455B1 (ko) * 2013-10-04 2020-03-25 한국전자통신연구원 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
KR101470243B1 (ko) 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법
KR101808129B1 (ko) * 2014-10-14 2017-12-13 한국전자통신연구원 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
US20150002392A1 (en) * 2012-01-26 2015-01-01 Umoove Services Ltd. Eye tracking
CN103793045A (zh) * 2012-10-31 2014-05-14 原相科技股份有限公司 瞳孔追踪装置
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
KR101387775B1 (ko) * 2013-02-14 2014-04-21 인하대학교 산학협력단 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置
US20150097925A1 (en) * 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C.H MORIMOTO等: "Pupil detection and tracking using multiple light sources", 《IMAGE AND VISION COMPUTING》 *
赵青云: "基于视频图像的瞳孔精确定位方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862732B (zh) * 2017-11-08 2020-06-19 清华大学 实时的三维眼皮重建方法及装置
CN107862732A (zh) * 2017-11-08 2018-03-30 清华大学 实时的三维眼皮重建方法及装置
CN108304071A (zh) * 2018-02-02 2018-07-20 惠州学院 一种基于眼球跟踪实现交互式2.5d的方法
CN108282650A (zh) * 2018-02-12 2018-07-13 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、系统及存储介质
CN108446595A (zh) * 2018-02-12 2018-08-24 深圳超多维科技有限公司 一种空间定位方法、装置、系统及存储介质
CN108282650B (zh) * 2018-02-12 2019-12-24 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、系统及存储介质
CN108737714A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN108922085A (zh) * 2018-07-18 2018-11-30 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
CN108922085B (zh) * 2018-07-18 2020-12-18 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
CN109102528A (zh) * 2018-08-07 2018-12-28 上海海事大学 一种船舶跟踪方法及系统
CN109151445B (zh) * 2018-09-26 2020-08-04 深圳市新致维科技有限公司 一种裸眼3d显示系统及其显示方法和计算机存储设备
CN109151445A (zh) * 2018-09-26 2019-01-04 深圳市新致维科技有限公司 一种裸眼3d显示系统及其显示方法和计算机存储设备
CN109471527A (zh) * 2018-10-15 2019-03-15 上海理工大学 基于视觉跟踪技术的特殊病人信息交互系统及使用方法
CN109471527B (zh) * 2018-10-15 2022-07-22 上海理工大学 基于视觉跟踪技术的特殊病人信息交互系统及使用方法
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN113160765A (zh) * 2021-01-22 2021-07-23 京东方科技集团股份有限公司 显示装置的驱动方法、装置、电子设备及存储介质
US11922894B2 (en) 2021-01-22 2024-03-05 Beijing Boe Display Technology Co., Ltd. Driving method of display apparatus, apparatus, electronic device and storage medium for correcting brightness data using pixel misalignment information

Also Published As

Publication number Publication date
KR102463169B1 (ko) 2022-11-04
CN106504271B (zh) 2022-01-25
JP6795930B2 (ja) 2020-12-02
EP3139303B1 (en) 2021-06-30
EP3139303A1 (en) 2017-03-08
JP2017054503A (ja) 2017-03-16
US9898080B2 (en) 2018-02-20
US20170068315A1 (en) 2017-03-09
KR20170029166A (ko) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106504271A (zh) 用于眼睛跟踪的方法和设备
US20150110349A1 (en) Face tracking apparatuses and methods
US10482656B2 (en) 3D face modeling methods and apparatuses
US10977801B2 (en) Method and apparatus for tracking object
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
US11037325B2 (en) Information processing apparatus and method of controlling the same
Liang et al. Stereoscopic saliency model using contrast and depth-guided-background prior
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN106372629A (zh) 一种活体检测方法和装置
US20230334235A1 (en) Detecting occlusion of digital ink
EP2460359A1 (en) Adjusting perspective and disparity in stereoscopic image pairs
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
US10964046B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera
KR20200086742A (ko) 응시 거리를 결정하는 방법 및 디바이스
CN105740751A (zh) 一种目标检测与识别的方法和系统
Muddamsetty et al. A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes
US10176374B2 (en) Image processing method and apparatus
US20190370996A1 (en) Image processing apparatus
US9679219B2 (en) Image feature classification
Reinbacher et al. Fast variational multi-view segmentation through backprojection of spatial constraints
KR101749029B1 (ko) 영상에서의 신체 부위 검출 방법 및 그 장치
US20220028109A1 (en) Image processing method and apparatus
Lo et al. Vanishing point-based line sampling for real-time people localization
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program
CN106570854A (zh) 水状态的检测装置、方法以及图像处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant