CN107368774A - 注视检测设备和注视检测方法 - Google Patents

注视检测设备和注视检测方法 Download PDF

Info

Publication number
CN107368774A
CN107368774A CN201710203077.2A CN201710203077A CN107368774A CN 107368774 A CN107368774 A CN 107368774A CN 201710203077 A CN201710203077 A CN 201710203077A CN 107368774 A CN107368774 A CN 107368774A
Authority
CN
China
Prior art keywords
eyes
eye
pupil
estimation
pupil region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710203077.2A
Other languages
English (en)
Inventor
石井大祐
中岛哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN107368774A publication Critical patent/CN107368774A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了注视检测设备和注视检测方法。该注视检测设备包括：图像捕捉单元，其生成表示用户的双眼的图像；眼睛检测单元，其针对双眼中的每只眼睛而从该图像中检测包含该眼睛的眼睛区域；瞳孔检测单元，其针对双眼中的一只眼睛而从眼睛区域中检测包含瞳孔的瞳孔区域；估计单元，其基于针对该一只眼睛检测到的瞳孔区域，获得针对双眼中的另一只眼睛的在该图像上的瞳孔区域的估计形状；瞳孔再检测单元，其通过从针对该另一只眼睛检测到的眼睛区域内搜索具有与估计形状匹配的形状的区域来检测瞳孔区域；以及注视检测单元，其基于针对双眼中的每只眼睛检测到的瞳孔区域的位置来检测用户的注视方向。

Description

注视检测设备和注视检测方法
技术领域
本文论述的实施方式涉及用于基于捕捉到的人眼图像来检测注视方向的注视检测设备和注视检测方法。
背景技术
正在进行的工作是检测人眼的注视方向，从而获得关于吸引人的注意的对象的信息或者自动执行与注视方向或者正在注视的人的位置相关的操作。为了方便起见，下文中将由人注视的位置简称为注视位置。
人的注视位置或注视方向与人的瞳孔指向的方向密切相关。有鉴于此，已知提供根据捕捉的人眼的图像检测瞳孔并基于瞳孔相对于参考点的位置关系来识别人的注视方向或注视位置的技术。例如，光源的角膜反射图像(下文中被称为浦肯野(Purkinje)图像)被用作参考点。
然而，在一些情况下，浦肯野图像可能与瞳孔重叠，并且在眼睛图像中可能不能完整地捕捉瞳孔。当这发生时，可能不能从眼睛图像中准确地检测瞳孔。为了解决这个问题，已经提出了一种技术，其积极利用浦肯野图像中包含的信息，从而即使当大部分瞳孔被浦肯野图像遮住时也能稳定地检测瞳孔(例如，参照日本未审查专利公开(特开)第2012-24154号)。
根据在日本未审查专利公开(特开)第2012-24154号中公开的瞳孔检测设备，以浦肯野图像内的参考点作为一端来设置每个预定长度的多个线段，并且基于参考亮度和线段上的每个像素的亮度来计算每个线段的亮度评估分数。然后，基于计算出的评估分数，瞳孔检测设备从多个线段中识别通过瞳孔图像的中心的瞳孔的中心线，并且基于瞳孔的中心线附近的亮度条件来检测瞳孔图像。
发明内容
然而，浦肯野图像不是唯一可能覆盖眼睛图像中的瞳孔图像的图像。例如，当观察者佩戴眼镜时，由眼镜反射的光源的图像可能与瞳孔图像重叠。还存在多个光源的图像可以反射到眼睛图像中的可能性。在这种情况下，日本未审查专利公开(特开)第2012-24154号中公开的技术可能不能够准确地检测瞳孔。
在一个方面，本发明的目的是提供一种注视检测设备，其即使在眼睛的瞳孔被所捕捉的图像中的另一图像部分隐藏时也能够估计用户眼睛的瞳孔位置。
根据一种实施方式，提供了一种注视检测设备。该注视检测设备包括：图像捕捉单元，其生成表示用户的双眼的图像；眼睛检测单元，其针对双眼中的每只眼睛而从图像中检测包含该眼睛的眼睛区域；瞳孔检测单元，其针对双眼中的一只眼睛而从眼睛区域中检测包含瞳孔的瞳孔区域；估计单元，其基于针对该一只眼睛检测到的瞳孔区域，获得针对双眼中的另一只眼睛的在图像上的瞳孔区域的估计形状；瞳孔再检测单元，其通过从针对该另一只眼睛检测到的眼睛区域内搜索具有与估计形状匹配的形状的区域来检测瞳孔区域；以及注视检测单元，其基于针对双眼中的每只眼睛检测到的瞳孔区域的位置来检测用户的注视方向。
附图说明
图1是示出数字标牌系统的实现注视检测设备的一个实施方式的硬件配置的图。
图2是示出照明光源、红外相机和显示单元的配置的一个示例的图。
图3是用于实现注视检测过程的控制单元的功能框图。
图4是示出估计范围的一个示例的图。
图5是示出照明光源与用户的注视方向之间的关系的一个示例的图。
图6是示出如何校正估计范围的位置的一个示例的图。
图7是示出用于确定估计范围的位置的方法的另一示例的图。
图8是示出注视方向和瞳孔区域的形状之间的关系的一个示例的图。
图9是示出当用户的面部相对于红外相机的视线成角度定向时，注视方向与瞳孔区域的形状之间的关系的一个示例的图。
图10是提供如何基于瞳孔区域的未被隐藏部分的轮廓来估计瞳孔的重心的位置的概况的示意图。
图11是示出映射表的一个示例的图。
图12是示出注视位置表的一个示例的图。
图13是示出注视检测过程的操作流程的图。
具体实施方式
下面，参照附图描述注视检测设备。注视检测设备通过使用相机捕捉被用光源照明的用户的双眼来生成图像，并且通过检测图像上的各眼睛的瞳孔来检测用户的注视方向。然后，基于所检测到的一只眼睛的瞳孔相对于针对每只眼睛预设的参考点的位置关系，注视检测设备设置估计范围，在所述估计范围内所述瞳孔被估计为位于另一只眼睛中。此外，基于在图像上针对一只眼睛检测到的瞳孔的形状，注视检测设备在图像上获得针对另一只眼睛的瞳孔的估计形状。然后，基于估计范围和瞳孔的估计形状，注视检测设备再次执行用于检测另一只眼睛的瞳孔的过程。
在下面描述的实施方式中，注视检测设备安装在数字标牌系统中，并且检测数字标牌系统的用户的注视位置。
图1是示出数字标牌系统的实现注视检测设备的一个实施方式的硬件配置的图。数字标牌系统1包括显示单元2、照明光源3、红外相机4，输入单元5、存储介质访问装置6、存储单元7和控制单元8。数字标牌系统1还可以包括用于将数字标牌系统1连接至另一设备的通信接口电路(未描述)。
显示单元2包括例如液晶显示器或有机电致发光显示器。显示单元2根据来自控制单元8的控制信号显示例如各种文本、图标、静止图像或运动图像。
照明光源3包括例如由至少一个红外发光二极管构成的红外发光源，以及根据来自控制单元8的控制信号从电源(未描述)向红外发光二极管供电的驱动电路(未描述)。照明光源3与红外相机4安装在同一机壳10中，照明光源3的发光面朝着与红外相机4的拍摄方向相同的方向以便能够对红外相机4的拍摄方向进行照明。例如，在从控制单元8接收到用于点亮光源的控制信号时，照明光源3连续发射照明光。
红外相机4是图像捕捉单元的一个示例，并且生成包含用户的包括眼睛的面部的至少一部分的图像。为此，红外相机4包括由对照明光源3辐射的红外光敏感的固态成像装置的二维阵列构成的图像传感器，以及用于将主题的图像聚焦在图像传感器上的成像光学系统。红外相机4还可以包括在图像传感器和成像光学系统之间的可见光截止滤波器，以便防止检测到由虹膜反射的图像和除了来自照明光源3的光之外的任何光的浦肯野图像。成像光学系统可以是固定焦点光学系统，或者可替换地可以是可变焦点光学系统。在执行注视检测过程期间，红外相机4通过以特定帧速率拍摄图像来生成图像。红外相机4具有足够高的分辨率，使得在所生成的图像中可以识别瞳孔和在数字标牌系统1的用户的角膜上反射的照明光源3的浦肯野图像。每当生成这样的图像时，红外相机4将图像传递到控制单元8。
在本实施方式中，照明光源3和红外相机4安装在同一机壳10中。机壳10可以包括可旋转地安装在机壳10的安装基座的表面上同时以一体的方式支承照明光源3和红外相机4的可旋转支承构件(未描述)；以及根据来自控制单元8的控制信号来旋转可旋转支承构件的致动器(未描述)。以此方式，红外相机4安装在机壳10中，以便能够改变其拍摄方向。
图2是示出照明光源3、红外相机4和显示单元2的布置的一个示例的图。安装有照明光源3和红外相机4的机壳10定位为靠近显示单元2。照明光源3和红外相机4朝着用户200。红外相机4捕捉用户200的包括用户200的两只眼睛的面部的一部分或整个区域的图像。
输入单元5包括例如键盘和诸如鼠标的点击装置。由用户经由输入单元5输入的操作信号被传递到控制单元8。
显示单元2和输入单元5可以组合成一个单元，例如，如在触摸面板显示器的情况下。在这种情况下，当用户触摸显示在显示单元2的显示屏上的特定位置处的图标时，输入单元5生成与该位置相关联的操作信号，并将该操作信号提供给控制单元8。
存储介质访问装置6是访问诸如磁盘、半导体存储卡或光学存储介质的存储介质11的装置。存储介质访问装置6访问存储介质11，以读取例如要在控制单元8上执行的注视检测计算机程序，并将该程序传递到控制单元8。
存储单元7包括例如可读/可写非易失性半导体存储器和可读/可写易失性半导体存储器。存储单元7存储注视检测计算机程序和要在控制单元8上执行的各种应用程序以及用于执行该程序的各种数据。
存储单元7还存储要用于检测用户的注视位置的各种数据。例如，存储单元7存储映射表，该映射表提供注视方向和瞳孔的重心相对于浦肯野图像的重心的位置之间的映射。
控制单元8包括一个或多个处理器及其外围电路。控制单元8通过信号线连接至数字标牌系统1的各个单元，并且控制数字标牌系统1的整体操作。例如，控制单元8执行适合于接收的来自输入单元5的操作信号和当前正在执行的应用程序的处理，并在显示单元2上显示运动图像等。
此外，每当获取图像和窄角度图像时，控制单元8通过执行注视检测过程来检测用户的注视方向和注视位置。
图3是控制单元8的用于实现注视检测过程的功能框图。控制单元8包括眼睛检测单元21、参考点检测单元22、瞳孔检测单元23、再检测确定单元24、估计单元25、瞳孔再检测单元26和注视检测单元27。构成控制单元8的这些单元是通过在结合在控制单元8中的处理器上执行计算机程序而实现的功能模块。可替选地，构成控制单元8的这些单元可以在单个或多个集成有对应于各个单元的电路的集成电路上实现，并且可以与包含在控制单元8中的处理器分开地安装在数字标牌系统1中。
每当在执行注视检测过程期间获取图像时，眼睛检测单元21针对用户的左眼和右眼中的每只眼睛，在图像上检测包含用户的眼睛的眼睛区域。由于眼睛检测单元21针对所有图像重复相同的处理，因此下面将描述针对一个图像执行的处理。
例如，当假设图像中包含用户的面部的整个区域时，首先，眼睛检测单元21从图像中检测包含用户的面部的面部区域。为此，眼睛检测单元21将图像中的每个像素的值转换为例如由HSV颜色系统定义的值。然后，眼睛检测单元21提取其色相分量(H分量)值落在与肤色对应的值的范围内(例如，从0°到30°的值的范围)的任何像素作为潜在地对应于面部的一部分的面部区域候选像素。
此外，当用户使用数字标牌系统1时，可以假定用户的面部朝着显示单元2并且位于距显示单元2特定距离(例如，一至两米)处。因此，可以在一定程度上估计面部在图像上占据的区域的大小。
因此，眼睛检测单元21对面部区域候选像素执行标记，并提取一组邻近面部区域候选像素作为面部候选区域。然后，眼睛检测单元21确定面部候选区域的尺寸是否落入与用户面部的尺寸相对应的参考范围内。当面部候选区域的尺寸落入与用户的面部的尺寸相对应的参考范围内时，眼睛检测单元21确定面部候选区域是面部区域。
眼睛检测单元21不仅可以使用面部候选区域的尺寸还可以使用面部候选区域的形状作为用于确定面部候选区域是否是面部区域的标准。通常，人面部的形状基本上是椭圆形的。有鉴于此，当面部候选区域的尺寸落入上述参考范围内，并且例如，当面部候选区域的椭圆率不小于与典型面部的轮廓相对应的给定阈值时，眼睛检测单元21可以确定面部候选区域是面部区域。在这种情况下，眼睛检测单元21可以通过获得位于面部候选区域的轮廓上的像素的总数作为面部候选区域的圆周长度，使包含在面部候选区域中的像素总数乘以4π，并且使结果除以圆周长度的平方来计算椭圆率。
可替选地，眼睛检测单元21可通过将面部候选区域的轮廓上的每个像素的坐标替换为椭圆方程，并通过应用最小二乘法，通过椭圆近似面部候选区域。然后，当椭圆的长轴与短轴之比落入限定典型面部的长轴与短轴之比的最小值和最大值的范围内时，眼睛检测单元21可以确定面部候选区域是面部区域。当通过椭圆近似来评估面部候选区域的形状时，眼睛检测单元21可以通过计算图像中的相邻像素之间的亮度差异来检测与边缘相对应的边缘像素。在这种情况下，眼睛检测单元21例如通过使用标记技术来连接边缘像素，并且确定具有比预定长度长的连接长度的边缘像素表示面部候选区域的轮廓。
可替选地，眼睛检测单元21可以通过使用用于检测包含在图像中的面部的区域的各种其它方法中的任何一种来检测面部区域。例如，眼睛检测单元21可以在面部候选区域和与典型面部的形状相对应的模板之间执行模板匹配，并计算面部候选区域和模板之间的匹配度；然后当匹配度高于预定值时，眼睛检测单元21可以确定面部候选区域是面部区域。
另外可替选地，眼睛检测单元21可以通过使用从图像中预先训练以检测面部区域的分类器，从图像中检测面部区域。在这种情况下，例如AdaBoost或Real AdaBoost，支持向量机或者深度神经网络被用作分类器。然后，眼睛检测单元21在图像上设置窗口，提取窗口中包含的像素的值，或者在改变窗口的位置的同时从窗口提取特征，并且通过将提取的值或特征输入到分类器中来确定窗口是否包含面部区域。例如，Haar-like特征或定向梯度特征的直方图被提取为特征。
眼睛检测单元21从面部区域检测左眼和右眼中的每只眼睛的眼睛区域。
与眼睛对应的像素的亮度与与眼睛的周边区域对应的像素的亮度大大不同。有鉴于此，眼睛检测单元21通过应用例如Sobel滤波来计算面部区域中的竖直相邻像素之间的差异，并且检测其间亮度在竖直方向上改变的边缘像素。然后，眼睛检测单元21检测例如均由通过在基本上水平的方向上连接与眼睛的大小相对应的预定数量的边缘像素形成的两个边缘线限定的区域，并且将这样的区域作为眼睛区域候选。
人的两只眼睛沿水平方向布置成彼此间隔开。有鉴于此，眼睛检测单元21从检测到的眼睛区域候选中提取其中在竖直方向上测得的重心之间的位置差最小并且在水平方向上以对应于左眼和右眼之间的距离的距离彼此隔开的两只眼睛区域候选。然后，眼睛检测单元21确定两只眼睛区域候选分别表示眼睛区域。
可替选地，眼睛检测单元21可以在面部区域和表示眼睛的模板之间执行模板匹配，以从面部区域的左半部分和右半部分中的每一部分中检测与模板最匹配的区域，然后可以确定所检测到的区域是眼睛区域。另外可替选地，眼睛检测单元21可以通过使用预先训练的以从图像中检测眼睛区域的分类器来从面部区域检测眼睛区域。在这种情况下，例如AdaBoost或Real AdaBoost、支持向量机或者深度神经网络也被用作分类器。然后，眼睛检测单元21在面部区域内设置关注窗口，提取窗口中包含的像素的值或从窗口提取特征，并且通过将提取的值或特征输入分类器中来确定窗口是否包含眼睛区域。
另外可替选地，眼睛检测单元21可以通过对图像应用可变形部件模型方法来同时检测面部区域以及左眼区域和右眼区域。对于可变形部件模型方法，参考例如P.Felzenszwalb等人的“A Discriminatively Trained,Multiscale,Deformable PartModel”,Computer Vision and Pattern Recognition 2008,IEEE Conference on Year,第1-8页,2008。
当在图像中包含仅面部的一部分时，眼睛检测单元21可以跳过面部区域检测过程。然后，眼睛检测单元21可以通过在整个图像上执行上述眼睛区域检测过程中的任一个检测过程来检测左眼和右眼中的每只眼睛的眼睛区域。
眼睛检测单元21将表示左眼和右眼中的每只眼睛的眼睛区域的信息传递到参考点检测单元22和瞳孔检测单元23。
每当从眼睛检测单元21接收到表示眼睛区域的信息时，参考点检测单元22从已获得的表示眼睛区域的信息的图像中检测在再检测左眼和右眼中的每只眼睛的瞳孔时所参考的并且其位置不随着注视方向改变的参考点。由于参考点检测单元22针对左眼和右眼中的每只眼睛重复相同的处理，因此将在下面描述针对一只眼睛执行的处理。
在本实施方式中，参考点检测单元22基于照明光源3的浦肯野图像来设定参考点。包含照明光源3的浦肯野图像的区域的亮度高于其周围区域的亮度，并且其亮度值基本上饱和(即，亮度值基本上等于像素值可以采用的最高亮度值)。此外，包含照明光源3的浦肯野图像的区域的形状基本上与照明光源3的发光面的形状一致。有鉴于此，参考点检测单元22在眼睛区域内设置具有共同中心但大小不同并且具有与照明光源3的发光面的轮廓形状基本一致的形状的两个环。然后，参考点检测单元22通过从表示与内环对应的像素的平均亮度值的内亮度平均值中减去外像素的平均亮度值来获得差值。然后，当差值大于预定差阈值时，并且当内亮度平均值高于预定亮度阈值时，参考点检测单元22确定由内环包围的区域表示照明光源3的浦肯野图像。差阈值可以被设置成例如等于在眼睛区域中的相邻像素之间计算的差值的平均值。另一方面，预定亮度阈值可以被设置成例如眼睛区域中的最高亮度值的80％。
参考点检测单元22可以通过使用用于检测图像上的包含光源的浦肯野图像的区域的各种其它方法中的任一种方法来检测包含照明光源3的浦肯野图像的区域。
参考点检测单元22将包含浦肯野图像的区域的重心作为参考点。
根据修改示例，参考点检测单元22可以根据眼睛自身的形状检测参考点。例如，参考点检测单元22可以将眼睛的内角、眼睛的外角或者眼睛的内角和外角之间的中点检测为参考点。可替选地，参考点检测单元22可以以具有以预定间距排列的水平和竖直条的网格状图案分割眼睛区域，并且可以将水平和竖直条的交叉点中的任一个交叉点设置为参考点。
例如，当将眼睛的内角检测为参考点时，参考点检测单元22在眼睛区域周围应用角点检测滤波，以检测面部中心的作为眼睛内角的凸角。可替选地，参考点检测单元22可以通过使用表示眼睛区域周围的眼睛的内角的模板执行模板匹配来检测眼睛的内角。另外可替选地，参考点检测单元22可以通过使用预训练以检测眼睛的内角的分类器来检测眼睛的内角。同样地，当将眼睛的外角检测为参考点时，参考点检测单元22在眼睛区域周围应用角点检测滤波，以检测面部外侧的作为眼睛的外角的凸角。可替选地，参考点检测单元22可以通过使用表示眼睛区域周围的眼睛的外角的模板执行模板匹配来检测眼睛的外角。另外可替选地，参考点检测单元22可以通过使用预训练以检测眼睛的外角的分类器来检测眼睛的外角。
另一方面，当将眼睛的内角和外角之间的中点检测为参考点时，如上所述，参考点检测单元22检测眼睛的内角和外角，并且获得它们之间的中点。
参考点检测单元22针对左眼和右眼中的每只眼睛计算表示图像上的参考点的位置的坐标，并将该坐标传递给估计单元25、瞳孔再检测单元26和注视检测单元27。
每当从眼睛检测单元21接收到表示眼睛区域的信息时，瞳孔检测单元23从已获得的表示眼睛区域的信息的图像中检测包含左眼和右眼中的每只眼睛的瞳孔的瞳孔区域。由于瞳孔检测单元23针对左眼和右眼中的每只眼睛重复相同的处理，因此将在下面描述针对一只眼睛执行的处理。
在本实施方式中，瞳孔检测单元23在眼睛区域和表示瞳孔的模板之间执行模板匹配，并且从眼睛区域内检测与模板最匹配的区域。然后，当匹配度的最大值高于预定匹配度阈值时，瞳孔检测单元23确定检测到的区域是包含瞳孔的瞳孔区域。瞳孔大小随着进入用户眼睛的光量而改变。瞳孔基本上是圆形的，但是当红外相机4以与瞳孔成斜角的方式被引导时，图像上的瞳孔的形状是竖直细长的椭圆。有鉴于此，可以根据瞳孔的尺寸或形状来准备多个模板。在这种情况下，瞳孔检测单元23将眼睛区域与多个模板匹配，并且获得匹配度的最大值。当匹配度的最大值高于匹配度阈值时，瞳孔检测单元23确定瞳孔包含在与对应于匹配度的最大值的模板匹配的区域中。匹配度被计算为例如模板和与模板匹配的区域之间的归一化互相关的值。匹配度阈值设定为例如0.7或0.8。
包含瞳孔的区域的亮度低于其周围区域的亮度，并且瞳孔基本上是圆形的。有鉴于此，瞳孔检测单元23设置在眼睛区域内具有两个不同半径的同心环的双环滤波器。然后，当从与外环对应的像素的平均亮度值减去内像素的平均亮度值而获得的差值大于预定阈值时，瞳孔检测单元23可以确定由内环包围的区域表示瞳孔区域。瞳孔检测单元23可以通过进一步检测由内环包围的区域的平均亮度值不大于预定阈值来检测瞳孔区域。在这种情况下，预定阈值被设置成等于例如通过将眼睛区域的最大和最小亮度值之间的差的10％至20％加到最小亮度值而获得的值。
可替选地，瞳孔检测单元23可以通过使用已经预训练用于瞳孔区域检测的诸如AdaBoost或支持向量机的分类器来检测瞳孔区域。另外可替选地，瞳孔检测单元23可以通过利用瞳孔区域中的颜色或亮度分布与其周围区域中的颜色或亮度分布不同的事实来检测瞳孔区域。在这种情况下，瞳孔检测单元23可以例如利用区域生长方法来获得亮度值落在从最小亮度值开始的预定范围的亮度值内的包括具有在眼睛区域内的最小亮度值的像素的像素集合，并且可以将这样的像素的集合检测为瞳孔区域。
另外，瞳孔检测单元23可以通过利用用于检测包含在图像中的瞳孔区域的各种其它方法中的任一种方法来检测包含瞳孔的区域。
当已经成功检测到瞳孔区域时，瞳孔检测单元23通过获取包含在瞳孔区域中的像素的水平坐标值的平均值和竖直坐标值的平均值来计算瞳孔区域的重心(下文中被称为瞳孔的重心)的位置坐标。
瞳孔检测单元23向再检测确定单元24提供指示是否已经成功检测到左眼和右眼中的每只眼睛的瞳孔区域的信息以及在检测瞳孔区域时计算的指示瞳孔区域的确定度(degree of certainty)的评估分数。例如，当使用匹配模板来检测瞳孔区域时，评估分数是匹配度的最大值。当双环滤波器用于检测瞳孔区域时，可以将差值(即，当检测瞳孔区域时双环滤波器所处于的位置处的双环滤波器的输出值)视为评估分数。另一方面，当使用分类器检测瞳孔区域时，与用于识别检测到的区域是否是瞳孔区域的阈值进行比较的分类器的输出值可以被用作评估分数。当利用区域生长方法检测瞳孔区域时，可使用瞳孔区域的椭圆率作为评估分数。对于已经成功检测到瞳孔区域的眼睛，瞳孔检测单元23将瞳孔的重心的位置坐标提供给估计单元25和注视检测单元27并且将表示瞳孔区域的信息提供给估计单元25。
每当接收到针对左眼和右眼中的每只眼睛的表示是否已经成功检测到瞳孔区域的信息和指示瞳孔区域的确定度的评估分数时，再检测确定单元24确定对哪只眼睛进行再检测。
例如，当已经针对左眼和右眼中的一只眼睛成功检测到瞳孔区域，而对针对另一只眼睛的瞳孔区域的检测失败时，再检测确定单元24确定针对其的瞳孔区域的检测失败的眼睛是要对针对其的瞳孔区域进行再检测的眼睛。
另一方面，当已经成功地完成了针对左眼和右眼两者的瞳孔区域检测时，再检测确定单元24确定具有较低评估分数的眼睛是要对针对其的瞳孔区域进行再检测的眼睛。
然而，当已经成功地完成了针对左眼和右眼两者的瞳孔区域检测时，当针对左眼和右眼两者的评估分数均不低于预定阈值时，然后再检测确定单元24可以确定对于任一眼睛都不需要对瞳孔区域进行再检测。这是因为可以假设已经以相对高的准确度检测了针对双眼的瞳孔区域。当针对两只眼睛的瞳孔区域检测失败时，再检测确定单元24可以确定不需要对图像执行注视方向和注视位置的检测。
再检测确定单元24将用于识别要对针对其的瞳孔区域进行再检测的眼睛的信息提供给估计单元25和瞳孔再检测单元26。
每当接收到识别要对针对其的瞳孔区域进行再检测的眼睛的信息和表示瞳孔区域的信息时，估计单元25基于瞳孔区域和针对不需要对针对其的瞳孔区域进行再检测的眼睛的参考点来设置再检测条件，即，用于再检测另一只眼睛的瞳孔区域的检测条件。在下面的描述中，将要对针对其的瞳孔区域进行再检测的眼睛称为再检测目标眼睛，并且不需要对针对其的瞳孔区域进行再检测的眼睛被称为参考眼睛。
在本实施方式中，估计单元25将瞳孔区域被估计为位于其中的估计范围和待检测瞳孔区域的估计形状设置为再检测条件。
为此，估计单元25首先获得针对参考眼睛的瞳孔区域的水平宽度(即，在双眼被布置成沿着的方向上测得的宽度)和竖直宽度(即，在垂直于双眼被布置沿着的方向的方向上测得的宽度)。例如，当通过模板匹配检测到瞳孔时，估计单元25确定模板中与瞳孔最佳匹配的瞳孔的水平宽度和竖直宽度分别表示瞳孔的水平宽度和竖直宽度。此外，为了能够以较高的准确度获得瞳孔的形状，估计单元设置例如从瞳孔的重心放射状地延伸的多条线，并且在每条线上检测亮度值低于在较接近瞳孔的重心的一侧的边缘。然后，估计单元25可以例如根据使用诸如Snake的动态轮廓模型的轮廓提取方法通过连接检测到的边缘来获得瞳孔的轮廓形状。然后，基于瞳孔的轮廓形状，估计单元25可以计算水平宽度和竖直宽度。
为了设置瞳孔区域的估计范围，估计单元25计算例如描述从参考点到瞳孔的重心的方向和距离的矢量。当参考点被给定为浦肯野图像或眼睛的内角与外角之间的中点时，估计单元25将估计范围设置成使得其中心位于由从针对再检测目标眼睛的参考点开始的矢量指示的点处。另一方面，当参考点是诸如眼睛的内角或外角的特定点，使得参考点相对于瞳孔的位置在左眼和右眼之间相反时，估计单元25水平反转由针对参考眼睛计算的矢量指示的方向。之后，估计单元25将估计范围设置成使得其中心位于由从针对再检测目标眼睛的参考点开始的反向矢量指示的点处。
图4是示出估计范围的一个示例的图。在所示示例中，假设要对针对位于图像中的右侧的眼睛(即，用户的左眼)，再检测瞳孔区域。在这种情况下，由从针对右侧眼睛的参考点开始的矢量400指示的位置420是估计范围410的中心，矢量400与从针对位于图像中左侧的眼睛的参考点到瞳孔的重心的矢量400相同。另一方面，用户的左眼和右眼在竖直方向上的位置之间的差异可以被认为是小的。因此，估计单元25将估计范围410的竖直宽度设置成等于不再检测其的瞳孔区域的左侧眼睛的瞳孔区域420的竖直宽度，或者等于瞳孔区域的竖直宽度瞳孔区域加上相对小的偏移(例如，二至五个像素)。此外，估计单元25将估计范围410的水平宽度设置成等于瞳孔区域420的宽度加上相对大的偏移(例如，5至20个像素)。
当参考点被给定为照明光源3的浦肯野图像时，估计单元25可以基于针对参考眼睛的瞳孔的重心与浦肯野图像之间的位置关系来校正估计范围的位置。
图5是示出照明光源3与用户的注视方向之间的关系的一个示例的图。通常，浦肯野图像的位置不随用户的注视方向而改变。另一方面，瞳孔的重心的位置随着用户的注视方向而改变。此外，角膜的表面基本上是球形的。因此，浦肯野图像与瞳孔的重心之间的相对位置关系随着用户的注视方向而改变。此外，注视方向与将照明光源3联接至浦肯野图像的线之间的角度在右眼和左眼之间不同。
例如，如图5所示，假定照明光源3位于用户注视方向500的右侧。在这种情况下，注视方向500与将照明光源3联接至在左侧眼睛上的浦肯野图像的线502所成的角度θ2大于注视方向500与将照明光源3联接至在右侧眼睛上的浦肯野图像的线501所成的角度θ1。换言之，瞳孔的重心与在左侧眼睛上的浦肯野图像之间的距离大于瞳孔的重心与在右侧眼睛上的浦肯野图像之间的距离。相反，当照明光源3位于用户注视方向的左侧时，注视方向与将照明光源3联接至在右侧眼睛上的浦肯野图像的线所成的角度大于注视方向与将照明光源3联接至在左侧眼睛上的浦肯野图像的线所成的角度。换言之，瞳孔的重心与在右侧眼睛上的浦肯野图像之间的距离大于瞳孔的重心与在左侧眼睛上的浦肯野图像之间的距离。
鉴于上述，估计单元25例如基于瞳孔的重心与浦肯野图像之间的位置关系来确定照明光源3是否位于用户的注视方向的左侧或右侧。当用户观察照明光源时，浦肯野图像基本上与瞳孔的重心重合。因此，当瞳孔的重心位于浦肯野图像的左侧时，注视方向向照明光源3的右侧移位；另一方面，当瞳孔的重心位于浦肯野图像的右侧时，注视方向向照明光源3的左侧移位。然后，当在图像上在水平方向上观察到的注视方向相对于照明光源3的位置关系与在水平方向上观察到的再检测目标眼睛相对于参考眼睛的位置关系相同时，估计单元25将估计范围的位置在远离照明光源3并且朝着注视方向而定向的方向上水平地偏移预定量的校正。相反，当在图像上在水平方向上观察到的注视方向相对于照明光源3的位置关系与在水平方向上观察到的再检测目标眼睛相对于参考眼睛的位置关系相反时，估计单元25将估计范围的位置在远离注视方向并且朝着照明光源3而定向的方向上水平地偏移预定量的校正。
例如，当用户的注视方向500向照明光源3的左侧移位时，如图5所示，假设再检测目标眼睛是位于图像中左侧的眼睛。在这种情况下，估计单元25将估计范围相对于基于从浦肯野图像指向右侧眼睛上的瞳孔的重心的矢量设置的估计范围的位置向左移动。相反，当再检测目标眼睛是位于图像中右侧的眼睛时，估计单元25将估计范围相对于基于从浦肯野图像指向左侧眼睛上的瞳孔的重心的矢量设置的估计范围的位置向右移动。另一方面，当用户的注视方向向照明光源3的右侧偏移时，假定再检测目标眼睛是位于图像中右侧的眼睛。在这种情况下，估计单元25将估计范围相对于基于从浦肯野图像指向左侧眼睛上的瞳孔的重心的矢量设置的估计范围的位置向右移动。相反，当再检测目标眼睛是位于图像中左侧的眼睛时，估计单元25将估计范围相对于基于从浦肯野图像指向右侧眼睛上的瞳孔的重心的矢量设置的估计范围的位置向左移动。
预先确定的校正量根据例如注视方向预先设定。例如，随着注视方向与将照明光源3联接至浦肯野图像的线所成的角度变大，预定量的校正设置得越大。然后，例如，提供注视方向与预定校正量之间的映射的位置校正表被预先存储在存储单元7中。估计单元25可以通过执行与由注视检测单元27执行的处理类似的处理来检测参考眼睛的注视方向。然后，通过参考位置校正表，估计单元25确定与注视方向匹配的校正量。
估计单元25可以将先前直接获得的注视方向用作参考眼睛的注视方向。
另一方面，当参考点是诸如眼睛的内角或外角的特定点，使得参考点相对于瞳孔的位置在左眼和右眼之间相反时，估计单元25可以基于参考点与参考眼睛的瞳孔的重心之间的距离来校正估计范围的位置。
图6是示出在上述情况下如何校正估计范围的位置的一个示例的图。在图6所示的示例中，假设位于图像中右侧的眼睛是再检测目标眼睛。还假定眼睛的内角用作参考点。在这种情况下，估计单元25使得水平测得的从参考点(内角)611到针对右侧眼睛的估计范围612的中心的距离随着从参考点(内角)601到针对左侧眼睛(即，参考眼睛)的瞳孔的重心602的距离的减小而增加。
根据修改的示例，如图7所示，基于其中瞳孔区域已知的参考图像700，针对各只眼睛检测各自从眼睛的内角到瞳孔的重心的矢量701和702。然后，可以将矩形区域710预先存储在存储单元7中，矩形区域710的水平宽度等于矢量701和702的水平分量的总和，并且矩形区域710的竖直宽度等于矢量701和702的竖直分量的平均值。可以根据从红外相机4到用户的预期距离和诸如红外相机4的高度的安装条件来设置多个这样的矩形区域710。然后，估计单元25可以使用与期望距离和安装条件紧密匹配的矩形区域。
在这种情况下，估计单元25将矢量701放置在矩形区域710内，使得从参考点指向参考眼睛上的瞳孔的重心的矢量721的端点与矩形区域710的一个角重合。然后，估计单元25计算从矢量721的起点722指向矩形区域710的在与矢量721的端点所在的角水平相反的一侧上的另一个角的矢量723，并将矢量723设置为从眼睛的内角(即，参考点)指向针对另一只眼睛的估计范围724的中心的矢量。
当参考点是眼睛的内角和外角之间的中点时，当在图像上在水平方向上观察到的瞳孔的重心相对于参考眼睛的参考点的位置关系与在水平方向上观察到的再检测目标眼睛相对于参考眼睛的位置关系相同时，估计单元25可以使估计范围的位置朝着参考点水平地偏移。相反，当在图像上在水平方向上观察到的瞳孔的重心相对于参考眼睛的参考点的位置关系与在水平方向上观察到的再检测目标眼睛相对于参考眼睛的位置关系相反时，估计单元25可以使估计范围的位置朝着与参考点相反的一侧水平地偏移。
此外，估计单元25基于针对参考眼睛的瞳孔区域的形状，获得针对再检测目标眼睛的要检测的瞳孔区域的估计形状。
例如，估计单元25获得具有与针对参考眼睛的瞳孔区域的水平和竖直宽度相同的水平和竖直宽度的椭圆形状作为针对再检测目标眼睛要检测的瞳孔区域的估计形状。
估计单元25可基于注视方向来校正要检测的瞳孔区域的估计形状。
通常，图像上的瞳孔区域的圆形度随着注视方向与将红外相机4联接至瞳孔的重心的线所成的角度的减小而增加，这是因为瞳孔变得较靠近红外相机4的视线。因此，基于分别针对左眼和右眼检测到的注视方向与将红外相机4联接至瞳孔的重心的线所成的角度之间的大小关系，估计单元25可以校正待被检测的瞳孔区域的估计形状。
鉴于上述内容，估计单元25计算参考眼睛的注视方向与将眼睛联接至红外相机4的线所形成的第一角度以及再检测目标眼睛的注视方向与将眼睛联接至红外相机4的线所形成的第二角度。当第一角度小于第二角度时，估计单元25将再检测目标眼睛的瞳孔区域的估计形状的水平宽度与竖直宽度之比设置成小于参考眼睛的瞳孔区域的水平宽度与竖直宽度之比。相反，当第一角度大于第二角度时，估计单元25将再检测目标眼睛的瞳孔区域的估计形状的水平宽度与竖直宽度之比设置成大于参考眼睛的瞳孔区域的水平宽度与竖直宽度之比。
图8是示出注视方向与瞳孔区域的形状之间的关系的一个示例的图。在所示的示例中，假设用户800正在看着位于红外相机4(在图8中用C表示)的右侧的注视点P'。在图8中，红外相机4的光轴方向被取为Z轴，并且垂直于光轴方向并且平行于地面的方向(即，用户800的眼睛被布置成沿着的方向)被取为X轴。当已知注视点P'的位置时，从红外相机4(即，用户800的右眼)看到的针对左眼L的注视方向801与将瞳孔的重心联接至红外相机4的线所成的角度∠CLP'由下式表示。
∠CLP′[deg]＝tan-1(|Lx-Cx|/|Lz-Cz|)-tan-1(|Lx-P′x|/|Lz-P′z|) (1)
其中，CX、LX和P'X分别表示在X轴上红外相机4的位置、左侧眼睛的位置和注视点P'的位置。另外，CZ、LZ和P'Z分别表示在Z轴上红外相机4的位置、左侧眼睛的位置和注视点P'的位置。
同样地，针对右侧眼睛R(即，用户800的左眼)的注视方向802与将瞳孔的重心联接至红外相机4的线所成的角∠CRP'由下式表示。
∠CRP′[deg]＝180-tan-1(|Rx-Cx|/|Rz-Cz|)-tan-1(|Lx-P′x|/|Lz-P′z|) (2)
其中，RX表示右侧眼睛在X轴上的位置，并且RZ表示右侧眼睛在Z轴上的位置。然后，在左侧眼睛的瞳孔Lpupil的水平宽度LPW与右侧眼睛的瞳孔Rpupil的水平宽度RPW之间的关系由下式表示。
估计单元25根据上式(1)和(2)计算∠CLP'和∠CRP'。根据图像上右眼和左眼的坐标计算LX和RX。根据注视点P'与红外相机4之间的位置关系获得P'X。然后，通过将计算的∠CLP'和∠CRP'以及参考眼睛的瞳孔区域的水平宽度代入式(3)时，估计单元25可以计算待检测的瞳孔区域的估计形状的水平宽度。认为对于左侧眼睛和右侧眼睛，瞳孔区域的竖直宽度基本上相同。因此，估计单元25只需要将参考眼睛的瞳孔区域的竖直宽度作为待检测的瞳孔区域的估计形状的竖直宽度。
估计单元25可以执行与由注视检测单元27执行的处理类似的处理，并且可以基于参考点和针对参考眼睛检测到的瞳孔的重心之间的位置关系来检测用户的注视方向和注视位置。然后，估计单元25可以通过将从参考点指向注视位置的方向作为注视方向来计算针对再检测目标眼睛的上述角度。可替选地，估计单元25可以利用先前直接获得的注视方向作为注视方向。
还可能发生注视点位于比红外相机4更远离用户的情况。换言之，从注视点P'到用户眼睛的距离(|P'Z-LZ|或|P'Z-RZ|)比从红外相机4到用户的眼睛的距离(|CZ-LZ|或|CZ-RZ|)长。在这种情况下，估计单元25可以将暂定注视点P设置在通过穿过红外相机4在Z轴上的位置与X轴平行地绘制的线与注视方向相交的位置处，并且可以计算∠CLP和∠CRP，而不是∠CLP'和∠CRP'。然后，利用∠CLP和∠CRP，估计单元25可以根据式(3)计算针对再检测目标眼睛的待检测的瞳孔区域的估计形状的水平宽度。然而，在这种情况下，优选地，估计单元25获取落在以计算出的水平宽度为中心的第一偏移范围内的各个值，以确定待检测的瞳孔区域的估计形状的水平宽度。
当不知道从用户到注视点P'的距离时，估计单元25可以获取落在以参考眼睛的瞳孔区域的水平宽度为中心的第二偏移范围内的各个值，以确定待检测的瞳孔区域的估计形状的水平宽度。在这种情况下，优选地将第二偏移范围设置成大于第一偏移范围。
此外，当预先知道从红外相机4到用户的距离时，估计单元25可以基于用户面部的取向来校正待检测的瞳孔区域的估计形状的竖直宽度。通常，图像上瞳孔区域的尺寸随着从红外相机4到瞳孔的距离增加而减小。
图9是示出当用户的面部相对于红外相机4的视线以一定角度定向时，注视方向与瞳孔区域的形状之间的关系的一个示例的图。在图9中，将红外相机4的光轴方向被取为Z轴，并且垂直于光轴方向并且平行于地面的方向(即，用户900的眼睛被布置成沿着的方向)被取为X轴。如图9所示，当用户900朝着注视点P'转动他的面部时，位于与注视点P'相同侧的眼睛比位于与注视点P'相反的一侧的眼睛较远离红外相机4。注视点P'。在所示出的示例中，由于注视点P'位于红外相机4的右侧，所以从红外相机4看，右侧眼睛比左侧眼睛较远离红外相机4。因此，右侧眼睛的瞳孔Rpupil的竖直宽度RPH和水平宽度RPW显得小于左侧眼睛的瞳孔Lpupil的竖直宽度LPH和水平宽度LPW。
然后，例如，估计单元25从图像中检测用户面部的取向，并且基于面部的取向，计算从红外相机4到右侧眼睛的距离与从红外相机4到左侧眼睛的距离之间的比率。估计单元25可以检测将两只眼睛的内角之间的中点联接至嘴唇的中点的线，例如，作为中心线，并且可以基于鼻子的最高点相对于中心线的位置关系来确定面部的取向。在这种情况下，为了从图像中检测嘴唇和鼻子的最高点，估计单元25可以使用例如训练为检测嘴唇的分类器和训练为检测鼻子的最高点的分类器。可替选地，估计单元25可以使用从图像中检测嘴唇和鼻子的最高点的其他技术。
然后，估计单元25参考例如提供面部的取向与从红外相机4到左侧眼睛的距离(|CZ-LZ|)比从红外相机4到右侧眼睛的距离(|CZ-RZ|)的比率RD{＝(|CZ-LZ|)/(|CZ-RZ|)}之间的映射的映射表。以此方式，估计单元25基于检测到的面部的取向来获得比率RD。
利用比率RD，估计单元25校正参考眼睛的瞳孔区域的竖直宽度和水平宽度。例如，当参考眼睛是右侧眼睛时，估计单元25将针对右眼的瞳孔区域的竖直宽度和水平宽度乘以比率RD。另一方面，当参考眼睛是左侧眼睛时，估计单元25将左眼的瞳孔区域的竖直宽度和水平宽度除以比率RD。
然后，估计单元25将校正的瞳孔区域的竖直宽度作为待检测的瞳孔区域的估计形状的竖直宽度。此外，估计单元25可以将诸如上述的水平宽度校正应用于瞳孔区域的水平宽度，并且可以将校正后的水平宽度作为待检测的瞳孔区域的估计形状的水平宽度。
估计单元25向瞳孔再检测单元26通知针对再检测目标眼睛的估计范围和待检测的瞳孔区域的估计形状。
瞳孔再检测单元26通知再检测目标眼睛的估计范围和要检测的瞳孔区域的估计形状，执行瞳孔区域的再检测。在这种情况下，瞳孔再检测单元26通过从在针对再检测目标眼睛设定的估计范围内搜索具有与瞳孔区域的估计形状匹配的形状的区域来检测瞳孔区域。
瞳孔再检测单元26例如使用具有与待检测的瞳孔区域的估计形状的水平和竖直宽度相同的水平和竖直宽度的瞳孔的模板，通过模板匹配来检测瞳孔区域。可替选地，瞳孔再检测单元26可以通过利用具有与要检测的瞳孔区域的估计形状的水平和竖直宽度相同的水平和竖直宽度的椭圆形状的双环形滤波器来检测瞳孔区域。
以此方式，通过根据预设的估计范围和待检测的估计形状再检测瞳孔区域，瞳孔再检测单元26可以以较高的准确度检测瞳孔区域。此外，即使当瞳孔被照明光源3的浦肯野图像或者由被眼镜等反射的光源的图像部分地隐藏时，瞳孔再检测单元26也可以检测瞳孔区域。当瞳孔检测单元23未能检测到针对再检测目标眼睛的瞳孔区域时，瞳孔再检测单元26可以与施加到瞳孔检测单元23的瞳孔区域检测条件相比放松瞳孔区域检测条件。例如，瞳孔再检测单元26可以将关于通过模板匹配获得的匹配度的阈值或者关于由双环形滤波器产生的输出值的阈值设置成低于在瞳孔检测单元23中使用的阈值。
瞳孔再检测单元26计算作为再检测的结果检测到的瞳孔区域的瞳孔的重心。例如，当通过模板匹配检测瞳孔区域时，瞳孔再检测单元26将与瞳孔区域最佳匹配的模板的重心作为瞳孔的重心。另一方面，当使用双环形滤波器检测瞳孔区域时，瞳孔再检测单元26将检测到瞳孔区域时双环形滤波器所处的位置处的双环滤波器的重心作为瞳孔的重心。
存在瞳孔区域的一部分被隐藏而不能看到的情况。例如，当从检测到的瞳孔区域中具有最小亮度的像素开始应用区域增长方法时，瞳孔再检测单元26获得由具有落入从最小亮度值开始的预定亮度值范围内的亮度值的像素的集合形成的区域，并且将该区域再检测为瞳孔区域。然后，当瞳孔区域的轮廓的一部分朝着中心凸出时，或者当根据瞳孔区域的周长和面积计算的圆形度小于预定阈值时，瞳孔再检测单元26确定瞳孔区域的一部分被隐藏而看不见。在这种情况下，瞳孔再检测单元26可以例如基于瞳孔区域的未被隐藏部分的轮廓来估计瞳孔的重心的位置。
图10是提供如何基于瞳孔区域的非隐藏部分的轮廓来估计瞳孔的重心的位置的概况的示意图。在图10所示的示例中，瞳孔区域1000的一部分被遮挡物体1001(例如，由眼镜反射的光源的图像)遮挡而不可见。然后，瞳孔再检测单元26在瞳孔区域1000的向外凸出部分的轮廓上设置多对点。然后，对于每对点，瞳孔再检测单元26获得交点C1或C2，并计算切线在交点处彼此形成的角度的平分线L1或L2，其中与轮廓相切的线在交点C1或C2处相交。瞳孔再检测单元26通过计算针对各对计算的平分线L1和L2的交点来估计瞳孔的重心O。
瞳孔再检测单元26向注视检测单元27通知作为再检测的结果而检测到的瞳孔的重心的位置。
注视检测单元27基于针对用户的左眼和右眼中的每只眼睛检测到的瞳孔的重心的位置来检测用户的注视方向和注视位置。
由于角膜的表面在形状上基本上是球形，所以即使当注视方向改变时，光源的浦肯野图像的位置也保持基本上不变。另一方面，瞳孔的重心随着注视方向改变而改变。因此，注视检测单元27可以通过获得瞳孔的重心相对于照明光源3的浦肯野图像的重心的位置来检测注视方向。
在本实施方式中，注视检测单元27针对左眼和右眼中的每只眼睛获得瞳孔的重心相对于照明光源3的浦肯野图像的重心的位置。更具体地，注视检测单元27例如通过从瞳孔的重心的水平和竖直坐标中减去浦肯野图像的重心的水平和竖直坐标来获得瞳孔的重心的相对位置。然后，注视检测单元27通过参考提供瞳孔的重心的相对位置与注视方向之间的映射的映射表来确定左眼和右眼中的每只眼睛的注视方向。
图11是示出映射表的一个示例的图。映射表1100的左侧列中的每个条目携带瞳孔的重心相对于照明光源3的浦肯野图像的重心的位置的坐标。映射表1100右侧列中的每个条目携带与在左侧条目中携带的瞳孔的重心的相对位置的坐标对应的注视方向。在所示示例中，注视方向根据相对于参考注视方向的水平和竖直角度差来表示，参考注视方向在这种情况下是当用户在指定参考点(例如，显示单元2的显示屏的中心或红外相机4的安装位置)处注视时的注视方向。瞳孔的重心的相对位置的坐标以图像上的像素为单位表示。
可替选地，注视检测单元27可以基于除了照明光源3的浦肯野图像之外的参考点与瞳孔的重心之间的位置关系来检测左眼和右眼中的每只眼睛的注视方向。例如，当参考点是眼睛的特征点(例如，眼睛的内角或外角，或者眼睛的内角与外角之间的中点)时，注视检测单元27可以基于瞳孔的重心相对于这样的参考点的位置来检测注视方向。然而，在这种情况下，由于眼睛的特征点与瞳孔的重心之间的关系随着用户面部的取向而改变，因此优选的是，注视检测单元27还如前所述检测用户面部的取向，并且通过考虑用户的面部的取向来校正注视方向。
此外，注视检测单元27基于检测到的注视方向来检测用户的注视位置。在本实施方式中，注视检测单元27通过参考提供注视方向与注视位置之间的映射的注视位置表来确定注视位置。注视方向与注视位置之间的关系根据注视位置(例如，显示单元2的显示屏)与用户之间的距离而改变。图像上的面部的水平宽度也根据红外相机4与用户之间的距离而改变。由于红外相机4设置在显示单元2附近，因此可以假定红外相机4与用户之间的距离以及用户的注视位置与用户之间的距离大致相等。
因此，针对红外相机4与数字标牌系统1的用户之间期望的各种距离(例如，1m，2m等)，预先构建多个注视位置表，并将其存储在存储单元7中。每个注视位置表与其中根据红外相机4与用户之间的期望距离预期包含图像上的面部区域的水平宽度的范围相关联。注视检测单元27选择与其中包含最近从眼睛检测单元21接收的面部区域的水平宽度的范围相关联的注视位置表。然后，注视检测单元27通过参考所选择的注视位置表来获得与注视方向相对应的注视位置。
当数字标牌系统1配备有诸如深度相机的距离传感器时，注视检测单元27仅需要根据距离传感器检测到的到用户的距离来选择注视位置表。
图12是示出注视位置表的一个示例的图。注视位置表1200中的上一行携带注视方向。注视位置表1200中的每个条目携带与上行中携带的注视方向对应的注视位置的坐标；坐标以预定单位(例如，以显示单元2的显示屏上的像素为单位或以毫米为单位)表示。例如，当注视方向在水平方向上为0°并且在竖直方向上为1°时，注视位置表1200中的条目1201指示注视位置为(cx,cy+40)。在所示示例中，cx和cy是当注视方向为(0,0)时注视位置的坐标，即，参考注视位置的坐标，例如，在红外相机4的安装位置处在竖直平面中的水平和竖直坐标。
注视检测单元27通过获取针对左眼和右眼获得的注视位置的平均值来确定用户的注视位置。然后，注视检测单元27可以基于针对左眼和右眼获得的注视位置的平均值，通过参考注视位置表来校正左眼和右眼中的每只眼睛的注视方向。然后，控制单元8将用户的注视位置和左眼和右眼中的每只眼睛的注视方向存储在存储单元7中。
可替选地，注视检测单元27可以将左眼和右眼中的每只眼睛的注视位置和注视方向存储在存储单元7中。
然后，通过跟踪作为两只眼睛的注视位置的平均值而获得的用户的注视位置或者针对一只眼睛计算的注视位置，控制单元8识别注视位置继续保持超过预定义的时间段的位置或范围。控制单元8然后执行适合于该位置或范围的处理。例如，控制单元8可以使显示单元2在显示单元2上显示关于在该位置或范围中显示的图标或内容的信息。
图13示出了由控制单元8执行的注视检测过程的操作流程图。每当获取图像时，控制单元8根据以下操作流程执行注视检测过程。
眼睛检测单元21检测从红外相机4获取的图像上的左眼区域和右眼区域(步骤S101)。参考点检测单元22检测左眼区域和右眼区域中的每一个区域中的参考点(步骤S102)。然后，瞳孔检测单元23检测左眼区域和右眼区域中的每一个区域中的瞳孔区域和瞳孔的重心(步骤S103)。
再检测确定单元24基于关于左眼和右眼的瞳孔区域检测结果来确定再检测目标眼睛(步骤S104)。然后，基于参考眼睛的参考点与瞳孔的重心之间的位置关系以及瞳孔区域的形状，估计单元25设置包括针对再检测目标眼睛的估计范围和待检测的瞳孔区域的估计形状的再检测条件(步骤S105)。
瞳孔再检测单元26根据再检测条件执行用于再检测瞳孔区域和瞳孔的重心的处理(S106)。注视检测单元27基于针对左眼和右眼中的每只眼睛检测到的瞳孔的重心的位置来获得用户的注视方向和注视位置(步骤S107)。然后，控制单元8终止注视检测过程。
如上所述，基于瞳孔区域的形状和参考点与针对包含在图像中的左眼和右眼之一检测到的瞳孔的重心之间的位置关系，注视检测设备设置用于再检测另一只眼睛的瞳孔区域的再检测条件。因此，即使当瞳孔区域的一部分被遮挡而不可见，注视检测设备也可以估计针对另一只眼睛的瞳孔的重心的位置。当已经针对两只眼睛成功检测到瞳孔区域时，注视检测设备通过利用基于针对被认为检测准确度较高的眼睛检测的瞳孔区域设置的再检测条件来再检测被认为检测准确度较低的眼睛的瞳孔区域。以此方式，注视检测设备可以增强针对被认为检测准确度较低的眼睛的瞳孔区域的检测准确度。
根据修改示例，估计单元25可以仅获得估计范围或瞳孔区域的估计形状之一作为再检测条件。然后，瞳孔再检测单元26可以通过利用仅它们中之一作为再检测条件来再检测瞳孔区域。例如，当仅瞳孔区域的估计形状被用作再检测条件时，瞳孔再检测单元26可以搜索整个眼睛区域，并检测具有与估计形状匹配的形状的区域作为瞳孔区域。例如，由于睫毛、眼镜或阴影的存在，在包含眼睛的图像中可能出现形状类似于瞳孔的伪暗区域。根据本示例的注视检测设备，由于基于瞳孔区域的估计形状来再检测瞳孔区域，因此能够减少错误地检测到作为瞳孔的伪暗区域的机会。另一方面，当仅瞳孔区域的估计范围被用作再检测条件时，瞳孔再检测单元26仅需执行处理以在估计范围内再检测瞳孔区域，而不具体限制待检测的瞳孔区域的形状。
根据上述实施方式或其修改示例的注视检测设备不限于上述数字标牌系统的应用，而是可以用于车辆驾驶辅助系统、计算机输入辅助系统等。此外，根据应用，注视检测设备仅需要检测用户的注视方向而不需要检测注视位置。
用于实现根据上述实施方式或其修改示例的注视检测设备中的控制单元的各种功能的计算机程序可以以记录在诸如磁记录介质或光记录介质的计算机可读记录介质上的形式提供。这里的记录介质不包括载波。
本文记载的所有示例和条件语言旨在用于教导目的以帮助读者理解本发明以及发明人为促进本领域而贡献的概念，并且应当被理解为不限于这些具体记载的示例和条件，说明书中这样的示例的组织与示出本发明的优势和劣势有关。尽管已经详细描述了本发明的实施方式，但是应当理解的是，在不脱离本发明的精神和范围的情况下，可以对其进行各种改变、替换和更改。

Claims (9)

1.一种注视检测设备，包括：
眼睛检测单元，其针对用户的双眼中的每只眼睛而从表示所述双眼的图像中检测包含所述眼睛的眼睛区域；
瞳孔检测单元，其针对所述双眼中的一只眼睛而从所述眼睛区域中检测包含瞳孔的瞳孔区域；
估计单元，其基于针对所述一只眼睛检测到的所述瞳孔区域，获得针对所述双眼中的另一只眼睛的在所述图像上的所述瞳孔区域的估计形状；
瞳孔再检测单元，其通过从针对所述另一只眼睛检测到的所述眼睛区域内搜索具有与所述估计形状匹配的形状的区域来检测所述瞳孔区域；以及
注视检测单元，其基于针对所述双眼中的每只眼睛检测到的所述瞳孔区域的位置来检测所述用户的注视方向。
2.根据权利要求1所述的注视检测设备，其中，当针对所述一只眼睛检测到的所述注视方向与将所述一只眼睛联接至图像捕捉单元的线所成的第一角度小于针对所述另一只眼睛估计的所述注视方向与将所述另一只眼睛联接至所述图像捕捉单元的线所成的第二角度时，所述估计单元将在所述双眼被布置成沿着的第一方向上测得的所述另一只眼睛的所述瞳孔区域的所述估计形状的宽度与在垂直于所述第一方向的第二方向上测得的所述另一只眼睛的所述瞳孔区域的所述估计形状的宽度之比设置成小于在所述第一方向上测得的所述一只眼睛的所述瞳孔区域的宽度与在所述第二方向上测得的所述一只眼睛的所述瞳孔区域的宽度之比，而另一方面，当所述第一角度大于所述第二角度时，所述估计单元将在所述第一方向上测得的所述另一只眼睛的所述瞳孔区域的所述估计形状的宽度与在所述第二方向上测得的所述另一只眼睛的所述瞳孔区域的所述估计形状的宽度之比设置成大于在所述第一方向上测得的所述一只眼睛的所述瞳孔区域的宽度与在所述第二方向上测得的所述一只眼睛的所述瞳孔区域的宽度之比。
3.根据权利要求1所述的注视检测设备，还包括参考点检测单元，其针对所述双眼中的每只眼睛而检测位置不随所述用户的注视方向改变的参考点，并且其中，
所述估计单元基于针对所述一只眼睛检测到的所述参考点与所述瞳孔区域之间的位置关系、以及针对所述另一只眼睛检测到的所述参考点来获得估计范围，针对所述另一只眼睛的所述瞳孔区域被估计为位于所述估计范围内，并且
所述瞳孔再检测单元通过从所述估计范围内搜索具有与所述估计形状匹配的形状的区域来检测所述瞳孔区域。
4.根据权利要求3所述的注视检测设备，还包括对所述双眼中的全部两只眼睛进行照明的照明光源，并且其中，
所述参考点检测单元将所述照明光源的角膜反射图像的位置检测为针对所述双眼中的每只眼睛的所述参考点，并且
所述估计单元基于针对所述一只眼睛检测到的所述参考点与所述瞳孔区域之间的位置关系来估计在所述双眼被布置成沿着的第一方向上观察到的所述注视方向与所述照明光源之间的位置关系，并且基于所估计的位置关系来获得所述估计范围。
5.根据权利要求4所述的注视检测设备，其中，当在所述第一方向上观察到的所述注视方向相对于所述照明光源的位置关系与在所述第一方向上观察到的所述另一只眼睛相对于所述一只眼睛的位置关系相同时，所述估计单元将所述估计范围沿着远离针对所述一只眼睛的所述参考点并且朝着所述瞳孔区域而定向的方向设置成使得：从针对所述另一只眼睛的所述参考点到所述估计范围的中心的距离长于从针对所述一只眼睛的所述参考点到所述瞳孔区域的重心的距离。
6.根据权利要求3所述的注视检测设备，其中，所述参考点检测单元针对所述双眼中的每只眼睛而将所述眼睛的内角的位置检测为所述参考点，并且
所述估计单元将所述估计范围设置成使得：从针对所述一只眼睛的所述参考点到所述瞳孔区域的重心的距离越长，从针对所述另一只眼睛的所述参考点到所述估计范围的中心的距离越短。
7.根据权利要求3所述的注视检测设备，其中，所述参考点检测单元针对所述双眼中的每只眼睛而将所述眼睛的内角与外角之间的中点检测为所述参考点，并且
当在所述双眼被布置成沿着的第一方向上观察到的所述瞳孔区域相对于针对所述一只眼睛的所述参考点的位置关系与所述另一只眼睛相对于所述一只眼睛的位置关系相同时，所述估计单元将所述估计范围设置成使得：从针对所述另一只眼睛的所述参考点到所述估计范围的中心的距离短于从针对所述一只眼睛的所述参考点到所述瞳孔区域的重心的距离。
8.根据权利要求1至7中的任一项所述的注视检测设备，其中，所述瞳孔检测单元从针对所述双眼中的每只眼睛的所述眼睛区域中检测所述瞳孔区域，并且计算指示所检测到的瞳孔区域的确定度的评估分数，并且其中，所述注视检测设备还包括：
再检测确定单元，其确定在所述双眼中所述评估分数较低的眼睛对应于所述另一只眼睛。
9.一种注视检测方法，包括：
生成表示用户的双眼的图像；
针对所述双眼中的每只眼睛，从所述图像中检测包含所述眼睛的眼睛区域；
针对所述双眼中的一只眼睛，从所述眼睛区域中检测包含瞳孔的瞳孔区域；
基于针对所述一只眼睛检测到的所述瞳孔区域，获得针对所述双眼中的另一只眼睛的在所述图像上的所述瞳孔区域的估计形状；
通过从针对所述另一只眼睛检测到的所述眼睛区域内搜索具有与所述估计形状匹配的形状的区域来检测所述瞳孔区域；以及
基于针对所述双眼中的每只眼睛检测到的所述瞳孔区域的位置来检测所述用户的注视方向。
CN201710203077.2A 2016-03-31 2017-03-30 注视检测设备和注视检测方法 Pending CN107368774A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-073481 2016-03-31
JP2016073481A JP2017182739A (ja) 2016-03-31 2016-03-31 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Publications (1)

Publication Number Publication Date
CN107368774A true CN107368774A (zh) 2017-11-21

Family

ID=58192167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710203077.2A Pending CN107368774A (zh) 2016-03-31 2017-03-30 注视检测设备和注视检测方法

Country Status (4)

Country Link
US (1) US20170286771A1 (zh)
EP (1) EP3225154A3 (zh)
JP (1) JP2017182739A (zh)
CN (1) CN107368774A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108960040A (zh) * 2018-05-07 2018-12-07 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN110286753A (zh) * 2019-06-11 2019-09-27 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN111047832A (zh) * 2018-10-15 2020-04-21 珠海格力电器股份有限公司 具有坐姿调整功能的移动设备及其使用方法
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111353970A (zh) * 2018-12-20 2020-06-30 奥普托斯股份有限公司 眼部图像的病理检测
CN112799407A (zh) * 2021-01-13 2021-05-14 信阳师范学院 一种面向行人导航的注视方向估计方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ741863A (en) * 2015-10-16 2019-05-31 Magic Leap Inc Eye pose identification using eye features
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
CN107808397B (zh) * 2017-11-10 2020-04-24 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
JP6856017B2 (ja) * 2017-12-28 2021-04-07 株式会社Ｊｖｃケンウッド 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
EP3736666B1 (en) 2018-01-04 2024-06-05 Sony Group Corporation Information processing device, information processing method and program
WO2019155735A1 (ja) 2018-02-07 2019-08-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7063045B2 (ja) * 2018-03-26 2022-05-09 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
JP7109034B2 (ja) * 2018-03-27 2022-07-29 株式会社ニューロプログラミングリサーチ 眼球トラッキング方法、眼球トラッキング装置、及びプログラム
JP7152651B2 (ja) * 2018-05-14 2022-10-13 富士通株式会社 プログラム、情報処理装置、及び情報処理方法
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
JP7180209B2 (ja) * 2018-08-30 2022-11-30 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
JP7311257B2 (ja) * 2018-09-27 2023-07-19 株式会社アイシン 眼球情報検出装置、眼球情報検出方法、および乗員モニタリング装置
JP7198023B2 (ja) * 2018-09-27 2022-12-28 株式会社アイシン 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
JP7001042B2 (ja) * 2018-11-08 2022-01-19 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
US11288503B2 (en) * 2019-11-04 2022-03-29 Facebook Technologies, Llc Systems and methods for image adjustment based on pupil size
FR3105532A1 (fr) * 2019-12-20 2021-06-25 Faurecia Services Groupe Procédé de détermination des zones d’un siège et dispositifs associés
WO2021171395A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
WO2021171396A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
JP7536590B2 (ja) 2020-04-02 2024-08-20 京セラ株式会社 検出装置および画像表示モジュール
WO2021201161A1 (ja) * 2020-04-02 2021-10-07 京セラ株式会社 検出装置および画像表示モジュール
JP2022131325A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 視線検出装置、及びその制御方法
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
JP2023017402A (ja) * 2021-07-26 2023-02-07 株式会社トプコン 前眼部解析装置、前眼部解析方法、およびプログラム
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
CN101816547A (zh) * 2009-02-15 2010-09-01 国际商业机器公司 基于瞳孔对称性的自动直视检测方法和系统
CN102596005A (zh) * 2009-11-13 2012-07-18 埃西勒国际通用光学公司 自动测量人双眼的至少一个折射特性的方法和设备
CN103081449A (zh) * 2010-09-13 2013-05-01 Lg电子株式会社 移动终端及其操作控制方法
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20150161472A1 (en) * 2013-12-09 2015-06-11 Fujitsu Limited Image processing device and image processing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5529660B2 (ja) 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP6011173B2 (ja) * 2012-09-06 2016-10-19 株式会社Ｊｖｃケンウッド 瞳孔検出装置および瞳孔検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
CN101816547A (zh) * 2009-02-15 2010-09-01 国际商业机器公司 基于瞳孔对称性的自动直视检测方法和系统
CN102596005A (zh) * 2009-11-13 2012-07-18 埃西勒国际通用光学公司 自动测量人双眼的至少一个折射特性的方法和设备
CN103081449A (zh) * 2010-09-13 2013-05-01 Lg电子株式会社 移动终端及其操作控制方法
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20150161472A1 (en) * 2013-12-09 2015-06-11 Fujitsu Limited Image processing device and image processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108960040A (zh) * 2018-05-07 2018-12-07 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN108960040B (zh) * 2018-05-07 2021-09-28 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN111047832A (zh) * 2018-10-15 2020-04-21 珠海格力电器股份有限公司 具有坐姿调整功能的移动设备及其使用方法
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111353970A (zh) * 2018-12-20 2020-06-30 奥普托斯股份有限公司 眼部图像的病理检测
CN111353970B (zh) * 2018-12-20 2024-05-14 奥普托斯股份有限公司 眼部图像的病理检测
CN110286753A (zh) * 2019-06-11 2019-09-27 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN110286753B (zh) * 2019-06-11 2022-06-07 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN112799407A (zh) * 2021-01-13 2021-05-14 信阳师范学院 一种面向行人导航的注视方向估计方法

Also Published As

Publication number Publication date
EP3225154A2 (en) 2017-10-04
US20170286771A1 (en) 2017-10-05
JP2017182739A (ja) 2017-10-05
EP3225154A3 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
CN107368774A (zh) 注视检测设备和注视检测方法
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
US10564446B2 (en) Method, apparatus, and computer program for establishing a representation of a spectacle lens edge
JP5949319B2 (ja) 視線検出装置及び視線検出方法
JP6056323B2 (ja) 視線検出装置、視線検出用コンピュータプログラム
US9149179B2 (en) System and method for identifying eye conditions
CN107949863A (zh) 使用生物体信息的认证装置以及认证方法
US20190076015A1 (en) Eye tracking using eyeball center position
EP2881891B1 (en) Image processing device and image processing method
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
US10324529B1 (en) Method and system for glint/reflection identification
CN104661580A (zh) 斜视检测
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
JP2007026073A (ja) 顔姿勢検出システム
IL264530B2 (en) Device for tracking eye movement and method therefor
CN109964230A (zh) 用于眼睛度量采集的方法和设备
JP2018197974A (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2003271932A (ja) 視線方向検出装置
US10288879B1 (en) Method and system for glint/reflection identification
Chen et al. Attention estimation system via smart glasses
JP2017199148A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
EP3801196B1 (en) Method and system for glint/reflection identification
Parada et al. ExpertEyes: Open-source, high-definition eyetracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171121