CN106547341A - 注视跟踪器及其跟踪注视的方法 - Google Patents

注视跟踪器及其跟踪注视的方法 Download PDF

Info

Publication number
CN106547341A
CN106547341A CN201610027251.8A CN201610027251A CN106547341A CN 106547341 A CN106547341 A CN 106547341A CN 201610027251 A CN201610027251 A CN 201610027251A CN 106547341 A CN106547341 A CN 106547341A
Authority
CN
China
Prior art keywords
point
source
source reflection
light source
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610027251.8A
Other languages
English (en)
Other versions
CN106547341B (zh
Inventor
金宣我
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN106547341A publication Critical patent/CN106547341A/zh
Application granted granted Critical
Publication of CN106547341B publication Critical patent/CN106547341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/154—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for spacing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

本公开提供一种注视跟踪器和注视跟踪方法。该注视跟踪器包括：图像捕获器，配置为用至少两个摄像机和至少两个光源获取用户的眼部图像；以及注视计算器，配置为从每个眼部图像检测光源反射点，并且提取角膜中心点，所述注视计算器配置为检测每个眼部图像的瞳孔中心点，并且用角膜中心点和瞳孔中心点计算注视向量。具体地当从每个眼部图像中检测到至少两个光源反射点时，所述注视计算器配置为计算连接每个光源及其对应的光源反射点的向量，并且检测所计算的向量的交叉点作为角膜中心点，并且当从眼部图像中的一个或多个眼部图像中仅检测到一个光源反射点时，所述注视计算器配置为用预存的光源反射点和角膜中心点之间的距离信息以及所述一个光源反射点提取角膜中心点。

Description

注视跟踪器及其跟踪注视的方法
技术领域
本公开涉及注视跟踪器和跟踪用户的注视视线的注视跟踪方法。
背景技术
本部分的陈述仅仅提供与本公开相关的背景信息，并不构成现有技术。
注视跟踪已被应用于各种领域，诸如驾驶员状态的监视、意图的识别以及注视配合型(gaze interworking)车辆中的装置控制。最近，注视跟踪已被应用于监视驾驶员的注意力分散。
这样的注视跟踪器使用立体摄像机拍摄眼部图像，并从所拍摄的眼部图像中检测两个光源反射点。此外，注视跟踪器用这两个检测到的光源反射点来计算角膜的中心点，并用计算得到的角膜的中心点和瞳孔的中心点来计算用户的注视方向。
然而，我们发现，传统的注视跟踪器只有当两个光源反射点在虹膜中产生时，才能够跟踪注视视线，因此，当由于面部角度而在虹膜中只产生一个光源反射点时，无法跟踪注视视线，从而过窄地限制注视跟踪范围。
发明内容
本公开提供了一种注视跟踪器和注视跟踪方法，用于使用包括两个摄像机和两个光源的立体摄像机，即使在注视跟踪过程中角膜中只形成一个反射点，仍能跟踪用户的注视视线。
注视跟踪器包括：图像捕获器，配置为用两个或更多摄像机和两个或更多光源获取用户的眼部图像；以及注视计算器，配置为检测每个眼部图像的光源反射点，以提取角膜中心点，检测每个眼部图像的瞳孔中心点，以及用角膜中心点和瞳孔中心点计算注视向量，其中，当从每个眼部图像中检测到两个或更多光源反射点时，该注视计算器计算连接每个光源及其对应的光源反射点的向量，检测所计算的向量之间的交叉点作为角膜中心点，以及当从多个眼部图像中的一个或多个眼部图像中仅检测到一个光源反射点时，该注视计算器用预存的光源反射点和角膜中心点之间的距离信息和该一个光源反射点提取角膜中心点。
该注视计算器可计算从角膜中心点到这两个或更多光源反射点的距离，并累积和存储所计算的距离信息。
该注视计算器可将光源反射点和瞳孔中心点的二维坐标转换成三维坐标。
该注视计算器可用脸部方向向量在该两个或更多光源中确定一个光源，该光源在角膜中形成该一个光源反射点。
该注视计算器可计算在眼部图像中检测到至少两个光源反射点的眼部图像和检测到一个光源反射点的眼部图像中的光源反射点之间的相似性，并确定在角膜中形成所述一个光源反射点的光源。
该注视计算器可以计算连接该一个光源反射点和所确定的光源的向量，并用所计算的向量和所述距离信息提取角膜中心点。
可以通过计算从预存角膜中心点到光源反射点的距离信息项中的在预定最近时段内的距离信息的平均距离，来获取距离信息。
一种注视跟踪器的跟踪注视的方法，该注视跟踪器包括两个或更多摄像机和两个或更多光源，该方法包括：用两个或更多摄像机获取用户的眼部图像；检测每个眼部图像的光源反射点；当从每个眼部图像中检测到两个或更多光源反射点时，计算连接每个光源及其对应的光源反射点的向量，并检测所计算的向量之间的交叉点作为角膜中心点；当从多个眼部图像中的一个或多个眼部图像中仅检测到一个光源反射点时，用预存的光源反射点和该角膜中心点之间的距离信息和该一个光源反射点检测角膜中心点；当检测到角膜中心点时，从眼部图像中提取瞳孔中心点，并用角膜中心点和瞳孔中心点计算注视向量。
光源反射点的检测可包括，将光源反射点的二维坐标转换成三维坐标。
检测向量的交叉点作为角膜中心点的步骤可包括：计算该角膜中心点到两个或更多光源反射点的距离，并累积和存储所计算的距离信息。
用该一个光源反射点检测角膜中心点的步骤可以包括：确定与该一个光源反射点对应的光源；计算连接该一个光源反射点和所确定的光源的第一向量；以及用该第一向量和距离信息提取角膜中心点。
确定与该一个光源反射点对应的光源的步骤可以包括：用脸部方向向量在该至少两个光源中确定在角膜中形成该一个光源反射点的光源。
确定与该一个光源反射点对应的光源的步骤包括：计算检测到两个或多个光源反射点的眼部图像和检测到一个光源反射点的眼部图像中的光源反射点之间的相似性；以及确定在角膜中形成该一个光源反射点的光源。
可以通过计算从预存角膜中心点到光源反射点的距离信息项中的在预定最近时段内的距离信息的平均距离，来获取距离信息。
根据本文所提供的描述，更多适应性领域将是显而易见的。应当理解，本描述和具体示例的目的仅在于解释，而不在于限制本公开的范围。
附图说明
为了较好地理解所公开的内容，现在将以示例的方式，参考附图，描述其多种形式，其中：
图1是注视跟踪器的框图；
图2是提取角膜中心点的解释图；以及
图3A和图3B是解释一种注视跟踪方法的流程图。
这里描述的附图的目的仅在于解释，而不在于以任何方式限制本公开的范围。
附图标记说明
110 图像捕获器
111 第一摄像机
113 第二摄像机
115 第一光源
117 第二光源
120 注视计算器
121 光源反射点检测模块
123 角膜中心点提取模块
125 瞳孔中心点提取模块
127 注视计算模块
S101：通过两个或更多摄像机获取用户的眼部图像
S103：从每个眼部图像检测光源反射点
S105：检测到两个光源反射点？
S107：计算连接第一光源反射点和第一光源的第一向量、以及连接第二光源反射点和第二光源的第二向量
S109：提取第一向量和第二向量的交叉点作为角膜中心点
S110：计算并存储角膜中心点到第一光源反射点和第二光源反射点的距离
S111：提取瞳孔中心点
S113：用角膜中心点和瞳孔中心点计算注视向量
S121：检测到一个光源反射点？
S123：计算预存的光源反射点和角膜中心点之间的平均距离
S125：确定与所检测的光源反射点对应的光源
S127：计算连接所检测的光源反射点和及其对应光源的第三向量
S129：用第三向量和平均距离提取角膜中心点
具体实施方式
以下描述本质上仅作为示例，而不意图限制本公开、申请或用途。应当理解，贯穿附图，对应的附图标记指示相似或对应的部分和特征。
进一步将理解，在本说明书中用到的术语“包括”和/或“包含”，是指所述元件的存在，但不排除存在或附加其他元件。
另外，诸如“单元”或“模块”等的术语应被理解为处理至少一项功能或操作的、并且可以以硬件方式、软件方式或硬件和软件组合的方式实施的单元。如这里所使用的，单数形式“一”、“一个”和“该”也用于包含复数形式，除非文本以其他方式清楚地予以指示。
依据本公开的一种注视跟踪器包括两个或更多摄像机和两个或更多光源，但在一个示例中，为了理解本公开，将描述包括两个摄像机和两个光源的注视跟踪器。
图1是注视跟踪器的框图。
如图1所示，注视跟踪器可包括图像捕获器110和注视计算器120。
图像捕获器110可以是立体摄像机，并且可以获取用户的左眼和右眼的图像。图像捕获器110可以包括第一摄像机111、第二摄像机113、第一光源115和第二光源117。
第一摄像机111和第二摄像机113可以同时在不同位置对同一个物体(用户的眼睛)进行拍摄。换句话说，图像捕获器110可以分别获取关于用户的左眼和右眼的两个眼部图像。当通过第一摄像机111和第二摄像机113拍摄图像时，第一光源115和第二光源117可以向用户的眼睛发射红外线。
第一摄像机111和第二摄像机113可以实施为包括红外滤光器的红外摄像机。另外，第一光源115和第二光源117可以实施为发射红外线等的发光二极管(Light EmittingDiode，LED)、灯等。
虽然图像捕获器110拍摄用户的眼睛，但是本公开并不限于此，而且图像捕获器110可以配置成拍摄用户的脸部，并从图像处理器所拍摄的脸部图像中提取眼部区域。
注视计算器120可以从图像捕获器110所获取的眼部图像中计算用户的注视视线。注视计算器120可以包括光源反射点检测模块121、角膜中心点提取模块123、瞳孔中心点提取模块125和注视计算模块127。
光源反射点检测模块121可以从由第一摄像机111和第二摄像机113拍摄的每个眼部图像中检测由第一光源115和/或第二光源117产生的光源反射点。换句话说，光源反射点检测模块121可以从由第一摄像机111拍摄的眼部图像中检测由第一光源115和/或第二光源117产生的光源反射点。另外，光源反射点检测模块121可以从由第二摄像机113拍摄的眼部图像中检测由第一光源115和/或第二光源117产生的光源反射点。
光源反射点检测模块121可以用三维恢复技术(3D restoration technology)，例如三角测量法(triangulation)，将所检测的光源反射点的二维坐标转换为三维坐标。例如，可以从由第一摄像机111和第二摄像机113所拍摄的第一眼部图像和第二眼部图像中提取第一光源115产生的第一光源反射点的坐标，并利用从第一眼部图象中提取的第一光源反射点的坐标、从第二眼部图像中提取的第一光源反射点的坐标，计算第一光源反射点的三维坐标。
另外，光源反射点检测模块121可以用高通滤波器检测光源反射点。
参考图2，当第一光源115和第二光源117的实际位置坐标分别是L1和L2时，光源反射点检测模块121可以计算由第一光源115和第二光源117在角膜中形成的第一光源反射点和第二光源反射点的三维坐标L1`和L2`。
角膜中心点提取模块123可以用所检测的光源反射点(第一光源反射点和/或第二光源反射点)以及对应于所检测的光源反射点的光源115和/或117的位置坐标来计算角膜中心点。换句话说，角膜中心点提取模块123可以计算连接在第一光源反射点的三维坐标L1`和第一光源115的实际位置坐标L1之间的第一向量(直线D3)。另外，角膜中心点提取模块123可以计算连接在第二光源反射点的三维坐标L2`和第二光源117的实际位置坐标L2之间的第二向量(直线D4)。角膜中心点提取模块123可以提取第一向量和第二向量的交叉点，作为角膜中心点O。
角膜中心点提取模块123可以提取角膜中心点O，然后计算从角膜中心点O到第一光源反射点L1`和第二光源反射点L2`的距离D1和D2。另外，角膜中心点提取模块123可以将所计算的距离信息累积并存储在存储器中(未示出)。这里，距离信息可以以如下表1的形式被存储。
[表1]
当检测到一个光源反射点时，角膜中心点提取模块123计算从预存在存储器(未示出)中的先前的眼部图像中检测到的第一光源反射点和角膜中心点之间的距离信息的预定最近时段内的距离信息的平均距离。例如，角膜中心点提取模块123可以计算从最近(最新近)的五帧画面中检测到的第一光源反射点和角膜中心点之间的平均距离。
另外，角膜中心点提取模块123可以从预存在存储器(未示出)中的先前的眼部图像中检测到的第二光源反射点和角膜中心点之间的距离信息的预定最近时段内的距离信息的平均距离。
虽然描述了预存的距离信息的预定最近时段内的距离信息的平均距离的计算和应用，但是本公开并不限于此，而且可以利用预存的距离信息的最新近的距离信息。
当光源反射点检测模块121仅检测到一个光源反射点时，角膜中心点提取模块123可以在第一光源115和第二光源117中检查在角膜中形成检测到的光源反射点的光源。
这种情况下，角膜中心点提取模块123可以使用面部方向向量，确定所检测到的光源反射点是由第一光源115在角膜中形成的第一光源反射点，还是由第二光源117在角膜中形成的第二光源反射点。该面部方向向量可以从由图像捕获器110获取的用户面部图像中计算出。
角膜中心点提取模块123可以计算检测到两个或更多光源反射点的眼部图像和检测到一个光源反射点的眼部图像中的光源反射点之间的相似性，并且在第一光源115和第二光源117中确定在角膜中形成所述被检测到的一个光源反射点的光源。
例如，当在检测到两个光源反射点的眼部图像中，第一光源反射点位于距瞳孔中心点往左三个像素的位置，而第二光源反射点位于距该瞳孔中心点往右三个像素的位置时，可以计算所述被检测到的一个光源反射点和瞳孔中心点之间的距离，并基于所计算的距离，可以确定所述被检测到的一个光源反射点是位于瞳孔中心点的左边还是右边。
当所检测到的光源反射点是第一光源反射点时，角膜中心点提取模块123可以计算连接在第一光源反射点和第一光源115之间的第三向量。另外，角膜中心点提取模块123可以使用该第三向量和第一光源反射点和角膜中心点之间的平均距离来计算角膜中心点。
当所检测到的光源反射点是第二光源反射点时，角膜中心点提取模块123可以计算连接在第二光源反射点和第二光源117之间的第三向量。另外，角膜中心点提取模块123可以使用该第三向量和第二光源反射点和角膜中心点之间的平均距离来计算角膜中心点。
瞳孔中心点提取模块125可以对眼部图像做图像处理，以检测瞳孔中心点。在这种情况下，瞳孔中心点提取模块125可以从图像捕获器110获取的眼部图像中检测眼部区域，并从所检测到的眼部区域中检测瞳孔中心点。瞳孔中心点提取模块125可以将从眼部图像中检测到的二维瞳孔中心点恢复为三维瞳孔中心点。
注视计算模块127可以用瞳孔中心点和角膜中心点计算用户注视的注视向量。即，注视计算模块127可以计算瞳孔中心点和角膜中心点之间的直线，作为注视向量。
图3A和图3B是示出注视跟踪方法的流程图。
如图3A所示，注视跟踪器的注视计算器120通过图像捕获器110获取用户的眼部图像(S101)。这种情况下，注视计算器120通过第一摄像机111和第二摄像机113拍摄用户的眼部图像。换句话说，注视跟踪器可以分别获取关于用户右眼和左眼的两幅图像。
注视跟踪器的光源反射点检测模块121从第一摄像机111和第二摄像机113输出的眼部图像中检测一个或多个光源反射点(S103)。光源反射点检测模块121可以使用例如三角测量法之类的三维恢复技术，将所检测的光源反射点的二维坐标转换成三维坐标。
注视跟踪器的角膜中心点提取模块123检查光源反射点检测模块121是否检测到两个光源反射点(S105)。换句话说，角膜中心点提取模块123可以检查是否检测到由第一光源115和第二光源117在角膜中形成的第一光源反射点和第二光源反射点。
当从各个眼部图像中检测到两个光源反射点时，角膜中心点提取模块123计算连接在各个所检测到的光源反射点和其对应的光源115和117之间的向量(S107)。换句话说，角膜中心点提取模块123可以计算连接在第一光源反射点的三维坐标和第一光源115的实际位置坐标之间的第一向量、以及计算连接在第二光源反射点的三维坐标和第二光源117的实际位置坐标之间的第二向量。
角膜中心点提取模块123提取所计算的向量彼此相交的点作为角膜中心点(S109)。例如，角膜中心点提取模块123可提取预计算的第一向量和第二向量的交叉点作为角膜中心点。
角膜中心点提取模块123计算并存储角膜中心点到第一光源反射点和第二光源反射点的距离(S110)。
当角膜中心点被提取时，注视跟踪器通过图像处理从眼部图像中提取瞳孔中心点(S111)。这种情况下，瞳孔中心点提取模块125可以从图像捕获器110获取的图像中检测眼部区域，并从该眼部区域中检测瞳孔中心点。这种情况下，瞳孔中心点提取模块125可以将二维瞳孔中心点恢复为三维瞳孔中心点。虽然瞳孔中心点的提取在角膜中心点的提取之后，但是本公开并不限于此，并且角膜中心点和瞳孔中心点可以被同步检测。
注视跟踪器的注视计算模块127计算连接在角膜中心点和瞳孔中心点之间的直线作为注视向量(S113)。
当在操作S105中没有检测到两个光源反射点时，注视跟踪器检查所检测到的光源反射点的数量是否是一个(S121)。注视眼踪器可以检查由第一摄像机111和第二摄像机113获取的眼部图像中的一个或多个眼部图像中是否仅检测到一个光源反射点。
当检测到只有一个光源反射点时，注视跟踪器计算预存光源反射点和该角膜中心点之间的平均距离(S123)。角膜中心点提取模块123可以计算从预存角膜中心点到第一光源反射点和第二光源反射点的距离信息项中的、预定最近时段内的第一光源反射点到角膜中心点的平均距离以及第二光源反射点到角膜中心点的平均距离。
注视跟踪器可以确定与所检测到的光源反射点对应的光源(S125)。这种情况下，注视跟踪器可以使用面部方向向量在第一光源115和第二光源117中检查形成所检测的光源反射点的光源。
注视跟踪器计算连接在所检测的光源反射点及其对应的光源之间的第三向量(S127)。换句话说，当所检测的光源反射点是第一光源反射点时，角膜中心点提取模块123可以计算连接在第一光源反射点和第一光源115之间的向量。当所检测的光源反射点是第二光源反射点时，角膜中心点提取模块123可以计算连接在第二光源117和第二光源反射点之间的向量。
注视跟踪器使用该第三向量和平均距离，计算角膜中心点(S129)。
然后注视跟踪器提取瞳孔中心点(S111)，并用该角膜中心点和该瞳孔中心点计算注视向量(S113)。
虽然至此所描述是S125的执行在S123的执行之后的情况，但是S123的执行可以在S125的执行之后。
例如，当该所检测的一个光源反射点是第一光源反射点时，角膜中心点提取模块123可以计算从预存在存储器(未示出)中的先前的眼部图像中检测得到的第一光源反射点和角膜中心点之间的距离信息项中、预定最近时段内的距离信息的平均距离。
当该所检测的一个光源反射点是第二光源反射点时，角膜中心点提取模块123可以计算从预存在存储器(未示出)中的先前的眼部图像中检测得到的第二光源反射点和角膜中心点之间的距离信息项中、预定最近时段内的距离信息的平均距离。
当从眼部图像中仅检测到一个光源反射点时，可以使用面部方向向量确定产生所检测到的光源反射点的光源，然而本公开并不限于此。
例如，在由两个摄像机获取的两幅眼部图像中，当从一个眼部图像中仅检测到一个光源反射点，而从另一个眼部图像中检测到了两个光源反射点时，可以计算这两幅眼部图像中的光源反射点之间的相似性，并确定产生该所检测的一个光源反射点的光源。
依据本公开，当使用包括两个摄像机和两个光源的立体摄像机跟踪用户的注视视线时，即使在角膜中仅形成了一个光源反射点，还是可以使用这仅有的一个光源反射点跟踪用户的注视视线。相应地，注视跟踪器的注视跟踪范围得以扩大。
本公开并不限于此，在不背离如所附权利要求所要求的本公开的精神和范围的情况下，可以由本领域技术人员进行各种修改和替换。

Claims (14)

1.一种注视跟踪器，包括：
图像捕获器，配置为用至少两个摄像机和至少两个光源获取用户的眼部图像；以及
注视计算器，配置为从每个眼部图像检测光源反射点，并且提取角膜中心点，所述注视计算器配置为检测每个眼部图像的瞳孔中心点，并且用角膜中心点和瞳孔中心点计算注视向量，
其中，当从每个眼部图像中检测到至少两个光源反射点时，所述注视计算器配置为计算连接每个光源及其对应的光源反射点的向量，并且检测所计算的向量的交叉点作为角膜中心点，并且当从眼部图像中的一个或多个眼部图像中仅检测到一个光源反射点时，所述注视计算器配置为用预存的光源反射点和角膜中心点之间的距离信息以及所述一个光源反射点提取角膜中心点。
2.如权利要求1所述的注视跟踪器，其中所述注视计算器配置为计算角膜中心点到至少两个光源反射点的距离，并且累积和存储所计算的距离信息。
3.如权利要求1所述的注视跟踪器，其中所述注视计算器配置为将光源反射点和瞳孔中心点的二维坐标转换成三维坐标。
4.如权利要求1所述的注视跟踪器，其中所述注视计算器配置为用脸部方向向量在所述至少两个光源中确定在角膜中形成所述一个光源反射点的光源。
5.如权利要求1所述的注视跟踪器，其中所述注视计算器配置为计算在眼部图像中检测到至少两个光源反射点的眼部图像和检测到一个光源反射点的眼部图像中的光源反射点之间的相似性，并确定在角膜中形成所述一个光源反射点的光源。
6.如权利要求4所述的注视跟踪器，其中所述注视计算器配置为计算连接所述一个光源反射点和所确定的光源的向量，并用所计算的向量和所述距离信息提取角膜中心点。
7.如权利要求1所述的注视跟踪器，其中所述注视跟踪计算器配置为通过计算从预存角膜中心点到光源反射点的距离信息项中的在预定最近时段内的距离信息的平均距离，来获取距离信息。
8.一种注视跟踪器的跟踪注视的方法，所述注视跟踪器包括至少两个摄像机和至少两个光源，所述方法包括以下步骤：
用至少两个摄像机获取用户的眼部图像；
从每个眼部图像检测光源反射点；
当从每个眼部图像中检测到至少两个光源反射点时，计算连接每个光源及其对应的光源反射点的向量，并检测所计算的向量的交叉点作为角膜中心点；
当从眼部图像中的一个或多个眼部图像中仅检测到一个光源反射点时，用预存的光源反射点和角膜中心点之间的距离信息和所述一个光源反射点检测角膜中心点；
当检测到角膜中心点时，从眼部图像中提取瞳孔中心点；以及
用角膜中心点和瞳孔中心点计算注视向量。
9.如权利要求8所述的方法，其中检测光源反射点的步骤包括：将光源反射点的二维坐标转换成三维坐标。
10.如权利要求8所述的方法，其中检测向量的交叉点作为角膜中心点的步骤包括：计算角膜中心点到至少两个光源反射点的距离；以及累积和存储所计算的距离信息。
11.如权利要求8所述的方法，其中用所述一个光源反射点检测角膜中心点的步骤包括：
确定与所述一个光源反射点对应的光源；
计算连接所述一个光源反射点和所确定的光源的第一向量；以及
用所述第一向量和距离信息提取角膜中心点。
12.如权利要求11所述的方法，其中确定与所述一个光源反射点对应的光源的步骤包括：用脸部方向向量在所述至少两个光源中确定在角膜中形成所述一个光源反射点的光源。
13.如权利要求11所述的方法，其中确定与所述一个光源反射点对应的光源的步骤包括：计算检测到至少两个光源反射点的眼部图像和检测到一个光源反射点的眼部图像中的光源反射点之间的相似性；以及确定在角膜中形成所述一个光源反射点的光源。
14.如权利要求8所述的方法，其中通过计算从预存角膜中心点到光源反射点的距离信息项中的在预定最近时段内的距离信息的平均距离，来获取距离信息。
CN201610027251.8A 2015-09-21 2016-01-13 注视跟踪器及其跟踪注视的方法 Active CN106547341B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150133308A KR101745140B1 (ko) 2015-09-21 2015-09-21 시선 추적 장치 및 방법
KR10-2015-0133308 2015-09-21

Publications (2)

Publication Number Publication Date
CN106547341A true CN106547341A (zh) 2017-03-29
CN106547341B CN106547341B (zh) 2023-12-08

Family

ID=58224543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610027251.8A Active CN106547341B (zh) 2015-09-21 2016-01-13 注视跟踪器及其跟踪注视的方法

Country Status (4)

Country Link
US (1) US9813597B2 (zh)
KR (1) KR101745140B1 (zh)
CN (1) CN106547341B (zh)
DE (1) DE102015223891A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108764973A (zh) * 2018-05-08 2018-11-06 北京七鑫易维信息技术有限公司 一种广告播放方法、装置、设备及存储介质
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
WO2019085519A1 (zh) * 2017-11-01 2019-05-09 宁波视睿迪光电有限公司 面部跟踪方法及装置
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
WO2020063000A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线检测方法和装置及电子设备
CN111124104A (zh) * 2018-10-31 2020-05-08 托比股份公司 使用瞳孔中心位置的映射进行注视跟踪
CN113808160A (zh) * 2021-08-05 2021-12-17 虹软科技股份有限公司 视线方向追踪方法和装置
CN113827244A (zh) * 2020-06-24 2021-12-24 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
US11333888B2 (en) 2019-08-05 2022-05-17 Facebook Technologies, Llc Automatic position determination of head mounted display optics
US10991343B2 (en) * 2019-08-05 2021-04-27 Facebook Technologies, Llc Automatic image alignment with head mounted display optics
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199042A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付カメラ
JP4517049B2 (ja) * 2003-12-25 2010-08-04 国立大学法人静岡大学 視線検出方法および視線検出装置
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
JP2010204823A (ja) 2009-03-02 2010-09-16 Hitachi Information & Control Solutions Ltd 視線認識装置
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP5816257B2 (ja) * 2010-03-22 2015-11-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 観察者の視線を追跡するシステム及び方法
KR101628394B1 (ko) 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9262680B2 (en) 2012-07-31 2016-02-16 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
WO2014188727A1 (ja) * 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
KR20150133308A (ko) 2014-05-19 2015-11-30 손미정 음식물 쓰레기 처리 장치
JP2016049261A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 照明撮像装置および視線検出装置
JP6346525B2 (ja) * 2014-08-29 2018-06-20 アルプス電気株式会社 視線検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHIWEI ZHU 等: ""Novel Eye Gaze Tracking Techniques Under Natural Head Movement"", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
ZHIWEI ZHU 等: ""Novel Eye Gaze Tracking Techniques Under Natural Head Movement"", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》, vol. 54, no. 12, 31 December 2007 (2007-12-31), pages 2246, XP011342562, DOI: 10.1109/TBME.2007.895750 *
张闯 等: ""一种新的基于瞳孔-角膜反射技术的视线追踪方法"", 《计算机学报》 *
张闯 等: ""一种新的基于瞳孔-角膜反射技术的视线追踪方法"", 《计算机学报》, vol. 33, no. 7, 31 July 2010 (2010-07-31), pages 1273 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019085519A1 (zh) * 2017-11-01 2019-05-09 宁波视睿迪光电有限公司 面部跟踪方法及装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108764973A (zh) * 2018-05-08 2018-11-06 北京七鑫易维信息技术有限公司 一种广告播放方法、装置、设备及存储介质
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
CN109189216B (zh) * 2018-08-16 2021-09-17 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
CN110969061A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线检测方法和装置及电子设备
WO2020063000A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线检测方法和装置及电子设备
CN111124104A (zh) * 2018-10-31 2020-05-08 托比股份公司 使用瞳孔中心位置的映射进行注视跟踪
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN113827244A (zh) * 2020-06-24 2021-12-24 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置
CN113808160A (zh) * 2021-08-05 2021-12-17 虹软科技股份有限公司 视线方向追踪方法和装置
WO2023011339A1 (zh) * 2021-08-05 2023-02-09 虹软科技股份有限公司 视线方向追踪方法和装置
CN113808160B (zh) * 2021-08-05 2024-01-16 虹软科技股份有限公司 视线方向追踪方法和装置

Also Published As

Publication number Publication date
CN106547341B (zh) 2023-12-08
US9813597B2 (en) 2017-11-07
KR20170034681A (ko) 2017-03-29
US20170083746A1 (en) 2017-03-23
DE102015223891A1 (de) 2017-03-23
KR101745140B1 (ko) 2017-06-08

Similar Documents

Publication Publication Date Title
CN106547341A (zh) 注视跟踪器及其跟踪注视的方法
US11676302B2 (en) Method and an apparatus for determining a gaze point on a three-dimensional object
US11749025B2 (en) Eye pose identification using eye features
US10846871B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US7682026B2 (en) Eye location and gaze detection system and method
JP2020034919A (ja) 構造化光を用いた視線追跡
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
KR101470243B1 (ko) 시선 검출 장치 및 그 시선 검출 방법
US20160004303A1 (en) Eye gaze tracking system and method
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
US20220301217A1 (en) Eye tracking latency enhancements
US20160371542A1 (en) Image processing apparatus, method and storage medium
TWI643092B (zh) 動態姿勢偵測系統
US9454226B2 (en) Apparatus and method for tracking gaze of glasses wearer
KR20130107981A (ko) 시선 추적 장치 및 방법
TWI570638B (zh) 凝視分析方法與裝置
WO2016142489A1 (en) Eye tracking using a depth sensor
Arai et al. Computer input with human eyes only using two Purkinje images which works in a real time basis without calibration
KR101745077B1 (ko) 시선 추적 장치 및 그의 시선 추적 방법
KR101601508B1 (ko) 시선 추적 방법
KR20100060622A (ko) 인체 자세 판별 시스템 및 그 방법
HU et al. Survey on key technologies of eye gaze tracking
Marra et al. Eyes and cameras calibration for 3d world gaze detection
Konovalov et al. Automatic hand detection in RGB-depth data sequences
JP2005032254A (ja) 実空間内での指示対象物検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant