CN105279764A - 眼睛图像处理设备和方法 - Google Patents

Abstract

提供了一种眼睛图像处理设备和方法，所述设备包括：提取单元，用于从拍摄的图像提取不同视线状态下的眼睛图像；基准线确定单元，用于确定眼睛图像的垂直基准线和水平基准线；对齐单元，用于使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

Description

眼睛图像处理设备和方法

技术领域

本申请涉及一种眼睛图像处理设备和方法，更具体地讲，涉及一种通过对齐不同视线状态下的眼睛图像来分析眼睛运动信息的眼睛图像处理设备和方法。

背景技术

如何对视线方向变化造成的眼睛运动信息进行描述是视线位置估计系统中的需要解决的一个重要问题。合理有效地对眼睛运动信息进行分析描述，可以去除眼睛图像中的无效信息，提高图像对齐以及基于图像信息的视线应用的精度和效率。尽管已经有一些相关研究工作，但是基于图像信息来利用计算机视觉方法对眼睛视线估计依然面临着许多难题，最重要的问题就是如何进行眼睛图像对齐和如何对眼睛运动信息进行描述。

目前已有的视线估计算法中采用的眼睛对齐算法主要是基于内外眼角点作为基准的方法，但是这种方法严重依赖于眼角点的提取精度。首先，相比于内眼角点，外眼角点并不容易精确提取。其次，当眼球和眼皮运动时，眼角的形状会发生剧烈的改变，因此眼角点的提取需要事先储存大量的样本以满足这种外观形状的变化。

此外，目前的视线估计算法中也并没有特定地对眼睛运动信息进行分析和特征提取。通常采用的方法是直接对眼睛图像进行平均分块，计算每一子块图像的灰度均值或其他图像特征来对眼睛图像进行描述。然而，该类方法没有将视线水平和垂直运动造成眼睛图像变化的影响分开，使得图像特征信息变化不能有效地描述这两种运动模式。

发明内容

根据本发明的一方面，提供了一种眼睛图像处理设备，所述设备包括：提取单元，用于从拍摄的图像提取不同视线状态下的眼睛图像；基准线确定单元，用于确定眼睛图像的垂直基准线和水平基准线；对齐单元，用于使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

所述基准线确定单元可包括：垂直基准线确定单元，用于对提取单元提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；水平基准线确定单元，用于从提取单元提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

所述垂直基准线确定单元可对提取单元提取的眼睛图像的灰度图像进行水平方向的投影和垂直方向的投影，对水平方向的投影结果进行归一化，将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，从所述垂直方向的归一化投影结果确定垂直基准线。

所述水平基准线确定单元可从眼睛图像确定内眼角区域，使用内眼角区域附近的皮肤像素建立皮肤模型，基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域，并将眼睛区域中靠近眉心的位置确定为内眼角点的位置。

所述眼睛图像处理设备还可包括：响应区域产生单元，用于使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图；运动特征分析单元，用于从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

所述响应区域产生单元可基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。

根据本发明的另一方面，提供了一种眼睛图像处理方法，所述方法包括：从拍摄的图像提取不同视线状态下的眼睛图像；确定眼睛图像的垂直基准线和水平基准线；使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

确定眼睛图像的垂直基准线和水平基准线的步骤可包括：对提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；从提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

确定眼睛图像的垂直基准线的步骤可包括：对提取的眼睛图像的灰度图像进行垂直方向的投影和水平方向的投影；对水平方向的投影结果进行归一化；将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化；从垂直方向的归一化投影结果确定垂直基准线。

确定眼睛图像的水平基准线的步骤可包括：从眼睛图像确定内眼角区域；使用内眼角区域附近的皮肤像素建立皮肤模型；基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域；将眼睛区域靠近眉心的位置确定为内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

所述眼睛图像处理方法还可包括：使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图；从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

可基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。

有益效果

通过应用根据本发明的示例性实施例的眼睛图像处理设备和方法，能够更精确地对齐不同视线状态下的眼睛图像，从而更准确有效地对眼睛运动信息进行分析描述。

附图说明

通过下面结合附图对本发明的示例性实施例进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的眼睛图像处理设备的框图；

图2是示出根据本发明的示例性实施例的获取不同视线状态下的眼睛图像的示意性示图；

图3是示出根据本发明的示例性实施例的眼睛图像的垂直基准线和水平基准线的示意图；

图4是示出根据本发明的示例性实施例的基准线确定单元的详细配置示图；

图5是示出通过根据本发明的示例性实施例的基准线确定单元确定垂直基准线的示意图；

图6是示出通过根据本发明的示例性实施例的基准线确定单元确定水平基准线的示意图；

图7是示出根据本发明的示例性实施例的另一眼睛图像处理设备的框图；

图8是示出根据本发明的示例性实施例的水平运动响应图和垂直运动响应图；

图9是示出根据本发明的示例性实施例的眼睛图像处理方法的流程图；

图10是示出使用根据本发明的眼睛图像处理方法对齐眼睛图像的结果与使用现有的算法对齐眼睛图像的结果之间的对比。

在附图中，相同的附图标号将被理解为是指相同的部件。

具体实施方式

提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。

图1是示出根据本发明的示例性实施例的眼睛图像处理设备100的框图。

如图1所示，根据本发明的示例性实施例的眼睛图像处理设备100包括：提取单元110、基准线确定单元120和对齐单元130。

所述提取单元110可从拍摄的图像提取不同视线状态下的眼睛图像。在本发明的示例性实施例中，所述不同的视线状态可指眼睛注视显示器上的不同位置时的视线状态。例如，如图2所示，可在显示器上设置4个标定点，当用户将视线依次集中于所述4个标定点时，用户的视线会由于这4个标定点的位置不同而具有不同的视线状态，因此可通过诸如相机(例如，设置在显示器上的相机)的图像采集设备拍摄用户分别注视这4个标定点时的图像，从而可从拍摄的图像获取用户的不同视线状态下的眼睛图像。应理解，标定点的数量可根据需要来确定而不限于4个。

在获取了眼睛图像之后，基准线确定单元120可确定每个眼睛图像的垂直基准线和水平基准线。图3是示出根据本发明的示例性实施例的眼睛图像的垂直基准线和水平基准线的示意图。在本发明的示例性实施例中，眼睛图像的垂直基准线可以是如图3中所示的与眼睛的上眼皮或下眼皮平行相切的直线，眼睛图像的水平基准线可以是如图3中所示的经过内眼角点所在位置的垂线。

以下将结合图4至图6详细说明根据本发明的示例性实施例的基准线确定单元120确定水平基准线和垂直基准线的操作。

图4是示出根据本发明的示例性实施例的基准线确定单元120的详细配置示图。图5是示出通过根据本发明的示例性实施例的基准线确定单元120确定垂直基准线的示意图。图6是示出通过根据本发明的示例性实施例的基准线确定单元120确定水平基准线的示意图。

如图4中所示，根据本发明的示例性实施例的基准线确定单元120可包括垂直基准线确定单元210和水平基准线确定单元210。

在本发明的实施例中，所述垂直基准线确定单元210可对提取单元110提取的眼睛图像的灰度图像进行垂直方向的投影和/或水平方向的投影，并可从垂直方向的投影结果确定垂直基准线。

对眼睛图像的灰度图像进行水平方向的投影是指按列方向对眼睛图像的灰度图像中的每列像素的灰度值进行累加，对眼睛图像的灰度图像进行垂直方向的投影是指按行方向对眼睛图像的灰度图像中的每行像素的灰度值进行累加。优选地，在本发明的示例性实施例中，在对眼睛图像的灰度图像进行垂直方向的投影和水平方向的投影之前，可对眼睛图像的灰度图像进行反色处理(即，255-I，其中，I是眼睛图像的灰度图像中的像素的灰度值)，然后在投影处理中对经过反色的灰度图像进行水平方向上的投影和垂直方向上的投影处理。

水平基准线确定单元220可从提取单元110提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。在下文中将详细说明确定基准线的示例性处理。

仅作为示例，在本发明的示例性实施例中，垂直基准线确定单元210可首先对提取单元110提取的眼睛图像进行水平方向的投影并对水平方向的投影结果进行归一化。可按照如下的等式(1)进行水平方向的投影结果的归一化操作：

${\stackrel{\‾}{E}}_H=\frac{E_H-\min \left(E_H\right)}{\max \left(E_H\right)-\min \left(E_H\right)}---\left(1\right)$

在上述等式(1)中，E_H是指按列方向对眼睛图像的灰度图像的像素灰度值进行累加而获得的列累加像素灰度值的集合(即，水平方向的投影结果)，E_H＝[E_H1,E_H2,E_H3,…,E_Hi,…]，其中，E_Hi是指对所述灰度图像的第i列像素的灰度值进行累加而获得的列累加像素灰度值，max(E_H)是指所述集合中最大的列累加像素灰度值，min(E_H)是指所述集合中最小的列累加像素灰度值。其中，是第i列像素的列累加像素灰度值E_Hi的归一化列累加像素灰度值。通过上述归一化操作，可将投影的结果限定在0到1的范围内，便于后续处理。

然后，垂直基准线确定单元210可对提取单元110提取的眼睛图像的灰度图像进行垂直方向的投影并对垂直方向的投影结果进行归一化。在本发明的示例性实施例中，在对眼睛图像的灰度图像进行垂直方向的投影之后，垂直基准线确定单元210可将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化。在这种情况下，垂直基准线确定单元210可按照如下的等式(2)进行垂直方向的投影结果归一化操作：

${\stackrel{\‾}{E}}_V=\frac{E_V\×{\stackrel{\‾}{E}}_H-\min (E_V\×{\stackrel{\‾}{E}}_H)}{\max (E_V\×{\stackrel{\‾}{E}}_H)-\min (E_V\×{\stackrel{\‾}{E}}_H)}---\left(2\right)$

在上述等式中，E_V是指按行方向对眼睛图像的灰度图像的像素灰度值进行累加而获得的行累加像素灰度值的集合(即，垂直方向的投影结果)。E_V＝[E_V1,E_V2,E_V3,…,E_Vi,…]，其中，E_Vi是指对所述灰度图像的第i行像素的灰度值进行累加而获得的行累加像素灰度值，max(E_V)是指所述集合中最大的行累加像素灰度值，min(E_V)是指所述集合中最小的行累加像素灰度值。其中，是第i行像素的行累加像素灰度值EVi的归一化行累加像素灰度值。 $E_V\×{\stackrel{\‾}{E}}_H=[E_{V1}\×{\stackrel{\‾}{E}}_{H1},E_{V2}\×{\stackrel{\‾}{E}}_{H2},...,E_{\mathrm{Vi}}\×{\stackrel{\‾}{E}}_{\mathrm{Hi}},...].$

垂直基准线确定单元210可从所述垂直方向的归一化投影结果确定垂直基准线。在本发明的实施例中，通过以水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，可提高眼睛区域(包括眼白、瞳孔和虹膜)的权重，有利于垂直基准线确定单元210从垂直方向的归一化投影结果更准确地确定垂直基准线。

现在参照图5，如图5(a)所示，标号510指示的曲线表示按列进行水平方向的投影的归一化投影结果，标号520指示的曲线表示以水平方向的归一化投影结果作为先验概率按行进行垂直方向的投影的归一化投影结果。在完成垂直方向的投影并对垂直方向的投影结果进行归一化之后，可依据预先设置的阈值(例如，0.5至0.8之间的一个值)获得两条垂直方向的基准线(如图5(a)中的标号530指示的直线)。

然而，如图5(a)中所示，仅通过一轮水平方向的投影和垂直方向的投影而获得的垂直基准线通常处于上下眼皮附近的皮肤上，精确度较差。因此，优选地，为了提高垂直基准线的精度和鲁棒性，可基于第一轮投影的结果来进行第二轮投影。

具体地讲，垂直基准线确定单元210可对第一轮投影确定的垂直基准线之间的部分图像再次进行第二轮投影，即，对所述部分按列再次进行水平方向的投影并按行再次进行垂直方向的投影，对再次进行的水平方向的投影结果进行归一化，将归一化的结果作为先验概率对再次进行的垂直方向的投影结果进行归一化，从而垂直基准线确定单元210可从再次进行的垂直方向的归一化投影结果确定垂直基准线。如图5(b)所示，标号510’指示的曲线表示在第二轮投影中按列进行水平方向的投影的归一化投影结果，标号520’指示的曲线表示在第二轮投影中按行进行垂直方向的投影的归一化投影结果，标号530’指示的直线表示在第二轮投影之后确定的垂直基准线。从图5(b)可看出，通过两轮投影确定的两条垂直基准线与上眼皮和下眼皮分别相切，因此与图5(a)中示出的仅通过一轮投影而确定的垂直基准线相比更加准确。

然而，应理解，在本发明的实施例中，尽管以两轮投影为例描述了确定垂直基准线的处理，但这仅是为了便于解释而描述的。如果一轮投影就可得到较为准确的垂直基准线，则无需进行两轮投影；如果通过两轮投影确定的垂直基准线依然不够准确，还可进行更多轮投影。

此外，尽管在上述描述中，在确定垂直基准线时，以水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，从而确定垂直基准线，但这仅是用于提高垂直基准线的准确度而进行的。应该理解，在本发明的示例性实施例中，垂直基准线确定单元210也可直接对眼睛图像的灰度图像进行垂直方向的投影，对投影结果进行归一化，然后并基于预先设置的阈值从归一化的投影结果确定处置基准线，而无需使用水平方向的归一化投影结果作为先验概率。

此外，尽管垂直基准线确定单元210确定出两条垂直基准线，但考虑到眼睛在运动过程中，上眼皮的运动剧烈，而下眼皮随眼部运动的变化较小，阈值的选择也相对稳定，因此在对齐图像时可优选地采用与下眼皮相应的垂直基准线来对齐眼睛图像。

下面将结合图6解释水平基准线确定单元220确定水平基准线的示意图。

在本发明的示例性实施例中，仅作为示例，可利用皮肤模型来确定内眼角点，从而确定水平基准线。

具体地讲，在本发明的示例性实施例中，水平基准线确定单元220可首先使用例如内眼角点提取算法来从眼睛图像确定内眼角区域(如图6(a)所示)。然后，水平基准线确定单元220选择并使用内眼角区域附近的皮肤像素建立皮肤模型，皮肤模型可由以下的等式(3)来表示：

${\mathrm{mode}l}_{\mathrm{skin}}^1\≈N({\mathrm{\μ}}_1,{{\mathrm{\σ}}_1}^2)=\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_1^2}}\exp \{-\frac{{(x-{\mathrm{\μ}}_1)}^2}{2{\mathrm{\σ}}_1^2}\}---\left(3\right)$

其中，μ₁是初始化的皮肤像素(即，选择的内眼角区域附近的皮肤像素)的灰度值的均值，是初始化的皮肤像素的灰度值的方差。

水平基准线确定单元220可基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域的二值图像，即，水平基准线确定单元220可基于所述皮肤模型对内眼角区域中的像素进行分类，将像素分类为皮肤区域的像素和非皮肤区域(即，眼睛区域)的像素。具体地讲，可通过以下的等式(4)来对内眼角区域中的像素进行分类：

P₁(x)≈N(x|μ₁,σ₁ ²)(4)

在等式(4)中，P₁(x)是用于判断内眼角区域中的像素x是否是皮肤像素的概率值，如果P₁(x)大于预设的阈值，则像素x是皮肤像素，否则像素x是非皮肤像素。

在从内眼角区域确定出眼睛区域之后，水平基准线确定单元220可将眼睛区域中靠近眉心的位置确定为内眼角点的位置，从而可将经过内眼角点的位置的垂线确定为水平基准线。

此外，由于在选择的皮肤模型中通常会存在噪声的影响，因此对内眼角区域进行一次分割而获得的结果中可能会存在一些错误的分割结果(如图6(b)所示)。为了提高分割的准确度，优选地，水平基准线确定单元220可使用第一次分割的结果对皮肤模型进行更新(即，依据第一次分割的结果从眼睛图像确定内眼角区域，并且选择并使用新确定的内眼角区域附近的皮肤像素来建立更新的皮肤模型，其中，由于通过第一次分割已初步确定了内眼角区域和皮肤区域，因此能够更准确地选出内眼角区域附近的皮肤像素)，获得更新后的皮肤模型，如以下的等式(5)所示：

${\mathrm{mode}l}_{\mathrm{skin}}^2\≈N({\mathrm{\μ}}_2,{{\mathrm{\σ}}_2}^2)=\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_2^2}}\exp \{-\frac{{(x-{\mathrm{\μ}}_2)}^2}{2{\mathrm{\σ}}_2^2}\}---\left(5\right)$

其中，μ₂是更新后的皮肤像素(即，新选择的内眼角区域附近的皮肤像素)的灰度值的均值，是更新后的皮肤像素的灰度值的方差。

然后，水平基准线确定单元220可基于更新后的皮肤模型，使用如下的等式(6)对内眼角区域中的像素进行分类：

P₂(x)≈N(x|μ₂,σ₂ ²)(6)

在等式(6)中，P₂(x)是用于判断内眼角区域中的像素x是否是皮肤像素的概率值，如果P₂(x)大于预设的阈值，则像素x是皮肤像素，否则像素x是非皮肤像素。

使用更新的皮肤模型对内眼角点区域进行分割的结果可如图6(c)所示，在图6(c)中，标号610所指示的垂直直线即为确定的水平基准线。与图6(b)示出的经过一次分割而获得的眼睛区域相比，图6(c)的结果更加准确。

在本发明的实施例中，尽管以两轮分割为例描述了水平基准线确定单元220确定水平基准线的处理，但这仅是为了便于解释而描述的。应理解，如果进行一次分割就可得到较为准确的水平基准线，则无需进行二次分割；如果通过两次分割确定的垂直基准线依然不够准确，还可进行更多次分割。

在基准线确定单元120确定了水平基准线和垂直基准线之后，根据本发明的示例性实施例的对齐单元130可使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐，即，调整每个眼睛图像以使不同视线状态下的眼睛图像的垂直基准线和水平基准线在眼睛图像中具有相同的位置(或坐标)，从而在不同视线状态下的眼睛图像中，眼睛在图像中的位置相同。图7是示出根据本发明的示例性实施例的另一眼睛图像处理设备100’的框图。

如图7所示，根据本发明的示例性实施例的眼睛图像处理设备100’包括：提取单元110、基准线确定单元120、对齐单元130、响应区域产生单元140和运动特征分析单元150。图7中示出的提取单元110、基准线确定单元120、对齐单元130与图1中示出的提取单元110、基准线确定单元120、对齐单元130具有相同的功能和操作，因此为了简明，在此将不再进行详细描述。

参照图7，响应区域产生单元140可使用对齐的至少两个眼睛图像产生眼睛的水平运动响应图(如图8(a)所示)和/或眼睛的垂直运动响应图(如图8(b)所示)。运动特征分析单元150可从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

以下，将结合图2和图8详细描述响应区域产生单元140产生水平运动响应图和垂直运动响应图的处理。

针对水平方向的运动，主要是眼球在水平方向的运动，因此需要使用视线在垂直方向上处于同一高度，水平方向上不同的眼睛图像来获得水平运动响应图。类似地，针对垂直方向的运动，主要包括眼球在垂直方向的运动以及眼皮在垂直方向的运动，因此可选取视线在水平方向上位置不变，垂直方向上不同的眼睛图像来获得垂直运动响应图。

仅作为示例，在本发明的实施例中，可使测试人员视线依次集中于图2中所示的每一个标定点上一段时间来采集眼睛图像。当分析水平方向的运动时，分别选取针对标定点1和2采集的两个眼睛图像进行对比，以及针对标定点3和4采集的两个眼睛图像进行对比；当分析垂直方向的运动时，分别选取针对标定点1和3采集的两个眼睛图像进行对比，以及针对标定点2和4采集的两个眼睛图像进行对比。

在本发明的示例性实施例中，响应区域产生单元140可基于均值差分法，使用两对对齐的眼睛图像(其中，每对眼睛图像的视线在垂直方向上处于同一高度，但水平方向上不同)产生眼睛的水平运动响应图。

具体地讲，首先，响应区域产生单元140可分别将标定点1至标定点4的图像划分为预定数量的图像块(例如，划分为M×N个大小相同的图像块)，并计算标定点1和标定点2的眼睛图像中的对应图像块(即，在标定点1和标定点2的眼睛图像中处于相同位置的两个图像块)之间的均值图像灰度差以及标定点3和标定点4的眼睛图像中的对应图像块(即，在标定点3和标定点4的眼睛图像中处于相同位置的两个图像块)之间的均值图像差其中，表示标定点1和2的眼睛图像中位置对应的第i个图像块之间的均值图像灰度差，表示标定点3和4的眼睛图像中位置对应的第i个图像块之间的均值图像灰度差，参数为标定点1的眼睛图像中的第i个图像块的平均灰度值，参数为标定点2的眼睛图像中的第i个图像块的平均灰度值，参数为标定点3的眼睛图像中的第i个图像块的平均灰度值，参数为标定点4的眼睛图像中的第i个图像块的平均灰度值，||·||为二阶范数。

这样，响应区域产生单元140可按图像块来确定眼睛在水平方向的平均均值图像灰度差,如以下等式(7)所示：

${\mathrm{\ΔI}}^{\mathrm{Hi}}=\mathrm{\Δ}{I}_{\mathrm{1,2}}^{\mathrm{Hi}}+\mathrm{\Δ}{I}_{\mathrm{3,4}}^{\mathrm{Hi}}---\left(7\right)$

然后，响应区域产生单元140可基于等式(7)的确定结果来确定眼睛图像中的每个位置(即，与每个图像块对应的位置)的水平方向的运动响应,如等式(8)所示：

$I_{\mathrm{response}}^{\mathrm{Hi}}=\left\{\begin{array}{cc}1& {\mathrm{\ΔI}}^{\mathrm{Hi}}>\mathrm{\ϵ}\\ 0& {\mathrm{\ΔI}}^{\mathrm{Hi}}\≤\mathrm{\ϵ}\end{array}\right.---\left(8\right)$

在等式(8)中，是与第i个图像块对应的位置的水平方向的运动响应，ε是预先设置的阈值，并可由用户来设置。

类似地，所述响应区域产生单元140也可基于均值差分法，使用两对对齐的眼睛图像(其中，每对眼睛图像的视线在水平方向上不变，但在垂直方向上不同)产生眼睛的垂直运动响应图。

具体地讲，首先，响应区域产生单元140可分别将标定点1至标定点4的图像划分为预定数量的图像块(例如，划分为M×N个大小相同的图像块)，并计算标定点1和标定点3的眼睛图像中的对应图像块(即，在标定点1和标定点3的眼睛图像中处于相同位置的两个图像块)之间的均值图像灰度差以及标定点2和标定点4的眼睛图像中的对应图像块(即，在标定点2和标定点4的眼睛图像中处于相同位置的两个图像块)之间的均值图像差其中，表示标定点1和3的眼睛图像中位置对应的第i个图像块之间的均值图像灰度差，表示标定点2和4的眼睛图像中位置对应的第i个图像块之间的均值图像灰度差，参数为标定点1的眼睛图像中的第i个图像块的平均灰度值，参数为标定点2的眼睛图像中的第i个图像块的平均灰度值，参数为标定点3的眼睛图像中的第i个图像块的平均灰度值，参数为标定点4的眼睛图像中的第i个图像块的平均灰度值，||·||为二阶范数。

这样，响应区域产生单元140可按图像块来确定眼睛在垂直方向的平均均值图像灰度差,如以下等式(9)所示：

${\mathrm{\ΔI}}^{\mathrm{Vi}}=\mathrm{\Δ}{I}_{\mathrm{1,3}}^{\mathrm{Vi}}+\mathrm{\Δ}{I}_{\mathrm{2,4}}^{\mathrm{Vi}}---\left(9\right)$

然后，响应区域产生单元140可等式(9)的确定结果来确定眼睛图像中的每个位置(即，与每个图像块对应的位置)的垂直方向的运动响应,如等式(10)所示：

$I_{\mathrm{response}}^{\mathrm{Vi}}=\left\{\begin{array}{cc}1& {\mathrm{\ΔI}}^{\mathrm{Vi}}>\mathrm{\ϵ}\\ 0& {\mathrm{\ΔI}}^{\mathrm{Vi}}\≤\mathrm{\ϵ}\end{array}\right.---\left(10\right)$

其中，是与第i个图像块对应的位置的垂直方向的运动响应，ε是预先设置的阈值，并可由用户来设置。

通过上述方法，可确定眼睛图像中的每个位置的水平方向和垂直方向的运动响应，从而可确定出(即，组成)眼睛的水平方向和垂直方向的运动响应图。此外，应理解，在上述方法中，尽管按照图像块来确定水平方向和垂直方向的运动响应，但还可直接将图像块设置为仅包括一个像素，即，按像素逐个确定每个像素的位置的水平方向和垂直方向的运动响应，从而获得眼睛的水平方向和垂直方向的运动响应图。

尽管在以上示例中使用均值差分法产生垂直运动响应图和水平运动响应图，但本发明不限于此，可选择地，所述响应区域产生单元140还可基于主成分分析法来产生运动区域响应图。

具体地讲，对于水平方向的运动，响应区域产生单元140可将针对标定点1采集的眼睛图像的灰度图像数据集合(即，灰度图像的像素的灰度值的集合)I₁和针对标定点2采集的眼睛图像的灰度图像数据集合I₂设置为一个集合I_1-2＝{I₁,I₂}，将I_1-2中的每一幅灰度图像向量化，即，把大小为M×N(即，具有M×N个像素)的2维灰度图像展成为(M×N)的一维向量，然后使用主成分分析法(PCA)找出I_1-2中灰度值变化最大的特征向量E_1-2，并类似地找出具有针对标定点3采集的眼睛图像的数据集合I₃和针对标定点4采集的眼睛图像的数据集合I₄的集合I_3-4中灰度值变化最大的特征向量E_3-4。

然后，响应区域产生单元140可基于所述两个特征向量E_1-2和E_3-4将水平方向变化最剧烈的特征确定为E_H＝||E_1-2||+||E_3-4||，并将(M×N)的一维向量E_H转换为归一化的大小为M×N的2维特征图像基于计算每个像素点在眼睛水平运动时的响应强度，从而获得可通过等式(11)表示的水平运动响应图：

$I_{\mathrm{response}}^{\mathrm{Hi}}=\left\{\begin{array}{cc}1& I_E^{\mathrm{Hi}}>\mathrm{\ϵ}\\ 0& I_E^{\mathrm{Hi}}\≤\mathrm{\ϵ}\end{array}\right.---\left(11\right)$

其中，是与第i个像素对应的位置的水平方向的运动响应，是2维特征图像中与第i个像素对应的计算结果，ε是预先设置的阈值，并可由用户来设置。

类似地，对于垂直方向的运动，响应区域产生单元140可将针对标定点1采集的眼睛图像的灰度图像数据集合I₁和针对标定点3采集的眼睛图像的灰度图像数据集合I₃设置为一个集合I_1-3，将I_1-3中的每一幅灰度图像向量化，即，把大小为M×N的2维灰度图像展成为(M×N)的一维向量。然后使用主成分分析法(PCA)找出I_1-3中灰度值变化最大的特征向量E_1-3，并类似地找出具有针对标定点2采集的眼睛图像的数据集合I₂和针对标定点4采集的眼睛图像的数据集合I₄的集合I_2-4中灰度值变化最大的特征向量E_2-4。

然后，响应区域产生单元140可基于所述两个特征向量E_1-3和E_2-4将水平方向变化最剧烈的特征确定为E_V＝||E_1-3||+||E_2-4||，并将(M×N)的一维向量E_V转换为归一化的大小为M×N的2维特征图像基于计算每个像素点在眼睛垂直运动时的响应强度，从而获得可通过等式(12)表示的垂直运动响应图：

$I_{\mathrm{response}}^{\mathrm{Vi}}=\left\{\begin{array}{cc}1& I_E^{\mathrm{Vi}}>\mathrm{\ϵ}\\ 0& I_E^{\mathrm{Vi}}\≤\mathrm{\ϵ}\end{array}\right.---\left(12\right)$

是与第i个像素对应的位置的垂直方向的运动响应，是2维特征图像中与第i个像素对应的计算结果，ε是预先设置的阈值，并可由用户来设置。

在获取了眼睛的运动响应图(包括垂直运动响应图和水平运动响应图)后，运动特征分析单元150可分别利用子窗口均值或提取局部特征点等方法从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征，例如，在眼睛图像中对眼球运动响应比较高且能反映眼球运动的区域中提取的如边缘、灰度、角点等特征。提取的特征可被应用于视线估计系统来估计用户的视线。此外，由于在本发明的示例性实施例中，将眼睛的运动分解为相互正交的两个方向(即，垂直方向和水平方向)，因此减少了眼睛在两个方向上运动造成外观变化的相互干扰。

图9是示出根据本发明的示例性实施例的眼睛图像处理方法的流程图。

如图9中所示，在步骤910，根据本发明的示例性实施例的提取单元110可从拍摄的图像提取不同视线状态下的眼睛图像。从拍摄的图像提取眼睛图像的方法对于本领域技术人员而言是容易获知的，因此为了简明，在此将不再进行详细描述。

然后，在步骤930，根据本发明的示例性实施例的基准线确定单元120可确定每个眼睛图像的垂直基准线和水平基准线。

具体地讲，在步骤930，所述基准线确定单元120中的垂直基准线单元210可对提取单元提110取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线。仅作为示例，所述垂直基准线确定单元210可对提取单元110提取的眼睛图像的灰度图像进行水平方向的投影和垂直方向的投影，对水平方向的投影结果进行归一化，将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，并从所述垂直方向的归一化投影结果确定垂直基准线。以上已参照图4和图5详细描述了确定垂直基准线的处理，因此为了简明，在此将不再进行详细描述。

此外，在步骤930中，所述基准线确定单元120中的水平基准线确定单元220可从提取单元110提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。在确定内眼角点位置时，所述水平基准线确定单元220可使用例如内眼角点提取算法从眼睛图像确定内眼角区域，使用内眼角区域附近的皮肤像素建立皮肤模型，基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域，将眼睛区域靠近眉心的位置确定为内眼角点的位置并将经过内眼角点的位置的垂线确定为水平基准线。以上已参照图4和图6详细描述了确定水平基准线的处理，因此为了简明，在此将不再进行详细描述。

在确定了垂直基准线和水平基准线之后，在步骤950，对齐单元130可使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

对齐的眼睛图像可用于分析眼睛的运动信息。例如，在步骤950之后，根据本发明的示例性实施例的眼睛图像处理设备中所包括的响应区域产生单元140可使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图。在本发明的实施例中，响应区域产生单元140可基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。然后，根据本发明的示例性实施例的眼睛图像处理设备中所包括的运动特征分析单元150可从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。以上已基于图7和图8详细描述了产生眼睛的水平运动响应图和垂直运动响应图的处理，因此为了简明，在此将不再进行更详细的描述。

图10是示出使用根据本发明的眼睛图像处理方法对齐眼睛图像的结果与使用现有算法对齐眼睛图像的结果之间的对比。

参照图10，图10(a)和10(c)均示出使用根据本发明的眼睛图像处理方法对齐眼睛图像的结果并且水平虚线和垂直虚线分别表示使用根据本发明的眼睛图像处理方法所确定的垂直基准线和水平基准线，图10(a)和10(c)均示出使用现有算法(例如，AAM算法)对齐眼睛图像的结果并且水平虚线和垂直虚线分别表示使用现有算法所确定的垂直基准线和水平基准线。此外，图10(a)和(b)是使用根据本发明的眼睛图像处理方法和现有算法分别对同一组眼睛图像进行对齐的结果的对比，图10(c)和(d)是使用根据本发明的眼睛图像处理方法和现有算法分别对另一组眼睛图像进行对齐的结果的对比。

从以上两组对比结果来看，容易看出图10(a)和图10(c)中的眼睛图像的内眼角均处于水平基准线上并且垂直基准线切过下眼皮，而在图10(b)和图10(d)中，许多眼睛图像的内眼角并不在水平基准线上并且所确定的垂直基准线甚至经过一些眼睛的中心位置(例如，图10(b)的最后一行图像)。因此，从图10显而易见的是，使用根据本发明的眼睛图像处理方法对齐眼睛图像的结果比使用现有的算法对齐眼睛图像的结果更加精确。

此外，通过多次实验可表明，使用根据本发明的眼睛图像处理设备和方法来对齐眼睛图像，对齐准确比例至少在90％以上，而使用根据现有算法(例如，AAM算法)来对齐眼睛图像，通常则只能获得70％左右的对齐准确比例。因此，通过应用根据本发明的示例性实施例的眼睛图像处理设备和方法，能够更精确地对齐不同视线状态下的眼睛图像，从而更准确有效地对眼睛运动信息进行分析描述。

本发明示例性实施例可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种眼睛图像处理设备，所述设备包括：

提取单元，用于从拍摄的图像提取不同视线状态下的眼睛图像；

基准线确定单元，用于确定眼睛图像的垂直基准线和水平基准线；

对齐单元，用于使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

2.如权利要求1所述的设备，其中，所述基准线确定单元包括：

垂直基准线确定单元，用于对提取单元提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；

水平基准线确定单元，用于从提取单元提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

3.如权利要求2所述的设备，其中，所述垂直基准线确定单元对提取单元提取的眼睛图像的灰度图像进行水平方向的投影和垂直方向的投影，对水平方向的投影结果进行归一化，将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化，从所述垂直方向的归一化投影结果确定垂直基准线。

4.如权利要求2所述的设备，其中，所述水平基准线确定单元从眼睛图像确定内眼角区域，使用内眼角区域附近的皮肤像素建立皮肤模型，基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域，并将眼睛区域中靠近眉心的位置确定为内眼角点的位置。

5.如权利要求1所述的设备，还包括：

响应区域产生单元，用于使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图；

运动特征分析单元，用于从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

6.如权利要求5所述的设备，其中，所述响应区域产生单元基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。

7.一种眼睛图像处理方法，所述方法包括：

从拍摄的图像提取不同视线状态下的眼睛图像；

确定眼睛图像的垂直基准线和水平基准线；

使用确定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对齐。

8.如权利要求7所述的方法，其中，确定眼睛图像的垂直基准线和水平基准线的步骤包括：

对提取的眼睛图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；

从提取的眼睛图像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

9.如权利要求8所述的方法，其中，确定眼睛图像的垂直基准线的步骤包括：

对提取的眼睛图像的灰度图像进行垂直方向的投影和水平方向的投影；

对水平方向的投影结果进行归一化；

将水平方向的归一化投影结果作为先验概率对垂直方向的投影结果进行归一化；

从垂直方向的归一化投影结果确定垂直基准线。

10.如权利要求8所述的方法，其中，确定眼睛图像的水平基准线的步骤包括：

从眼睛图像确定内眼角区域；

使用内眼角区域附近的皮肤像素建立皮肤模型；

基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域；

将眼睛区域靠近眉心的位置确定为内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。

11.如权利要求7所述的方法，还包括：

使用对齐的眼睛图像产生眼睛的水平运动响应图或眼睛的垂直运动响应图；

从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动特征。

12.如权利要求11所述的方法，其中，基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响应图或垂直运动响应图。