CN1186556A - 眼晴定位过滤器 - Google Patents

Abstract

基于一个过滤器来进行快速眼睛定位的系统利用了在人的脸部的灰度图像中眼睛区域具有相对高的水平对比度的特征来确定眼睛的位置。该系统包括对人进行扫描的摄像机和进行所要求的过滤过程的处理器。过滤部分包括水平对比计算过滤器,水平对比度确定过滤器,脸部几何推理和眼睛位置确定,并能在各种眼睛形状,不同脸部方向和诸如带上眼镜或甚至当眼睛闭合等其它因素的影响下完成所要求的工作。

Description

眼睛定位过滤器

本发明涉及确定眼睛位置的技术，特别是，利用眼睛部位与脸部的灰度图像相比具有相对高的水平对比度来确定眼睛位置的技术。

对于许多视觉的监测和监视应用系统来说，最重要的是从包括人的脸部的一段图像中确定人的眼睛位置，一旦眼睛位置被确定下来，所有其它的重要的脸部特征，如鼻子和嘴巴的位置等，均可容易地被确定下来。基本的脸部几何信息，如两只眼睛之间的距离，鼻子和嘴巴的大小等等，也能进一步地被提取出来。因而这种几何信息可以被应用在各种各样的工作之中，例如从给定的脸部数据库中识别一张脸，眼睛定位系统也可以直接应用来检测汽车司机的打瞌睡行为。

现有的一些眼睛定位技术主要依据于Hough变换，几何形状和对称性检测，以及可变形模型。这些技术大多数不能有效地处理形状的变化，而且这些系统还要求大量的计算机处理时间。进一步，没有一种现有系统能够在眼睛闭合时确定眼睛的位置。

本发明是一种基于过滤器的快速眼睛定位系统，这种过滤器能够利用眼睛部位相对于人的脸部的灰度图像具有相对高的水平对比度来确定眼睛位置。这个系统包括一台能扫描一个人的摄像机，这台摄像机与能完成所需的过滤作用的处理器相连接，过滤部分包括一水平对比计算过滤器，一水平对比度确定过滤器，脸部几何推理和眼睛位置的确定。

图1示出本发明的一个实施例。

图2示出本发明的过滤器的信号流程图。

图3显示出本发明所使用的水平对比过滤器。

图4显示出了水平对比度的确定。

图5显示了水平对比过滤器和水平对比度的确定所得出的结果。

图6显示了脸部几何推理。

图7显示了脸部几何推理的另一个实施例。

图8显示了眼睛位置的确定。

图9显示了具有代表性脸部的眼睛定位。

图10显示了从一段录像片断中得出的三个典型的具代表性的帧。

图11显示了当眼睛带和没有带眼镜时系统所完成的操作的实例。

本发明利用了眼部区域的相对高的水平对比来定位眼睛的位置。图1所示的基本系统包括一个能扫描人体12并与一个能完成所要求的对扫描的图像进行过滤的处理器13相连接的摄像机11。这种过滤包括水平对比的计算，水平对比度的确定，脸部几何推理和眼睛位置的确定。

本发明的整个过滤过程的信号流程图表示在图2之中。从图2中看到，脸部的灰度图像是给水平对比过滤器的输入信号。然后，水平对比过滤器的输出信号，即被过滤后的图像，送到水平对比度过滤器以作进一步过滤用。水平对比度过滤器的输出信号流入该系统的脸部几何推理部分。脸部几何推理部分的输出信号送入该系统的眼睛位置确定部分。来自眼睛位置确定部分的输出，即本发明的输出为左眼和右眼的位置。下面描述水平对比过滤器，水平对比度过滤器，脸部几何推理和眼睛位置的确定的操作过程。

水平对比过滤器的信号流程图显示在图3中。水平对比过滤器的工作过程描述如下，在图像中的一个m点像素×n点像素这样大小的小局域窗口内，首先沿着水平方向对m个像素求和以平滑化在此过滤窗内的垂直结构，然后在这些m个像素的和值中计算出最大的差值。如果这个最大的差值大于给定的阈值。该像素被归类为具有高的水平对比的像素。如果水平对比是高的，并且如果和值S1，.....Sn以递减的序列排列着，过滤器的输出是“1”，它在图像中代表“白”的像素，否则，过滤器的输出是“0”，它在图像中对应于“黑”的像素。如在现有技术中所已知的，对于一个256×256像素大小的输入图像来说，窗口的大小为3×3像素或5×5像素就足够了。水平对比过滤器的一个典型的脸部输入灰度图像和对应的输出图像，即二值掩码(binary mask)图像，分别显示在图5a和5b之中。

必须注意到上述的水平对比过滤器只不过是许多可能的实施例中的一个。大多数现存的水平边缘探测技术只要稍加修正，也可使用。

从作为来自水平对比过滤器的输出的二值掩码图像中可以得到两个观察结果。首先，在双眼和头发附近，以及鼻子和嘴唇附近，水平对比过滤器的输出是“1”。其次，在一些与脸部特征无关的区域过滤器给出一些假的响应。为了净化二值掩码图像，并为眼睛定位产生一个更加合适的图像，这就要求水平对比度的确定。

水平对比度的确定显示在图4中。水平对比过滤器输出的二值掩码图像被送到水平对比度过滤器中。对在二值掩码图像中的“白”像素进行搜索。对于图5b所显示的二值掩码图像中的每一个“白”像素，设置一个相对较大的窗口，例如30×15像素那样的大小，用来计数在该窗口内的所有“白”像素的数量，并且为“白”像素的数量设定一个阈值。换句话说，对于每个“白”像素，在设置的窗口内计数该“白”像素周围邻近的“白”像素的数量。由于在此局域窗口内的“白”像素的数量可以看作带有高水平对比的各像素的密度，这个数量就称作水平对比度。然后，阈值被用来去除那些对比度低于阈值的输出像素以便清除掉噪音和无关的特征产生的效应。图5c显示了表示水平对比度过滤器的输出的灰度码图像。

图6显示了脸部几何推理的流程图，这里一些关于脸部形状特征的先验的信息被用来检测和证实眼睛的位置。由于眼睛通常有很高(几乎接近最大值)的水平对比度，我们在从水平对比度过滤器接收的灰度掩码图像的一给定区域中寻找强度最大值以作首要判断。对于大多数图像来说，可以假定眼睛并不位于图像的最上面的四分之一处。因而，在搜寻最大像素值时可以跳过掩码图像的最顶上的四分之一。同样地，在搜寻眼睛的位置时也可以跳过掩码图像的最底下的四分之一。去除这些区域可以降低本发明中的计算成本。在掩码图像中的最大像素值被定位之后，接下来就要确证这个位置是否对应于两个眼睛位置中的其中一个。这里要利用到两只眼睛应该位于宽为2k+1条的水平条带之中的事实(可以充许头部有些许的倾斜)。然后在这个条带中按列方向把像素值相加起来(投影)。这样就得到一维(1D)的曲线C1，它在对应眼睛的地方有两个明显的峰值。如果找不出两个明显的峰值，就改变搜寻区域，再次进行上述的过程。

图7显示了脸部几何推理的第二个实施例。这个实施例使用了更多脸部几何形状的信息以便改善对眼部定位的确证程序。一种可能的方法是利用嘴部的附加信息使得这种确证更加可靠。正如图5c所显示的，水平对比度过滤器通常在接近眼睛的地方，以及接近嘴部的地方具有较强的响应。当在曲线C1中探测到峰值之后，系统继续搜寻眼睛下的嘴部所产生的较强的响应。由于曲线C1的两个峰值之间的距离表示了两只眼睛的近似距离，就可以估计出嘴部的近似区域。然后可以产生这个区域的一维(1D)曲线C2。在曲线C2上的强峰值可以证实嘴巴的位置，反过来也就证实了眼睛的位置。

图8显示了眼睛位置确定的流程图，它通过图6或图7所提供的脸部几何推理使眼睛位置更加准确。脸部的原始灰度图像和近似的眼睛位置提供了所要求的输入。对眼睛近似位置附近的一个小窗口内的原始灰度图像应用了一个低通的过滤器。然后，在近似眼睛位置附近的小窗口内搜寻最小值，这个最小值的位置，即输出，就是虹膜的位置。

本发明的测试在不同人的录像片断上进行。在不同的室内照明条件下以及最小的背景干扰下记录下了测试结果。所有图像均被二次取样为分辨率为256×256个像素的图像。在SUN SPARC 10工作站上对一幅256×256图像进行两只眼睛的定位，系统需要大约200毫秒的时间。

图9显示了不同人的脸部图像，其上的十字交叉线表示根据本发明确定的眼睛位置。图10a，10b和10c显示了从一段录像片断中当眼睛闭合，头部大小发生变化和头部方向变化时三种典型的具代表性的帧。图10a表示了当两只眼睛均闭合时的情况。图10b显示了当头部大小发生变化并且头部方向稍微有点变化时的情况，图10c表示了头部方向发生变化时的情况。图11显示了当眼睛有和没有带眼镜时系统的操作。

本发明的特点是非常简单，快速，并且能处理不同的眼睛形状，脸部的方向以及诸如眼镜等其它因素的干扰。本发明的另一个明显的和重要的特征是即使当两只眼睛都闭合上也能探测眼睛区域。作为一个实施例，对于一幅256×256个像素的脸部图像，系统在SUN SPARC 10工作上运作时仅仅需要200毫秒的时间。本发明可用特殊的硬件实现实时运作。

本发明并不局限在如上所述的硬件或软件安排，或操作过程上。本发明包括落入所述权利要求书范围内的所有修改和变型。

Claims (20)

1.一种眼睛定位过滤器，包括：

用来扫描一个人的成像装置；和，

与所述的成像装置相连接的处理器装置，用来确定所述人的两只眼睛的位置。

2.如权利要求1所述的眼睛定位过滤器，其中所述处理器装置包括：

水平对比计算过滤器装置；

与所述的水平对比计算过滤器装置相连接的水平对比度确定过滤器装置；

与所述的水平对比度确定过滤器装置相连接的脸部几何推理装置；和，

与所述的脸部几何推理装置相连接的眼睛位置确定装置。

3.如权利要求2所述的眼睛定位过滤器，其中所述的水平对比计算过滤器装置包括：

用来接收脸部的灰度图像和用来在一个过滤窗口内平滑垂直结构的求和装置；和，

用来在各求和值中计算出最大差值，分析所述的最大差值并提供二值掩码图像的计算装置。

4.如权利要求3所述的眼睛定位过滤器，其中所述的水平对比度确定过滤器装置包括：

用来在所述的二值掩码图像中搜寻的白像素的像素搜寻装置；

用来计数与每个白像素相对应的一个局域窗口内的白像素数目的计数装置；和，

用来去除对比度低于一个阈值的输出像素和提供一灰度掩码图像的阈装置。

5.如权利要求4所述的眼睛定位过滤器，其中所述的脸部几何推理装置包括：

用来在所述的灰度掩码图像中的一选择的搜寻区域内建立具有最大像素值的一行的确定装置；

用来在一条带中按列方向计算像素的总和的计算装置；和，

用来确定在所述的条带中是否存在两个峰值并提供眼睛的近似位置的分析装置。

6.如权利要求4所述的眼睛定位过滤器，其中所述的脸部几何推理装置包括：

用来在所述的灰度掩码图像中一选择的搜寻区域内建立具有最大像素值的一行的确定装置；

用来在一第一条带中按列方向计算像素的总和的第一计算装置；

用来确定在所述的条带中是否存在两个峰值的第一分析装置；

用来在所述的第一条带的下面的第二条带中按列方向计算像素的总和的第二计算装置；和

用来确定在所述的第二条带中是否存在一个峰值并提供眼睛的近似位置的第二分析装置。

7.如权利要求5所述的眼睛定位过滤器，其中所述的眼睛位置确定装置包括：

用来在所述的眼睛近似位置附近的小窗口内对所述的灰度图像进行过滤的低通过滤器装置；和，

用来在所述的眼睛近似位置附近的小窗口内搜寻最小值并输出两只眼睛位置的搜寻装置。

8.如权利要求6所述的眼睛定位过滤器，其中所述的眼睛位置确定装置包括：

用来在所述的眼睛近似位置附近的小窗口内对所述的灰度图像进行过滤的低通过滤器装置；和，

用来在所述的眼睛近似位置附近的小窗口内搜寻最小值并输出两只眼睛位置的搜寻装置。

9.一种眼睛定位过滤器，包括：

用来扫描一个人的成像装置；和，

与所述的成像装置相连接的处理器装置，其中所述的处理器装置包括：

用来接收脸部的灰度图像并提供二值掩码图像的水平对比计算过滤器装置；

用来接收所述的二值掩码图像并提供灰度掩码图像的水平对比度确定过滤器装置；

用来接收所述的灰度掩码图像并提供两只眼睛的近似位置的脸部几何推理装置；和，

用来接收所述的脸部灰度图像和所述的两只眼睛的近似位置并提供两只眼睛的眼睛位置确定装置。

10.如权利要求9所述的眼睛定位过滤器，其中所述水平对比计算过滤器包括：

用来接收所述的脸部灰度图像并在过滤窗口内平滑垂直结构的求和装置；和，

用来在求和的数值中计算出最大差值，分析所述的最大差值并提供所述的二值掩码图像的计算装置。

11.如权利要求10所述的眼睛定位过滤器，其中所述的水平对比度确定过滤器装置包括：

用来在所述的二值掩码图像中搜寻白像素的像素搜寻装置；

用来计数在对应于每一个白像素的局域窗口内的白像素的数目的计数装置；和，

用来去除对比度低于一个阈值的输出像素并提供所述的灰度掩码图像的阈装置。

12.如权利要求11所述的眼睛定位过滤器，其中所述的脸部几何推理装置包括：

用来在所述的灰度掩码图像中的一挑选的搜寻区域内建立具有最大像素值的一行的确定装置；

用来在一条带中按列方向计算像素的总和的计算装置；和，

用来确定所述的条带是否存在两个峰值并提供所述的两只眼睛的近似位置的分析装置。

13.如权利要求11所述的眼睛定位过滤器，其中所述的脸部几何推理装置包括：

用来在所述的灰度掩码图像中的一个选择的搜寻区域内建立具有最大像素值的一行的确定装置；

用来在第一条带中按列方向计算像素的总和的第一计算装置；和

用来确定所述的条带是否存在两个峰值的第一分析装置；

用来在第一条带的下面的第二条带中按列方向计算像素的总和的第二计算装置；和

用来确定所述的第二条带中是否存在一个峰值并提供所述的两只眼睛的近似位置的第二分析装置。

14.如权利要求12所述的眼睛定位过滤器，其中所述的眼睛位置确定装置包括：

用来在所述的眼睛近似位置附近的小窗口内对所述的灰度图像进行过滤的低通过滤器；和，

用来在所述的两只眼睛近似位置附近的小窗口内搜寻最小值并输出所述的两只眼睛的位置的搜寻装置。

15.如权利要求13所述的眼睛定位过滤器，其中所述的眼睛位置确定装置包括：

用来在所述的两只眼睛近似位置附近的小窗口内对所述的灰度图像进行过滤的低通过滤器；和，

用来在所述的两只眼睛近似位置附近的小窗口内搜寻最小值并输出所述的两只眼睛的位置的搜寻装置。

16.一种定位眼睛的方法，包括下列步骤：

用摄像机扫描一个人；

提供一个扫描的图像；

处理所述的扫描图像，其中所述的处理步骤包括：

对脸部的灰度图像进行水平对比计算过滤以便提供一个二值掩码图像；

对所述的二值掩码图像进行水平对比度确定过滤以便提供一个灰度掩码图像；

在所述的灰度掩码图像上进行脸部几何推理以便提供两只眼睛的近似位置；和

根据所述的脸部灰度图像和所述的两只眼睛的近似位置进行眼睛位置的确定以便提供两只眼睛的位置。

17.如权利要求16所述的定位眼睛的方法，其中水平对比计算过滤过程包括如下步骤：

在脸部的灰度图像上进行求和；

在一个过滤窗口内平滑垂直结构；

在各求和值中计算最大差值；

分析所述的最大差值；和，

提供一个二值掩码图像。

18.如权利要求17所述的定位眼睛的方法，其中水平对比度确定过滤包括如下步骤：

在所述的二值掩码图像中搜寻白像素；

在对应于每一个白像素的一个局域窗口内计数白像素的数目；

去除对比度低于一个阈值的输出像素；和

提供一个灰度掩码图像。

19.如权利要求17所述的定位眼睛的方法，其中完成脸部几何推理的过程包括如下步骤：

在所述的灰度掩码图像中的一个选择的搜寻区域内建立具有最大像素值的一行；

在一条带内按列方向计算像素的总和；

分析所述的条带是否具有两个峰值；和，

提供眼睛的近似位置。

20.如权利要求19所述的定位眼睛的方法，其中进行眼睛位置的确定包括如下步骤：

在所述的眼睛近似位置附近的小窗口内对所述的灰度图像进行过滤；

在所述的眼睛近似位置附近的小窗口内搜寻最小值；和，

输出两只眼睛的位置。

Images