CN102456137A - 基于近红外反射点特性的视线跟踪预处理方法 - Google Patents

Abstract

本发明涉及一种基于近红外反射点特性的视线跟踪预处理方法，并将其用于视线跟踪系统的人眼定位环节。首先，从采集的原始图像中提取出人脸区域，然后通过二值化从人脸区域中分别得到反射点区域和黑色连通域区域，经过面积过滤，滤除面积较大的反射点区域；通过面积、距离、位置关系滤除干扰黑色连通域，确定出大致的瞳孔区域；最后根据反射点区域与大致瞳孔区域的交集得到角膜上的反射点区域，进而确定出人眼区域。该方法能在戴眼镜和佩戴饰物的情况下，实现精确地人眼定位，并保证视线跟踪系统具有较好的实时性及较高的精度。

Description

基于近红外反射点特性的视线跟踪预处理方法

技术领域

本发明属视频、多媒体信号处理技术领域，涉及一种基于近红外反射点特性的视线跟踪预处理方法，具体涉及一种应用于视线跟踪系统的基于近红外反射特性的预处理方法。

背景技术

随着信息科学技术的飞速发展，以及高科技产品应用的普及，视线跟踪系统作为一种智能的人机交互系统，在虚拟现实、发展心理学、医学诊断，商业广告测评等领域的应用也日益广泛，同时，视线跟踪系统对于重度瘫痪但视觉良好的病人来说也是一个很好的辅助设备，他们可以通过眼球的运动来表达自己的意愿与需求，并控制相应的系统来满足自己的需求。

视线跟踪系统一般可分为人眼定位、瞳孔区域提取、反射点提取、瞳孔中心定位、注视点估计以及校正六个部分，其中人眼定位是实现跟踪系统的首要步骤，也是其关键环节之一，定位结果将直接影响系统的实用性及其精度。目前虽有些算法可以实现准确的人眼定位，但其算法复杂度高或是对硬件设备有很高的要求。并且，由于眼镜、配饰等物体的反光性，更是对人眼的定位造成了不利的影响，进而影响视线跟踪系统的实用性及精度。因此，如何消除眼镜、配饰等的影响，找到一种较好的人眼定位方法对视线跟踪系统进行预处理，来提高系统的适应性及精度具有重要的应用价值。

发明内容

本发明所要解决的技术问题在于提供一种基于近红外反射点特性的视线跟踪预处理方法，已解决现有的人眼定位由于受眼镜、配饰等反光效应的影响而导致精度低适应性差的问题。本发明方法可以在戴眼镜、戴首饰的情况下，使系统能够正常工作，并保证其实时性及精度。

由于视线跟踪的系统中采集到的眼动视频是一种在近红外光源照射下采集的特殊视频，因此，本发明根据图像中人脸区域的灰度差和反射点的结构来消除眼镜、配饰等的影响，进而通过角膜上特殊的反射点来定位人眼。

本发明所提供的一种基于近红外反射点特性的视线跟踪预处理方法，具体包括以下步骤：

(1)提取人脸区域，即通过水平和竖直积分投影从用灰度摄像机采集的图像中提取出人脸区域，以消除背景对人眼提取的影响。

(2)提取人脸区域中的反射点，即通过设定阈值，将人脸图像进行二值化，得到人脸图像中所有的灰度值大于该阈值的反射点，并通过一个面积阈值，先去除面积较大的反射点。

(3)提取人脸中的黑色连通域，并根据面积大小、距离关系、人脸结构特性确定出大致的瞳孔区域。

(4)步骤(2)中得到的反射点和步骤(3)中所得到的瞳孔区域的交集就是角膜上的反射点，根据角膜上反射点的坐标确定出眼睛区域。

先对采集到的视频中的第一幅图像根据上述(1)(2)(3)(4)四个的步骤进行人眼定位，其后一幅图像的人眼定位可以在该提取出的人眼区域上进行跟踪处理，直至某幅图片由于闭眼等情况不能成功地进行人眼定位时则进行初始化，重新根据(1)(2)(3)(4)的步骤来处理下一幅图片。

在所述步骤(1)中，为增强图像对比度，先根据整幅图像中像素的灰度值对图像进行二值化处理，然后再通过在水平和竖直方向上进行灰度积分投影来确定人脸区域，并且，在确定人脸区域水平和竖直边界时，均根据相应方向上的灰度积分投影来划定人脸区域。

所述步骤(2)的具体实现包括以下步骤：

a、计算步骤(1)中提取出的人脸区域的每个像素的像素值，根据灰度值对人脸区域进行二值化处理，得到人脸区域中带有噪点的反射点。

b、对于步骤a中得到的反射点，根据反射点的大小，去除由于眼镜片及配饰等外在附加物所反射造成的面积较大的反射点，保留面积较小的反射点。

步骤(3)的具体实现包括以下步骤：

a、对人脸区域做二值化处理，得到人脸中具有较低灰度值的黑色连通域，即由瞳孔、眼镜框、头发、鼻孔所形成的区域。

b、根据距离、位置结构关系，对所得到的黑色连通域进行选取，得到大致的瞳孔区域。其中，所述步骤b实现的具体步骤如下：

(i)将所得到的黑色连通域根据面积筛选，可以去除部分由于眼镜框造成的面积较大的黑色连通区域；

(ii)根据瞳孔在人脸区域中的位置，将距离人脸左边界或右边界较近的黑色连通域去除；

(iii)根据鼻孔区域始终距离人脸图像下边界最近的特性，去除鼻孔区域对应的黑色连通域；

(iv)根据瞳孔和鼻孔的位置关系，选定瞳孔区域对应的黑色连通域。

与现有技术相比，本发明方法能在戴眼镜和佩戴饰物的情况下，实现精确地人眼定位，并保证视线跟踪系统具有较好的实时性及较高的精度。

附图说明

图1为视线跟踪系统框图。

图2为系统硬件图。

图3为人脸区域提取，其中a为灰度摄像机采集的原始图像，图b为灰度值大于阈值的像素的灰度值置为1时的图像，图c为经过二值化以及水平与竖直积分得到的人脸区域。

图4为反射点区域提取。

图5为黑色连通域提取。

图6为瞳孔和鼻孔关系图。

图7为人眼定位。

图8为人眼定位仿真结果。

图9为图片注视仿真图。

图10为本发明方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述，但下述实施例并不限制本发明的保护范围。

实施例1

一、硬件系统装置

本发明的硬件系统装置包括：一台2.60GHz奔腾双核的个人计算机，2G内存，计算机下方安装一台分辨率为100万像素的灰度摄像机。在显示器的四角分别装有1W的LED红外光源。测试者坐在距屏幕正前方60cm为中心的位置，头部可以在摄像机的有效拍摄范围50cm×40cm×30cm(宽×长×深度)内移动，且在水平面顺时针或逆时针旋转30度都不会对系统造成影响。图1为视线跟踪系统框图，图2为系统硬件装置图。

实施例2

下面以某戴眼镜视频的第一幅图像为例对本发明的基于近红外反射点特性的视线跟踪预处理方法的实现做详细介绍，图10为本发明预处理方法的流程框图，按所示流程，包含如下具体步骤：

1、提取人脸区域

图3为人脸区域提取方法图，其中，图(a)灰度摄像机采集的原始图像，经过二值化以及水平与竖直积分得到了人脸区域，如图(c)所示。

(1)计算原始图像中每个像素的灰度值，找到图像中最大的灰度值，记为pixel_max，并以0.3*pixel_max作为阈值，将原始图像二值化，将灰度值大于该阈值的像素的灰度值置为1。得到如图3(b)所示结果。

(2)将二值化的图像进行垂直方向上的灰度积分投影，得到该方向上灰度积分投影的最大值，记为f1_max，并以0.3*f1_max作为阈值，将灰度积分投影大于该阈值的区域作为垂直方向上的人脸区域，从而确定出人脸区域的左右边界x_min，x_max。

(3)将二值化的图像进行水平方向上的灰度积分投影，得到该方向上灰度积分投影的最大值，记为g1_max，并以0.3*g1_max作为阈值，将灰度积分投影大于该阈值的区域作为水平方向上的人脸区域，从而确定出人脸区域的上下边界y_min，y_max。

2、提取反射点区域

根据在人脸区域中，反射点区域与其他区域相比具有较高灰度值的特性，先用设定的阈值将人脸区域二值化得到反射点区域如图4所示，再根据面积阈值去除一些非角膜上的反射点区域，具体方法如下：

(1)计算提取出的人脸区域中的每个像素的像素值，计算得到其最大的灰度值，记为pix_f_max，取pix_f_max-5作为阈值，对人脸区域进行二值化处理，将灰度值大于该阈值的像素的灰度值置为1(黑色)，这样就得到了人脸区域中所有亮度超过阈值的反射点，如图4所示。

(2)从图4可以看到，提取出的反射点区域分为四种类型，其中第I类反射点是镜片的反射、第II类反射点是镜框的反射、第III类反射点是皮肤的反射、第IV类反射点是角膜上的反射点。类型I、II的面积远大第III、IV类型的反射点区域的面积。由于人眼角膜上的反射点面积较小，不会超过5个像素，所以我们可以通过设定阈值，将面积超过20个像素的反射点去除。从而去除了第I、II类型的反射点而不对用于人眼定位的角膜上的反射点造成影响。

3、提取黑色连通区域

根据人脸区域中，瞳孔具有较低灰度值的特性，首先通过阈值，将人脸图像进行二值化处理，得到头发、眼镜框、鼻孔、瞳孔等黑色连通区域，然后我们可以根据面积、人脸结构特性等，找到大致的瞳孔区域，图5显示出了该过程的大致流程。

(1)假设图4中的反射点区域经过面积过滤，还剩余L个反射点，且每一个反射点的平均坐标为(x_i，y_i)，i＝1，2，…L；首先我们可以分别计算出原始图中坐标为(x_i，y_i-5)，(x_i，y_i+5)，(x_i-5，y_i)，(x_i+5，y_i)的像素的灰度值，并求出其平均值GV_i，i＝1，2，…L；从这L个均值中选出最小的四个(如果L＜＝4则选取所有计算出的均值直接求平均)，取这四个值的平均值GV_mean作为阈值对原始人脸图像进行二值化，将灰度值小于该阈值的像素的灰度值置为1(黑色)，则可以得到人脸区域中的黑色连通域，如图5

示。

(2)我们可以看到这些连通区域也可分为四类，在这我们分别记为B_frame，B_nostril，B_hair和B_pupil，分别表示由具有较低灰度值的眼镜框、鼻孔、头发和瞳孔形成的黑色连通域。针对面积大小，我们去除面积大于5000像素或小于300像素的黑色连通域，这些都是面积远大于或远小于瞳孔区域的区域，得到如图5(c)所示区域。

(3)根据人眼在人脸中的分布特性，瞳孔区域不可能紧靠近人脸的左右边界。所以，我们可以将几何中心距左边界或右边界小于5个像素的黑色连通区域去除。得到如图5(d)所示区域。

(4)假设经过上述步骤(3)后，还剩余J个黑色连通域，我们可以计算出他们的中心坐标分别是(C_{x_i}，C_{y_i})，i＝1，2，…J，则它们到人脸区域下边界的垂直距离分别是D_{y_i}＝|C_{y_i}-y_min|，i＝1，2…J。根据人脸结构，只要人脸在水平面上顺时针或逆时针旋转不超过30度，在经过上述步骤C后的二值化图像中，由鼻孔所导致的黑色连通域始终是其几何中心坐标距离人脸区域下边缘最近的两个区域。所以，如果有D_{y_1}≤D_{y_2}≤D_{y_3}≤…D_{y_J}，则中心坐标为(C_{x_1}，C_{y_1})和(C_{x_2}，C_{y_2})的区域即为鼻孔区域。我们亦可将其去除，得到如图5(e)所示区域。

(5)根据瞳孔和鼻孔的位置关系，我们可以找到瞳孔区域。无论人脸在平面上怎样旋转，两瞳孔到两鼻孔中心坐标的中心的距离基本相等。如图6所示，图中以人脸在平面顺时针和逆时针旋转15度为例，若左右瞳孔区域的中心坐标点分别为A、B，而两鼻孔中心坐标连线的中点为C，则AC和BC的距离差一般不大于10个像素。根据上述步骤(4)，我们可以得到鼻孔区域中心坐标的中点(C_{x_center}，C_{y_center})，则如果两个区域的中心坐标(C_{x_i}，C_{y_i})和(C_{x_j}，C_{y_j})，其中i≠j且i，j＝3，4…J，满足公式

$|\sqrt{{(C_{x\_i}-C_{x\_\mathrm{center}})}^2+{(C_{y\_i}-C_{y\_\mathrm{center}})}^2}-\sqrt{{(C_{x\_j}-C_{x\_\mathrm{center}})}^2+{(C_{y\_j}-C_{y\_\mathrm{center}})}^2}|<\mathrm{\&delta;}---\left(1\right)$

其中δ＝10，则这两个区域即为大致的瞳孔区域，如图5(f)所示。

4、人眼定位

根据上述步骤(2)得到的反射点区域和步骤(3)得到的大致的瞳孔区域，则它们的交集区域即为角膜上的反射点区域。

虽然我们已找到了角膜上的反射点，但因为这是一个初步的提取，所以不能保证在左右眼中都正好找到4个反射点，在这我们假设左眼中找到了n_l个，而右眼找到了n_r，并且左眼中反射点的平均坐标为

(i＝1，…，n_l)，右眼中反射点的平均坐标为

(i＝1，…，n_r)，根据n_l和n_r的不同取值，人眼定位结果可分为以下两种情况：a、若(1＜n_l≤4)∩(1＜n_r≤4)，则人眼可以按如下方法定位：

$d_{\mathrm{xl}}=\max \left(\right|x_{l_i}-x_{l_j}\left|\right),(0\&le;j\&le;i\&le;n_l)---\left(2\right)$

$d_{\mathrm{yl}}=\max \left(\right|y_{l_i}-y_{l_j}\left|\right),(0\&le;j\&le;i\&le;n_l)---\left(3\right)$

$d_{\mathrm{xr}}=\max \left(\right|x_{r_i}-x_{r_j}\left|\right),(0\&le;j\&le;i\&le;n_r)---\left(4\right)$

$d_{\mathrm{yr}}=\max \left(\right|y_{r_i}-y_{r_j}\left|\right),(0\&le;j\&le;i\&le;n_r)---\left(5\right)$

s＝max(d_xl，d_yl，d_xr，d_yr)             (6)

左右眼的角膜反射点的平均坐标(x_l，y_l)，(x_r，y_r)可根据

计算得到，然后分别以(x_l，y_l)，(x_r，y_r)为中心，以5*S为步长，将左右眼扩展为一个方形区域，从而提取出左右眼。b、若(n_l≤1)∪(n_r≤1)∪(n_l＞4)∪(n_r＞4)，则认为该幅图像眼睛提取不成功，跳转到下一幅图像。

图8为在戴眼镜及配饰情况下人眼定位的结果。从测试结果看来，本发明的基于近红外反射点特性的视线跟踪预处理方法可以在佩戴眼镜及饰物的情况下准确的定位人眼。

图9为是在戴眼镜的情况下，对实际图片进行注视的测试结果。在图9(a)中，注视者注视的是三个图标，在(b)测试者注视的是电源符号中央、信号符号、“c”旁边的键，以及“*”键(红点是测得的注视点)。从测试结果看，该系统的测试精度完全可以满足用于人机交互、智能控制等实际应用的需要。

下述表1和表2为在配戴眼镜的情况下，以整个视频作为实验对象观测桌面上的16个测试点所得到的精度分析结果。该视频共1400帧图像，其中1277帧可以准确的定位人眼，而不能成功进行人眼定位的帧基本都是闭眼帧。其视角误差是在测试者据屏幕60cm的情况下算得的，其最大的视角误差0.860度，大多数的视角误差都低于0.5度，x轴上的平均误差为0.261度，y轴上的平均误差为0.421度，表明该处理方法能保证系统具有较高的精度。

表I  X轴上的精度分析

注视点	1	2	3	4	5	6
							实际坐标值(cm)	4.250	4.250	4.250	4.250	12.750	12.750
估计坐标值(cm)	3.659	4.150	4.115	4.511	12.792	12.540
							误差(度)	0.565	0.095	0.129	0.249	0.040	0.201
注视点	7	8	9	10	11	12
							实际坐标值(cm)	12.750	12.750	21.250	21.250	21.250	21.250
估计坐标值.(cm)	12.256	12.755	20.822	21.033	21.423	21.512
							误差(度)	0.471	0.005	0.409	0.207	0.165	0.249
注视点	13	14	15	16
							实际坐标值(cm)	29.750	29.750	29.750	29.750
估计坐标值(cm)	30.525	30.114	29.741	29.443
							误差(度)	0.740	0.348	0.009	0.293

表II  Y轴上的精度分析

注视点	1	2	3	4	5	6
							实际坐标值(cm)	23.625	16.875	10.125	3.375	3.375	10.125
估计坐标值(cm)	23.144	16.318	10.414	3.698	3.917	10.382
							误差(度)	0.459	0.532	0.270	0.308	0.518	0.245
注视点	7	8	9	10	11	12
							实际坐标值(cm)	16.875	23.625	23.625	16.875	10.125	3.375
估计坐标值(cm)	17.203	23.530	23.641	17.390	11.025	4.258
							误差(度)	0.313	0.091	0.015	0.492	0.860	0.843
注视点	13	14	15	16
							实际坐标值(cm)	3.375	10.125	16.875	23.625
估计坐标值(cm)	4.061	10.266	16.421	23.179
							误差(度)	0.655	0.135	0.433	0.426

Claims (6)

1.一种基于近红外反射点特性的视线跟踪预处理方法，其特征在于，包括以下步骤：

(1)提取人脸区域：即通过水平和竖直积分投影从用灰度摄像机采集的图像中提取出人脸区域；

(2)提取人脸区域中的反射点：即通过设定阈值，将人脸图像进行二值化，得到人脸图像中所有的灰度值大于该阈值的反射点，并通过一个面积阈值，先去除面积较大的反射点；

(3)提取人脸中的黑色连通域，并根据面积大小、距离关系、人脸结构特性确定出大致的瞳孔区域；

(4)将步骤(2)中得到的反射点和步骤(3)中所得到的瞳孔区域的交集定义为角膜上的反射点，根据角膜上反射点的坐标确定出眼睛区域。

2.根据权利要求1所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，

先对采集到的视频中的第一幅图像根据步骤(1)(2)(3)(4)的顺序进行人眼定位，其后一幅图像的人眼定位则在该提取出的人眼区域上进行跟踪处理，直至某幅图片由于闭眼等情况不能成功地进行人眼定位时则进行初始化，重新根据步骤(1)(2)(3)(4)的顺序处理下一幅图片。

3.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，在所述步骤(1)中，先根据整幅图像中像素的灰度值对图像进行二值化处理，然后再通过在水平和竖直方向上进行灰度积分投影来确定人脸区域，并且，在确定人脸区域水平和竖直边界时，均根据相应方向上的灰度积分投影来划定人脸区域。

4.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，所述步骤(2)的具体实现包括以下步骤：

a、计算步骤(1)中提取出的人脸区域的每个像素的像素值，根据灰度值对人脸区域进行二值化处理，得到人脸区域中带有噪点的反射点；

b、对于上述步骤a中得到的反射点，根据反射点的大小，去除由于眼镜片及配饰等外在附加物所反射造成的面积较大的反射点，保留面积较小的反射点。

5.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于：所述步骤(3)的具体实现包括以下步骤：

a、对人脸区域做二值化处理，得到人脸中具有较低灰度值的黑色连通域，即由瞳孔、眼镜框、头发、鼻孔所形成的区域；

b、根据距离、位置结构关系，对所得到的黑色连通域进行选取，得到大致的瞳孔区域。

6.根据权利要求5所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于：所述步骤b实现的具体步骤如下：

(i)将所得到的黑色连通域根据面积进行筛选，去除部分由于眼镜框造成的面积较大的黑色连通区域；

(ii)根据瞳孔在人脸区域中的位置，将距离人脸左边界或右边界较近的黑色连通域去除；

(iii)根据鼻孔区域始终距离人脸图像下边界最近的特性，去除鼻孔区域对应的黑色连通域；

(iv)根据瞳孔和鼻孔的位置关系，选定瞳孔区域对应的黑色连通域。

Images