CN101964111A - 基于超分辨率的视线跟踪精度提升方法 - Google Patents

Abstract

本发明提供了一种基于超分辨率的视线跟踪精度提升方法。该方法先在采集的人脸图像中进行人眼定位，并提取出大致的瞳孔区域；然后以提取出的每一帧瞳孔区域图像以及其后面相邻的3帧图像作为待配准图像，经过特征提取、相似度分析确定出变换函数和参数，并根据图像的帧位移差构造出规整化函数，进而实现图像各点的配准，综合四帧图像的特征信息重构出具有高分辨率的瞳孔区域；再在经过超分辨的瞳孔区域中提取角膜上的反射点并计算其坐标位置，同时，通过瞳孔边缘提取和椭圆拟合，确定瞳孔中心的坐标。最后根据反射点及瞳孔中心的坐标估计出屏幕上注视点的位置。本发明将超分辨技术用于视线跟踪系统，在不增加硬件设置的情况下，提高了系统的精度。

Description

基于超分辨率的视线跟踪精度提升方法

技术领域

本发明涉及一种基于超分辨的视线跟踪精度提升的技术，属于视频、多媒体信号处理技术领域。

背景技术

随着智能控制技术的发展，眼动系统作为人机交互的一个重要工具已成为研究的热点。显然，精度是衡量该系统性能的一个重要参数，具有较高精度的视点跟踪系统才能更为准确地服务于用户。然而，绝大多数所用的静态帧或摄像机记录图像的分辨率较低，这会严重影响视点跟踪系统结果的估计。因此如何来提高视线跟踪系统的精度具有重要的研究意义。

由于高分辨率的图像可以提供更多的细节和信息，所以可以更精确地锁定局部目标。因此，在一些视线跟踪系统中，设计者会通过提高摄像机的分辨率来提升精度。显然，对于同样的方法，如采用分辨率高的相机，相对于低分辨率相机，精度会提高；但相机分辨率高低的价格差别相当大，如果单纯通过改进硬件系统的性能来提高分辨率，不仅在技术上难以实现突破，同时还会带来难以承受的成本增加。所以通过软件增加所采集图像的分辨率，来突破硬件系统的限制意义重大。超分辨就是一种能够有效提高图像分辨率的软方法。

发明内容

为了弥补仅靠硬件提升来提高视线跟踪系统分辨率的不足，本发明提供一种基于超分辨率的视线跟踪精度提升方法，此方法能够在不增加成本的情况下，在一定程度上提升视线跟踪系统的精度。

本发明的基于超分辨率的视线跟踪精度提升方法，包括以下步骤：

(1)从采集的人脸视频的每一帧中提取出瞳孔区域，其中瞳孔区域的范围是通过迭代计算得出的；

(2)在提取出的瞳孔区域图像中确定待配准图像，并对它们进行超分辨处理；

(3)根据超分辨率处理得到的瞳孔区域进行视线跟踪，得到注视点的精确估计。

为减少系统算法的计算复杂度，所述超分辨率处理仅对从人脸视频帧中提取出来的瞳孔区域进行，而对其他区域不进行。

所述步骤(2)的具体实现步骤为：

a、将瞳孔边缘以及瞳孔区域中的反射点作为特征信息，并对待配准图像中的特征信息进行相似度分析，实现瞳孔区域的配准；

b、根据两帧瞳孔区域之间位移帧差引入的误差信息，构造规整化代价函数，实现高分辨率瞳孔区域的重构。

步骤a中，选择每一帧瞳孔区域图像以及其后面的3帧作为超分辨处理的一组待配准图像，避免因帧数少而不能达到较高的分辨率，或因帧数多而引起较大的位移帧差。

步骤a中，在一组待配准图像中，若其中一帧的瞳孔区域和前一帧的瞳孔区域的相似度低于所设定的阈值，则用前一帧瞳孔区域来代替该帧的瞳孔区域。

所述步骤(3)的具体实现步骤为：

a、在对超分辨率处理得到的瞳孔区域进行视线跟踪之前，先将由超分辨率处理产生的瞳孔区域进行边缘修整，并将去除边缘修整后的左右瞳孔区域放置到与采集的人脸图像同样大小但所有像素的灰度值均为0的图像中的任意一个与瞳孔区域大小相同的固定的位置；

b、在瞳孔区域中提取角膜上的反射点并计算其坐标位置，同时，通过瞳孔边缘提取和椭圆拟合，确定瞳孔中心的坐标；

c、根据反射点的坐标和瞳孔中心坐标，估计屏幕上注视点的位置。

本发明将超分辨技术用于视线跟踪系统，在不增加硬件设置的情况下，提高了系统的精度。

附图说明

图1是本发明方法的框架图。

图2是用于测试的视线跟踪系统硬件结构示意图。

图3是瞳孔区域提取过程示意图。

图4是左眼瞳孔区域超分辨结果示意图。

图5是右眼瞳孔区域超分辨结果示意图。

图6是超分辨后的注视点估计示意图。

图7是实验仿真结果示意图。

具体实施方式

让实验者观测一幅手机的图片，以此为例来验证对瞳孔区域进行超分辨对视线跟踪系统精度的提升。用于测试的视线跟踪系统是基于暗瞳加反射点的方法的，其硬件结构如图2所示，包括一台2.60GHZ奔腾双核的个人计算机，计算机下方装一个分辨率为694×1040的灰度摄像机，在显示器的四角分别装有一个1瓦的红外光源。测试者坐在距屏幕60～70cm的位置，头部可以在40×20×10cm(宽×长×深度)的范围内移动，且在水平面顺时针或逆时针旋转不超过30度。

图1给出了本发明方法的框架图，其中虚线部分是本发明的核心部分，按所示流程，包括如下具体步骤：

1.用上述视线跟踪系统从采集的人脸图像中提取出人眼区域，再从人眼区域中提取出大致的瞳孔区域。图3给出了瞳孔区域的提取过程示意图，由左至右依次为采集图像、人眼定位和左右眼瞳孔区域。

2.分别对观测定标点和注视点的瞳孔区域进行超分辨，结果如图4和图5所示，其具体步骤如下：

a将每一帧瞳孔区域图像以及其后面相邻的三帧图像作为超分辨的待配准图像。但若在这4帧图像中，有一帧和前一帧图像的相似度达不到所设置的阈值，则用前一帧图像来代替该帧。

b从步骤a中确定的待配准图像中提取感兴趣的瞳孔边缘和反射点特征信息。

c根据步骤b中提取的特征信息，进行待配准图像间的相似度分析，确定空间变换方程的类型及参数，进行图像配准。

d根据两帧瞳孔图像之间的位移帧差，构造规整化代价函数，消除误差信息，重新构造出具有高分辨率的瞳孔区域图像。

3.对超分辨后的瞳孔区域做进一步分析，从而实现注视点的精确估计。如图6所示，具体步骤如下：

a对超分辨后的瞳孔区域进行边缘裁剪，并将其放入到各像素点灰度值都置0的采集的原始人脸图像中，其放置位置可以是上述图像中任意一个与瞳孔区域大小相同的固定的位置，如图6流程所示。

b在步骤a的基础上，在瞳孔区域中提取角膜上的反射点并计算其坐标位置。同时，通过瞳孔边缘提取和椭圆拟合，确定瞳孔中心的坐标。如图6所示。

c根据四个反射点的坐标和瞳孔中心坐标，利用交比不变算法估计出测试者注视的屏幕上的手机图片上的具体位置。在该实验过程中，测试者观测的是图片中电源符号中央、信号符号、“c”旁边的键，以及“*”键。图7给出了通过仿真分析估计出的注视点结果，其中的黑色五角星表示预测的注视点，左图(a)为未经超分辨，右图(b)为经过超分辨。

从仿真结果我们可以看出，对于同一个视线跟踪系统，采用超分辨的方法可以提高系统的精度，而不会增加系统的成本。并且在本发明中，只对瞳孔区域进行了超分辨，不会给系统带来较大计算量的增加。

Claims (5)

1.一种基于超分辨率的视线跟踪精度提升方法，包括以下步骤：

(1)从采集的人脸视频的每一帧中提取出瞳孔区域，其中瞳孔区域的范围是通过迭代计算得出的；

(2)在提取出的瞳孔区域图像中确定待配准图像，并对它们进行超分辨处理；

(3)根据超分辨率处理得到的瞳孔区域进行视线跟踪，得到注视点的精确估计。

2.根据权利要求1所述的基于超分辨率的视线跟踪精度提升方法，其特征在于：所述步骤(2)的具体实现步骤为：

a、将瞳孔边缘以及瞳孔区域中的反射点作为特征信息，并对待配准图像中的特征信息进行相似度分析，实现瞳孔区域的配准；

b、根据两帧瞳孔区域之间位移帧差引入的误差信息，构造规整化代价函数，实现高分辨率瞳孔区域的重构。

3.根据权利要求2所述的基于超分辨率的视线跟踪精度提升方法，其特征在于：步骤a中，选择每一帧瞳孔区域图像以及其后面的3帧作为超分辨处理的一组待配准图像，避免因帧数少而不能达到较高的分辨率，或因帧数多而引起较大的位移帧差。

4.根据权利要求2所述的基于超分辨率的视线跟踪精度提升方法，其特征在于：步骤a中，在一组待配准图像中，若其中一帧的瞳孔区域和前一帧的瞳孔区域的相似度低于所设定的阈值，则用前一帧瞳孔区域来代替该帧的瞳孔区域。

5.根据权利要求1所述的基于超分辨率的视线跟踪精度提升方法，其特征在于：所述步骤(3)的具体实现步骤为：

a、在对超分辨率处理得到的瞳孔区域进行视线跟踪之前，先将由超分辨率处理产生的瞳孔区域进行边缘修整，并将去除边缘修整后的左右瞳孔区域放置到与采集的人脸图像同样大小但所有像素的灰度值均为0的图像中的任意一个与瞳孔区域大小相同的固定的位置；

b、在瞳孔区域中提取角膜上的反射点并计算其坐标位置，同时，通过瞳孔边缘提取和椭圆拟合，确定瞳孔中心的坐标；

c、根据反射点的坐标和瞳孔中心坐标，估计屏幕上注视点的位置。

Images