CN103067662A

CN103067662A - 一种自适应视线跟踪系统

Info

Publication number: CN103067662A
Application number: CN2013100207159A
Authority: CN
Inventors: 周欣; 刘瑞安; 王为
Original assignee: Tianjin Normal University
Current assignee: Tianjin Normal University
Priority date: 2013-01-21
Filing date: 2013-01-21
Publication date: 2013-04-24

Abstract

一种自适应视线跟踪系统及跟踪方法，人眼图像由CCD摄像机采集到计算机后，经过图像预处理、瞳孔边缘点提取、椭圆拟合等步骤可以得到眼睛注视点坐标。本发明建立了软硬件结合的适用于头部转动情况下的自适应视线跟踪系统理论模型和实验装置，实现对用户无干扰条件下的高精度视线跟踪。为克服视线跟踪技术中的头动影响，采用基于多尺度几何分析面向头动情况下的自适应视线跟踪方法。将多尺度几何分析工具引入视线跟踪领域，采用基于Directionlet变换的人眼及面部图像特征的高精度检测算法，提高人眼边缘检测效率和精度；结合神经网络与遗传算法，研究了眼睛及面部图像特征和眼睛注视点的非线性映射关系，提出视线方向检测的新方法。

Description

一种自适应视线跟踪系统

本项目得到天津师范大学博士基金资助，资助号：52X09008。

技术领域

本发明属于人机接口技术领域，具体地是涉及一种自适应视线跟踪系统。

背景技术

视线跟踪技术是未来智能人机接口的关键技术之一，在人机交互领域有着广阔的应用前景。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。

视线跟踪是根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，获得用户的意图。作为人机交互技术的重要分支，视线跟踪技术主要研究对人类眼睛运动特性的检测与识别，实现对其他功能系统的自动控制。该技术的最大优点是可以通过眼睛注视实现对外部设备的控制，进而实现多任务操作，在军事及民用上具有广阔的应用前景。

视线跟踪技术可分为以硬件为基础的和以软件为基础的两种。以硬件为基础的方法需要用户戴上特制的头盔、置于用户头顶的摄像机、或者使用头部固定支架等，对用户的干扰很大。为了克服视线跟踪装置对人的干扰作用，研究人员提出了用软件实现的对用户无干扰的视线跟踪方法。其基本工作原理是先利用摄像机获取人眼或脸部图像，然后用软件实现图像中人脸和人眼的定位与跟踪，从而估算用户在屏幕上的注视位置。以软件为基础的视线跟踪技术，对用户的限制大大降低，用户的头部可以移动，但其精度相对较低。如何在不干扰用户的前提下，获得准确的注视焦点是视线跟踪技术相关研究人员需要解决的重要问题。

发明内容

本发明为了解决现有技术中的问题，而提供了一种自适应视线跟踪系统及跟踪方法，在提高视线跟踪系统精度和可靠性的同时，尽量减少对用户的干扰及限制。

本发明所采取的技术方案是：

本发明的自适应视线跟踪系统，包括通过数据线相互连接的CCD摄像机、图像采集卡和计算机；CCD摄像机设置在摄像机云台上，并装有电动连续可变焦距的变焦镜头。

采用上述跟踪系统的自适应视线跟踪方法，包括下列步骤：

第一，图像预处理

将CCD摄像机采集到的人眼图像传输到计算机后，首先将图像进行Directionlet变换，对变换系数采用软阈值处理，去除高频噪声；

第二，瞳孔边界点提取

在人眼图像上设定一个搜索窗，利用搜索窗内瞳孔二值化图粗定瞳孔中心，并作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由式（1）通过寻找最大值，决定边缘点位置 r，提取边界点；

其中，为判据函数，

为搜索点灰度值，

为瞳孔阈值，

为搜索点梯度值，由一维梯度算子 [-1 0 1] 计算得到，

为相邻搜索线上得到的边界点半径。

、

、

为由试验定值的权重参数；

第三，椭圆拟合

对提取的瞳孔边界点集中每一个样点，从其补集中随机抽取 5个样点，组成没有重复的样点子集（有6个相异点），计算该样点子集；若计算结果表明，拟合为非椭圆或椭圆参数不合理，则重复随机抽取和上述计算；若参数表明是合理椭圆，则保留参数；对每一个样点重复同样的操作，最后对所有保留的参数分别取各自的中值作为椭圆拟合的最后估计值；

第四，确定瞳孔中心

椭圆用圆锥曲线方程表示如下：

中心位置用公式（3）可以求出：

第五，瞳孔跟踪

对捕获的图像序列，每一帧中瞳孔的状态用其位置与速度来表示，利用卡尔曼滤波预测初始状态，并进行更新，以实现瞳孔跟踪。

本发明的优点和有益效果为：

本发明建立了软硬件结合的适用于头部转动情况下的自适应视线跟踪系统理论模型和实验装置，实现对用户无干扰条件下的高精度视线跟踪。为克服视线跟踪技术中的头动影响，采用基于多尺度几何分析面向头动情况下的自适应视线跟踪方法。将多尺度几何分析工具引入视线跟踪领域，采用基于Directionlet变换的人眼及面部图像特征的高精度检测算法，提高人眼边缘检测效率和精度；结合神经网络与遗传算法，研究了眼睛及面部图像特征和眼睛注视点的非线性映射关系，提出视线方向检测的新方法。

附图说明

图1为本发明的自适应视线跟踪系统的结构框图；

图2为本发明的自适应视线跟踪方法的流程图；

图3为本发明的自适应视线跟踪系统的原理图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细说明。

图1为本发明的自适应视线跟踪系统的结构框图。如图1所示，本发明的自适应视线跟踪系统，包括通过数据线相互连接的CCD摄像机、图像采集卡、和计算机；CCD摄像机设置在摄像机云台上。CCD摄像机装有电动连续可变焦距的变焦镜头。

CCD指电荷耦合型图像传感器。系统中，CCD摄像机置于摄像机云台上，能作二维扫描，适应头部位置变化；CCD 的物镜镜头是采用可变焦距的变焦镜头，是依靠变倍组和补偿组这两个透镜组沿光轴方向的移动来改变焦距的大小，从而改变物镜对目标的放大倍数和视场角，达到连续调节观察范围的目的，适应头部在景深方向的运动。

图3为本发明的自适应视线跟踪系统的原理图。如图3所示，CCD 摄像机捕获的眼睛图像传输到计算机，经对视频图像进行预处理及特征检索等图像处理之后，提取瞳孔中心位置信息，进而估算出眼睛视线方向。

高质量图像是基于图像处理视线跟踪技术的基础，本发明采用自调节移动平台和电动连续三可变CCD物镜，以补偿头部运动产生的影响；为防止头部活动范围过大，造成眼睛跑出CCD摄像机的视场范围，设计使用摄像机云台使CCD摄像机能扫描跟踪用户的眼睛。由于人的内眼角点是非常稳定的，人脸表情的变化基本上不会引起它的位置改变，因此将摄像机捕获到的人眼视频图像中两个内眼角的距离作为判定依据，调节摄像机镜头的焦距，使光学成像系统放大率保持不变，根据提取的图像特征实现自动聚焦及调整图像亮度，构成闭环的反馈控制系统。

本发明的自适应视线跟踪系统，能够对外部环境光强变化、用户头部位置变化具有自适应能力。避免了人工调节的繁琐并提高了调节的准确性。与目前大多数调焦系统相比较，具有以下优点：第一，对运动目标能够瞄准、跟踪并自动调焦。摄像机可由大视场下的头肩图像通过自动调节，实时跟踪眼睛并捕获到小视场下的眼睛清晰图像。第二，能够适应不同的光照条件。第三，可应用于实时系统中。

图2为本发明的自适应视线跟踪方法的流程图；如图2所示，人眼图像由CCD摄像机采集到计算机之后，经过图像预处理、瞳孔边缘点提取、椭圆拟合等步骤可以得到眼睛注视点坐标。该方法的具体步骤包括：

一、图像预处理

采用Directionlet变换进行图像去噪和增强处理。首先将图像进行Directionlet变换，对变换系数采用软阈值处理，即可去除高频噪声。

本系统采用新型图像表示工具——Directionlet进行图像去噪和增强处理。Directionlet变换是一种全新的多尺度分析工具。Directionlet保留了二代小波在图像分解方面的优势，其基函数的支撑域为不同规格的长条形，每个长条形的方向与包含于该区域内曲线的走向大体一致，表现出更高的方向敏感性和更优的非线性逼近性能，同时，它仅仅使用一维滤波器组，具有可分离滤波和临界结构，并且能够完全重构，在计算的复杂性方面比其他的二代小波变换更加具有优势。相比传统方法，可得到更好的去噪和增强效果。

采用Directionlet变换进行图像增强的步骤如下：首先对原始图像由给定的生成矩阵进行陪集分解，得到一系列的子图，每两个陪集之间的相对位移使得与它们相关的两子图对应一个方向信息。如果图像中某区域的子图之间包含边缘和轮廓信息，那么子图相减后，在该区域就会显示出来，与相对位移矢量垂直的方向是边缘信息的主方向。得到边缘信息后，再通过陪集分解的反变换就可以得到增强后的图像。

二、瞳孔边界点提取

在眼睛图像上设定一个搜索窗，利用搜索窗内瞳孔二值化图粗定瞳孔中心，并作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由式（1）通过寻找最大值，决定边缘点位置 r，提取边界点。

为判据函数，为搜索点灰度值，

为瞳孔阈值，

为搜索点梯度值，由一维梯度算子 [-1 0 1] 计算得到，

为相邻搜索线上得到的边界点半径。

、

、为由试验定值的权重参数。

三、椭圆拟合

瞳孔经光学系统在 CCD 成像为平面椭圆，所以对提取的边缘点进行椭圆最小二乘拟合链接成边界，即可确定瞳孔中心位置。

算法步骤：对提取的瞳孔边界点集中每一个样点，从其补集中随机抽取 5个样点，组成没有重复的样点子集（有6个相异点），计算该样点子集。若计算结果表明，拟合为非椭圆或椭圆参数不合理，则重复随机抽取和上述计算；若参数表明是合理椭圆，则保留参数。对每一个样点重复同样的操作，最后对所有保留的参数分别取各自的中值作为椭圆拟合的最后估计值。

四、确定瞳孔中心

椭圆用一般的圆锥曲线方程表示如下：

中心位置

用公式（3）可以求出：

五、瞳孔跟踪

对捕获的图像序列，每一帧图像可看成在不同时刻的离散采样，要在图像中进行瞳孔中心位置检测。每一帧中瞳孔的状态可用其位置与速度来表示，我们用表示第 t 帧中的瞳孔中心位置（列、行）；表示在 c（列）和 r（行）方向的速度，因此，时刻 t 的状态矢量用

表示。

根据卡尔曼滤波理论，下一时刻（帧）

的状态矢量

由下述的系统模型（状态方程）给出：

其中，

为系统状态转换矩阵，w 表示系统噪声，

. 若假定在连续的两帧图像间，瞳孔运动较小且一致，采用常量速度模型，则可取：

我们进一步假定在第 t 帧图像中的瞳孔的估算位置为

，系统的测量模型（观测方程）为：

式中，H 为观测矩阵，

表示观测噪声，通常其分布取为，为简化，既然观测矢量

仅包含位置量，则 H 取为：

检测器将在

帧中，在由协方差矩阵所确定的搜索窗内检测，检测结果结合预测估计得到最终估计。搜索窗依据

自动改变。

用

表示由系统状态方程得到的

时刻的状态估计，称为先验状态估计；

和不同，是结合系统模型和测量模型得到的状态估计，称为后验状态估计，我们用

和

分别表示状态估计

和

的协方差矩阵，他们分别表征了前向（先验）和后向（后验）状态估计的不确定度。卡尔曼滤波的目的就是要依据系统模型和测量模型以及已知的

来得到和

。卡尔曼滤波包括状态预测与更新环节，其算法流程为：

1. 预估计

2. 计算预估计协方差矩阵

3. 计算卡尔曼增益矩阵

4. 更新估计

5. 计算更新后估计协方差矩阵

重复以上步骤。为了使卡尔曼滤波工作，需进行初始化。首先需要在连续的两帧图像（设为 t 和

）中检测到瞳孔中心，则初始状态矢量定为：

; ;

;

.

、、

的初始化通过实验来得到。提前捕获用户头部运动情况下的若干图像序列，每一序列中包括 50 帧连续的图像，在这些图像序列中，通过离线计算，可得到上述矩阵的初始值。

该方法的优点: 在图像预处理中，采用Directionlet变换的方法相比传统方法，可得到更好的去噪和增强效果，为后续的瞳孔边缘点提取、椭圆拟合、确定瞳孔中心和瞳孔跟踪等步骤提供高质量的图像。本发明所提出的视线跟踪方法能够快速有效地跟踪人眼视线方向，实时性高，可靠性高。

实验时，用户坐在计算机前，头部（面向计算机屏幕）可正常地自由活动。头部正常情况下距离屏幕 50 ~100 cm；水平移动处于 50 cm 区域内。眼睛转动范围基本上水平、垂直方向在 30 度视角内。如图3所示。

实验环境：一般办公室环境，人眼距离计算机屏幕约 55 cm 左右，屏幕 17 英寸，分辨率是 1280×1024 pixels。20~40 岁间 10 个被测（6 男 4 女），头部基本不动情况下和正常移动情况下进行试验。

多次实验表明，头部基本不动情况下，对屏幕大部分区域，注视点定位精度优于 0.5 度视角，屏幕边上定位精度略低。头部正常移动情况下，取得了 1度左右的定位精度，且水平方向精度较高。

综上所述，本发明建立的自适应视线跟踪系统理论模型和实验装置，减少了视线跟踪系统对使用者的头部限制，同时也满足了视线跟踪系统的实时性和高精度的要求。