CN102547123B - 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别技术的自适应视线跟踪装置，包括摄像机，与摄像机连接的图像采集卡和计算机；该装置还包括由计算机控制的自动移动平台；所述的摄像机设置在自动移动平台上，随平台一起移动，摄像机设置有由计算机控制的可调节镜头。本发明具有的优点和积极效果是：本发明的基于人脸识别技术的自适应视线跟踪装置，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。提高了对用户无干扰条件下视线跟踪的精确度、可靠性及便利性，为其在人机交互、虚拟现实、医学、军事等多领域的广泛应用奠定技术基础。

Description

基于人脸识别技术的自适应视线跟踪系统及其跟踪方法

本申请得到天津市自然科学基金（09JCYBJC00100）；天津师范大学开发基金（52XK1001）的资助。

技术领域

本发明涉及视线跟踪技术和人脸识别技术，具体涉及一种基于人脸识别技术的自适应视线跟踪系统及其跟踪方法。

背景技术

视线跟踪技术是未来智能人机接口的关键技术之一。由于人的视线具有直接性、自然性和双向性等其它信息所无法具备的特点，人们对视线的研究有着浓厚的兴趣。视线跟踪是根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，获得用户的意图。视线跟踪技术可分为以硬件为基础的和以软件为基础的两种。以硬件为基础的方法需要用户戴上特制的头盔、置于用户头顶的摄像机、或者使用头部固定支架等，对用户的干扰很大。以软件为基础的视线跟踪方法是利用摄像机获取人眼或脸部图像，用软件实现图像中人脸和人眼的定位与跟踪，估算用户的注视位置。该方法虽然摆脱了头盔等对用户的束缚，对用户的限制大大降低，用户的头部可以移动，但视线跟踪精度相对较低，对于用户头部运动的影响等关键技术问题还尚未解决。

为克服头动影响，减少对用户的限制，提高视线跟踪精确度，研究者进行了大量工作。近年来神经网络技术也被应用于视线跟踪领域。Zhi wei Zhu和Qiang Ji 利用GRNN网络进行视线跟踪，但精度较低。意大利的Diego Torricelli提出了基于神经网络的视线跟踪技术，在用户头动的状态下视线跟踪精度可达到2°。

近年来，国内在视线跟踪领域的研究日益活跃。上海大学的尹海荣和屠大维对视线跟踪技术中的头动影响展开研究，构建了自动适应用户头部位置变化的眼睛盯视输入系统。南京航空航天大学的赵新灿等人提出了头部自由运动视线跟踪方法。西北工业大学的赵治侠和魏生民等人提出一种不限制人头部运动的视线跟踪方法，利用视频图像处理技术分别计算注视方向相对于头部坐标系和头部相对于空间坐标系的方位信息，并将其叠加得到视线注视方向。北京科技大学的黄莹等人提出一个头动自适应视线方向实时计算方法，实现视线追踪在一定范围内对头动的自适应。

目前，视线跟踪技术虽取得了较大进展，但如何在不干扰用户的前提下，克服头动影响，获得准确的注视焦点是视线跟踪技术相关研究人员需要解决的重要问题。

人脸识别技术作为生物识别技术的一种，以其特有的稳定性、方便性、唯一性等特点被愈来愈广泛地应用在不同的身份识别领域，它的研究涉及模式识别、图像处理、生理学、认知科学，并且与其他生物识别技术及计算机人机感知交互技术都有着密切的联系。人脸识别在模式识别领域的发展和应用都有着重要的意义，一是可以推进对人类视觉系统本身的认识，二是可以满足人工智能应用的需要。采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别有着广阔的应用领域和诱人的应用前景。

国内外研究方法主要有三种：一是基于几何特征的识别方法，二是基于代数特征的识别，三是基于连接机制的识别方法。每种方法都有各自优缺点，应根据具体的识别任务和条件选择合适的识别方法。

国外研究机构和公司对于人脸识别技术的研究与实践较早，在美国、德国、日本等发达国家已经有相关产品问世。1996年美国的FERET研究机构对现有的各种人脸识别算法进行了测试，结果表明，比较成熟的识别算法对于数千人的图像进行识别检索，识别率可达到90%以上，现在FERET研究机构已经成为国际权威的人像检测和识别理论和算法的评估机构。“9.11事件”以后，美国更加大了人像识别技术的研究力度，正在着手建立国家级的重点犯罪人口和恐怖破坏分子的人像数据库。1998年德国西门子公司的Nixdorf高技术公司开发成功“人像及视觉访问控制系统[FaceVACS]”，用于保安系统的访问控制，通过摄像机摄取人像，对几十人的人像库进行识别检索，识别率接近100%。2001年日本东芝旗下的E-solution公司推出“面孔验证安全系统[Face-Pass3]”，最多可容纳1000人登录。目前世界上的商用识别系统主要有 Idnetix公司的“FaceIt”系统，Viisage 公司的“FaceID”系统，Cognitec公司的“FaceVACS”系统以及 HumanScan 公司的“BioID”系统等。

校准是视线跟踪技术中的一个重要技术环节，记录了和用户相关的人眼结构等参数数据，将人脸识别技术引入视线跟踪系统，实现系统校准数据对用户的自适应，对自适应视线跟踪技术的建立无疑具有重要价值。将来，基于人脸识别技术与视线跟踪技术的结合研究势必会更加得到人们的重视，有很大的发展空间。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种提高对用户无干扰条件下视线跟踪的精确度、可靠性及便利性的基于人脸识别技术的自适应视线跟踪系统及其跟踪方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：

本发明的基于人脸识别技术的自适应视线跟踪系统，包括CCD摄像机，与CCD摄像机连接的图像采集卡和计算机；其特征在于：该系统还包括由计算机控制的自动移动平台；所述的CCD摄像机设置在自动移动平台上，随平台一起移动，CCD摄像机设置有由计算机控制的可调节镜头。

上述的自适应视线跟踪系统的建立自适应视线跟踪的方法，包括如下的步骤：

（一）头动情况下的自适应图像采集

① 利用2DPCA，2DNMF算法的融合对CCD摄像机采集的图像进行人脸识别

利用2DPCA，2DNMF算法的融合对CCD摄像机采集的图像进行预处理：首先利用小波变换对原图像进行处理，得到4个子图，包括一个LL子图和3个高频子图；对于LL子图，采用2DPCA进行特征抽取，而对其他3个高频子图，为了减少计算量，采用基于领域窗口的方法进行融合，再采用2DNMF方法进行特征抽取；然后用最近邻分类方法分别进行分类；最后通过计算融合子图的熵和LL子图的熵的比值作为它们的加权值进行处理，获得人脸的图像信息；

② 从获得的人脸图像信息中对人眼及面部图像特征的高精度检测：

采用Directionlet图像表示工具对人脸图像信息进行图像去噪和增强处理；对输入图像进行预处理后提取人眼及面部图像特征，生成具有平移、尺度不变的形状链状表达，进而建立利用Directionlet多尺度几何分析的人眼及面部图像特征的高精度检测算法；

③ 面向头动情况下进行自适应视线跟踪

在获得上述信息的基础上，在用户头部处于空间不同位置及注视屏幕不同位置情况下，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，建立依据图像特征自适应选择网络结构及参数的智能化神经网络；

（二）基于智能化神经网络的自适应视线跟踪

将用户头部活动空间分为前、中、后；左、中、右9个区域，头部姿态分为左、中、右；仰头、平视、低头9种姿势；在用户头部处于空间不同位置及注视屏幕不同位置的情况下，提取人眼图像特征，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，针对不同用户分别建立依据图像特征自适应选择网络结构及参数的智能化神经网络。

本发明的优点和有益效果是：

本发明的基于人脸识别技术的自适应视线跟踪系统，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。本发明的自适应视线跟踪系统，所建立的智能化神经网络结构及参数因人而异，每人一套数据，提高了网络的适应能力，也提高了对用户无干扰条件下视线跟踪的精确度、可靠性及便利性，为其在人机交互、虚拟现实、医学、军事等多领域的广泛应用奠定技术基础。

附图说明

图1是本发明的基于人脸识别技术的自适应视线跟踪系统的结构框图；

图2是本发明对CCD摄像机采集的图像进行预处理的流程图；

图3是本发明所建立的智能化神经网络的网络图；

图4是本发明的自适应视线跟踪系统的工作流程图。

具体实施方式

下面结合附图和实施例对本发明的基于人脸识别技术的自适应视线跟踪系统及其跟踪方法进行详细说明。

图1是本发明的基于人脸识别技术的自适应视线跟踪系统的结构框图。如图1所示，本发明的基于人脸识别技术的自适应视线跟踪系统，包括CCD摄像机，与CCD摄像机连接的图像采集卡和计算机；其特征在于：该系统还包括由计算机控制的自动移动平台；所述的CCD摄像机设置在自动移动平台上，随平台一起移动，CCD摄像机设置有由计算机控制的可调节镜头。

CCD是Charge Coupled Device（电荷耦合器件）的缩写，它是一种半导体成像器件，因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。本发明用自动移动平台和可调节物镜的CCD摄像机自动扫描跟踪用户的眼睛，以捕获高质量面部图像。由图像采集卡传送到计算机进行图像处理和特征检测。由于人的内眼角点是非常稳定的面部特征点，人脸表情的变化基本不会引起它的位置改变。因此，计算机进行分析后，依据摄像机捕获到的人眼视频图像中两个内眼角点特征，调节摄像机镜头的焦距及控制自动移动平台，使光学成像系统放大率保持不变，根据提取的图像特征实现自动聚焦及调整图像亮度，构成闭环的反馈控制系统。

所述的自适应视线跟踪系统的建立自适应视线跟踪的方法，包括如下的步骤：

（一）头动情况下的自适应图像采集

① 利用2DPCA，2DNMF算法的融合对CCD摄像机采集的图像进行人脸识别：

一个完整的人脸识别系统，首先需要对原图像进行必要的预处理。对图像进行有针对性的预处理工作，如图像去噪、图像增强和图像配准等等，最大程度上改善图像质量，为人脸识别提供必要的前期准备。

首先利用小波变换对原图像进行处理，得到4个子图，包括一个LL子图和3个高频子图；对于LL子图，采用2DPCA进行特征抽取，而对其他3个高频子图，为了减少计算量，采用基于领域窗口的方法进行融合，再采用2DNMF方法进行特征抽取；然后用最近邻分类方法分别进行分类；最后通过计算融合子图的熵和LL子图的熵的比值作为它们的加权值进行处理，获得人脸的图像信息。

人脸识别部分采用小波变换对原图像分解得出4幅子图，其中LL子图含有整体能量比较多，是原图像的近似；其他3个高频子图，为了减少计算量，融合为1个子图，融合的高频子图含有细节能量比较多。通过实验发现，新子图含有比未融合前更多的能量。

主分量分析法和非负矩阵分解这两种算法理论已经相当完善，目前也已广泛应用于诸多领域。由于传统子空间算法提取图像特征时,往往使得二维图像变成了高维向量,丢失了图像结构信息,对系统性能带来不利影响。为了解决此类问题,本发明采用二维方法（2DPCA、2DNMF），大大减少图像矩阵维数,降低计算的时间花费,且考虑了图像结构信息,提高了分解精度。理论上PCA 是基于整体的一种识别方法，而 NMF 是一种基于局部构成整体的方法。综合考虑，本发明采用 2DPCA 对LL 子图进行特征抽取，用 2DNMF 对融合的高频子图进行特征抽取，理论上能够对原图像提取更多的能量信息，从而实现有效的人脸识别。通过与其他方法的分析比较，该方法有更好的效果。

② 从获得的人脸图像信息中对人眼及面部图像特征的高精度检测：

采用Directionlet图像表示工具对人脸图像信息进行图像去噪和增强处理；对输入图像进行预处理后提取人眼及面部图像特征，生成具有平移、尺度不变的形状链状表达，进而建立人眼及面部图像特征的高精度检测算法。

采用新型图像表示工具——Directionlet进行图像去噪和增强处理。对视频图像进行有效的预处理工作，在保留有效信息的前提下，最大程度上改善图像质量。Directionlet保留了二代小波在图像分解方面的优势，其基函数的支撑域为不同规格的长条形，每个长条形的方向与包含于该区域内曲线的走向大体一致，表现出更高的方向敏感性和更优的非线性逼近性能，相比传统方法，采用Directionlet进行图像去噪和增强处理可得到更好的效果。

采用自适应的方法选取Directionlet分解层数，可提高图像的处理效果和算法的智能化程度。

人眼及面部图像特征的检测精度是实现高精度视线跟踪技术的基础和关键。引入先进的多尺度几何分析工具，对输入图像进行预处理后提取人眼及面部图像特征，生成具有平移、尺度不变的形状链状表达，进而建立人眼及面部图像特征的高精度检测算法，可充分发挥多尺度几何分析工具在图像表达上所特有的优势。

从检测效果、运行时间和算法实现难度等方面考虑，选用Directionlet进行边缘检测，以达到快速而准确检测目标的目的。使用Directionlet进行图像的多尺度分解，利用其在图像分解方面具有的高方向敏感性和高数据压缩率等方面的优势，提高自适应视线跟踪系统的精度和运算速度。

③ 面对头动情况下进行自适应视线跟踪

揭示用户头动情况下人眼及面部图像特征和眼睛注视点间复杂的非线性映射关系，是实现对用户无干扰视线跟踪技术的核心和关键。

在已有的基于头部静止及头部平动情况下的视线传感模型的基础上，在用户头部处于空间不同位置及注视屏幕不同位置情况下，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，建立依据图像特征自适应选择网络结构及参数的智能化神经网络。

在视线跟踪快速实现算法方面，采用一种基于遗传算法的快速相关跟踪算法。针对图像数据的特点，采用编码方式，定义交叉和变异算子，采用抽样法的初始化种群方式，并引入竞争进化策略，减少迭代次数，以有效降低计算量。

（二）基于智能化神经网络的自适应视线跟踪

将用户头部活动空间分为前、中、后；左、中、右9个区域，头部姿态分为左、中、右；仰头、平视、低头9种姿势；在用户头部处于空间不同位置及注视屏幕不同位置的情况下，提取人眼图像特征，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，针对不同用户分别建立依据图像特征自适应选择网络结构及参数的智能化神经网络，网络图如图3所示。

为使系统正常工作，首先要对本发明的自适应视线跟踪系统进行校准实验。校准是视线跟踪技术中的一个重要技术环节，记录了和用户相关的人眼结构等参数数据。对视线跟踪系统进行校准实验（包括用户头部静止情况下及头动情况下），建立用户参数数据库及对应的人脸数据库，在实现的人脸识别算法基础上，建立稳健的人脸识别系统，将人脸识别技术引入视线跟踪系统，实现系统校准数据对用户的自适应。

利用人脸识别技术提取的一些基本的脸部线索及眼睛的位置信息，传递给视线跟踪模块，从而缩短直接由视线跟踪模块确定眼睛位置所需要的时间，提高系统的实时性。这样就建立了结合人脸识别技术的自适应视线跟踪系统。

依据图像特征自适应选择网络结构及参数的智能化神经网络，增强了神经网络的适应能力，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。

本发明的基于人脸识别技术的自适应视线跟踪系统的工作过程如下：

如图4所示，当用户位于自适应视线跟踪系统前方时，位于自动移动平台上的CCD摄像机自动扫描，捕获高质量面部图像。由图像采集卡传送到计算机进行人脸识别及眼部特征检测，并与人脸数据库中的数据进行比对，确定用户身份，并调取该用户的人脸相关信息。由于人的内眼角点是非常稳定的面部特征点，人脸表情的变化基本不会引起它的位置改变。因此，计算机进行分析后，依据摄像机捕获到的人眼视频图像中两个内眼角点特征，调节摄像机的可调节镜头的焦距及控制自动移动平台，使光学成像系统放大率保持不变，根据提取的图像特征实现自动聚焦及调整图像亮度，进行自适应视线跟踪。

Claims (1)

1.一种基于人脸识别技术的自适应视线跟踪的方法，包括如下的步骤：

（一）头动情况下的自适应图像采集

①利用2DPCA，2DNMF算法的融合对CCD摄像机采集的图像进行人脸识别

利用2DPCA，2DNMF算法的融合对CCD摄像机采集的图像进行处理：首先利用小波变换对原图像进行处理，得到4个子图，包括一个LL子图和3个高频子图；对于LL子图，采用2DPCA进行特征抽取，而对其他3个高频子图，为了减少计算量，采用基于领域窗口的方法进行融合，再采用2DNMF方法进行特征抽取；然后用最近邻分类方法分别进行分类；最后通过计算融合子图的熵和LL子图的熵的比值作为它们的加权值进行处理，获得人脸的图像信息；

②从获得的人脸图像信息中对人眼及面部图像特征的高精度检测：

采用Directionlet图像表示工具对人脸图像信息进行图像去噪和增强处理；对输入图像进行预处理后提取人眼及面部图像特征，生成具有平移、尺度不变的形状链状表达，进而建立利用Directionlet多尺度几何分析的人眼及面部图像特征的高精度检测算法；

③ 面向头动情况下进行自适应视线跟踪

在获得上述信息的基础上，在用户头部处于空间不同位置及注视屏幕不同位置情况下，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，建立依据图像特征自适应选择网络结构及参数的智能化神经网络；

（二）基于智能化神经网络的自适应视线跟踪

将用户头部活动空间分为前、中、后；左、中、右9个区域，头部姿态分为左、中、右；仰头、平视、低头9种姿势；在用户头部处于空间不同位置及注视屏幕不同位置的情况下，提取人眼图像特征，建立图像特征和眼睛注视点间关系数据库；通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，针对不同用户分别建立依据图像特征自适应选择网络结构及参数的智能化神经网络。

Images