CN107862246B - 一种基于多视角学习的眼睛注视方向检测方法 - Google Patents

Abstract

本发明属于眼睛注视方向检测技术领域，提供一种基于多视角学习的眼睛注视方向检测方法，用于提高检测精度；本发明首先通过一种快速显著点移动识别方法收集人眼目视的图片数据，提取人眼目视图片数据中的两类特征，1)位置偏移量特征W、2)人眼周围部分图像灰度的梯度特征H；根据多视角的关联分析方法求取两类特征W、H投影到新的特征空间的投影矩阵A、B构建新特征空间下的数据样本；基于新的特征中的数据样本训练学习基于SVM的DAG‑SVM多分类算法的分类器，建立识别人眼注视方向的分类检测模型。本发明发明利用多视角学习的方式学习不同特征之间的相关性，建立新的学习训练样本，能够在单目摄像头条件下、大大提高人眼注视方向检测精度。

Description

一种基于多视角学习的眼睛注视方向检测方法

技术领域

本发明属于眼睛注视方向检测技术领域，更为具体地讲，涉及一种在单目摄像头条件下，通过多视角学习技术分析用户眼睛注视方向的方法，该方法利用简易单目摄像头采集用户图片，对用户的眼睛注视方向进行检测。

背景技术

人机交互技术是近些年来的研究热点，VR、眼睛注视方向(下文简写为视线方向)追踪等视觉交互技术的兴起促进了一大批相关产业；如角色扮演类交互游戏，交互游戏通过使用人机交互技术特别是视觉交互技术能够使玩家有强烈的代入感，身临游戏其中，是近些年游戏市场的热门；广告预测分析，信息爆炸时代，广告商总是希望用户能够一眼看到他们的广告却又不影响用户对内容的体验；虚拟购物场景中，对人眼视线方向的追踪是核心技术之一；视线追踪，还可以用作分析人的行为模式等。

目前，通过基于专业设备的高精度视线追踪系统实现了效果良好的视线追踪功能，传统技术主要采用高分辨率摄像头、基于红外光的侵入式设备等，可良好的应用在医学、军事等需要高精度要求的领域，但这些方法所采用的设备昂贵、技术复杂，只能配备于科研院所、医院等大型公有场所。基于简单的单目摄像头的高精度视线追踪设备与技术还较为欠缺，目前存在基于瞳孔位置的眼睛注视方向的检测方法，但由于位置代表的绝对值并不能良好的反映眼球的运动，进一步将其改进为瞳孔位置与眼眶的位置比，采用此类基于位置比的特征分析眼睛注视方向；但该方法采用单一特征进行检测，检测精度有待进一步提高。因此，本发明提供一种基于多视角学习的眼睛注视方向检测方法。

发明内容

本发明的目的在于提供一种基于多视角学习的眼睛注视方向检测方法，采用多视角学习的特征融合技术学习多个类型特征(如基于位置比率的特征、基于图片灰度值的特征)之间的相关性，融合各类特征的表现形式，重新学习各类特征对眼睛注视方向的影响及各类特征之间的相互偶合作用，构建新的分类学习样本，最后采用基于支持向量机(Support Vector Machine，下面简称为SVM)的DAG-SVM的学习方法，学习眼睛注视方向，构建眼睛注视方向检测系统。本发明能够在低成本单目摄像头条件下，实现眼睛注视方向检测，并且提高检测精度，有利于视线交互技术普及应用。

为实现上述目的，本发明采用的技术方案为：

一种基于多视角学习的眼睛注视方向检测方法，其特征在于，包括以下步骤：

步骤1、样本用户目视图片数据采集

首先，屏幕上固定时间间隔移动一个显著特征点，并通过摄像头采集人眼注视移动显著特征点下的视频数据；然后通过帧的划分将视频数据划分为单张目视图片，并进行去噪处理后存储；最后，重复上述过程，采集若干样本用户目视图片数据，形成目视图片数据集；

步骤2、提取用户目视图片中特征

1)基于位置偏移的位置特征：首先通过AAM(Active Appreance Model)方法、ASM(Act ive Shape Mode)方法或Snake模型提取方法提取人脸部特征，然后通过Hough(霍夫)变化提取人眼部特征、包括瞳孔与眼眶特征，最后将人眼部特征转化为瞳孔到眼眶的水平、垂直方向的比率作为第一类特征；得到第一类特征矩阵：

其中、m表示样本用户个数、n表示第一类特征维度；

2)基于图片灰度值的特征：通过对用户目视图片中人眼部分的灰度值求取梯度作为第二类特征；得到第二类特征矩阵：

其中、m表示样本用户个数、p表示第二类特征维度；

步骤3、通过多视角学习方法(CCA)建立新的学习样本

采用矩阵A表示第一类特征样本W的转换矩阵，表示为：

采用矩阵B表示第二类特征样本H的转换矩阵，表示为：

其中，d＝min(rank(W),rank(H))、即为特征矩阵W、H矩阵秩的最小值，·^T表示矩阵转置；

求解转换矩阵A、B，将第一、第二类特征转换为在新的特征空间下的数据样本，表示为：

[A^TW B^TH L]

其中，L为显著特征点标签集合；

步骤4、基于步骤3得新的特征空间下的数据样本，建立基于支持向量机(SVM)的DAG-SVM多分类器进行人眼注视方向的分类检测。

本发明的有益效果在于：

本发明提供一种基于多视角学习的眼睛注视方向检测方法，首先通过一种快速显著点移动识别方法收集人眼目视的图片数据，提取人眼目视图片数据中的两类特征，1)位置偏移量特征W、2)人眼周围部分图像灰度的梯度特征H；根据多视角的关联分析方法求取两类特征W、H投影到新的特征空间的投影矩阵A、B构建新特征空间下的数据样本；基于新的特征中的数据样本训练学习基于SVM的DAG-SVM多分类算法的分类器，建立识别人眼注视方向的分类检测模型。本发明利用多视角学习的方式学习不同特征之间的相关性，建立新的学习训练样本，能够大大提高人眼注视方向检测精度。

附图说明

图1是本发明基于多视角学习眼睛注视方向检测方法的流程示意图。

图2是本发明实施例中用户眼睛注视图片数据收集方法示意图。

图3是本发明实施例中提取用户眼睛注视图片中的瞳孔位移特征的方法示意图。

图4是本发明实施例中基于SVM的DAG-SVM多分类算法的分类器建立用户眼睛注视方向分类检测方法示意图。

图5是本发明实施例中基于多视角学习的眼睛注视方向检测方法整体方案示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

本实施例提供一种基于多视角学习眼睛注视方向检测方法，其流程如图1所示，包括以下步骤：

S1：用户目视图片数据的收集与整理清洗

本发明提出了一种目视显著点的快速收集用户目视图片数据的方法，实施过程如下：

1)将屏幕分为4×3(纵向横向)的网格，构造一段视频，视频中有一个显著点，显著点每次在方格的中心停留10秒，然后快速在这12个方格中心移动；

2)测试者身体正坐于屏幕前，采取平视姿势，目视该显著点，尽量保持头不要动，随着显著点的移动快速移动目视方向，我们通过屏幕上方的摄像头采集用户在接收测试时的视频，具体方法如图2所示；

3)通过将视频按帧拆分后，去除快速转移过程中的视频图片，留下用户在目视显著点时，前后图像未发生明显变化的图片，作为用户目视该显著点的图片数据，然后对图片进行去噪处理；

4)屏幕被划分为12个格子，标签L表示为L＝[l₁ l₂ … l₁₂]；每位用户经过采集，对图片的选择后会保留12张图片，作为该用户的目视图片的数据样本；

S2：提取用户目视图片中不同类型的特征

在收集完一定量的用户目视图片数据后，提取每张用户目视图片中的两类特征，1)瞳孔位置偏移量特征，2)人眼周围部分图像灰度的梯度特征；本发明在具体实施时通过AAM方法提取人脸部特征，通过Hough变化提取人眼部特征主要为瞳孔与虹膜的特征(特征提取的方法可以采用其他方法，如ASM提取人脸特征，Snake模型提取等)，由于提取的特征并不能很好的反映人眼注视，所以对特征进行组合补充，方法如图3所示；

图3为提取第一类特征的方法，AAM检测到人眼在相应坐标系下的坐标，有眼眶位置瞳孔中心位置，瞳孔周围的位置，以及眼眶周围的位置；第一类特征描述如公式(4)所示：

W＝{w₁,w₂,w₃,…,w_n} (1)

其中：w₁＝x₅，w₂＝y₅，

在此仅举部分例子，W中特征维度可以根据实际情况扩充至w_n；

第二类特征如公式(5)所示，为图片中灰度与直方图特征：

H＝{h₁,h₂,h₃,…,h_p} (2)

其中，h₁是眼部区域的灰度均值，h₂是眼部区域的灰度中值，h₃是灰度的标准差，可以拓展的特征还包括灰度的平滑度，灰度的熵，可扩充至h_p；

W表示瞳孔位置的偏移量特征，是考虑了人眼在目视不同显著点时瞳孔位置与眼眶位置的变化；H表示人眼周围部分图像灰度值的梯度特征，是考虑了在目视不同显著点时由于光照角度的不同，摄像头采集到的人眼部周围的灰度值的变化情况。两类特征都可以分别单独用于分析目视方向，但传统方法缺乏将两类特征的有效融合，缺乏对两类特征相关性的分析；

S3：运用CCA方法分析不同类型特征的相关性

本发明运用多视角学习技术中的典型相关分析学习不同类型的特征(W,H)之间的关系，将W，H投影到新的特征空间内，建立新的数据样本表示方法，学习数据特征之间深层次的关联，提高分类的准确度；构建矩阵A和B，因为两种类型的特征描述的是同一个数据样本，所以希望新的两类特征描述的显著点标签一致，即要求两类特征的相关性最大；基于典型关联分析的多视角学习技术核心是通过两个投影矩阵将不同类型的特征投影到新的特征空间。矩阵A和B为投影矩阵，令u＝A^TW、v＝B^TH,具体的求解步骤如下：

给定两类特征W与H，W的协方差矩阵为Σ_WW，H的协方差矩阵为Σ_HH，∑_WH＝cov(W,H)，∑_HW＝cov(H,W)，Σ_WH的转置矩阵为Σ_HW；W与H的协方差矩阵为∑，如公式(6)所示；公式(7)是u，v两类特征转换后的新特征空间下的相关系数Corr(u,v)：

目标为求Corr(u,v)最大，等同于优化公式(8)，同时满足公式(9)的条件：

max{A^TΣ_WHB} (5)

s.t.A^TΣ_WWA＝1&B^TΣ_HHB＝1 (6)

构造Lagrangian等式如公式(10)所示：

其中λ、θ是Lagrangian参数，对A、B求偏导数,如公式(11)，(12)所示：

令偏导数等于0，并简化如公式(13),(14)所示：

根据约束条件，并将公式(13)，(14)做简单编写，推到得出λ＝θ，写成矩阵形式的公式(15):

从公式(15)发现，

是

所有特征向量组成的矩阵，令：

公式(16)中的矩阵Q的所有特征值组成的矩阵就是

求得矩阵A,B；

S4：使用SVM分类器建立多分类的目视方向检测模型

在求得A^TW与B^TH后，重新构建数据训练样本，形如[A^TW B^TH L]，建立基于SVM分类器多分类目视方向检测模型。SVM是一个经典的二分类分类器，分类效果良好，常用来做模式识别与检测，SVM的分类目标优化公式如公式(17)所示，其中α,β都是模型参数，可以通过数据训练后求得，f_i是新特征空间下的数据样本，如[A^TW B^TH L]，l_i是数据样本所对应的显著点的标签，但由于SVM分类器只能处理二分类问题，无法应用在多分类的分类场景中，故本发明采用基于DAG-SVM的多分类算法：

本发明建立基于SVM的多分类分类器，采用有向无环图的技术的SVM分类器(即DAG-SVM)，DAG-SVM相较于传统SVM多分类方法精度较高，当有k类类别时，使用k-1个基础SVM分类器；如附图5的DAG-SVM结构图所示，每次首先区分区别最大的一类与非同类，如首先选取最不可能的第1类和非第1类，以及第12类和非第12类，依次进行分类，最终将所有数据样本分为12类。采用DAG-SVM技术的分类器相较于传统人眼识别中采用的基本SVM分类器，运算量较小，减小了模型复杂度，提高了分类的准确性。

本发明首先通过一种快速采集用户目视图片数据的方法，通过显著点移动视频收集用户关注屏幕中12个显著特征点的人眼目视图片数据，提高了数据收集的质量和速度，避免了传统收集方法中需要用户多次目视屏幕中显著点采集图片的繁琐。将人眼目视图片数据进行去噪处理后，通过ASM方法提取人脸中瞳孔与眼眶的距离特征，通过图片的灰度片提取人眼目视图片中眼眶部分的灰度值的梯度特征。两类特征通过多视角学习中的典型相关分析(CCA)特征融合学习技术学习不同类型特征之间的相关性，求出两类特征在新的特征空间下的转化矩阵，形成新特征空间下的数据样本，如[A^TW B^TH L]。下一步将数据样本放入DAG-SVM分类训练器中，学习特征与人眼目视方向之间模型。整个模型相较于传统模型简单提取单一类型的特征，增强了人眼目视方向检测的鲁棒性，提高了人眼目视方式识别的准确率。

本发明中，针对传统人眼目视方向识别检测中的不足，提出了一种基于多视角学习的眼睛注视方向检测技术，发明技术在用户目视图片数据的快速收集、人眼目视不同类型特征提取与整合，人眼特征的多视角学习，人眼分类模型等关键技术上做出了创新。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于多视角学习的眼睛注视方向检测方法，其特征在于，包括以下步骤：

步骤1、样本用户目视图片数据采集

首先，屏幕上固定时间间隔移动一个显著特征点，并通过摄像头采集人眼注视移动显著特征点下的视频数据；然后通过帧的划分将视频数据划分为单张目视图片，并进行去噪处理后存储；最后，重复上述过程，采集若干样本用户目视图片数据，形成目视图片数据集；

步骤2、提取用户目视图片中特征

1)基于位置偏移的位置特征：首先通过AAM(Active Appreance Model)方法、ASM(Active Shape Mode)方法或Snake模型提取方法提取人脸部特征，然后通过Hough(霍夫)变化提取人眼部特征、包括瞳孔与眼眶特征，最后将人眼部特征转化为瞳孔到眼眶的水平、垂直方向的比率作为第一类特征；得到第一类特征矩阵：

其中、m表示样本用户个数、n表示第一类特征维度；

2)基于图片灰度值的特征：通过对用户目视图片中人眼部分的灰度值求取梯度作为第二类特征；得到第二类特征矩阵：

其中、m表示样本用户个数、p表示第二类特征维度；h_1m表示第m个用户的眼部区域的灰度均值，h_2m表示第m个用户的眼部区域的灰度中值，h_3m表示第m个用户的眼部区域的灰度标准差，拓展特征还包括灰度平滑度、灰度熵、直至h_pm；

步骤3、通过多视角学习方法(CCA)建立新的学习样本

采用矩阵A表示第一类特征样本W的转换矩阵，表示为：

采用矩阵B表示第二类特征样本H的转换矩阵，表示为：

其中，d＝min(rank(W),rank(H))、即为特征矩阵W、H矩阵秩的最小值，·^T表示矩阵转置；

求解转换矩阵A、B，将第一、第二类特征转换为在新的特征空间下的数据样本，表示为：

[A^TW B^TH L]

其中，L为显著特征点标签集合；

步骤4、基于步骤3得新的特征空间下的数据样本，建立基于支持向量机(SVM)的DAG-SVM多分类器进行人眼注视方向的分类检测。

Images