CN105303170A - 一种基于人眼特征的视线估计方法 - Google Patents

Abstract

一种基于人眼特征的视线估计方法，包括以下步骤：1)首先定义人眼特征；2)在定义人眼特征之后，利用模型(2)来估计视线方向，基于特征的自适应回归方法，通过ε来限制估计的特征Ew与真实特征的欧式距离，通过最小化||w||₁确定视线参数从而实现视线估计。本发明提供一种有效适用于人体头部转动的场合、适用性良好的基于人眼特征的视线估计方法。

Description

一种基于人眼特征的视线估计方法

技术领域

本发明涉及视线检测领域，尤其是一种视线估计方法。

背景技术

目前，视线估计的方法主要可以分为三类：电磁线圈法、眼电图法和基于图像的方法。电磁线圈法虽然具有较高的精度，但是会与眼球直接接触，造成不适；眼电图法的成本较低，但是需要借助敏感度较高的传感器，并且检测的结果容易受到人体代谢活动和外界环境影响；基于图像的方法分为接触式和非接触式，其中接触式需要额外的佩戴设备，对实验造成较大干扰，非接触式具有干扰低、成本低、操作方便等优点，是目前视线检测领域的主要发展方向。但大部分方法都无法适用于头部转动的场合，并且适用性较差。

发明内容

为了克服已有现有视线估计方法无法适用于人体头部转动的场合、适用性较差的不足，本发明提供一种有效适用于人体头部转动的场合、适用性良好的基于人眼特征的视线估计方法。

本发明解决其技术问题所采用的技术方案是：

一种基于人眼特征的视线估计方法，所述视线估计方法包括以下步骤：

1)首先定义人眼特征，如式(1)所示：

$e_i=\frac{(y_{l1}-p_l,y_{l2}-p_l,\mathrm{...},y_{l6}-p_l,y_{r1}-p_r,y_{r2}-p_r,\mathrm{...},y_{r6}-p_r)}{\underset{j=1}{\overset{6}{\Σ}}\left(\right||y_{lj}-p_l||+||y_{r2}-p_r|\left|\right)}---\left(1\right)$

其中e_i表示第i张图像的人眼特征向量，y_lj表示左眼的第j个特征点坐标，y_rj表示右眼的第j个特征点坐标，p_l表示左眼的虹膜中心，p_r表示右眼虹膜中心，特征向量{e_i}∈R^m；

2)在定义人眼特征之后，利用以下模型(2)来估计视线方向，如下所示：

$\left\{\begin{array}{c}\hat{e}=\underset{i}{\Σ}{w}_i{e}_i\\ \underset{i}{\Σ}{w}_i=1\\ \widehat{\mathrm{\θ}}=\underset{i}{\Σ}{w}_i{\mathrm{\θ}}_i\end{array}\right.---\left(2\right)$

其中，{e_i}表示训练集的特征，{θ_i}表示视线的角度，为一个二维向量，包含水平方向的角度和垂直方向的角度，{w_i}为计算角度的权重值；

假定{e'_j}和{θ_j'}分别表示{e_i}与{θ_i}的权重值不为0的子集，如式(2)所示，在视线估计模型中假定特征子空间与视线方向是成线性关系的，

基于特征的自适应回归方法原理如下：

$\left\{\begin{array}{c}AE=\mathrm{\θ}\\ E=\[e_1,e_2,\mathrm{...},e_n\]\∈R^{m\×n}\\ \mathrm{\θ}=\[{\mathrm{\θ}}_1,{\mathrm{\θ}}_2,\mathrm{...},{\mathrm{\θ}}_n\]\end{array}\right.---\left(3\right)$

其中，A∈R^2×m为关系矩阵，m为训练样本数，n为特征维数，当训练样本数大于特征维数即n＞m时，精确的视线估计是针对其中的一个子集来{(e'_j,x'_j)}来计算的，转换公式表示为下式：

$\left\{\begin{array}{c}{A}^{\&prime;}{E}^{\&prime;}={\mathrm{\&theta;}}^{\&prime;}\\ E^{\&prime;}=\&lsqb;e_1^{\&prime;},e_2^{\&prime;},\mathrm{...},e_{n^{\&prime;}}^{\&prime;}\&rsqb;\&Element;E^{m\&times;n^{\&prime;}}\\ n^{\&prime;}<m\end{array}\right.---\left(4\right)$

为了准确估计关系矩阵A'，必须要确定子集{e'_j,x'_j}，其中子集的选择由下式确定：

$\left\{\begin{array}{c}\hat{w}={\mathrm{argmin}}_w\left|\right|w|{|}_0\\ Ew=\hat{e}\&Element;R^m\end{array}\right.---\left(5\right)$

由于定义的人眼特征幅值是1，所以式中w满足1^Tw＝1，然后角度的计算通过下式确定：

$\begin{array}{c}\widehat{\mathrm{\&theta;}}=A^{\&prime;}\hat{e}=A^{\&prime;}E\hat{w}=A^{\&prime;}{E}^{\&prime;}{\hat{w}}^{\&prime;}+A^{\&prime;}{E}^0{\hat{w}}^0\\ ={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+0={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+X^0{\hat{w}}^0=X\hat{w}\&Element;R^2\end{array}---\left(6\right)$

当足够稀疏时，利用下式来求解

$\left\{\begin{array}{c}w={\mathrm{argmin}}_w\left|\right|w|{|}_1\\ \left|\right|Ew-\hat{e}|{|}_2<\mathrm{\&epsiv;}\end{array}\right.---\left(7\right)$

通过ε来限制估计的特征Ew与真实特征的欧式距离，通过最小化||w||₁确定视线参数从而实现视线估计。

本发明的技术构思为：人头部朝向的角度可以被分为三个角度，及水平偏移(yaw),垂直倾斜角(Pitch)和旋转角(Roll)。在利用梯度下降法计算得到人脸的特征点后，利用POSIT方法^[81]计算头部朝向。设定视线偏移的三个角度分别为水平偏移，垂直倾斜，和旋转方向的偏移角度0度。

本发明的视线估计方法，首先检测人脸图片中的人脸区域，然后利用虹膜中心定位算法定位虹膜中心，接着利SDM算法跟踪定位人眼的眼角及眼皮上的特征点，利用这些特征点的坐标作为人眼特征来实现头部静止情况下的视线方向，最后通过POSIT算法计算头部朝向，最终允许头部转动的视线方向是由两个方向叠加而成。

本发明的有益效果主要表现在：有效适用于人体头部转动的场合、适用性良好。

附图说明

图1是基于人眼特征的视线估计方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种基于人眼特征的视线估计方法，包括以下步骤：

1)首先定义人眼特征，如式(1)所示：

$e_i=\frac{(y_{l1}-p_l,y_{l2}-p_l,\mathrm{...},y_{l6}-p_l,y_{r1}-p_r,y_{r2}-p_r,\mathrm{...},y_{r6}-p_r)}{\underset{j=1}{\overset{6}{\&Sigma;}}\left(\right||y_{lj}-p_l||+||y_{r2}-p_r|\left|\right)}---\left(1\right)$

其中e_i表示第i张图像的人眼特征向量，y_lj表示左眼的第j个特征点坐标，y_rj表示右眼的第j个特征点坐标，p_l表示左眼的虹膜中心，p_r表示右眼虹膜中心，特征向量{e_i}∈R^m,即具有m＝12维空间。

2)在定义人眼特征之后，利用以下模型(2)来估计视线方向，如下所示：

$\left\{\begin{array}{c}\hat{e}=\underset{i}{\&Sigma;}{w}_i{e}_i\\ \underset{i}{\&Sigma;}{w}_i=1\\ \widehat{\mathrm{\&theta;}}=\underset{i}{\&Sigma;}{w}_i{\mathrm{\&theta;}}_i\end{array}\right.---\left(2\right)$

其中，{e_i}表示训练集的特征，{θ_i}表示视线的角度，为一个二维向量，包含水平方向的角度和垂直方向的角度，{w_i}为计算角度的权重值；

假定{e'_j}和{θ_j'}分别表示{e_i}与{θ_i}的权重值不为0的子集，如式(2)所示，在视线估计模型中假定特征子空间与视线方向是成线性关系的，当校准的角度足够小即校准的点数足够多时，这个关系可以得到保证的，然而这个需要采集人眼看屏幕的多个点下的眼睛特征，即使用者需要校准多个点后开始进行视线估计；当训练样本的点是稀疏采集的时候，这个线性关系是还是成立的，即需要通过优化选择训练集来确保线性关系^]。采用自适应回归方法，将图片分为15个小部分，利用每个小图像区域的像素和表示图像特征，采集的图像特征为15维的特征，然后将特征匹配到屏幕上的点，图像特征为人眼的眼皮，眼角，虹膜中心这些特征点，匹配的目标为视线角度，所以再叠加头部朝向后能够视线允许头部转动的视线估计。

基于特征的自适应回归方法原理如下：

$\left\{\begin{array}{c}AE=\mathrm{\&theta;}\\ E=\&lsqb;e_1,e_2,\mathrm{...},e_n\&rsqb;\&Element;R^{m\&times;n}\\ \mathrm{\&theta;}=\&lsqb;{\mathrm{\&theta;}}_1,{\mathrm{\&theta;}}_2,\mathrm{...},{\mathrm{\&theta;}}_n\&rsqb;\end{array}\right.---\left(3\right)$

其中，A∈R^2×m为关系矩阵，m为训练样本数，n为特征维数，在特征维数为12(人眼眼皮，眼角，虹膜中心等12个点)，训练样本数为18(校准屏幕上的9个点得来的18个方程)，当训练样本数大于特征维数即n＞m时，方程的解是由最小二乘法等方法确定，然而每个角度都会包含误差，这个方法并不能很好的估计视线方向；所以精确的视线估计是针对其中的一个子集来{(e'_j,x'_j)}来计算的，转换公式表示为下式：

$\left\{\begin{array}{c}{A}^{\&prime;}{E}^{\&prime;}={\mathrm{\&theta;}}^{\&prime;}\\ E^{\&prime;}=\&lsqb;e_1^{\&prime;},e_2^{\&prime;},\mathrm{...},e_{n^{\&prime;}}^{\&prime;}\&rsqb;\&Element;E^{m\&times;n^{\&prime;}}\\ n^{\&prime;}<m\end{array}\right.---\left(4\right)$

由上式看出，为了准确估计关系矩阵A'，必须要确定子集{e'_j,x'_j}，其中子集的选择由下式确定：

$\left\{\begin{array}{c}\hat{w}={\mathrm{argmin}}_w\left|\right|w|{|}_0\\ Ew=\hat{e}\&Element;R^m\end{array}\right.---\left(5\right)$

由于定义的人眼特征幅值是1，所以式中w满足1^Tw＝1，然后角度的计算通过下式确定：

$\begin{array}{c}\widehat{\mathrm{\&theta;}}=A^{\&prime;}\hat{e}=A^{\&prime;}E\hat{w}=A^{\&prime;}{E}^{\&prime;}{\hat{w}}^{\&prime;}+A^{\&prime;}{E}^0{\hat{w}}^0\\ ={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+0={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+X^0{\hat{w}}^0=X\hat{w}\&Element;R^2\end{array}---\left(6\right)$

通过式(6)，得出只要计算式(5)中的而不是获取关系矩阵A'，然而，解决这个问题是一个NP难问题，所以参考自适应回归方法来解这个方程，具体办法是当足够稀疏时，利用下式来求解

$\left\{\begin{array}{c}w={\mathrm{argmin}}_w\left|\right|w|{|}_1\\ \left|\right|Ew-\hat{e}|{|}_2<\mathrm{\&epsiv;}\end{array}\right.---\left(7\right)$

通过ε来限制估计的特征Ew与真实特征的欧式距离，通过最小化||w||₁确定视线参数从而实现视线估计。

Claims (1)

1.一种基于人眼特征的视线估计方法，其特征在于：所述视线估计方法包括以下步骤：

1)首先定义人眼特征，如式(1)所示：

$e_i=\frac{(y_{l1}-p_l,y_{l2}-p_l,\mathrm{...},y_{l6}-p_l,y_{r1}-p_r,y_{r2}-p_r,\mathrm{...},y_{r6}-p_r)}{\underset{j=1}{\overset{6}{\&Sigma;}}\left(\right||y_{lj}-p_l||+||y_{r2}-p_r|\left|\right)}---\left(1\right)$

其中e_i表示第i张图像的人眼特征向量，y_lj表示左眼的第j个特征点坐标，y_rj表示右眼的第j个特征点坐标，p_l表示左眼的虹膜中心，p_r表示右眼虹膜中心，特征向量{e_i}∈R^m；

2)在定义人眼特征之后，利用以下模型(2)来估计视线方向，如下所示：

$\left\{\begin{array}{c}\hat{e}=\underset{i}{\&Sigma;}{w}_i{e}_i\\ \underset{i}{\&Sigma;}{w}_i=1\\ \widehat{\mathrm{\&theta;}}=\underset{i}{\&Sigma;}{w}_i{\mathrm{\&theta;}}_i\end{array}\right.---\left(2\right)$

其中，{e_i}表示训练集的特征，{θ_i}表示视线的角度，为一个二维向量，包含水平方向的角度和垂直方向的角度，{w_i}为计算角度的权重值；

假定{e'_j}和{θ′_j}分别表示{e_i}与{θ_i}的权重值不为0的子集，如式(2)所示，在视线估计模型中假定特征子空间与视线方向是成线性关系的，

基于特征的自适应回归方法原理如下：

$\left\{\begin{array}{c}AE=\mathrm{\&theta;}\\ E=\&lsqb;e_1,e_2,\mathrm{...},e_n\&rsqb;\&Element;R^{m\&times;n}\\ \mathrm{\&theta;}=\&lsqb;{\mathrm{\&theta;}}_1,{\mathrm{\&theta;}}_2,\mathrm{...},{\mathrm{\&theta;}}_n\&rsqb;\end{array}\right.---\left(3\right)$

其中，A∈R^2×m为关系矩阵，m为训练样本数，n为特征维数，当训练样本数大于特征维数即n＞m时，精确的视线估计是针对其中的一个子集来{(e'_j,x'_j)}来计算的，转换公式表示为下式：

$\left\{\begin{array}{c}{A}^{\&prime;}{E}^{\&prime;}={\mathrm{\&theta;}}^{\&prime;}\\ E^{\&prime;}=\&lsqb;e_1^{\&prime;},e_2^{\&prime;},...,e_{n^{\&prime;}}^{\&prime;}\&rsqb;\&Element;R^{m\&times;n^{\&prime;}}\\ n^{\&prime;}<m\end{array}\right.---\left(4\right)$

为了准确估计关系矩阵A'，必须要确定子集{e'_j,x'_j}，其中子集的选择由下式确定：

$\left\{\begin{array}{c}\hat{w}={\mathrm{argmin}}_w\left|\right|w|{|}_0\\ Ew=\hat{e}\&Element;R^m\end{array}\right.---\left(5\right)$

由于定义的人眼特征幅值是1，所以式中w满足1^Tw＝1，然后角度的计算通过下式确定：

$\begin{array}{c}\widehat{\mathrm{\&theta;}}=A^{\&prime;}\hat{e}=A^{\&prime;}E\hat{w}=A^{\&prime;}{E}^{\&prime;}{\hat{w}}^{\&prime;}+A^{\&prime;}{E}^0{\hat{w}}^0\\ ={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+0={\mathrm{\&theta;}}^{\&prime;}{\hat{w}}^{\&prime;}+X^0{\hat{w}}^0=X\hat{w}\&Element;R^2\end{array}---\left(6\right)$

当足够稀疏时，利用下式来求解

$\left\{\begin{array}{c}w={\mathrm{argmin}}_w\left|\right|w|{|}_1\\ \left|\right|Ew-\hat{e}|{|}_2<\mathrm{\&epsiv;}\end{array}\right.---\left(7\right)$

通过ε来限制估计的特征Ew与真实特征的欧式距离，通过最小化||w||₁确定视线参数从而实现视线估计。