CN104978548A - 一种基于三维主动形状模型的视线估计方法与装置 - Google Patents

Abstract

本发明公开了一种基于三维主动形状模型的视线估计方法，包括：步骤1，利用两个相机获取用户的人脸正面图像作为训练数据；步骤2，对获取的图像进行二维关键点定位，包括瞳孔定位和图像中人脸的主动形状模型ASM定位；步骤3，对所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状；步骤4，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征；步骤5，根据得到的视线特征建立正面视点估计模型；在预测步骤，利用所述正面视点估计模型对预测样本进行人眼视线估计。利用本发明的方案，通过建立人脸三维ASM，显示地估计出人的头部姿态，从而提高视线估计对头部运动的适应性。

Description

一种基于三维主动形状模型的视线估计方法与装置

技术领域

本发明涉及视线估计技术领域，具体涉及一种基于三维主动形状模型的视线估计方法与系统。

背景技术

视线估计的发展经历了漫长的历程，从早期的直接观察法、机械记录法、电流记录法、电磁感应法以及光学记录法等发展到现在的基于视觉的视线估计方法,视线估计取得了很大的进步。尤其是在过去三十年，视线估计技术发展迅速，目前已经应用于人机交互、助老助残、车辆辅助驾驶、心理学分析、虚拟现实和军事等领域。一些比较成功的商业系统已经出现，如瑞典Tobii公司、德国SMI公司以及美国应用科学实验室（AppliedScience Laboratories,ASL）等研制出的一些列眼动仪。

基于计算机视觉的视线估计方法，由于其非入侵性，成为当今最为主流的方法。一个通用的基于视觉技术的视线估计系统，如图1所示，主要包括两部分，标定过程与预测过程。在标定过程中，让用户主动注视预先设定的位置，同时摄像头采集用户的图像序列，进而对用户头部、眼睛等参数进行估计。在预测过程中，计算机对于用户的任意注视状态，判断出用户的视线。其中主要包括眼睛检测与跟踪、眼睛的特征提取、头部姿态估计、视线估计等步骤。最后将所得到的用户的视线信息用于各种特定的应用场合。

视线估计是用来确定人的视线方向(Gaze direction)或具体的视点(PoR,Point of regard)。视线估计方法根据不同规则有多种分类方法，一般分为两类，基于外观(Appearance-based)的方法与基于特征(Feature-based)的方法（参见Hansen D W,Ji Q.In the eye of the beholder:a survey of models foreyes and gaze.IEEE Transactions on Pattern Analysis and MachineIntelligence,2010,32(3):478-500），按照适用光照环境也可以分为基于自然光的方法与基于红外光的方法。

基于外观的方法先定位出眼睛区域，直接建立眼睛图像与屏幕中视点坐标的映射关系，Baluja、Pomerleau（参见Baluja S,Pomerleau D.Non-intrusive gaze tracking using artificial neural networks.In:Proceedings ofAdvances in Neural Information Processing Systems,Colorado,USA:IEEE,1994.753-760）以及Xu（参见Xu,Li-Qun,Dave Machin,and Phil Sheppard."A Novel Approach to Real-time Non-intrusive Gaze Finding."BMVC.1998.）等提出用多层神经网络的方法来实现这种映射，但由于需要大量训练数据，以至于标定过程极其复杂，约2000-3000个标定点。图像数据是一个高维数据，Tan et al.（参见Tan K H,Kriegman D J,Ahuja N.Appearance-based eye gaze estimation[C].Applications of Computer Vision,2002.(WACV2002).Proceedings.Sixth IEEE Workshop on.IEEE,2002:191-195.）使用局部线性嵌入算法(Locally Linear Embedding)来学习眼睛图像的流形。Williams等（参见Williams O,Blake A,Cipolla R.Sparse andsemi-supervised visual mapping with the S3GP.In:Proceedings of IEEEConference on Computer Vision and Pattern Recognition,New York,USA:IEEE,2006.230-237）提出基于稀疏、半监督的高斯过程回归(Sparse,semi-supervised Gaussian process regression)的方法来减少训练数据，将标定点数降到16个。Feng等（参见Feng L,Sugano Y,Takahiro O,Sato Y.Inferring human gaze from appearance via adaptive linear regression.In:Proceedings of IEEE International Conference on Computer Vision,Barcelona:IEEE,2011.153-160）提出用自适应线性回归(Adaptive linear regression)进一步解决该问题，将标定点数降到9个。文献（参见Sugano Y,Matsushita Y,Sato Y.Appearance-based gaze estimation using visual saliency.IEEETransactions on Pattern Analysis and Machine Intelligence,2013,35(2):329-341以及Chen J,Ji Q.Probabilistic gaze estimation without activepersonal calibration.In:Proceedings of IEEE Conference on Computer Visionand Pattern Recognition,Providence,RI,USA:IEEE,2011.609-616）用图像中视觉显著性较强的点代表人的视点，以代替人为主动标定的过程，但该方法标定精度较差。然而，这些基于外观的方法都没能很好地解决头部运动问题。

由于基于外观的视线估计方法中存在种种问题，目前基于特征的视线估计仍是最为流行的方法（参见Hansen D W,Ji Q.In the eye of the beholder:a survey of models for eyes and gaze.IEEE Transactions on Pattern Analysisand Machine Intelligence,2010,32(3):478-500）。基于特征的方法需要提取眼睛的局部特征，如瞳孔中心，虹膜轮廓，眼角点，亮斑(glint，也叫角膜反射点，是光源在眼睛角膜上的反射点)等。其中最为常用的局部特征是瞳孔中心与亮斑中心点。基于特征的方法主要包括基于插值(Interpolation-based)的方法与基于三维模型(三维model-based)的方法。

PCCR(Pupil center cornea reflection,瞳孔中心角膜反射)视线估计方法是最常用的基于插值的视线估计技术，多个系统（参见Zhu Z,Ji Q.Noveleye gaze tracking techniques under natural head movement.IEEE Transactionson Biomedical Engineering,2007,54(12):2246-2260；和Hutchinson T E,White K P J,Martin W N,Reichert K C,Frey L A.Human-computerinteraction using eye-gaze input.IEEE Transactions on Systems,Man andCybernetics,1989,19(6):1527-1534；和Jacob R J K.Eye-Movement-BasedHuman-Computer Interaction Techniques:Towards Non-Command Interfaces.Norwood,NJ:Ablex Publishing corporation,1993.151-190；和Morimoto C H,Koons D,Amir A,Flickner M.Pupil detection and tracking using multiplelight sources.Image and Vision Computing,2000,18(4):331-335；以及Ebisawa Y,Ohtani M,Sugioka A.Proposal of a zoom and focus controlmethod using an ultrasonic distance-meter for video-based eye-gaze detectionunder free-hand condition.In:Proceedings of Ithe18th Annual InternationalConference of the IEEE Engineering in Medicine and Biology Society,Amsterdam:IEEE,1996.523-525）都是基于PCCR技术（参见Zhu Z,Ji Q.Novel eye gaze tracking techniques under natural head movement.IEEETransactions on Biomedical Engineering,2007,54(12):2246-2260）。该方法首先通过多个点(通常为9个点)的标定过程，建立瞳孔中心亮斑中心向量与屏幕中视点的映射关系，然后通过映射函数来完成视线估计。其中，最为常用的映射函数是二次多项式。该方法在头部固定的情况下取得了很好的性能，但是随着头部运动其性能迅速下降，并且该方法需要9个点的标定过程。Sigut等（参见Ebisawa Y,Ohtani M,Sugioka A.Proposal of a zoomand focus control method using an ultrasonic distance-meter for video-basedeye-gaze detection under free-hand condition.In:Proceedings of Ithe18thAnnual International Conference of the IEEE Engineering in Medicine andBiology Society,Amsterdam:IEEE,1996.523-525）通过将头部与相机的距离信息加入到映射函数，建立了新的映射函数，部分解决了头部运动的问题，但将标定点数增加到27个，增加了标定过程的复杂程度。

文献（参见Sesma-Sanchez L,Villanueva A,Cabeza R,Gaze EstimationInterpolation Methods Based on Binocular Data,IEEE Trans Biomed Eng59(8):2235–2243,2012；和Cerrolaza JJ,Villanueva A,Cabeza R,Taxonomicstudy of polynomial regressions applied to the calibration ofvideo-oculographic systems,Proc Eye tracking research&applications pp.259–266,2008；以及Hennessey CA,Lawrence PD,Improving the accuracyand reliability of remote system-calibration-free eyegaze tracking,IEEE TransBiomed Eng56(7):1891–1900,2009.）通过增加亮斑的个数来提高该方法对头部运动的适应性，取得了一定的效果。其中Cerrolaza（参见Cerrolaza JJ,Villanueva A,Cabeza R,Taxonomic study of polynomial regressions applied tothe calibration of video-oculographic systems,Proc Eye tracking research&applications pp.259–266,2008.）和Sesma等（参见Sesma-Sanchez L,Villanueva A,Cabeza R,Gaze Estimation Interpolation Methods Based onBinocular Data,IEEE Trans Biomed Eng59(8):2235–2243,2012.）从以下三个方面比较全面地评估了该类方法的效果：1）光源个数；2）多项式函数；3）PCCR向量的归一化方法。文中指出，对于光源个数，多个光源比单个光源能够更好的适应头部运动；对于多项式函数，高阶多项式相比二次多项式有明显的优势；对于归一化方法，用同一个眼睛的两个光斑的距离作为归一化因子取得了最好的效果。

文献（参见Yoo,Dong Hyun,and Myung Jin Chung."A novelnon-intrusive eye gaze estimation using cross-ratio under large head motion."Computer Vision and Image Understanding98.1(2005):25-51；以及Lee,Hyeon Chang,et al."Gaze tracking system at a distance for controlling IPTV."Consumer Electronics,IEEE Transactions on56.4(2010):2577-2583.）基于单个相机、四个亮斑信息，提出新的基于交比(cross-ratio)的视线估计方法，该方法能够较好的解决头部运动问题。Hansen等（参见Hansen,Dan Witzner,Javier San Agustin,and Arantxa Villanueva."Homography normalization forrobust gaze estimation in uncalibrated setups."Proceedings of the2010Symposium on Eye-Tracking Research&Applications.ACM,2010.）在此方法基础上提出单应归一化(Homography normalization)的方法，进一步提高了该方法的稳定性。尽管该方法对头部运动有较好的适应性，但是，在实际系统中，很难同时保证多个亮斑在角膜中清晰成像。

但是基于特征的方法，通常利用了红外光源在角膜中的反射点信息，而亮斑信息易受头部运动、姿态变化以及环境光等的影响，限制了该技术的适用条件。

现有基于外观的视线估计方法中，用到了整个眼睛的外观特征，因此对头部运动适应性差。

现有基于PCCR技术的视线估计方法中，用到了亮斑中心的位置信息，而亮斑信息易受头部运动、姿态变化以及环境光等的影响，限制了该技术的适用条件。

现有基于瞳孔中心与眼角点的视线估计方法中，只用到的二维瞳孔中心与眼角点信息，不足以表达人眼的视线变化，并且对头部运动适应性差。

发明内容

为了克服现有技术中存在的上述缺陷，本发明提出了一种基于三维主动形状模型的视线估计方法与系统。

根据本发明的一个方面，提出了一种基于三维主动形状模型的视线估计方法，该方法包括训练步骤和预测步骤：训练步骤进一步包括：步骤1，利用两个相机获取用户的人脸正面图像作为训练数据，训练数据包括多个训练样本，每个训练样本包括两个相机同时拍摄的两张图像；步骤2，针对步骤1中获取的每幅图像，进行二维关键点定位，包括瞳孔定位和图像中人脸的主动形状模型ASM定位；步骤3，对所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状，即人脸形状特征点在世界坐标系的三维坐标；步骤4，根据所述三维ASM形状确定左眼轮廓形状和右眼轮廓形状，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征；步骤5，根据得到的视线特征建立正面视点估计模型；在预测步骤，利用所述正面视点估计模型对预测样本进行人眼视线估计。

根据本发明的另一方面，提出了一种基于三维主动形状模型的视线估计装置，该装置包括：训练单元，用于根据训练数据中的每幅图像进行二维关键点定位，定位包括瞳孔定位和图像中人脸的主动形状模型ASM定位，并对所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状，即人脸形状特征点在世界坐标系的三维坐标，然后根据所述三维ASM形状确定左眼轮廓形状和右眼轮廓形状，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征，并根据得到的视线特征建立正面视点估计模型，其中训练数据是利用两个相机获取的用户的人脸正面图像，训练数据包括多个训练样本，每个训练样本包括两个相机同时拍摄的两张图像；预测单元，用于利用所述正面视点估计模型对预测样本进行人眼视线估计。

利用本发明的基于三维主动形状模型的视线估计方法与装置，通过建立人脸三维ASM(Active Shape Model，主动形状模型)，显示地估计出人的头部姿态，从而提高视线估计对头部运动的适应性。本发明只利用两个摄像机，不利用角膜反射点的信息，提高视线估计系统的应用范围。本发明由于不用角膜反射点信息，所以可以在自然光条件下使用，也可以在红外光条件下使用，并且可以应用与室外场景。在本发明的方法中提出了基于三维双眼眼睛轮廓与三维双眼瞳孔中心的视线特征，相对于传统基于二维瞳孔中心与眼角点的视线估计方法，本发明提出的视线特征不仅利用了整个眼睛轮廓的信息，并且也利用了深度信息（人脸距离摄像头的距离信息），从而更加全面与准确的表达了人眼的视线信息，进而提高视线估计的精度与稳定性。该方法相对于传统基于PCCR的方法，无需利用光斑信息，增加了视线估计的应用范围。

附图说明

图1是根据现有技术的基于计算机视觉的视线估计方法的流程图；

图2是根据本发明的基于三维主动形状模型的视线估计方法的原理图；

图3为本发明在数据采集过程中使用的屏幕与视点示意图。

图4为本发明瞳孔定位示意图，其中图4a为输入的图片，图4b为眼睛定位结果，图4c为瞳孔粗定位的圆形拟合结果，图4d为瞳孔精确定位的椭圆形拟合结果。

图5为根据本发明进行主动形状模型定位结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图2为本发明基于三维主动形状模型的视线估计方法的原理图。参照图2，该方法包括三维数据获取步骤、训练步骤以及预测步骤。其中在训练步骤中会使用到获取的三维数据，在预测步骤也会使用到获取的三维数据，所以该方法所包括的步骤也可以理解为包括训练步骤和预测步骤，其中训练步骤和预测步骤中又分别包含有三维数据获取步骤。在训练步骤中用的是训练数据，在测试步骤中用的是测试数据，训练数据是线下采集的一批数据，测试数据是指对与一个新的用户，现场采集的数据，对于数据采集过程，在训练步骤和预测步骤中，二维关键点获取和三维数据获取等过程都是一模一样的。

在训练步骤，首先选择两个相机，这两个相机最好参数都相同，然后对两个相机进行相机标定，相机标定是该领域目前已有的成熟技术，具体例如可见参考文献（Zhang Z.A flexible new technique for cameracalibration[J].Pattern Analysis and Machine Intelligence,IEEE Transactionson,2000,22(11):1330-1334.）。在完成相机标定后，让用户注视屏幕中指定的多个视点，在用户注视其中不同的视点时，通过两个相机采集相应的正面人脸图像，使用这两个相机同时采集用户的正面人脸图片，然后分别对每个相机获取的图像进行二维关键点定位，其中二维关键点定位包括二维图像中人脸的主动形状模型(ASM，Active Shape Model)定位以及瞳孔定位。然后利用立体视觉技术，获取这些关键点的三维坐标。利用从图像中得到的关键点的三维坐标，建立该用户的正面人脸三维ASM模型。同时，让用户注视屏幕中指定的多个视点，在用户注视其中不同的视点时，通过两个相机采集相应的正面人脸图像，建立正面视点估计模型。

该训练步骤进一步包括：

步骤201：获取训练数据。在该步骤，采集带有视点标签的训练数据。如图3所示，在屏幕中标有多个点，让用户依次注视屏幕中的点，在用户注视每一个点时，用两个相机采集用户的人脸图像。图3中给出了三种不同的视点模式，一般点数越多，视线估计精度越高。为了得到正面人脸三维ASM模型，并且建立正面视点估计模型，在训练数据采集过程中，要求头部固定在相同的位置，并且保持头部姿态不变。

步骤202：利用两个相机采集到的用户的每一幅正面人脸图片，进行二维关键点定位。二维关键点定位包括瞳孔定位与二维图像中人脸的主动形状模型(ASM，Active Shape Model)定位。

本发明利用一种由粗到精的瞳孔定位算法，该算法对眼镜、眼睫毛、亮斑、瞳孔部分被遮挡、图片模糊等都有较好的适应性，记瞳孔中心点为p，表示瞳孔中心在二维图像中的坐标。瞳孔定位过程包括以下各步骤：

第一步，眼睛定位。由于受到眼镜、鼻孔、眼睫毛以及其他背景的干扰，直接进行瞳孔定位比较困难，故先进行眼睛定位，以去除部分背景的影响。本发明用基于SVM（参见Sigu J,Sidha S A.Iris center cornealreflection method for gaze tracking using visible light.IEEE Transactions onBiomedical Engineering,2011,58(2):411-419）训练的方法定位眼睛，用EOH(Edge orientation histograms,边缘梯度直方图)特征（参见Sesma-Sanchez L,Villanueva A,Cabeza R,Gaze Estimation InterpolationMethods Based on Binocular Data,IEEE Trans Biomed Eng59(8):2235–2243,2012.）表示眼睛的梯度信息。在主动红外光源的配合下，该方法能够有效确定眼睛的粗略位置。图4a为输入的图片，图4b为眼睛定位结果。

第二步，瞳孔粗定位。本发明用镜像对称变换（参见Cerrolaza JJ,Villanueva A,Cabeza R,Taxonomic study of polynomial regressions applied tothe calibration of video-oculographic systems,Proc Eye tracking research&applications pp.259–266,2008.）算法进行瞳孔粗定位，镜像对称变换是一种稳定的圆检测算法。该算法对眼睫毛、瞳孔部分被遮挡、眼镜等都有较好的适应性。经过瞳孔粗定位，得到的瞳孔中心基本在瞳孔内部，如图4(c)所示。

第三步，瞳孔精确定位。一般情况下，瞳孔与成像平面不平行，因此在图像中瞳孔近似为椭圆形状。圆的中心并不能精确的代表瞳孔的中心，为了获取更加精确的瞳孔中心位置，则需要进行椭圆精确定位。Starburst(星状散射)算法（参见Hennessey CA,Lawrence PD,Improving the accuracy andreliability of remote system-calibration-free eyegaze tracking,IEEE TransBiomed Eng56(7):1891–1900,2009.）是一种精确的椭圆定位算法，本发明用其进行瞳孔精确定位，精确定位如图4（d）所示。

对于单幅人脸图像，本发明采用ASM（参见P.Xiong,L.Huang,and C.Liu.Initialization and pose alignment in active shape model.In2010International Conference on Pattern Recognition,pages3971–3974.IEEE,2010）获取人脸二维ASM形状，该人脸二维ASM形状使用一组二维特征点连接而成，使用s进行表示：

$s=\left(\begin{array}{cccc}{u}_1& u_2& \·\·\·& u_n\\ v_1& v_2& \·\·\·& v_n\end{array}\right)---\left(1\right)$

其中， $\left(\begin{array}{cccc}{u}_1& u_2& \·\·\·& u_n\\ v_1& v_2& \·\·\·& v_n\end{array}\right)$ 表示构成s的n个特征点在图像中的二维坐标，n通常选择在30-100之间，如图5所示。

步骤203：三维关键点重建。本发明利用立体视觉技术对二维关键点进行三维坐标重建，得到双眼瞳孔中心的三维坐标为（3*2的实数空间）表示左右眼瞳孔中心在世界坐标系中的三维坐标。得到人脸三维ASM为，表示人脸形状特征点在世界坐标系的三维坐标。

$P=\left(\begin{array}{cc}{\mathrm{px}}_1& {\mathrm{px}}_2\\ {\mathrm{py}}_1& {\mathrm{py}}_2\\ {\mathrm{pz}}_1& {\mathrm{pz}}_2\end{array}\right)---\left(2\right)$

$S=\left(\begin{array}{cccc}{x}_1& x_2& \·\·\·& x_n\\ y_1& y_2& \·\·\·& y_n\\ z_1& z_2& \·\·\·& z_n\end{array}\right)---\left(3\right)$

其中P表示左眼瞳孔中心的三维坐标和右眼瞳孔中心的三维坐标组成的矩阵，即左眼的瞳孔中心点与右眼的瞳孔中心点的三维坐标，px₁，py₁，pz₁表示左眼瞳孔中心在世界坐标系中的三维坐标。px₂，py₂，pz₂表示右眼瞳孔中心在世界坐标系中的三维坐标。世界坐标系，有x轴，y轴，z轴，故有三个值，x_i、y_i、z_i是ASM中第i个点在世界坐标系中的三维坐标。

步骤204:建立正面人脸三维ASM模型。对于m个训练样本，可以得到S¹,S²,…,S^m总共m个三维ASM模型，其中m个训练样本是指每个相机采集的图像的个数。两个相机同时采集图像，所获取的图像个数相同。具体而言，相机1采集m幅图像，相机2采集m幅图像，两个相机采集的图像一一对应，组成m个“图像对”，即m个训练样本。对于m个训练样本，通过对二维关键点定位并进行三维坐标重建，得到m个左右眼瞳孔中心在世界坐标系中的三维坐标和m个人脸三维ASM，m不是视点数量，每个视点需要采集多个训练样本，m大于视点个数。在训练数据采集过程中，要求头部固定在相同的位置，并且保持头部姿态不变。因此，可以通过平均这m个三维ASM模型，得到最终的正面人脸三维ASM模型，记为

$\stackrel{\‾}{S}=\frac{1}{m}{\mathrm{\Σ}}_{i=1}^m{S}^i---\left(4\right)$

步骤205，特征提取。对于一个输入，即一个样本，在训练过程中叫训练样本，在预测过程中叫预测样本，一个样本为一个图像对，根据步骤203得到了该输入的关键点的三维坐标，即人脸三维ASM形状S和瞳孔中心坐标P。记人脸三维ASM形状S中左眼轮廓形状为EL，右眼轮廓形状为ER。

$\mathrm{EL}=\left(\begin{array}{cccc}{x}_1^{\′}& x_2^{\′}& \·\·\·& x_k^{\′}\\ y_1^{\′}& y_2^{\′}& \·\·\·& y_k^{\′}\\ z_1^{\′}& z_2^{\′}& \·\·\·& z_k^{\′}\end{array}\right)---\left(5\right)$

$\mathrm{ER}=\left(\begin{array}{cccc}{x}_{k+1}^{\′}& x_{k+2}^{\′}& \·\·\·& x_{2*k}^{\′}\\ y_{k+1}^{\′}& y_{k+2}^{\′}& \·\·\·& y_{2*k}^{\′}\\ z_{k+1}^{\′}& z_{k+2}^{\′}& \·\·\·& z_{2*k}^{\′}\end{array}\right)---\left(6\right)$

其中(x′_i,y′_i,z′_i)^T表示眼睛轮廓的第i个关键点的三维坐标(1≤i≤2k)，左眼和右眼都包括k个关键点，EL与ER为S的子集。本发明提出用双眼轮廓与瞳孔中心的相对位置作为特征，来表示人眼的视线变化：

$\mathrm{fl}={({\left(\begin{array}{c}{x}_1^{\′}-{\mathrm{px}}_1\\ y_1^{\′}-{\mathrm{py}}_1\\ z_1^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,{\left(\begin{array}{c}{x}_2^{\′}-{\mathrm{px}}_1\\ y_2^{\′}-{\mathrm{py}}_1\\ z_2^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_k^{\′}-{\mathrm{px}}_1\\ y_k^{\′}-{\mathrm{py}}_1\\ z_k^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T)}^T---\left(7\right)$

$\mathrm{fr}={({\left(\begin{array}{c}{x}_{k+1}^{\′}-{\mathrm{px}}_2\\ y_{k+1}^{\′}-{\mathrm{py}}_2\\ z_{k+1}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,{\left(\begin{array}{c}{x}_{k+2}^{\′}-{\mathrm{px}}_2\\ y_{k+2}^{\′}-{\mathrm{py}}_2\\ z_{k+2}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_{2k}^{\′}-{\mathrm{px}}_2\\ y_{2k}^{\′}-{\mathrm{py}}_2\\ z_{2k}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T)}^T---\left(8\right)$

$f=\left(\begin{array}{c}\mathrm{fl}\\ \mathrm{fr}\end{array}\right)---\left(9\right)$

其中 分别表示左右眼的视线特征，表示基于三维双眼轮廓和瞳孔中心的视线特征，d＝6×k表示特征维数。

步骤206：建立正面视点估计模型。对于采集的m个训练数据，完成步骤205后，可以得到特征集F表示步骤205中提取的m个特征组成的矩阵，第i个特征记为f_i，f_i是一个d维的向量，表示第i个样本的特征，相应的视点坐标为g_i(1≤i≤m)是第i个训练样本的视点在屏幕中的二维坐标。该步骤建立特征点与视点坐标的映射模型，这里应用线性回归模型解释。除了线性回归模型，本发明也可以使用岭回归，支持向量回归等回归方法。线性模型如下：

G＝wF+b   （10）

其中表示回归系数，表示回归偏移，利用最小二乘方法可以求解出参数w和b。

在预测步骤，用户注视屏幕中的任意位置，首先利用得到的关键点的三维坐标和训练过程中得到的正面人脸三维ASM模型进行头部姿态估计，并对人脸三维轮廓和瞳孔三维坐标进行姿态校正。然后利用三维瞳孔中心与三维眼睛轮廓，进行特征提取。最后，利用正面视点估计模型进行视点估计。

预测步骤则进一步包括以下各步骤。

步骤301：获取预测数据。预测数据也就是预测样本，一个样本就是一个图像对，是两个相机同时拍摄得到的图像组合。预测样本与训练样本获取方式相同。预测数据是实时获取的，测试过程中，人站在相机前，两个相机采集人的正面人脸图像，没采集一次记为一个预测数据。

步骤302：对预测样本的图片进行二维关键点定位以及三维关键点重建，与步骤202和步骤203相同，得到预测图片的三维关键点坐标，包括三维ASM形状S*，三维瞳孔坐标P*。

步骤303：头部姿态校正。头部姿态校正的目的是为了解决视线估计系统中的头部运动问题，提高视线估计的稳定性。在该步骤，首先求解头部姿态，根据正面人脸三维ASM形状模型与预测数据的三维ASM形状S*，可以通过求解如下优化函数，来求解头部姿态：

$(\hat{R},\hat{t})={\arg \min }_{R,t}{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{(R\left(\begin{array}{c}{\stackrel{\‾}{x}}_i\\ {\stackrel{\‾}{y}}_i\\ {\stackrel{\‾}{z}}_i\end{array}\right)+t-\left(\begin{array}{c}{x}_i^{*}\\ y_i^{*}\\ z_i^{*}\end{array}\right))}^T(R\left(\begin{array}{c}{\stackrel{\‾}{x}}_i\\ {\stackrel{\‾}{y}}_i\\ {\stackrel{\‾}{z}}_i\end{array}\right)+t-\left(\begin{array}{c}{x}_i^{*}\\ y_i^{*}\\ z_i^{*}\end{array}\right))---\left(11\right)$

其中，表示头部相对于正面人脸的旋转矩阵，表示平移向量，为最终求解得到的旋转矩阵与平移向量，表示形状的第i个点的三维坐标，表示形状S*的第i个点的三维坐标，1≤i≤n，α_i表示各个关键点的权重因子。然后，对预测数据中三维点的坐标进行姿态校正。利用求解得到的头部姿态将预测数据的三维关键点坐标变换到正面的头部模型中去。得到经过头部姿态校正后的三维关键点坐标，记为，和

$\left(\begin{array}{c}{\hat{x}}_i\\ {\hat{y}}_i\\ {\hat{z}}_i\end{array}\right)=R^{-1}(\left(\begin{array}{c}{x}_i^{*}\\ y_i^{*}\\ z_i^{*}\end{array}\right)-t),1\≤i\≤n---\left(12\right)$

$\left(\begin{array}{c}{\widehat{\mathrm{px}}}_j\\ {\widehat{\mathrm{py}}}_j\\ {\widehat{\mathrm{pz}}}_j\end{array}\right)=R^{-1}(\left(\begin{array}{c}p{x}_j^{*}\\ p{y}_j^{*}\\ p{z}_j^{*}\end{array}\right)-t),1\≤j\≤2---\left(13\right)$

其中表示校正后形状的第i点的三维坐标。表示校正前瞳孔中心P中第j个（左右）瞳孔中心的三维坐标，表示校正后瞳孔中心中第j个（左右）瞳孔中心的三维坐标。

步骤304：对预测数据经过姿态校正后，对校正后的进行特征提取得到预测数据的特征提取过程与步骤205相同。

步骤305：视点估计。用步骤304得到的特征与步骤206建立的正面视点估计模型G＝wF+b进行视点估计，对于预测样本，可以根据如下公式计算预测样本的视点坐标：

$\hat{g}=w\hat{f}+b---\left(14\right)$

其中，表示对预测数据进行估计得到的最终的视点坐标。步骤306：视点输出。输出估计的用户的视点坐标，或者将其用于相应的应用。

本发明还提出了一种基于三维主动形状模型的视线估计装置。该装置可实现上述基于三维主动形状模型的视线估计方法。该装置包括：训练单元，用于根据训练数据中的每幅图像进行二维关键点定位，定位包括瞳孔定位和图像中人脸的主动形状模型ASM定位，并对所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状，即人脸形状特征点在世界坐标系的三维坐标，然后根据所述三维ASM形状确定左眼轮廓形状和右眼轮廓形状，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征，并根据得到的视线特征建立正面视点估计模型，其中训练数据是利用两个相机获取的用户的人脸正面图像，训练数据包括多个训练样本，每个训练样本包括两个相机同时拍摄的两张图像；预测单元，用于利用所述正面视点估计模型对预测样本进行人眼视线估计。

在该装置中，其中训练单元所实现的训练过程以及预测单元实现的预测过程在上述结合附图描述的本发明的方法中都已经进行了详细的描述，在此不再赘述。

本发明只利用两个摄像机，不利用角膜反射点的信息，提高视线估计系统的应用范围。

本发明提出的基于双眼三维轮廓与双眼瞳孔中心的新的视线特征，更好的描述眼睛的视线变化。该特征不仅利用了眼角信息，并且利用了整个眼睛轮廓信息，这些信息随与人眼视线变化有密切的关系。因此有利于提高视线估计的精度与稳定性。

本发明利用三维ASM模型，显示估计头部姿态，从而提高视线估计系统对头部运动的适应性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于三维主动形状模型的视线估计方法，该方法包括训练步骤和预测步骤：

训练步骤进一步包括：

步骤1，利用两个相机获取用户的人脸正面图像作为训练数据，训练数据包括多个训练样本，每个训练样本包括两个相机同时拍摄的两张图像；

步骤2，针对步骤1中获取的每幅图像，进行二维关键点定位，包括瞳孔定位和图像中人脸的主动形状模型ASM定位；

步骤3，利用所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状；

步骤4，根据所述人脸三维ASM形状确定左眼轮廓形状和右眼轮廓形状，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征；

步骤5，根据得到的视线特征建立正面视点估计模型；

在预测步骤，利用所述正面视点估计模型对预测样本进行人眼视线估计。

2.根据权利要求1所述的方法，其特征在于，所述训练样本是用户在注视屏幕中特定视点时通过两个相机拍摄的人脸正面图像，预测样本是用户进行任意注视时通过两个相机拍摄的人脸正面图像。

3.根据权利要求2所述的方法，其特征在于，在步骤3中，双眼瞳孔中心的三维坐标为P，人脸三维ASM形状为S，其中 $P=\left(\begin{array}{cc}{\mathrm{px}}_1& {\mathrm{px}}_2\\ {\mathrm{py}}_1& {\mathrm{py}}_2\\ {\mathrm{pz}}_1& {\mathrm{pz}}_2\end{array}\right),$ $S=\left(\begin{array}{cccc}{x}_1& x_2& \·\·\·& x_n\\ y_1& y_2& \·\·\·& y_n\\ z_1& z_2& \·\·\·& z_n\end{array}\right),$ (px₁,py₁,pz₁)表示左眼瞳孔中心坐标，(px₂,py₂,pz₂)表示右眼瞳孔中心坐标，S由n个三维的特征点组成，n个特征点的三维坐标分别为（x₁,y₁,z₁）...(x_n,y_n,z_n)；

人脸三维ASM形状S中左眼轮廓形状为EL，右眼轮廓形状为ER，分别表示为：

$\mathrm{EL}=\left(\begin{array}{cccccc}{x}_1^{\′}& x_2^{\′}& \·\·\·& x_i^{\′}& \·\·\·& x_k^{\′}\\ y_1^{\′}& y_2^{\′}& \·\·\·& y_i^{\′}& \·\·\·& y_k^{\′}\\ z_1^{\′}& z_2^{\′}& \·\·\·& z_i^{\′}& \·\·\·& z_k^{\′}\end{array}\right),$

$\mathrm{ER}=\left(\begin{array}{cccccc}{x}_{k+1}^{\′}& x_{k+2}^{\′}& \·\·\·& x_i^{\′}& \·\·\·& x_{2*k}^{\′}\\ y_{k+1}^{\′}& y_{k+2}^{\′}& \·\·\·& y_i^{\′}& \·\·\·& y_{2*k}^{\′}\\ z_{k+1}^{\′}& z_{k+2}^{\′}& \·\·\·& z_i^{\′}& \·\·\·& z_{2*k}^{\′}\end{array}\right)$

其中(x′_i,y′_i,z′_i)^T表示眼睛轮廓的第i个关键点的三维坐标，(1≤i≤2k)，左眼和右眼都包括k个关键点，EL与ER为S的子集，

左眼和右眼的视线特征分别是：

$\mathrm{fl}={({\left(\begin{array}{c}{x}_1^{\′}-{\mathrm{px}}_1\\ y_1^{\′}-{\mathrm{py}}_1\\ z_1^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,{\left(\begin{array}{c}{x}_2^{\′}-{\mathrm{px}}_1\\ y_2^{\′}-{\mathrm{py}}_1\\ z_2^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_k^{\′}-{\mathrm{px}}_1\\ y_k^{\′}-{\mathrm{py}}_1\\ z_k^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T)}^T,$

$\mathrm{fr}={({\left(\begin{array}{c}{x}_{k+1}^{\′}-{\mathrm{px}}_2\\ y_{k+1}^{\′}-{\mathrm{py}}_2\\ z_{k+1}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,{\left(\begin{array}{c}{x}_{k+2}^{\′}-{\mathrm{px}}_2\\ y_{k+2}^{\′}-{\mathrm{py}}_2\\ z_{k+2}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_{2k}^{\′}-{\mathrm{px}}_2\\ y_{2k}^{\′}-{\mathrm{py}}_2\\ z_{2k}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T)}^T,$

双眼视线特征是： $f=\left(\begin{array}{c}\mathrm{fl}\\ \mathrm{fr}\end{array}\right).$

4.根据权利要求3所述的方法，其特征在于，步骤5进一步包括：

正面视点估计模型为：G＝wF+b，其中，R表示实数空间，m表示训练样本的数量，f₁，f₂，……f_m分别表示第1、第2和第m个训练样本对应的视线特征，d表示所提视线特征f的维数，d=6*k，k表示左眼和右眼轮廓都包括k个关键点；表示相应的视点坐标，g_i(1≤i≤m)是第i个训练样本的视点在屏幕中的二维坐标，表示回归系数，表示回归偏移，利用最小二乘方法求解出参数w和b。

5.根据权利要求4所述的方法，其特征在于，预测步骤进一步包括：

步骤7，用户注视屏幕中任意一点，通过所述两个相机获取人脸正面图像，作为预测样本；

步骤8，对所获取的人脸正面图像进行二维关键点定位以及三维关键点重建，得到三维关键点坐标，包括人脸三维ASM形状S*，三维瞳孔坐标P*；

步骤9，对预测样本中头部姿态进行校正；

步骤10：经过头部姿态校正后，对校正后得到的三维ASM形状、三维瞳孔坐标进行视线特征提取得到预测样本的双眼视线特征

步骤11，根据双眼视线特征以及所建立的正面视点估计模型G进行视点估计，得到：其中g_i(1≤i≤m)是表示对第i个预测样本进行估计得到的最终的视点坐标。

6.一种基于三维主动形状模型的视线估计装置，该装置包括：

训练单元，用于根据训练数据中的每幅图像进行二维关键点定位，定位包括瞳孔定位和图像中人脸的主动形状模型ASM定位，并对所述二维关键点进行三维坐标重建，得到左右眼瞳孔中心在世界坐标系中的三维坐标，并得到人脸三维ASM形状，即人脸形状特征点在世界坐标系的三维坐标，然后根据所述三维ASM形状确定左眼轮廓形状和右眼轮廓形状，使用双眼轮廓与瞳孔中心的相对位置来表示左右眼的视线特征，并根据得到的视线特征建立正面视点估计模型，其中训练数据是利用两个相机获取的用户的人脸正面图像，训练数据包括多个训练样本，每个训练样本包括两个相机同时拍摄的两张图像；

预测单元，用于利用所述正面视点估计模型对预测样本进行人眼视线估计。

7.根据权利要求6所述的装置，其特征在于，所述训练样本是用户在注视屏幕中特定视点时通过两个相机拍摄的人脸正面图像，预测样本是用户进行任意注视时通过两个相机拍摄的人脸正面图像。

8.根据权利要求7所述的装置，其特征在于，双眼瞳孔中心的三维坐标为P，人脸三维ASM形状为S，其中 $P=\left(\begin{array}{cc}{\mathrm{px}}_1& {\mathrm{px}}_2\\ {\mathrm{py}}_1& {\mathrm{py}}_2\\ {\mathrm{pz}}_1& {\mathrm{pz}}_2\end{array}\right),$ $S=\left(\begin{array}{cccc}{x}_1& x_2& \·\·\·& x_n\\ y_1& y_2& \·\·\·& y_n\\ z_1& z_2& \·\·\·& z_n\end{array}\right),$ (px₁,py₁,pz₁)表示左眼瞳孔中心坐标，(px₂,py₂,pz₂)表示右眼瞳孔中心坐标，S由n个三维的特征点组成，各特征点的三维坐标分别为（x₁,y₁,z₁）...(x_n,y_n,z_n)；

人脸三维ASM形状S中左眼轮廓形状为EL，右眼轮廓形状为ER，分别表示为：

$\mathrm{EL}=\left(\begin{array}{cccccc}{x}_1^{\′}& x_2^{\′}& \·\·\·& x_i^{\′}& \·\·\·& x_k^{\′}\\ y_1^{\′}& y_2^{\′}& \·\·\·& y_i^{\′}& \·\·\·& y_k^{\′}\\ z_1^{\′}& z_2^{\′}& \·\·\·& z_i^{\′}& \·\·\·& z_k^{\′}\end{array}\right),$

$\mathrm{ER}=\left(\begin{array}{cccccc}{x}_{k+1}^{\′}& x_{k+2}^{\′}& \·\·\·& x_i^{\′}& \·\·\·& x_{2*k}^{\′}\\ y_{k+1}^{\′}& y_{k+2}^{\′}& \·\·\·& y_i^{\′}& \·\·\·& y_{2*k}^{\′}\\ z_{k+1}^{\′}& z_{k+2}^{\′}& \·\·\·& z_i^{\′}& \·\·\·& z_{2*k}^{\′}\end{array}\right)$

其中(x′_i,y′_i,z′_i)^T表示眼睛轮廓的第i个关键点的三维坐标(1≤i≤2k)，左眼和右眼都包括k个关键点，EL与ER为S的子集，

左眼和右眼的视线特征分别是：

$\mathrm{fl}={({\left(\begin{array}{c}{x}_1^{\′}-{\mathrm{px}}_1\\ y_1^{\′}-{\mathrm{py}}_1\\ z_1^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,{\left(\begin{array}{c}{x}_2^{\′}-{\mathrm{px}}_1\\ y_2^{\′}-{\mathrm{py}}_1\\ z_2^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_k^{\′}-{\mathrm{px}}_1\\ y_k^{\′}-{\mathrm{py}}_1\\ z_k^{\′}-{\mathrm{pz}}_1\end{array}\right)}^T)}^T,$

$\mathrm{fr}={({\left(\begin{array}{c}{x}_{k+1}^{\′}-{\mathrm{px}}_2\\ y_{k+1}^{\′}-{\mathrm{py}}_2\\ z_{k+1}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,{\left(\begin{array}{c}{x}_{k+2}^{\′}-{\mathrm{px}}_2\\ y_{k+2}^{\′}-{\mathrm{py}}_2\\ z_{k+2}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T,\·\·\·,{\left(\begin{array}{c}{x}_{2k}^{\′}-{\mathrm{px}}_2\\ y_{2k}^{\′}-{\mathrm{py}}_2\\ z_{2k}^{\′}-{\mathrm{pz}}_2\end{array}\right)}^T)}^T,$ $f=\left(\begin{array}{c}\mathrm{fl}\\ \mathrm{fr}\end{array}\right)$ 表示双眼视线特征。

9.根据权利要求8所述的装置，其特征在于，所述正面视点估计模型为：G＝wF+b，其中，

R表示实数空间，m表示训练样本的数量，f₁，f₂，……f_m分别表示第1、第2和第m个训练样本对应的视线特征，d表示所提视线特征f的维数，d=6*k，k表示左眼和右眼轮廓都包括k个关键点；

表示相应的视点坐标，g_i(1≤i≤m)是第i个训练样本的视点在屏幕中的二维坐标，表示回归系数，表示回归偏移，利用最小二乘方法求解出参数w和b。

10.根据权利要求9所述的装置，其特征在于，预测样本是当用户注视屏幕中任意一点时，通过两个相机获取的人脸正面图片，预测单元对所获取的人脸正面图片进行二维关键点定位以及三维关键点重建，得到三维关键点坐标，包括三维ASM形状S*，三维瞳孔坐标P*，并且对预测样本中头部姿态进行校正，经过头部姿态校正后，对校正后的进行视线特征提取得到预测数据的双眼视线特征并根据视线特征以及所建立的正面视点估计模型G进行视点估计，得到：其中g_i(1≤i≤m)是表示对第i个预测样本进行估计得到的最终的视点坐标。