CN108681699A - 一种基于深度学习的视线估计方法及视线估计装置 - Google Patents

Abstract

本发明提供一种基于深度学习的视线估计方法，包括：采集人脸图像，并上传至服务器；对人脸图像进行数据增强，以增加深度学习的训练精度；在数据增强过的人脸图像上标注出特征点坐标；对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t即：实施方法的装置，包括：人脸图像采集终端、图像增强模块、特征点坐标标注模块、特征点坐标预估模块、特征点坐标定位训练模块与视线估计模块。本发明可解决目前视线估计需要佩戴特殊的仪器带来的成本过高，携带不便等问题。

Description

一种基于深度学习的视线估计方法及视线估计装置

技术领域

本发明涉及一种视线追踪方法，尤其是一种基于深度学习的视线估计方法及视线估计装置。

背景技术

对人眼注视点的估计一直都是人们感兴趣的课题，高精度注视点估计技术愈加成熟.在心理学领域,注视点估计技术已逐渐成为心理评估的重要辅助方式，在广告心理学、体育心理学、交通心理学、航空心理学等领域中发挥着重要的作用，除此之外，注视点估计技术还可作为一种新型的人机交互(human-computer interaction，HCI)手段，为高位截瘫患者或“渐冻人”患者带来福音.更广泛的应用还包括：驾驶员疲劳安全警告系统、战斗机飞行员火控系统、虚拟现实系统和游戏操作系统等。

最近几年,随着图像处理技术的高速发展和高分辨率的摄像机器的应用,人眼视线检测的精度已经达到很高的程度。但是目前人眼视线检测技术仍然不像语音识别、手写文字输入技术发展的那样成熟，其主要的原因是成本问题。高分辨率的摄像机以及与之相关的图像处理算法的复杂所带来的价格是它无法普及的主要原因。但是可以预见,它以后在人机交互、驾驶员疲劳检测、助残、空中导航、军事等方面都具有广阔的前景。

目前，现有的视线识别方法分为三种：以电磁学手段为基础的视线识别方法，以光学手段为基础的视线识别方法和基于视频图像处理的视线识别方法。

现有方案的缺点：

(1)视线估计标定过程复杂；

(2)使用环境受限、头部运动受限；

(3)需专业眼动仪等设备，价格昂贵，成本太高，难以满足大部分实际应用的要求，从而限制了其在实际场合中的应用与推广。

发明内容

针对上述问题中存在的不足之处，本发明提供一种可解决目前视线估计需要佩戴特殊的仪器带来的成本过高，携带不便等问题的一种基于深度学习的视线估计方法及视线估计装置。

为实现上述目的，本发明提供一种基于深度学习的视线估计方法，包括以下步骤：

步骤1、采集人脸图像，并上传至服务器；

步骤2、对人脸图像进行数据增强，以增加深度学习的训练精度；

步骤3、在数据增强过的人脸图像上标注出特征点坐标；

步骤4、对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；

步骤5、对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

上述的一种基于深度学习的视线估计方法，其中，在步骤3中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

上述的一种基于深度学习的视线估计方法，其中，步骤4的具体方法如下：

步骤41、对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

步骤42、提取级联中的每个回归r_t(·，·)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

步骤43、设定已经训练数据(I₁，S₁)，...，(I_n，S_n)，其中I_i是人脸图像，S_i是其形状向量；

步骤44、在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1，...，n}

i＝1，...，N；

步骤45、设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁，...，S_n}；

步骤46、基于每张图像的初始形状预估平均随机采样特征{S₁，...，S_n}，以学习回归方程r₀；

步骤47、通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

上述的一种基于深度学习的视线估计方法，其中，步骤5中，设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)，

上式中，(Δx′，Δy′)为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：

另外，本发明同时还提供一种基于深度学习的视线估计装置，包括：

人脸图像采集终端，用于采集人脸图像，并上传至服务器；

图像增强模块，用于对人脸图像进行数据增强，以增加深度学习的训练精度；

特征点坐标标注模块，用于在数据增强过的人脸图像上标注出特征点坐标；

特征点坐标预估模块，用于对已标注的特征点坐标进行预估；

特征点坐标定位训练模块，用于对预估后的特征点坐标进行定位训练；

视线估计模块，用于对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

上述的装置，其中，在所述特征点坐标标注模块中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

上述的装置，其中，所述特征点坐标预估模块包括第一预估单元与第二预估单元；

所述第一预估单元对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

所述第二预估单元提取级联中的每个回归r_t(·，·)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

上述的装置，其中，所述特征点坐标定位训练模块用于设定已经训练数据集(I₁，S₁)，...，(I_n，S_n)，其中I_i是人脸图像，S_i是其形状向量；

在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1，...，n}

i＝1，...，N；

设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁，...，S_n}；

基于每张图像的初始形状预估平均随机采样特征{S₁，...，S_n}，以学习回归方程r₀；

通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

上述的装置，其中，所述视线估计模块设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx，Δy)＝(Δx，Δy)×k(cosλ+isinλ)，

上式中，(Δx′，Δy′)为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：

与现有技术相比，本发明具有以下优点：

本发明通过对人脸数据集进行瞳孔，视线注视点等特征点的标定，再经过计算机深度学习，训练出视线估计模型库，能摆脱视线估计对眼动仪等专业设备的依赖，并有效准确地进行视线估计；

本发明采用的是将视频图像处理与机器深度学习相结合的方法，通过标定大量人脸数据集中的眼睛位置、瞳孔位置和目光注视点，从而形成新型的视线识别数据集，再通过机器不断自主学习，从这些大量数据集中识别所标定的特征点，最后形成一个高精度的视线估计模型库，该模型能自动识别视频和图像中的眼睛、瞳孔的位置，并能估计视线注视点。

附图说明

图1为本发明中方法部分的流程图；

图2为本发明中装置部分的结构框图。

主要附图标记说明如下：

1-人脸图像采集终端；2-图像增强模块；3-特征点坐标标注模块；4-特征点坐标预估模块；5-特征点坐标定位训练模块6-视线估计模块

具体实施方式

如图1所示，本发明提供一种基于深度学习的视线估计方法，包括以下步骤：

步骤1、采集人脸图像，并上传至服务器。

其中，采用图像采集终端采集人脸图像，通过人工智能接口自动标定人脸图像中视线的角度，并将所有设备采集到的图像上传至服务器进行统一管理。

另外，图像采集终端在采集到人脸图像后，对所采集到的人脸图像进行预处理，包括尺寸归一化，去平均等。

步骤2、对人脸图像进行数据增强，以增加深度学习的训练精度。

其中，对采集到的人脸图像进行数据增强，如取左右镜像，取若干截图。如此可使数据集成倍增加。从而增加深度学习的训练精度。

步骤3、在数据增强过的人脸图像上标注出特征点坐标。

其中，在步骤3中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

步骤4、对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度。

其中，步骤4的具体方法如下：

步骤41、对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

步骤42、提取级联中的每个回归r_t(.,.)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

步骤43、设定已经训练数据(I₁,S₁),...,(I_n,S_n)，其中I_i是人脸图像，S_i是其形状向量；

步骤44、在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1,...,n}

i＝1,...,N；

步骤45、设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁,...,S_n}；

步骤46、基于每张图像的初始形状预估平均随机采样特征{S₁,...,S_n}，以学习回归方程r₀；

步骤47、通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

步骤5、对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

其中，步骤5中，设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)，

上式中，(Δx′，Δy′)为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：

在步骤5中，为了补偿个体差异对视线估计的影响，采用以下三种方法：

方法一、当不同的使用者在同一位置注视同一点时，眼球的方位是大致相同的，因此(Δx，Δy)的方向是大致相同的，其方向的差异是由于视线和眼球光轴夹角的个体差异造成的，这个差异可以通过单点用户标定进行捕捉。

方法二、当不同的使用者在同一位置注视同一点时，(Δx，Δy)的长度差异往往大于方向的差异，其差异是由于角膜球面半径大小的个体差异造成的，这个差异也可以通过单点用户标定进行捕捉。

在方法一与方法二中，通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)。

方法二中，当角膜球面半径发生变化时，瞳孔中心p1发生线性变化，图像中的瞳孔中心p1也随之线性变化，而图像中的普尔钦斑g1不变，即角膜球面半径增加k倍，g1到p1的向量(Δx，Δy)长度随之增加k倍。

方法三、当不同的使用者在同一位置注视同一点时，可以认为是相同的。

步骤5的实施例如下：

本步骤是使用者和头部位置固定的情况下的视线映射函数

(Gx，Gy)＝f(Δx，Δy)。其函数规律总结如下：

Gx＝f_x(Δx，Δy)≈a1(Δy)+a2(Δy)Δx，

a₁(Δy)≈a₃+a₄Δy，

a₂(Δy)≈a₅+a₅Δy，

Gy＝f_y(Δx,Δy)≈b₁(Δx)+b₂Δy+b₃Δy²，

b₁(Δx)≈b₄+b₅Δx

可以看到，(Gx,Gy)＝f(Δx,Δy)中有8个未知数，通过4个以上的标定点就可以确定其关系，为了覆盖屏幕落点的各个区域，本文通过9点标定对应的18个等式对8个未知数进行多项式回归。这个回归过程只在建立模型的时候进行一次，一旦8个未知数已确定，以后不同使用者使用系统时，因为已经经过上个步骤的个体差异校准，所以可以直接使用这个视线映射函数，无需重新进行回归过程；(4)头部位置补偿由于二维图像不能提取眼睛的精确空间位置，采用视线特征向量L'_t反映眼睛的控件状态，通过SVR对由眼睛空间状态变化引起的视线估计误差进行回归，其表达式如下：

采用5个不同距离，每个距离上9个头部位置，在每个位置上注视屏幕上的9个点的方式，对视线估计误差函数f_Δ进行回归训练。这个训练过程只在建立模型的时候进行一次，以后不同使用者使用系统时，因为已经经过个体差异校准，所以可以直接使用f_Δ对头部位置引起的误差进行补偿，无需重新进行训练过程。头部位置补偿公式如下：

(Gx',Gy')＝(Gx,Gy)+(ΔGx,ΔGy)。

如图2所示，本发明提供一种基于深度学习的视线估计装置，包括：

人脸图像采集终端，用于采集人脸图像，并上传至服务器。

其中，人脸图像采集终端采集人脸图像，通过人工智能接口自动标定人脸图像中视线的角度，并将所有设备采集到的图像上传至服务器进行统一管理。

另外，图像采集终端在采集到人脸图像后，对所采集到的人脸图像进行预处理，包括尺寸归一化，去平均等。

图像增强模块，用于对人脸图像进行数据增强，以增加深度学习的训练精度。

其中，对采集到的人脸图像进行数据增强，如取左右镜像，取若干截图。如此可使数据集成倍增加。从而增加深度学习的训练精度。

特征点坐标标注模块，用于在数据增强过的人脸图像上标注出特征点坐标。

其中，在特征点坐标标注模块中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

特征点坐标预估模块，用于对已标注的特征点坐标进行预估。

其中，特征点坐标预估模块包括第一预估单元与第二预估单元；

第一预估单元对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

第二预估单元提取级联中的每个回归r_t(·，·)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

特征点坐标定位训练模块，用于对预估后的特征点坐标进行定位训练。

特征点坐标定位训练模块用于设定已经训练数据集(I₁，S₁)，...，(I_n，S_n)，其中I_i是人脸图像，S_i是其形状向量；

在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1，...，n}

i＝1，...，N；

设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁，...，S_n}；

基于每张图像的初始形状预估平均随机采样特征{S₁，...，S_n}，以学习回归方程r₀；

通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

视线估计模块，用于对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

其中，视线估计模块设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)，

上式中，(Δx′，Δy′)为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：

本发明先粗略定位眼眶，然后通过计算眼球中心到眼眶内侧的距离来进行人眼视线方向估计。首先，通过分析人脸特征，确定人眼在人脸中的大致范围，且其位置比例相对固定，根据这些值粗略判定眼眶位置，进而确定眼眶内侧位置。然后，建立了人脸不同姿态下人眼二维模型。然后通过机器深度学习，将不同姿态下人眼二维模型转化成高精度的视线估计模型库。

以上仅为本发明的较佳实施例，对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (9)

1.一种基于深度学习的视线估计方法，包括以下步骤：

步骤1、采集人脸图像，并上传至服务器；

步骤2、对人脸图像进行数据增强，以增加深度学习的训练精度；

步骤3、在数据增强过的人脸图像上标注出特征点坐标；

步骤4、对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；

步骤5、对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

2.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，在步骤3中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

3.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，步骤4的具体方法如下：

步骤41、对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

步骤42、提取级联中的每个回归r_t(.,.)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

步骤43、设定已经训练数据(I₁,S₁),...,(I_n,S_n)，其中I_i是人脸图像，S_i是其形状向量；

步骤44、在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1,...,n}

i＝1,...,N；

步骤45、设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁,...,S_n}；

步骤46、基于每张图像的初始形状预估平均随机采样特征{S₁,...,S_n}，以学习回归方程r₀；

步骤47、通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

4.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，步骤5中，设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx',Δy')＝(Δx,Δy)×k(cosλ+isinλ)，

上式中，(Δx',Δy')为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：

5.一种实施权利要求1中所述的一种基于深度学习的视线估计方法的装置，其特征在于，包括：

人脸图像采集终端，用于采集人脸图像，并上传至服务器；

图像增强模块，用于对人脸图像进行数据增强，以增加深度学习的训练精度；

特征点坐标标注模块，用于在数据增强过的人脸图像上标注出特征点坐标；

特征点坐标预估模块，用于对已标注的特征点坐标进行预估；

特征点坐标定位训练模块，用于对预估后的特征点坐标进行定位训练；

视线估计模块，用于对视线特征向量L_t进行视线估计后，以得到视线特征向量L′_t，即：

6.根据权利要求5所述的装置，其特征在于，在所述特征点坐标标注模块中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：

7.根据权利要求6所述的装置，其特征在于，所述特征点坐标预估模块包括第一预估单元与第二预估单元；

所述第一预估单元对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；

所述第二预估单元提取级联中的每个回归r_t(.,.)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：

8.根据权利要求6所述的装置，其特征在于，所述特征点坐标定位训练模块用于设定已经训练数据集(I₁,S₁),...,(I_n,S_n)，其中I_i是人脸图像，S_i是其形状向量；

在训练级联的第一回归方程r₀中，建立训练数据三联体，即，面部图像I_πi、初始形状预估和目标更新步幅其中：

π_i∈{1,...,n}

i＝1,...,N；

设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；

在每张图像中，得到初始形状预估平均随机采样特征{S₁,...,S_n}；

基于每张图像的初始形状预估平均随机采样特征{S₁,...,S_n}，以学习回归方程r₀；

通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：

9.根据权利要求6所述的装置，其特征在于，所述视线估计模块设定视线特征向量L_t，即：

通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：

(Δx',Δy')＝(Δx,Δy)×k(cosλ+isinλ)，

上式中，(Δx',Δy')为校准后的瞳孔中心到普尔钦斑向量；

经校验后，以得到视线特征向量L′_t，即：