CN109598207A - 一种基于卷积神经网络的快速人眼跟踪方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的快速人眼跟踪方法，包括步骤：1)制作人眼跟踪数据集和人眼验证数据集；2)用人眼跟踪数据集训练人眼跟踪卷积网络，使用人眼验证数据集训练人眼验证卷积网络，训练方法为带动量的小批量梯度下降法，损失函数为均方误差；3)获取视频中的初始人眼位置；4)使用人眼跟踪卷积网络在随后的视频帧中追踪人眼；5)使用人眼验证卷积网络验证人眼追踪结果是否准确；6)若步骤5)判定人眼跟踪结果不准确，则重新进入步骤3)获取初始人眼位置；若准确则读取下一视频帧回到步骤4)继续追踪人眼。本发明突破现有追踪方法错误率高，速度慢，无法应对复杂的现实场景的问题。

Description

一种基于卷积神经网络的快速人眼跟踪方法

技术领域

本发明涉及图像识别的技术领域，尤其是指一种基于卷积神经网络的快速人眼跟踪方法。

背景技术

人眼检测与跟踪是人脸识别、表情识别、眼动分析、虹膜识别、疲劳检测等技术的必要步骤，具有广泛的应用与研究意义。

近年来卷积神经网络使计算机视觉、图像识别领域的技术性能得到质的提升，在目标检测、目标识别、目标分类等计算机视觉任务的准确度上大幅超过以往的技术，甚至超过人眼。但是将卷积神经网络用于追踪人眼的研究和发明还很少，因此本文发明一个用于追踪人眼的卷积神经网络，兼备高准确度与高运行速度。并且针对追踪过程中可能出现追踪错误或目标消失的问题，提出了一个人眼验证网络来纠正错误。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于卷积神经网络的快速人眼跟踪方法，突破现有追踪方法错误率高，速度慢，无法应对复杂的现实场景的问题。

为实现上述目的，本发明所提供的技术方案为：一种基于卷积神经网络的快速人眼跟踪方法，包括以下步骤：

1)制作人眼跟踪数据集和人眼验证数据集；

2)用人眼跟踪数据集训练人眼跟踪卷积网络，使用人眼验证数据集训练人眼验证卷积网络，训练方法为带动量的小批量梯度下降法，损失函数为均方误差；

3)获取视频中的初始人眼位置；

4)使用人眼跟踪卷积网络在随后的视频帧中追踪人眼；

5)使用人眼验证卷积网络验证人眼追踪结果是否准确；

6)若步骤5)判定人眼跟踪结果不准确，则重新进入步骤3)获取初始人眼位置；若准确则读取下一视频帧回到步骤4)继续追踪人眼。

在步骤1)中，制作人眼跟踪数据集和人眼验证数据集包括以下步骤：

1.1)获取公开的人脸数据集AFLW，AFLW人脸数据集有约25000张图片，每张图片都标注了人面及人眼中心等特征点的坐标；

1.2)从人脸数据集制作人眼跟踪数据集：以每个人眼中心点标注为中心，随机偏移裁剪出一块正方形图像块，设双眼间距为m，则裁剪边长l为0.7*m～1.1*m之间均匀分布的随机整数，随机偏移s_x,s_y为-0.45l～0.45l之间均匀分布的随机整数；然后将原来的人眼中心标注坐标换算成裁剪以后相对于图像块中心的坐标，归一化后作为人眼跟踪数据集的标注；每个人眼以不同的随机偏移和边长重复这个过程10次；

1.3)将所有人眼图像块用双线性插值法调整至26*26的大小，即制作出一批包含人眼及其相应人眼中心位置标注的人眼跟踪数据集；

1.4)制作人眼验证数据集：将人眼跟踪数据集的坐标标注换算成离图像块中心的距离，方法是计算坐标的平方和然后开根号；然后往数据集加入等量的从人脸数据集中随机裁剪出的不包含人眼的图像块，大小也调整至26*26，标注值均设为1。

在步骤2)中，人眼跟踪卷积网络与人眼验证卷积网络结构如下：

首先是4个卷积核大小为3*3的卷积层，前两个卷积层之后都有一个步长为2的最大池化层；接着把两个最大池化层和最后两个卷积层的输出特征图展平成一维向量并堆叠到一起；随后是三个全连接层，除了最后一个全连接层以外其它卷积层和全连接层都使用prelu为激活函数，训练时第二个全连接层之后会使用0.5倍率的drop out防止过拟合；人眼跟踪卷积网络的卷积核数量从第一层到第四层分别是32、64、128、256，三个全连接层的输出数量分别是256、128、2，最后输出的两个浮点数代表人眼中心在图像块中的归一化位置，[0,0]代表图像中心点；人眼验证卷积网络的卷积核数量和全连接层输出数量都是人眼跟踪卷积网络的一半，以提高运算速度，最后输出一个浮点数代表人眼离图像中心的距离。

在步骤3)中，获取初始人眼位置包括以下步骤；

3.1)在图像帧中运行由Kaipeng Zhang提出的Joint Face Detection andAlignment using Multi-task Cascaded Convolutional Networks，简称MTCNN，检测人面及人眼位置；

3.2)若检测到人面及人眼，则初始人眼位置获取完成；若没检测到人面，则每隔3帧再运行一次MTCNN获取人面及人眼位置直到检测出人面。

在步骤4)中，追踪人眼包括以下步骤：

4.1)在当前处理的图像帧上以上一帧检测/追踪到的人眼位置为中心截取一个图像块，图像块长宽均为上一帧双眼间的距离；

4.2)将截取出的图像块用双线性插值法调整大小至26*26；

4.3)将图像块输入人眼跟踪卷积网络得到人眼相对图像块中心的浮点数位置，然后转换成在整张图中的绝对坐标即为追踪得到的人眼位置。

在步骤5)中，验证人眼追踪结果包括以下步骤：

5.1)以当前帧追踪到的人眼位置为中心截取一个图像块，图像块长宽均为当前帧双眼间的距离；

5.2)将截取出的图像块用双线性插值法调整大小至26*26；

5.3)将图像块输入人眼验证卷积网络得到人眼相对图像块中心的距离，若人眼验证卷积网络的输出值大于0.3，则判定人眼追踪不准确，否则认为准确。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明使用一个卷积神经网络来对人眼进行跟踪，比传统方法更可靠准确，验证集平均误差仅3.52％。

2、本发明为人眼追踪设计了一个高效准确的卷积网络结构，通过堆叠多层的特征输出，整合不同分辨率不同层次的语义特征，大大提供准确性；同时通过对比实验确定效率较高的卷积核数量和输入尺寸，在i5CPU下运行速度可达50fps。

3、本发明为人眼追踪增加了一个验证步骤，防止因各种原因出现的追踪错误，大大提高可靠性。

4、本发明提供一个从人面数据集制作人眼追踪数据集的方法，因为公开的人面数据十分充足，解决了人眼跟踪卷积网络的训练数据问题。

附图说明

图1为本发明跟踪人眼流程图。

图2为本发明的人眼跟踪卷积网络结构图。

图3为本发明制作数据集示意图。

具体实施方式

下面结合具体例子对本发明作进一步说明。

本实施例所提供的基于卷积神经网络的快速人眼跟踪方法，首先制作训练数据集，流程如图3所示；然后用数据集训练人眼跟踪卷积网络及人眼验证卷积网络，人眼跟踪卷积网络结果如图2；之后就可以使用训练好的卷积网络进行人眼跟踪，跟踪流程如图1所示。具体来说，包括以下步骤：

1)制作人眼跟踪数据集和人眼验证数据集，具体如下：

1.1)获取公开的人脸数据集AFLW，AFLW人脸数据集有约25000张图片，每张图片都标注了人面及人眼中心等特征点的坐标，是网络上公开的数据库，可以在其官网上获取；

1.2)从人脸数据集制作人眼跟踪数据集：以每个人眼中心点标注为中心，随机偏移裁剪出一块正方形图像块，设双眼间距为m，则裁剪边长l为0.7*m～1.1*m之间均匀分布的随机整数，随机偏移s_x，s_y为-0.45l～0.45l之间均匀分布的随机整数，随机偏移和边长的设置范围是为了让样本尽可能覆盖实际中会出现的状况；然后将原来的人眼中心标注坐标换算成裁剪以后相对于图像块中心的坐标，归一化后作为人眼跟踪数据集的标注；每个人眼以不同的随机偏移和边长重复这个过程10次；

以图3为例，以左眼为中心随机裁剪出一个图像块作为人眼样本：此人面的左眼中心标注坐标为(1071,1095)，右眼为(1557,1075)。则双眼间距l约为486.4个像素，按照上文所述在0.7*l～1.1m*l之间，即约340.4～535之间生成随机整数作为随机裁剪的边长。设随机生成的边长为400，按上所述在随机偏移在-0.45l～0.45l之间即-180～180之间；设随机生成的偏移值s_x＝-100，s_y＝100，则本次裁剪的中心点坐标为x_t:1071-100＝971，y_t:1095+100＝1195，以x_t，y_t为中心裁剪出边长为400的矩形即得到一个人眼样本，而人眼中心位于这个图像块的(-100，100)处，而边长为400时坐标区间为-200～200，则归一化后的标注坐标为(-100/200,100/200)＝(-0.5，0.5)；

1.3)将所有人眼图像块用双线性插值法调整至26*26的大小，即制作出一批包含人眼的及其相应人眼中心位置标注的人眼跟踪数据集；

1.4)制作人眼验证数据集：将人眼跟踪数据集的坐标标注换算成离图像块中心的距离，方法是计算坐标的平方和然后开根号，以人眼跟踪坐标标注(-0.5,0.5)为例，对应的人眼验证标注约为0.707；然后往数据集加入等量的从人脸数据集中随机裁剪出的不包含人眼的图像块，大小也调整至26*26，标注值均设为1。

2)用人眼跟踪数据集训练人眼跟踪卷积网络，使用人眼验证数据集训练人眼验证卷积网络，训练方法为使用带动量的小批量梯度下降法优化网络参数，使网络输出与标注间的均方误差最小；

所述的人眼跟踪卷积网络与人眼验证卷积网络结构为：首先是4个卷积核大小为3*3的卷积层，前两个卷积层之后都有一个步长为2的最大池化层；接着把两个最大池化层和最后两个卷积层的输出特征图展平成一维向量并堆叠到一起；随后是三个全连接层，除了最后一个全连接层以外其他卷积层和全连接层都使用prelu为激活函数，训练时第二个全连接层之后会使用倍率为0.5的drop out防止过拟合；人眼跟踪卷积网络的卷积核数量从第一层到第四层分别是32，64，128，256，三个全连接层的输出数量分别是256，128，2，最后输出的两个浮点数代表人眼中心在图像块中的归一化位置，[0,0]代表图像中心点；人眼验证卷积网络的卷积核数量和全连接层输出数量都是人眼跟踪卷积网络的一半，以提高运算速度，最后输出一个浮点数代表人眼离图像中心的距离。

3)获取视频中的初始人眼位置，具体如下：

3.1)在图像帧中运行由Kaipeng Zhang提出的Joint Face Detection andAlignment using Multi-task Cascaded Convolutional Networks(简称MTCNN)，检测人面及人眼位置；

3.2)若检测到人面及人眼，则初始人眼位置获取完成；若没检测到人面，则每隔3帧再运行一次MTCNN获取人面及人眼位置直到检测出人面。

4)使用人眼跟踪卷积网络在随后的视频帧中追踪人眼，具体如下：

4.1)在当前处理的图像帧上以上一帧检测/追踪到的人眼位置为中心截取一个图像块，图像块长宽均为上一帧双眼间的距离；

4.2)将截取出的图像块用双线性插值法调整大小至26*26；

4.3)将图像块输入人眼跟踪卷积网络得到人眼相对图像块中心的浮点数位置，然后转换成在整张图中的绝对坐标即为追踪得到的人眼位置。

设上一帧某张人面上追踪或检测得到的左眼位置为(800，600)，右眼位置为(1000，580),则双眼间距约为201。假设现在要追踪当前帧左眼，那么以(800，600)为中心截取出边长为201的图像块，图像块左上角点坐标则为(800-201/2，600-201/2)≈(700，500)，并用双线性插值法调整至26*26的大小。将这个图像块输入训练好的人眼跟踪卷积网络，得到两个浮点数，假设为(0.3,0.2)。则追踪得到的左眼位置为(800+0.3*201/2,600+0.2*201/2)≈(830,620)。

5)使用人眼验证卷积网络验证人眼追踪结果是否准确，具体如下：

5.1)以当前帧追踪到的人眼位置为中心截取一个图像块，图像块长宽均为当前帧双眼间的距离；

5.2)将截取出的图像块用双线性插值法调整大小至26*26；

5.3)将图像块输入人眼验证卷积网络得到人眼相对图像块中心的距离，若人眼验证卷积网络的输出值大于0.3则判定人眼追踪不准确，否则认为准确。

6)若步骤5)判定人眼跟踪结果不准确，则重新进入步骤3)获取初始人眼位置；若准确则读取下一视频帧回到步骤4)继续追踪人眼。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，包括以下步骤：

1)制作人眼跟踪数据集和人眼验证数据集；

2)用人眼跟踪数据集训练人眼跟踪卷积网络，使用人眼验证数据集训练人眼验证卷积网络，训练方法为带动量的小批量梯度下降法，损失函数为均方误差；

3)获取视频中的初始人眼位置；

4)使用人眼跟踪卷积网络在随后的视频帧中追踪人眼；

5)使用人眼验证卷积网络验证人眼追踪结果是否准确；

6)若步骤5)判定人眼跟踪结果不准确，则重新进入步骤3)获取初始人眼位置；若准确则读取下一视频帧回到步骤4)继续追踪人眼。

2.根据权利要求1所述的一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，在步骤1)中，制作人眼跟踪数据集和人眼验证数据集包括以下步骤：

1.1)获取公开的人脸数据集AFLW，AFLW人脸数据集有约25000张图片，每张图片都标注了人面及人眼中心等特征点的坐标；

1.2)从人脸数据集制作人眼跟踪数据集：以每个人眼中心点标注为中心，然后随机偏移裁剪出一块正方形图像块；设双眼间距为m，则裁剪边长l为0.7*m～1.1*m之间均匀分布的随机整数，随机偏移s_x,s_y为-0.45l～0.45l之间均匀分布的随机整数；然后将原来的人眼中心标注坐标换算成裁剪以后相对于图像块中心的坐标，归一化后作为人眼跟踪数据集的标注；每个人眼以不同的随机偏移和边长重复这个过程10次；

1.3)将所有人眼图像块用双线性插值法调整至26*26的大小，即制作出一批包含人眼及其相应人眼中心位置标注的人眼跟踪数据集；

1.4)制作人眼验证数据集：将人眼跟踪数据集的人眼坐标标注换算成人眼中心离图像块中心的距离，方法是计算坐标的平方和然后开根号；然后往数据集加入等量的从AFLW人脸数据集中随机裁剪出的不包含人眼的图像块，大小也调整至26*26，标注值均设为1。

3.根据权利要求1所述的一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，在步骤2)中，人眼跟踪卷积网络与人眼验证卷积网络结构如下：

首先是4个卷积核大小为3*3的卷积层，前两个卷积层之后都有一个步长为2的最大池化层；接着把两个最大池化层和最后两个卷积层的输出特征图展平成一维向量并堆叠到一起；随后是三个全连接层，除了最后一个全连接层以外其它卷积层和全连接层都使用prelu为激活函数，训练时第二个全连接层之后会使用drop out防止过拟合；人眼跟踪卷积网络的卷积核数量从第一层到第四层分别是32、64、128、256，三个全连接层的输出数量分别是256、128、2，最后输出的两个浮点数代表人眼中心在图像块中的归一化位置，[0,0]代表图像中心点；人眼验证卷积网络的卷积核数量和全连接层输出数量都是人眼跟踪卷积网络的一半，以提高运算速度，最后输出一个浮点数代表人眼离图像中心的距离。

4.根据权利要求1所述的一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，在步骤3)中，获取初始人眼位置包括以下步骤；

3.1)在图像帧中运行由Kaipeng Zhang提出的Joint Face Detection and Alignmentusing Multi-task Cascaded Convolutional Networks，简称MTCNN，检测人面及人眼位置；

3.2)若检测到人面及人眼，则初始人眼位置获取完成；若没检测到人面，则每隔3帧再运行一次MTCNN获取人面及人眼位置直到检测出人面。

5.根据权利要求1所述的一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，在步骤4)中，追踪人眼包括以下步骤：

4.1)在当前处理的图像帧上以上一帧检测/追踪到的人眼位置为中心截取一个图像块，图像块长宽均为上一帧双眼间的距离；

4.2)将截取出的图像块用双线性插值法调整大小至26*26；

4.3)将图像块输入人眼跟踪卷积网络得到人眼相对图像块中心的浮点数位置，然后转换成在整张图中的绝对坐标即为追踪得到的人眼位置。

6.根据权利要求1所述的一种基于卷积神经网络的快速人眼跟踪方法，其特征在于，在步骤5)中，验证人眼追踪结果包括以下步骤：

5.1)以当前帧追踪到的人眼位置为中心截取一个图像块，图像块长宽均为当前帧双眼间的距离；

5.2)将截取出的图像块用双线性插值法调整大小至26*26；

5.3)将图像块输入人眼验证卷积网络得到人眼相对图像块中心的距离，若人眼验证卷积网络的输出值大于0.3，则判定人眼追踪不准确，否则认为准确。