CN110598635B - 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统 - Google Patents

Abstract

本发明提供一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统，其中方法包括获取连续视频帧，还包括以下步骤：将当前帧转化为灰度图像，并进行直方图均衡化操作；进行人脸定位；确定瞳孔中心位置；计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比为瞳孔中心位置量，计算公式为X％＝(|x₁‑x_外|)/(|x_内‑x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。本发明能够克服现有技术中存在的效率低、鲁棒性差、过于依赖初始状态等缺陷。

Description

一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统

技术领域

本发明涉及计算机图像处理领域，具体地说是一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统。

背景技术

眼动追踪技术也称为视觉追踪技术，是利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术，其应用范围已经渗透到了人类社会生活的各个领域，例如，在智能人机交互领域，眼动追踪技术将成为人类和机器互动的主要方式之一，对上肢残疾人士、老年人或者双手因执行操作任务而被占用的人员来说是一个很好的辅助方式；在医学领域，可以通过眼球的运动轨迹或者瞳孔的变化规律来诊断精神方面的疾病及眼部疾病；在VR(虚拟现实)领域，眼睛作为人与虚拟世界的唯一接触，眼动追踪技术成了虚拟现实系统中人机交互重要手段；瞳孔中心定位是眼动追踪技术最核心的部分。现有的瞳孔中心定位方法抗干扰能力弱，复杂背景下、眼睫毛较长、以及刘海、佩戴眼镜对脸部遮挡情况下对其准确率影响较大，存在瞳孔定位速度慢、定位准确率低等缺点。

申请号为CN104809458A的发明申请公开了一种瞳孔中心定位方法及装置，其中方法包括：定位目标图像的内眼角点，所述内眼角点为在水平方向上在鼻梁近端的眼角点；根据所述内眼角点截取所述目标图像中的眼部区域图像；根据所述眼部区域图像中图像灰度的差异计算所述眼部区域图像中像素点的梯度，并根据所述像素点的梯度确定所述眼部区域图像中的瞳孔中心。该方法的缺陷在于：一、仅仅通过梯度来一次性确定瞳孔中心，缺少圆拟合验证的步骤，可能会因为光照、噪声、遮挡的影响而精度降低；二、当用于连续帧图像的瞳孔中心定位这一使用场景中时，该方法对于每一帧图像都要重新定位内眼角点的步骤会大大增加计算时间，拖慢了工作的效率。

发明内容

为了解决上述的技术问题，本发明提出一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统，用于克服现有技术中存在的效率低、鲁棒性差、过于依赖初始状态等缺陷，本方法及系统不仅通过人脸跟踪的步骤提高了定位人脸和眼部区域的效率，而且通过对每一帧的位置更新来避免初始状态的影响，还利用梯度特征过滤的方法定位瞳孔中心，圆形拟合的方法迭代修正瞳孔中心的步骤提高鲁棒性。

本发明的第一目的是提供一种针对连续视频帧中的人脸检测与瞳孔定位方法，包括获取连续视频帧，还包括以下步骤：

步骤1：将当前帧转化为灰度图像，并进行直方图均衡化操作；

步骤2：进行人脸定位；

步骤3：确定瞳孔中心位置；

步骤4：计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比为瞳孔中心位置量，计算公式为X％＝(|x₁-x_外|)/(|x_内-x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。

优选的是，所述步骤2包括判断当前帧的前一帧是否满足有效的人脸定位并进行人脸跟踪或人脸检测。

在上述任一方案中优选的是，所述人脸跟踪是指按前一帧的有效人脸区域的坐标位置将前一帧和当前帧的对应矩形图像区域取出，然后将两者利用金字塔LK光流法验证是否匹配。

在上述任一方案中优选的是，如果能够匹配则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

在上述任一方案中优选的是，如果不能匹配则进行所述人脸检测。

在上述任一方案中优选的是，所述人脸检测是指利用已有的成熟人脸检测技术检测当前帧的人脸区域位置。

在上述任一方案中优选的是，如果检测成功则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

在上述任一方案中优选的是，如果检测不成功则表示当前帧不存在人脸区域，设置当前帧的人脸定位为无效，将当前处理的图像移后一帧，重新执行步骤1。

在上述任一方案中优选的是，所述步骤3包括以下子步骤：

步骤31：确定左眼区域矩形块和右眼区域矩形块；

步骤32：对所述左眼区域矩形块和所述右眼区域矩形块进行去高光反射点处理并修复图像；

步骤33：利用sobel算子计算所述左眼区域矩形块和所述右眼区域矩形块的梯度特征图，按照一定的阈值过滤梯度较小的位置；

步骤34：根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置；

步骤35：从所述中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集；

步骤36：根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小。

在上述任一方案中优选的是，所述步骤31包括对人脸区域进行人脸的N个特征点对齐，记录下左眼区域的n个特征点和右眼区域的n个特征点，然后分别找到包围这n个特征点的最小外接矩形，然后在最小外接矩形的基础上在上下，左右四个方向分别扩展其高度和宽度的r，其中，1≤n≤N，r为常数，0<r<1。

在上述任一方案中优选的是，所述步骤32包括通过对图像进行高斯模糊、形态学闭运算、去噪点和膨胀操作中至少一种，将可能存在于虹膜上的反光点去除。

在上述任一方案中优选的是，所述步骤33包括在过滤后的二维梯度图中计算每一个位置的梯度方向向量，并对该向量指向的方向上的所有位置添加增益，最后取增益最强的位置作为瞳孔中心。

在上述任一方案中优选的是，所述步骤33还包括找到左右眼的瞳孔中心之后，以此中心位置为初始量开始循环执行步骤34至步骤36，当循环次数达到T次或两次循环得到的瞳孔中心位置变化小于指定阈值时，循环停止。。

在上述任一方案中优选的是，所述步骤36包括如果圆拟合成功，则将拟合圆的圆心作为新的瞳孔中心位置。

本发明的第二目的是提供一种针对连续视频帧中的人脸检测与瞳孔定位系统，包括用于获取连续视频帧的获取模块，还包括以下模块：

视频帧处理模块：用于将当前帧转化为灰度图像，并进行直方图均衡化操作；

人脸定位模块：用于进行人脸定位；

瞳孔定位模块：用于确定瞳孔中心位置；

计算模块：用于计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比为瞳孔中心位置量，计算公式为X％＝(|x₁-x_外|)/(|x_内-x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。

优选的是，所述人脸定位模块还用于判断当前帧的前一帧是否满足有效的人脸定位并进行人脸跟踪或人脸检测。

在上述任一方案中优选的是，所述人脸跟踪是指按前一帧的有效人脸区域的坐标位置将前一帧和当前帧的对应矩形图像区域取出，然后将两者利用金字塔LK光流法验证是否匹配。

在上述任一方案中优选的是，如果能够匹配则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

在上述任一方案中优选的是，如果不能匹配则进行所述人脸检测。

在上述任一方案中优选的是，所述人脸检测是指利用已有的成熟人脸检测技术检测当前帧的人脸区域位置。

在上述任一方案中优选的是，如果检测成功则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

在上述任一方案中优选的是，如果检测不成功则表示当前帧不存在人脸区域，设置当前帧的人脸定位为无效，将当前处理的图像移后一帧，使用所述视频帧处理模块处理该后移帧。

在上述任一方案中优选的是，所述瞳孔定位模块的工作方法包括以下步骤：

步骤31：确定左眼区域矩形块和右眼区域矩形块；

步骤32：对所述左眼区域矩形块和所述右眼区域矩形块进行去高光反射点处理并修复图像；

步骤33：利用sobel算子计算所述左眼区域矩形块和所述右眼区域矩形块的梯度特征图，按照一定的阈值过滤梯度较小的位置；

步骤34：根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置；

步骤35：从所述中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集；

步骤36：根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小。

在上述任一方案中优选的是，所述步骤31包括对人脸区域进行人脸的N个特征点对齐，记录下左眼区域的n个特征点和右眼区域的n个特征点，然后分别找到包围这n个特征点的最小外接矩形，然后在最小外接矩形的基础上在上下，左右四个方向分别扩展其高度和宽度的r，其中，1≤n≤N，r为常数，0<r<1。

在上述任一方案中优选的是，所述步骤32包括通过对图像进行高斯模糊、形态学闭运算、去噪点和膨胀操作中至少一种，将可能存在于虹膜上的反光点去除。

在上述任一方案中优选的是，所述步骤33包括在过滤后的二维梯度图中计算每一个位置的梯度方向向量，并对该向量指向的方向上的所有位置添加增益，最后取增益最强的位置作为瞳孔中心。

在上述任一方案中优选的是，所述步骤33还包括找到左右眼的瞳孔中心之后，以此中心位置为初始量开始循环执行步骤34至步骤36，当循环次数达到T次或两次循环得到的瞳孔中心位置变化小于指定阈值时，循环停止。

在上述任一方案中优选的是，所述步骤36包括如果圆拟合成功，则将拟合圆的圆心作为新的瞳孔中心位置。

本发明提出了一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统，该方法及系统不仅能高效准确地跟踪检测连续视频帧中的人脸和瞳孔中心位置，而且加入了圆形拟合来迭代修正瞳孔中心的步骤以提高准确性和鲁棒性，能够有效地克服环境的干扰，计算速度快且性能可靠。

附图说明

图1为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的一优选实施例的流程图。

图1A为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的如图1所示实施例的瞳孔中心位置确认方法流程图。

图2为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位系统的一优选实施例的模块图。

图3为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的另一优选实施例的眼动模式数据获取方法的流程框图。

图4为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的如图3所示实施例的预备阶段计算机屏幕显示的画面样例图。

图5为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的如图3所示实施例的测试阶段计算机屏幕显示的黑白光栅样例图。

图6为按照本发明的针对连续视频帧中的人脸检测与瞳孔定位方法的如图3所示实施例的结果报告的样例图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，获取模块200获取连续视频帧。执行步骤110，视频帧处理模块210将当前帧转化为灰度图像，并进行直方图均衡化操作。

执行步骤120，人脸定位模块220进行人脸定位，判断当前帧的前一帧是否满足有效的人脸定位并进行人脸跟踪或人脸检测。如果当前帧的前一帧满足有效的人脸定位，则顺序执行步骤121和步骤122，进行人脸追踪，按前一帧的有效人脸区域的坐标位置将前一帧和当前帧的对应矩形图像区域取出，然后将两者利用金字塔LK光流法验证是否匹配。如果前一帧和当前帧的对应矩形图像区域不匹配，则执行步骤130，进行人脸检测。如果前一帧和当前帧的对应矩形图像区域匹配，则执行步骤160，瞳孔定位模块230确定瞳孔中心位置。

如果当前帧的前一帧不满足有效的人脸定位，则顺序执行步骤130和步骤140，进行人脸检测，利用已有的成熟人脸检测技术检测当前帧的人脸区域位置，判断当前帧是否存在人脸区域。如果当前帧不存在人脸区域，则顺序执行步骤145和步骤110，当前帧不存在人脸区域，设置当前帧的人脸定位为无效，将当前处理的图像移后一帧，将该后移帧转化为灰度图像，并进行直方图均衡化操作。如果当前帧存在人脸区域，则执行步骤150，已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

执行步骤160，瞳孔定位模块230确定瞳孔中心位置。如图1A所示，执行步骤1601，确定左眼区域矩形块和右眼区域矩形块。对人脸区域进行人脸的N个特征点对齐(在本实施例中N＝68)，记录下左眼区域的n个特征点和右眼区域的n个特征点，然后分别找到包围这n个特征点的最小外接矩形(在本实施例中n＝6)，然后在最小外接矩形的基础上在上下，左右四个方向分别扩展其高度和宽度的r(在本实施例中r＝1/4)。执行步骤1602，对左眼区域矩形块和所述右眼区域矩形块进行去高光反射点处理，通过对图像进行高斯模糊、形态学闭运算、去噪点和膨胀操作中至少一种操作，最后修复图像，将可能存在于虹膜上的反光点去除。执行步骤1603，利用sobel算子计算所述左眼区域矩形块和所述右眼区域矩形块的梯度特征图，按照一定的阈值过滤梯度较小的位置。在过滤后的二维梯度图中计算每一个位置的梯度方向向量，并对该向量指向的方向上的所有位置添加增益，最后取增益最强的位置作为瞳孔中心。执行步骤1604，根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置。执行步骤1605，从所述中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集。执行步骤1606，根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小。执行步骤1607，判断圆是否拟合成功。如果拟合不成功，则顺序执行步骤1611和步骤1612，将初始量作为瞳孔中心位置，停止循环。如果圆拟合成功，则顺序执行步骤1608和步骤1609，将拟合圆的圆心作为新的瞳孔中心位置，循环次数+1。

执行步骤1610，判断是否满足指定条件。指定的条件为循环次数是否到达T次或两次循环得到的瞳孔中心位置变化是否小于指定阈值(在本实施例中T＝10)。如果循环次数小于T次并且两次循环得到的瞳孔中心位置变化大于等于指定阈值，则重新执行步骤1604，根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置。如果循环次数大于等于T次或两次循环得到的瞳孔中心位置变化小于指定阈值，则执行步骤1612，停止循环。

执行步骤170，计算模块240计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比为瞳孔中心位置量，计算公式为X％＝(|x₁-x_外|)/(|x_内-x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。

实施例二

本实施例提供了一种视动性眼震自动检测系统，该系统利用计算机视觉知识，通过电脑摄像头获得被检者注视光栅刺激的相应信号，运用机器学习的方法对瞳孔中心位置进行定位，最后给出被检者在光栅刺激移动时的眼动轨迹，从而得到其视动性眼震检测的结果。该系统能够降低视动性眼震检测的时间成本，提高视动性眼震检测的效率，保证结果的准确率。

该系统提供的技术方案是：

一种视动性眼震自动检测系统，该系统将视动性眼震检测分为预备阶段和检测阶段，通过在预备阶段维持被检者一个稳定的状态，然后对在测试阶段得到的被检者的瞳孔中心位置序列，最后将被检者的眼动轨迹图呈现出来供检查者判断。如图3所示，视动性眼震自动检测方法包括如下步骤：

1)布置视动性眼震检测环境，保证整个检测过程中，被检者只会注视电子屏幕；

2)由操作者确定受试者的相关信息，并将相关信息输入到计算机中；相关信息包括受试者的姓名，性别，出生年月日，所测试眼睛(包括左眼、右眼和双眼)，呈现的动画类别，黑白条栅移动方向，黑白条栅的空间频率，黑白条栅的移动速度；

3)如图4所示，进入预备阶段，计算机会在屏幕中央呈现摄像头捕捉到的实时画面，同时会进行人脸检测和瞳孔定位。此时需要保证被检者的正脸完全处于方框之中，并注视屏幕，如果满足了进入测试的条件，屏幕上的响应指示灯会变为绿色，这样就可以点击“开始测试”按钮来进入测试阶段。

4)如果被检者在预备阶段无法配合，在点击开始测试”按钮后由于指示灯未呈现绿色而暂时无法进入测试，这时可以通过展示动画和音乐来吸引其注意力，这样当被检者的人脸正对屏幕且在注视屏幕时，相应指示灯将变为绿色，系统将自动进入测试阶段。

5)如图5所示，在测试阶段，计算机会在整个屏幕上呈现指定空间频率的黑白光栅，然后根据预先选定的移动方向和移动速度匀速横向滑动，同时通过摄像头每隔100毫秒记录下被检者的瞳孔位置。

6)利用步骤5)中得到的检测时间段内被检者瞳孔位置的序列，通过曲线图来呈现在屏幕上，以此作为被检者的视动性眼震检测结果，且可以直接打印出来。

7)如图6所示，由检查者根据眼动轨迹曲线图进一步判断被检者的视动性眼震情况。

在本实施例中针对连续视频帧中的人脸检测和瞳孔定位的算法步骤是：

1)将当前帧转化为灰度图像，并进行直方图均衡化操作。

2)判断当前帧的前一帧是否满足有效的人脸定位，若是则进行步骤3)的人脸跟踪，否则进行步骤的人脸检测。

3)人脸跟踪：按前一帧的有效人脸区域的坐标位置将前一帧和当前帧的对应矩形图像区域取出，然后将两者利用金字塔LK光流法验证是否匹配，若匹配则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效，进行步骤5)；若不匹配则进行步骤4)。

4)人脸检测：利用已有的成熟人脸检测技术检测当前帧的人脸区域位置，若成功则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效，进行步骤5)；若失败则表示当前帧不存在人脸区域，设置当前帧的人脸定位为无效，将当前处理的图像移后一帧，然后进行1)。

5)对人脸区域进行人脸的68个特征点对齐，记录下左眼区域的6个特征点和右眼区域的6个特征点，然后分别找到包围这6个特征点的最小外接矩形，然后在最小外接矩形的基础上在上下，左右四个方向分别扩展其高度和宽度的1/4，以此来分别将左眼区域矩形块和右眼区域矩形块确定下来。

6)对左右眼区域进行去高光反射点处理，通过对图像进行高斯模糊，形态学闭运算，去噪点，膨胀操作，最后修复图像，将可能存在于虹膜上的反光点去除。

7)利用sobel算子计算左右眼区域的梯度特征图，按照一定的阈值过滤梯度较小的位置。在过滤后的二维梯度图中计算每一个位置的梯度方向向量，并对该向量指向的方向上的所有位置添加增益，最后取增益最强的位置作为瞳孔中心。找到左右眼的瞳孔中心之后，以此中心位置为初始量开始循环进行步骤8)-步骤10)，共循环10次。

8)根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置。

9)从此中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集。

10)根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小。如果圆拟合成功，则将拟合圆的圆心作为新的瞳孔中心位置，继续循环步骤8)-步骤10)；否则将初始量作为瞳孔中心位置，停止循环。

11)计算出瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比，表示我们需要的瞳孔中心位置量。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种针对连续视频帧中的人脸检测与瞳孔定位方法，包括获取连续视频帧，其特征在于，还包括以下步骤：

步骤1：将当前帧转化为灰度图像，并进行直方图均衡化操作；

步骤2：进行人脸定位；

步骤3：确定瞳孔中心位置，包括以下子步骤：

步骤31：确定左眼区域矩形块和右眼区域矩形块；

步骤32：对所述左眼区域矩形块和所述右眼区域矩形块进行去高光反射点处理并修复图像；

步骤33：利用sobel算子计算所述左眼区域矩形块和所述右眼区域矩形块的梯度特征图，按照一定的阈值过滤梯度较小的位置；

步骤34：根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置；

步骤35：从所述中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集；

步骤36：根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小；

步骤4：计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比X％为瞳孔中心位置量，计算公式为X％＝(|x₁-x_外|)/(|x_内-x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。

2.如权利要求1所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：所述步骤2包括判断当前帧的前一帧是否满足有效的人脸定位并进行人脸跟踪或人脸检测。

3.如权利要求2所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：所述人脸跟踪是指按前一帧的有效人脸区域的坐标位置将前一帧和当前帧的对应矩形图像区域取出，然后将两者利用金字塔LK光流法验证是否匹配。

4.如权利要求3所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：如果能够匹配则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

5.如权利要求3所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：如果不能匹配则进行所述人脸检测。

6.如权利要求5所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：所述人脸检测是指利用已有的成熟人脸检测技术检测当前帧的人脸区域位置。

7.如权利要求6所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：如果检测成功则表示已找到当前帧的人脸区域，记录好并设置当前帧的人脸定位为有效。

8.如权利要求6所述的针对连续视频帧中的人脸检测与瞳孔定位方法，其特征在于：如果检测不成功则表示当前帧不存在人脸区域，设置当前帧的人脸定位为无效，将当前处理的图像移后一帧，重新执行步骤1。

9.一种针对连续视频帧中的人脸检测与瞳孔定位系统，包括用于获取连续视频帧的获取模块，其特征在于，还包括以下模块：

视频帧处理模块：用于将当前帧转化为灰度图像，并进行直方图均衡化操作；

人脸定位模块：用于进行人脸定位；

瞳孔定位模块：用于确定瞳孔中心位置，所述瞳孔定位模块的工作方法包括以下步骤：

步骤31：确定左眼区域矩形块和右眼区域矩形块；

步骤32：对所述左眼区域矩形块和所述右眼区域矩形块进行去高光反射点处理并修复图像；

步骤33：利用sobel算子计算所述左眼区域矩形块和所述右眼区域矩形块的梯度特征图，按照一定的阈值过滤梯度较小的位置；

步骤34：根据初步找到的左右眼瞳孔中心微调整左右眼区域，使得初步找到的左右眼瞳孔中心处于调整后的左右眼区域的中心位置；

步骤35：从所述中心位置出发，检测虹膜边缘位置，利用虹膜与巩膜色差较大，找到左右眼区域图像中色差较大的边缘点集；

步骤36：根据边缘点集拟合出一个圆，拟合判断为数据点到拟合圆的距离绝对值之和最小；

计算模块：用于计算所述瞳孔中心位置与眼外角位置的距离占眼内外角距离的百分比为瞳孔中心位置量，计算公式为X％＝(|x₁-x_外|)/(|x_内-x_外|)，其中，x₁表示瞳孔中心位置像素点的横坐标，x_外表示眼外角位置像素点的横坐标，x_内表示眼内角位置像素点的横坐标。

Images