CN105760848A - 一种基于环形模板卷积的瞳孔定位方法 - Google Patents

Abstract

本发明公开了一种基于环形模板卷积的瞳孔定位方法，包括如下步骤：步骤1：眼部图像预处理，得到灰度图像；步骤2：根据估计值和反馈值生成环形模板。步骤3：将步骤1得到的灰度图像和步骤2生成的环形模板进行卷积得到瞳孔中心位置。本发明不需要高分辨率的眼部图像。在我们的试验中，我们用移动设备上低分辨率的前置摄像头依然可以达到良好的效果，在不眨眼的情况下准确率在99％以上。不需要对灯光强度和入射角做特殊规定。试验可以在正常室内外光照下进行。不需要使用者睁大眼睛，试验可在正常用眼的情况下进行。

Description

一种基于环形模板卷积的瞳孔定位方法

技术领域

本发明属于视觉追踪领域，涉及一种瞳孔定位方法，具体来说是一种基于环形模板卷积的瞳孔定位方法。

背景技术

瞳孔定位和追踪在计算机视觉应用和研究中具有重要的意义。它涉及到生物学、模式识别、计算机视觉、图像分析与处理等多个学科，存在多个技术难点。如果能够实时识别出瞳孔中心的精确位置，这将对人脸识别技术以及其它相关的应用领域，例如交通领域，刑侦领域，医学领域等产生重要意义。

现阶段的瞳孔定位和追踪技术主要有三种方式：(1)记录瞳孔周围皮肤电位差的眼电流标记法，(2)用机械方法让使用者穿戴隐形眼镜来定位瞳孔的虹膜接触镜法，(3)利用图像技术定位的办法。前两种方法往往需要使用者穿戴或者使用专有设备，例如穿戴特殊的眼镜，使用高分辨率的相机；并且往往需要使用有源红外线进行照射，以获得准确的瞳孔位置。

随着图像技术的发展，利用图像技术定瞳孔的方法也不断涌现，主要分为三类，包括基于形状的方法(shape-based)，基于特征的方法(feature-based)，基于显视的方法(appearance-based)。

基于形状的方法主要考虑了瞳孔形状的特性。通常情况下，人的瞳孔形状都可以近似成一个圆形或者椭圆形，因而只要对一定范围内的圆形进行检测，便可以实现对瞳孔的检测。常用的方法包括Hough变换和椭圆拟合的方法。就其本质而言，Hough变换和椭圆拟合都是利用图像的边缘信息作为基础来获得瞳孔的位置和大小。Hough变换的方法是通过参数搜索确定一个圆，而椭圆拟合主要是通过最小二乘法或其它方法来进行椭圆的拟合。但是Hough变换和椭圆拟合的方法要遍厉整幅图像，复杂度大、资源需求大，运算时间长。

基于特征的方法是基于对眼部及眼部周围特征点(值)的检测，主要因为眼部及眼部周围有一些独特的特征，如异色边缘，瞳孔的(黑/明亮)，角膜反射，这些都是常见的用于瞳孔的定位特性。常用的方法如使用Gabor滤波。眼睛的区域包含了几个可能的灰度差异边界。这些边界的特征如边角和线条形状，他们的方向、长度及大小。使用Gabor过滤器跟踪的虹膜的边缘或眼睛的轮廓。基于眼睛模型和特性,就可以按照特定的顺序策略来定位眼睛的位置,形状,和轮廓。但是基于特征的方法主要用于光照不敏感的场合，且需要眼部正对角度及高质量的眼部图像。

基于显视的方法又称为模板匹配(imagetemplate)方法，常见的方法如特征脸方法(即主成分分析方法PCA)。对给定的一组原始人脸图像集合，计算图像压缩最好的坐标系统，每个坐标事实上是他们定义为特征图(eigenpictures)的图像。他们认为从理论上来说，任何人脸图像集合都可以用两个集合近似的重建，其一是每个人脸的权值集合，其二是一组标准的图像集合(eigenpictures)。人脸的权值通过将人脸投影到对应的特征图像得到。Turk和Pentland认为如果大量的人脸图像可以由一组特征图像的加权来重建，那么有效的人脸识别方法就是通过长期的经验建立特征图像，通过比较重建图像所需要的特征权值识别人脸。因此，每一个人脸都可以用一组重建的权值表示。简单地说，就是将一高维的向量，通过一个特殊的特征矩阵，投影到一个低维的向量空间，表征为一个低维向量，并保留主要信息。即通过低维表征的向量和特征向量矩阵就可以完全重构出所对应的高维向量。采用特征脸识别方法不足之处是受表情变化、光照角度强度变化和视角变化等严重影响，鲁棒性较差。

综上，现阶段方法的缺陷主要包括：

1、需要使用专有设备对图像进行采集，例如辅助定位的眼睛和高像素的摄像头，不能单一使用商用相机定位；

2、对所用光的种类(例如红外线)和强度有要求，极易受光强影响，不能在普通可见光下准确追踪；

3、当光源在瞳孔上产生光斑时难以准确追踪，不能在任意入射角下准确追踪；

4、需要被拍摄者睁大眼睛，无法在眼球被上下眼皮遮挡较大面积的时候准确检测。

发明内容

针对上述现有技术中存在的缺陷或不足，本发明提出了一种基于环形模板卷积的瞳孔定位方法，该方法能够准确、稳定、高效的对瞳孔进行定位。

为了实现上述目的，本发明采用如下技术方案予以解决：

一种基于环形模板卷积的瞳孔定位方法，包括如下步骤：

步骤1：根据粗粒度的瞳孔直径范围，生成一组环形模板；

步骤2：对前N张图像按照视频帧顺序依次读入，对当前帧进行预处理，得到当前帧图像对应的灰度图像；

步骤3：利用步骤1生成的环形模板，分别对步骤2得到的当前帧对应的灰度图像进行处理，得到对应的实际的瞳孔中心和瞳孔直径；

步骤4：根据前N张图像对应的实际的瞳孔直径，得到细粒度的环形模板；

步骤5：对前N个图像之后的其余图像进行预处理，得到每个图像对应的灰度图像；

步骤6：利用步骤4生成的环形模板，分别对步骤5得到的所有图像对应的灰度图像进行处理，得到每个图像对应的实际的瞳孔中心和瞳孔直径。

进一步的，所述环形模板是在粗粒度的瞳孔直径范围上、下部分切割后生成的多个环形部分。

进一步的，所述在粗粒度的瞳孔直径范围上、下部分切割是指在上、下部分分别切割直径的三分之一。

进一步的，所述对图像的处理包括如下步骤：

步骤21：根据当前帧图像，获取眼部RGB图像；

步骤22：将眼部RGB图像利用转化公式转换成YUV图像，然后在YUV图像的亮度分量上进行直方图均衡处理，得到直方图均衡图像，最后将直方图均衡图像转换成RGB图像；

步骤23：对步骤22得到的RGB图像进行仿射变换，得到仿射变换图像；

步骤24：对仿射变换图像进行边缘滤波，得到滤波后图像；

步骤25：对滤波后图像做灰度变换，得到灰度图像。

进一步的，所述对当前帧帧对应的灰度图像的处理包括如下步骤：

步骤31：用步骤1得到的环形模板，对当前帧对应的灰度图像(i×j)做卷积，得到一系列卷积后的图像，记作I₁,I₂...I_n，组成三维矩阵M_i，j，n，其中i和j是灰度图像的长和宽，n是环形模板的数量；

步骤32：对三维矩阵M_i，j，n在第3个维度上微分，得到微分结果M′_i，j，n-1，其中前两维度坐标对应当前图像对应的灰度图像的像素点坐标；

步骤33：对于当前图像对应的灰度图像的每个像素点，在微分结果M′_i，j，n-1中第三维度上找到最大响应值，得到由最大响应值组成的图像D_s(i×j)；

步骤34：将图像D_s中的深度最大值所对应的像素点记作瞳孔中心，最大值所对应的环形模板的半径记作瞳孔直径；

步骤35：对瞳孔中心和瞳孔直径进行仿射变换，得到实际的瞳孔中心和瞳孔直径，记录当前视频帧得到的瞳孔直径大小，并显示在图像上。

进一步的，所述步骤4具体包括如下步骤：

步骤41：对前N张图像半径数据进行统计，得到均值E(x)和方差D(x)，然后细化瞳孔直径范围为[E(x)-2D(x)，E(x)+2D(x)]，得到细粒度的瞳孔直径范围；

步骤42：根据细粒度的瞳孔直径范围生成一组环形模板。

进一步的，所述细粒度的环形模板是在细粒度的瞳孔直径范围上、下部分切割后，生成的多个环形部分。

进一步的，所述在细粒度的瞳孔直径范围上、下部分切割是指在上、下部分分别切割直径的三分之一。

本发明中提出的瞳孔中心定位技术与现有技术相比，具有以下优点：

1、不需要高分辨率的眼部图像。在我们的试验中，我们用移动设备上低分辨率的前置摄像头依然可以达到良好的效果，在不眨眼的情况下准确率在99％以上，效果如图6和图7。

2、不需要对灯光强度和入射角做特殊规定。试验可以在正常室内外光照下进行。

3、不需要使用者睁大眼睛，试验可在正常用眼的情况下进行，如图2。

附图说明

图1是本发明的流程框图。

图2是眼部图像。其中(1)是摄像头直接获得的实际眼部RGB图像，眼睛的大小会随着眼睛距摄像头的距离变化而变化；(2)是在亮度分量上做完直方图均衡的眼部RGB图像；(3)是做完仿射变换的眼部RGB图像，图像中眼睛的大小不会随着眼睛距摄像头的距离变化而变化；(4)是边缘滤波后的眼部RGB图像；(5)是用于卷积的眼部灰度图像。

图3是粗粒度的环形模板(初始设置为24mm-36mm)。

图4是细粒度的环形模板(实施例中为28mm—33mm)。

图5是最大相应值组成的图像D_s。其中亮度最大的点就是对模板相应最大的点，即找到的瞳孔中心。

图6是得到的瞳孔中心和半径。

图7是实际的瞳孔中心和半径。其中灰色点为瞳孔中心，灰圈为追踪到的瞳孔。

下面结合附图对本发明中的核心方法进一步说明。

具体实施方式

本发明提出的一种基于环形模板卷积的瞳孔定位方法，能够根据读入的视频实时获得瞳孔的位置。处理视频(视频可以是用摄像头实时读入的，也可以是事先录制好的)之前，先执行步骤1，然后对于前N张(例如在某次试验中N取50)图像先后执行步骤2和步骤3，并对得到的结果实时显示；在读入第N+1张图像之前，执行步骤4，对于第N+1张和后续的图像继续先后执行步骤5和步骤6，并对得到的结果实时显示。具体步骤如下：

步骤1：根据粗粒度的瞳孔直径范围生成一组环形模板。具体如下：

根据粗粒度的瞳孔直径范围24mm-36mm，以1mm为步长，生成12个上、下部分切割后的环形模板(在上、下部分分别切割去除直径的三分之一，如图3)，环形模板均以矩阵形式存放，边缘处像素点的值为1，其余像素点的值为0。

在该步骤中，首先确定粗粒度的瞳孔直径范围：当人眼局部图像(如图2(3))宽度为150mm时，正常人眼大小在30mm左右，这里将粗粒度的瞳孔直径范围定为24mm-36mm，以适应不同个体的情况(例如儿童瞳孔大小会相对偏小，正常人眼也会有大小之分)。其次，确定环形模板的大小和形状：从生物学角度对人的瞳孔进行观察测量和试验验证后，采用如图3所示的环形模板，原因有二：(1)人眼瞳孔几乎是圆形的，因此瞳孔边缘对圆形模板的响应最好；(2)人眼上、下边缘分别被上下眼皮所遮挡，且图像深度与瞳孔近似难以区分，因此上、下部分的边缘不被考虑。

对于前N张图像，对每张图像依次进行步骤2和步骤3的处理。

步骤2：对前N张图像按照视频帧顺序依次读入，对当前帧进行预处理，得到当前帧图像对应的灰度图像；其中，对图像的处理包括如下步骤：

步骤21：根据当前帧图像，获取眼部RGB图像，如图2(1)。

步骤22：将眼部RGB图像利用转化公式转换成YUV图像，然后在YUV图像的亮度分量上进行直方图均衡处理，得到直方图均衡图像，最后将直方图均衡图像转换成RGB图像，如图2(2)。该步骤中，利用直方图均衡化(histogramequalization)处理，能够增加眼部图像的整体对比度。

步骤23：对步骤22得到的RGB图像进行仿射变换，得到仿射变换图像，如图2(3)。该步骤中，对RGB图像进行矩阵整形实现仿射变换，能够消除图像中人眼到镜头距离变化对眼部图像大小的影响。

步骤24：对仿射变换图像进行边缘滤波，得到滤波后图像；如图2(4)；该步骤中，利用高斯滤波器对仿射变换图像进行边缘滤波，能够滤除图像噪声。

步骤25：对滤波后图像做灰度变换，得到灰度图像，如图2(5)。

步骤3：利用步骤1生成的环形模板，分别对步骤2得到的当前帧对应的灰度图像进行处理，得到对应的实际的瞳孔中心和瞳孔直径。对当前帧对应的灰度图像的处理包括如下步骤：

步骤31：用步骤1得到的环形模板，对当前图像对应的灰度图像(i×j)做卷积，得到一系列卷积后的图像，记作I₁,I₂...I_n，组成三维矩阵M_i，j，n，其中i和j是灰度图像的长和宽，n是环形模板的数量；

步骤32：对三维矩阵M_i，j，n在第3个维度上微分，得到微分结果M′_i，j，n-1，其中前两维度坐标对应当前图像对应的灰度图像的像素点坐标；

步骤33：对于当前图像对应的灰度图像的每个像素点，在微分结果M′_i，j，n-1中第三维度上找到最大响应值，得到由最大响应值组成的图像D_s(i×j)，如图5；

步骤34：将图像D_s中的深度最大值所对应的像素点记作瞳孔中心，最大值所对应的环形模板的半径记作瞳孔直径，如图6；

步骤35：对瞳孔中心和瞳孔直径进行仿射变换，得到实际的瞳孔中心和瞳孔直径，记录当前视频帧(一张图像)得到的瞳孔直径大小，并显示在图像上，如图7。

步骤3的求瞳孔中心和半径的过程是本发明的核心，核心思想是线积分。寻找瞳孔中心和半径的整个问题可转化成在整个眼球区域(x，y)中，对于某一疑似圆心(x₀，y₀)，当半径r在增加时，寻找沿着周长的线积分的微分值的全局最大值，则此时的疑似圆心(x₀，y₀)即实际瞳孔的圆心，半径即实际瞳孔的半径。公式如下：

其中，G_σ(r)是高斯滤波，来抑制噪音点，I(x，y)是灰度图像深度值，s是半径为r时候的圆弧，(x₀，y₀)是疑似圆心。但是线积分带来的运算量极大，发明中将线积分过程转变成了模板卷积过程，减少了计算量。

当步骤2和步骤3先后没有处理完前N张照片时，返回继续执行步骤2，如果处理完前N张图像，并实时显示后，进入步骤4，如下：

步骤4：根据前N张图像对应的实际的瞳孔直径，得到细粒度的环形模板。具体包括如下步骤：

步骤41：对前N张图像半径数据进行统计，得到均值E(x)和方差D(x)，然后细化瞳孔直径范围为[E(x)-2D(x)，E(x)+2D(x)]，得到细粒度的瞳孔直径范围；例如某次试验中，得到细粒度的半径是28mm—33mm。

步骤42：根据细粒度的瞳孔直径范围生成一组环形模板。具体是：

根据细粒度的瞳孔直径28mm-33mm，以步长为1mm，生成6个上、下部分切割后的环形模板(上下分别在直径上切割三分之一)。如图4。本步骤进一步细化了环形模板的大小范围，减少了模板数量，提高了瞳孔定位的精确性，同时降低了算法复杂度。

对于N+1张图像及以后的图像，对每张图像依次进行步骤5和步骤6的处理。

步骤5：对前N个图像之后的其余图像进行预处理，得到每个图像对应的灰度图像；其中，对每个图像的预处理与步骤2中对每个图像的处理的步骤相同。

步骤6：利用步骤4生成的环形模板，分别对步骤5得到的所有图像对应的灰度图像进行处理，得到每个图像对应的实际的瞳孔中心和瞳孔直径。对每个图像的处理与步骤3中对每个图像的处理相同。

Claims (8)

1.一种基于环形模板卷积的瞳孔定位方法，其特征在于，包括如下步骤：

步骤1：根据粗粒度的瞳孔直径范围，生成一组环形模板；

步骤2：对前N张图像按照视频帧顺序依次读入，对当前帧进行预处理，得到当前帧图像对应的灰度图像；

步骤3：利用步骤1生成的环形模板，分别对步骤2得到的当前帧对应的灰度图像进行处理，得到对应的实际的瞳孔中心和瞳孔直径；

步骤4：根据前N张图像对应的实际的瞳孔直径，得到细粒度的环形模板；

步骤5：对前N个图像之后的其余图像进行预处理，得到每个图像对应的灰度图像；

步骤6：利用步骤4生成的环形模板，分别对步骤5得到的所有图像对应的灰度图像进行处理，得到每个图像对应的实际的瞳孔中心和瞳孔直径。

2.如权利要求1所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤1中，所述环形模板是在粗粒度的瞳孔直径范围上、下部分切割后生成的多个环形部分。

3.如权利要求2所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤1中，所述在粗粒度的瞳孔直径范围上、下部分切割是指在上、下部分分别切割直径的三分之一。

4.如权利要求1所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤2中，所述对图像的处理包括如下步骤：

步骤21：根据当前帧图像，获取眼部RGB图像；

步骤22：将眼部RGB图像利用转化公式转换成YUV图像，然后在YUV图像的亮度分量上进行直方图均衡处理，得到直方图均衡图像，最后将直方图均衡图像转换成RGB图像；

步骤23：对步骤22得到的RGB图像进行仿射变换，得到仿射变换图像；

步骤24：对仿射变换图像进行边缘滤波，得到滤波后图像；

步骤25：对滤波后图像做灰度变换，得到灰度图像。

5.如权利要求1所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤3中，所述对当前帧帧对应的灰度图像的处理包括如下步骤：

步骤31：用步骤1得到的环形模板，对当前帧对应的灰度图像(i×j)做卷积，得到一系列卷积后的图像，记作I₁,I₂...I_n，组成三维矩阵M_i，j，n，其中i和j是灰度图像的长和宽，n是环形模板的数量；

步骤32：对三维矩阵M_i，j，n在第3个维度上微分，得到微分结果M′_i，j，n-1，其中前两维度坐标对应当前图像对应的灰度图像的像素点坐标；

步骤33：对于当前图像对应的灰度图像的每个像素点，在微分结果M′_i，j，n-1中第三维度上找到最大响应值，得到由最大响应值组成的图像D_S(i×j)；

步骤34：将图像D_S中的深度最大值所对应的像素点记作瞳孔中心，最大值所对应的环形模板的半径记作瞳孔直径；

步骤35：对瞳孔中心和瞳孔直径进行仿射变换，得到实际的瞳孔中心和瞳孔直径，记录当前视频帧得到的瞳孔直径大小，并显示在图像上。

6.如权利要求1所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤4具体包括如下步骤：

步骤41：对前N张图像半径数据进行统计，得到均值E(x)和方差D(x)，然后细化瞳孔直径范围为[E(x)-2D(x),E(x)+2D(x)],得到细粒度的瞳孔直径范围；

步骤42：根据细粒度的瞳孔直径范围生成一组环形模板。

7.如权利要求1所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤4中，所述细粒度的环形模板是在细粒度的瞳孔直径范围上、下部分切割后，生成的多个环形部分。

8.如权利要求7所述的基于环形模板卷积的瞳孔定位方法，其特征在于，所述步骤4中，所述在细粒度的瞳孔直径范围上、下部分切割是指在上、下部分分别切割直径的三分之一。