CN110516548A - 一种基于三维眼球模型和Snakuscule的虹膜中心定位方法 - Google Patents

Abstract

一种基于三维眼球模型和Snakuscule的虹膜中心定位方法，包括以下步骤：1)使用人脸检测法检测到眼部重要特征点求得虹膜中心定位点；2)虹膜中心精确定位：2.1)通过上眼睑和下眼睑特征点判断眼睛状态进行分步计算；2.2)通过眼球和虹膜间的几何关系建立三维眼球模型从而得到与之相关的虹膜边界轮廓；2.3)改进了Snakuscule能量模型，建立一个固定半径的活动轮廓对虹膜边界迭代更新；2.4)考虑8个方向，结合2.2和2.3步骤求得最大能量值从而逐渐接近最终的虹膜边界，求得最终的虹膜中心。本发明能够在头部自由运动且不考虑光照的情况下保持高精度，并且速度能够满足实时虹膜中心定位的要求。

Description

一种基于三维眼球模型和Snakuscule的虹膜中心定位方法

技术领域

本发明属于图像处理领域，是一种能够适应不同光照且在头部自由运动的情况下可以进行的虹膜中心检测定位方法。

背景技术

眼睛是人类重要的感觉器官，80％的外界信息都通过眼睛接收。随着科技的进步，眼睛除了能够接收信息外，在人脸对齐、视线估计、人机交互等方面也都发挥着重要作用。而虹膜中心作为眼睛最为显著的特征之一，精确的虹膜中心定位显得格外重要，尤其在视线估计方面，视线估计的准确性很大程度上取决于虹膜中心定位算法的准确性。现有的虹膜定位算法大致分为三类：基于特征的算法、基于模型的算法、以及融合特征和模型的混合方法。

基于模型的方法通常利用眼睛的整体外观亦或是面部外观，使用一组特征(眼部及其周围的几何特征)或者是一个拟合模型来估计虹膜中心的位置。Moriyama等人根据详细的虹膜位置、眼睑张开程度、眼睑形状对眼睛区域图像进行详细分析从而生成眼区域模板实现对眼睛的精确匹配。Kim等人提出了迭代虹膜圆检测方法，采用基于人眼形状和特征的人眼模型不断改变虹膜中心和调整虹膜半径，通过搜索策略细化虹膜中心点实现精确定位。凌滨等采用了一种基于形态学的虹膜定位方法，结合了Snake和GAC模型，利用能量函数进行曲线演化不断接近目标虹膜边界。刘帅等则针对传统虹膜定位算法进行了改进，提出基于分块搜索的虹膜定位方法，通过Hough圆检测法和卷积运算分别先对虹膜内圆和外圆进行粗定位，然后通过分块搜索进行精确定位，这种算法同样具有较好的鲁棒性。

基于特征的方法则通常使用眼睛的属性，如一些简单的局部属性来检测虹膜中心，如角、边、梯度等。这种方法不需要任何拟合模型，但是易受噪声点的干扰。Valenti和Gevers使用等光性，即连接等强度点的曲线来定位虹膜中心，通过图像亮度的平滑导数计算等光照线的密切圆中心从而让每个像素都为自己的中心投票，最终获得目标虹膜中心。然而，该方法的鲁棒性比较差，特征点少容易检测错误。Zhang等利用了虹膜轮廓在图像平面上呈现为椭圆形的事实，在人眼图像中提取虹膜的所有边缘，选择两条最长的垂直边缘进行椭圆拟合，最终得到虹膜中心。但是该方法具有较大的局限性，当眼睛转动到眼角位置时，很难提取靠近眼角的其中一条边，从而导致椭圆拟合的误差。Das等提出了一种基于图像梯度矢量场的虹膜中心检测方法，利用3D头部跟踪方法和人脸检测方法获取眼部特征点，得到粗定位虹膜中心，接着用图像梯度矢量场对虹膜中心进行准确跟踪获得精确虹膜中心点。

混合方法则通过融合特征和模型进行虹膜中心定位的方法。黄秋杰等提出了一种结合人脸标志、snakuscule、圆拟合和二值连通分量法的虹膜中心定位方法，通过提取人脸的眼部区域，用snakuscule法检测虹膜中心和内半径，通过提取虹膜边缘进行圆拟合确定最终的虹膜中心，并运用二值连通分量法对不合格图像进行改进提高精度。Baek等提出了一种根据眼球转动时虹膜呈现不同椭圆形状的事实来定位虹膜中心的方法，首先使用人类眼球的球形模型估计虹膜半径，其次将眼球旋转至二维平面获取一定数量的虹膜椭圆形状和相应的虹膜中心位置，将其归为数据库，最后将输入的眼睛图像的虹膜椭圆形状与数据库中的椭圆形状进行匹配求得目标虹膜中心。

发明内容

为了克服现有虹膜中心定位法方法的头部运动姿态和不同光照强度对实际应用带来的影响，本发明提出了一种两步虹膜中心定位法，首先，根据人脸检测法粗定位虹膜中心；然后，根据眼球的几何关系，综合考虑了眼球变动与虹膜边界形状变化之间的联系，又提出了虹膜边界模型；最后，改进了Snakuscale能量模型，并结合虹膜边界模型对虹膜中心进行精确定位；能够在精度上达到稳定的好的效果，并且在速度上可以支持实时定位。

本发明解决其技术问题所采用的技术方案是：

一种基于三维眼球模型和Snakuscul的虹膜中心定位方法，所述方法包括以下步骤：

S1.虹膜粗定位

在摄像头下，使用xiong提出的人脸对齐法检测人脸图像，得到脸部特征点，其中特征点包含有二维坐标，使用与眼部相关的12个特征点，包含左右眼的眼角、上眼睑和下眼睑；根据眼部的特征点，对虹膜半径、眼球半径以及虹膜中心的粗定位点、眼球中心的粗定位点进行定义；

S2.虹膜精确定位，过程如下：

S2.1.对眼睛的状态进行判断；

眼睛在闭合和睁开状态时应该进行分步处理，当眼睛睁开时，继续下列步骤；当眼睛闭合时，直接将粗定位点判定为精确定位点；

S2.2.构建虹膜边界模型；

构建虹膜边界模型的步骤如下：

假设眼球中心是(x_ec,y_ec,z_ec)，虹膜中心是(x_ic,y_ic,z_ic)，考虑两者之间的几何关系，以眼球中心为原点，构建三维坐标系，得到以下规则：

x_ic ²+y_ic ²+z_ic ²＝R_e ²-R_i ² (1)，

又由于虹膜边界上的点一定既在虹膜上也在眼球上，所以它是虹膜平面和眼球平面相交的点，那么虹膜边界的法向量即垂直于虹膜平面也垂直于眼球平面，由虹膜中心和眼球中心构成，假设相交点为(x_i,y_i,z_i)，根据点法式得到以下公式：

(x_ic-x_ec)(x_i-x_ic)+(y_ic-y_ec)(y_i-y_ic)+(z_ic-z_ec)(z_i-z_ic)＝0 (2)，

此外，由于虹膜点在一个椭球体上，受以下公式约束：

由于所使用的都是摄像头空间下的信息，因们应该在摄像空间坐标系下进行我们的操作，将公式(2)代入公式(3)得到与虹膜边界点相关的公式：

又因摄像头下所拍摄的图像通常用像素坐标系表示，与摄像头空间下的点坐标不一致，故进行转化：

2.2.1)将摄像头坐标系转化为图像坐标系

假设点m(X,Y,Z)是摄像头空间下的一点，将该点投影到图像坐标下的点为m(X,Y,f)，其中，f是相机焦距，是图像平面与投影中心的距离，根据三角比例关系，得到

2.2.2)将图像坐标系转化为像素坐标系

假设点(x,y)是图像坐标系中的一点，该点在像素坐标系中为(u,v)，(u0,v0)是图像的中心点，每个像素的物理尺寸为dx*dy，得

根据2.2.1)、2.2.)步骤，将摄像头坐标系下的点转化为像素坐标系下的点，由于dx/f≈dy/f，Z_ic≈Z_ec，以假设Z_ic·(dx/f)≈Z_ic·(dy/f)≈Z_ec·(dx/f)≈Z_ec·(dy/f)≈1，故公式(1)转化为：

(u_e-u_ic)²+(v_ic-v_e)²+(z_ic-z_ec)²＝r_e ²-r_i ² (5)

同理，公式(4)转化为：

其中，u_e，u_i，v_i，v_e分别是已知值，z_ic-z_ec由公式(5)得到，根据公式(6)求得所有符合模型的虹膜边界点，得到所求的虹膜边界轮廓；

S2.3.根据虹膜边界轮廓计算能量函数的值

对Snkuscule能量模型进行了改进，提出了一种具有固定半径的Snakuscule同心环形轮廓，其中内半径为r_i，外半径为αr_i，用于捕捉眼睛内的虹膜。这种固定半径的活动轮廓能够有效跟踪低分辨率图像中的眼睛图像，并且由于不需要变换半径因此迭代次数相对相低，适合于实时应用；

该能量模型的定位准则是根据虹膜的特性决定的，即在眼睛区域内，虹膜是一个暗色调的圆形，内部像素较低，通过计算以下能量函数，以确保虹膜边界轮廓的迭代更新：

其中S2为半径为r_i的圆形区域，r_i为S2.1.时得到的虹膜半径，理想状态下该圆形区域正好覆盖虹膜区域。S3是由S2放大一定倍数，半径为αr_i的圆形区域，经过实验可知，当情况α＝1/0.75时效果最好。(x,y)为S上的所有点，p(x,y)代表像素值；

考虑到实际人眼的虹膜半径与人脸检测法求得的虹膜半径存在一定差距，实际虹膜半径较小时，该模型的内半径不仅覆盖了虹膜区域还覆盖了一些图像处理后的噪声点；为解决这一问题，增加了一个S1的圆形区域，该区域同样以S2和S3的圆心为中心缩小一定倍数形成一个半径为βr_i的圆，从而对能量函数进行完善：

结合(7)和(8)，得到最终的Snakuscule能量函数：

E3＝E1+p*E2 (9)

其中，p为E1和E2的平衡函数，当p＝0.8时实验效果显著优于其他值；

S2.4.在分别得到能量模型和虹膜边界模型后，开始结合两个模型对虹膜中心位置进行迭代更新；考虑8个方向，在每个方向上都重复用S2.2步骤得到相应的虹膜边界，然后根据2.3步骤得到每个方向上的能量函数值，根据虹膜内的像素最低的特性，故当能量函数值越高时，所求的虹膜边界就越接近实际的虹膜边界，使用迭代的方法重复上述步骤直到两次相邻的更新方向恰好相反就停止迭代，最终Snakuscule模型所在的圆心就是我们所求的虹膜中心。

本发明的有益效果为：能够在精度上达到稳定的好的效果，并且在速度上可以支持实时定位。

附图说明

图1是人脸检测法检测到的脸部特征点。

图2是人眼睁开和闭合时的状态。

图3是虹膜边界模型的示意图。

图4是Snakuscule能量模型的结构图。

图5是Snakuscule能量模型迭代方向的示意图。

图6是Snakuscule能量模型迭代变化的示意图。

图7是基于三维眼球模型和Snakuscule的虹膜中心定位方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种基于三维眼球模型和Snakuscule的虹膜中心定位方法，包括以下步骤：

S1.虹膜粗定位

在摄像头下，使用xiong提出的人脸对齐法检测人脸图像，如图1所示，得到脸部特征点，其中特征点包含有二维坐标，使用与眼部相关的12个特征点(X[20]--X[31])，包含左右眼的眼角、上眼睑和下眼睑；根据眼部的特征点，对虹膜半径、眼球半径以及虹膜中心的粗定位点、眼球中心的粗定位点进行定义；

以左眼为例，虹膜粗定位中心(u_ic,v_ic)、虹膜半径(R_i)、眼球中心(u_e,v_e)、眼球半径(R_e)，通过这些特征点求得：

S2.虹膜精确定位，过程如下：

S2.1.对眼睛的状态进行判断；

眼睛在闭合和睁开状态时应该进行分步处理。如图2所示，当眼睛睁开时，继续下列步骤；当眼睛闭合时，直接将粗定位点判定为精确定位点；

通过对实际图像的观察与计算，对上眼睑和下眼睑间的距离给定一定阈值，当两者间的距离小于-1时，说明眼睛是闭合的，反之，眼睛是睁开的；

S2.2.构建虹膜边界模型；

构建虹膜边界模型的步骤如下：

如图3所示，假设眼球中心是(x_ec,y_ec,z_ec)，虹膜中心是(x_ic,y_ic,z_ic)，考虑两者之间的几何关系，以眼球中心为原点，构建三维坐标系，得到以下规则：

x_ic ²+y_ic ²+z_ic ²＝R_e ²-R_i ² (1)，

又由于虹膜边界上的点一定既在虹膜上也在眼球上，所以它是虹膜平面和眼球平面相交的点，那么虹膜边界的法向量即垂直于虹膜平面也垂直于眼球平面，可以由虹膜中心和眼球中心构成，假设相交点为(x_i,y_i,z_i)，根据点法式得到以下公式：

(x_ic-x_ec)(x_i-x_ic)+(y_ic-y_ec)(y_i-y_ic)+(z_ic-z_ec)(z_i-z_ic)＝0 (2)，

此外，由于虹膜点在一个椭球体上，受以下公式约束：

由于所使用的都是摄像头空间下的信息，因此应该在摄像空间坐标系下进行操作，将公式(2)代入公式(3)得到与虹膜边界点相关的公式：

又因摄像头下所拍摄的图像通常用像素坐标系表示，与摄像头空间下的点坐标不一致，故进行转化：

2.2.1)将摄像头坐标系转化为图像坐标系

假设点m(X,Y,Z)是摄像头空间下的一点，将该点投影到图像坐标下的点为m(X,Y,f)。其中，f是相机焦距，是图像平面与投影中心的距离，根据三角比例关系，得到

2.2.2)将图像坐标系转化为像素坐标系

假设点(x,y)是图像坐标系中的一点，该点在像素坐标系中为(u,v)，(u0,v0)是图像的中心点，每个像素的物理尺寸为dx*dy，得

根据(1)、(2)步骤，将摄像头坐标系下的点转化为像素坐标系下的点，由于dx/f≈dy/f，Z_ic≈Z_ec，假设Z_ic·(dx/f)≈Z_ic·(dy/f)≈Z_ec·(dx/f)≈Z_ec·(dy/f)≈1，故公式(1)转化为：

(u_e-u_ic)²+(v_ic-v_e)²+(z_ic-z_ec)²＝r_e ²-r_i ² (5)

同理，公式(4)转化为：

其中，u_e，u_i，v_i，v_e分别是已知值，z_ic-z_ec由公式(5)得到，根据公式(6)求得所有符合模型的虹膜边界点，得到所求的虹膜边界轮廓；

S2.3.根据虹膜边界轮廓计算能量函数的值；

对Snkuscule能量模型进行了改进，提出了一种具有固定半径的Snakuscule同心环形轮廓，如图4所示，用于捕捉眼睛内的虹膜。这种固定半径的活动轮廓能够有效跟踪低分辨率图像中的眼睛图像，并且由于不需要变换半径因此迭代次数相对相低，适合于实时应用；

该能量模型的定位准则是根据虹膜的特性决定的，即在眼睛区域内，虹膜是一个暗色调的圆形，内部像素较低，通过计算以下能量函数，以确保虹膜边界轮廓的迭代更新：

其中S2为半径为r_i的圆形区域，r_i为S2.1.时得到的虹膜半径，理想状态下该圆形区域正好覆盖虹膜区域。S3是由S2放大一定倍数，半径为αr_i的圆形区域，经过实验可知，当情况α＝1/0.75时效果最好。(x,y)为S上的所有点，p(x,y)代表像素值；

考虑到实际人眼的虹膜半径与人脸检测法求得的虹膜半径存在一定差距，实际虹膜半径较小时，该模型的内半径不仅覆盖了虹膜区域还覆盖了一些图像处理后的噪声点；为解决这一问题，增加了一个S1的圆形区域，该区域同样以S2和S3的圆心为中心缩小一定倍数形成一个半径为βr_i的圆，经实验表明当β＝1/1.25时实验效果最佳，改进后的能量模型如下：

结合(7)和(8)，得到最终的Snakuscule能量函数：

E3＝E1+p*E2 (9)

其中，p为E1和E2的平衡函数，当p＝0.8时实验效果显著优于其他值；

S2.4.在分别得到能量模型和虹膜边界模型后，开始结合两个模型对虹膜中心位置进行迭代更新，如图5所示，考虑8个方向，在每个方向上都重复用S2.2步骤得到相应的虹膜边界，然后根据2.3步骤得到每个方向上的能量函数值，根据虹膜内的像素最低的特性，故当能量函数值越高时，所求的虹膜边界就越接近实际的虹膜边界，如图6所示，使用迭代的方法重复上述步骤直到两次相邻的更新方向恰好相反就停止迭代，最终Snakuscule模型所在的圆心就是我们所求的虹膜中心。

Claims (1)

1.一种基于三维眼球模型和Snakuscul的虹膜中心定位方法，其特征在于，所述方法包括以下步骤：

S1.虹膜粗定位

在摄像头下，使用xiong提出的人脸对齐法检测人脸图像，得到脸部特征点，其中特征点包含有二维坐标，使用与眼部相关的12个特征点，包含左右眼的眼角、上眼睑和下眼睑；根据眼部的特征点，对虹膜半径、眼球半径以及虹膜中心的粗定位点、眼球中心的粗定位点进行定义；

S2.虹膜精确定位，过程如下：

S2.1.对眼睛的状态进行判断；

眼睛在闭合和睁开状态时应该进行分步处理，当眼睛睁开时，继续下列步骤；当眼睛闭合时，直接将粗定位点判定为精确定位点；

S2.2.构建虹膜边界模型；

构建虹膜边界模型的步骤如下：

假设眼球中心是(x_ec,y_ec,z_ec)，虹膜中心是(x_ic,y_ic,z_ic)，考虑两者之间的几何关系，以眼球中心为原点，构建三维坐标系，得到以下规则：

x_ic ²+y_ic ²+z_ic ²＝R_e ²-R_i ² (1)，

又由于虹膜边界上的点一定既在虹膜上也在眼球上，所以它是虹膜平面和眼球平面相交的点，那么虹膜边界的法向量即垂直于虹膜平面也垂直于眼球平面，可以由虹膜中心和眼球中心构成，假设相交点为(x_i,y_i,z_i)，根据点法式得到以下公式：

(x_ic-x_ec)(x_i-x_ic)+(y_ic-y_ec)(y_i-y_ic)+(z_ic-z_ec)(z_i-z_ic)＝0 (2)，

此外，由于虹膜点在一个椭球体上，受以下公式约束：

由于所使用的都是摄像头空间下的信息，因此在摄像空间坐标系下进行操作，将公式(2)代入公式(3)得到与虹膜边界点相关的公式：

又因摄像头下所拍摄的图像通常用像素坐标系表示，与摄像头空间下的点坐标不一致，故进行转化：

2.2.1)将摄像头坐标系转化为图像坐标系

假设点m(X,Y,Z)是摄像头空间下的一点，将该点投影到图像坐标下的点为m(X,Y,f)，其中，f是相机焦距，是图像平面与投影中心的距离，根据三角比例关系，得到

2.2.2)将图像坐标系转化为像素坐标系

假设点(x,y)是图像坐标系中的一点，该点在像素坐标系中为(u,v)，(u0,v0)是图像的中心点，每个像素的物理尺寸为dx*dy，得

根据2.2.1)、2.2.2)，将摄像头坐标系下的点转化为像素坐标系下的点，由于dx/f≈dy/f，Z_ic≈Z_ec，假设Z_ic·(dx/f)≈Z_ic·(dy/f)≈Z_ec·(dx/f)≈Z_ec·(dy/f)≈1，故公式(1)转化为：

(u_e-u_ic)²+(v_ic-v_e)²+(z_ic-z_ec)²＝r_e ²-r_i ² (5)

同理，公式(4)转化为：

其中，u_e，u_i，v_i，v_e分别是已知值，z_ic-z_ec由公式(5)得到，根据公式(6)求得所有符合模型的虹膜边界点，得到所求的虹膜边界轮廓；

S2.3.根据虹膜边界轮廓计算能量函数的值

对Snkuscule能量模型进行了改进，提出了一种具有固定半径的Snakuscule同心环形轮廓，其中内半径为r_i，外半径为αr_i，用于捕捉眼睛内的虹膜；这种固定半径的活动轮廓能够有效跟踪低分辨率图像中的眼睛图像，并且由于不需要变换半径因此迭代次数相对相低，适合于实时应用；

该能量模型的定位准则是根据虹膜的特性决定的，即在眼睛区域内，虹膜是一个暗色调的圆形，内部像素较低，通过计算以下能量函数，以确保虹膜边界轮廓的迭代更新：

其中S2为半径为r_i的圆形区域，r_i为S2.1.时得到的虹膜半径，理想状态下该圆形区域正好覆盖虹膜区域，S3是由S2放大一定倍数，半径为αr_i的圆形区域，经过实验可知，当情况α＝1/0.75时效果最好，(x,y)为S上的所有点，p(x,y)代表像素值；

增加了一个S1的圆形区域，该区域同样以S2和S3的圆心为中心缩小一定倍数形成一个半径为的圆，从而对能量函数进行完善：

结合(7)和(8)，得到最终的Snakuscule能量函数：

E3＝E1+p*E2 (9)

其中，p为E1和E2的平衡函数；

S2.4.在分别得到能量模型和虹膜边界模型后，开始结合两个模型对虹膜中心位置进行迭代更新；考虑8个方向，在每个方向上都重复用S2.2步骤得到相应的虹膜边界，然后根据2.3步骤得到每个方向上的能量函数值，根据虹膜内的像素最低的特性，故当能量函数值越高时，所求的虹膜边界就越接近实际的虹膜边界，使用迭代的方法重复上述步骤直到两次相邻的更新方向恰好相反就停止迭代，最终Snakuscule模型所在的圆心就是所求的虹膜中心。