CN108446587B - 一种基于眼球模型几何关系的虹膜中心定位方法 - Google Patents

Abstract

一种基于眼球模型几何关系的虹膜中心定位方法，包括以下步骤：1)使用人脸对齐方法进行虹膜粗定位；2)虹膜精确定位：2.1)利用眼球中心与虹膜中心之间的位置关系来得到虹膜边界；2.2)根据虹膜边界计算能量函数的值；2.3)考虑8个方向，重复步骤2.1)和2.2)，记录最大能量值，更新虹膜位置，用迭代的方法逐渐接近虹膜中心的最终位置，完成虹膜中心定位。本发明提出一种基于人脸对齐的虹膜中心定位方法，考虑眼球转动对虹膜边界形状的影响以及其他抗干扰因素，并最终在良好的算法速度下保持一个相对较高的精确度。

Description

一种基于眼球模型几何关系的虹膜中心定位方法

技术领域

本发明属于图像处理技术领域，尤其是指一种适应不同光照下的虹膜中心定位方法。

背景技术

视线估计在人机交互等众多领域有着广阔的应用前景。虹膜中心定位是视线估计的前提，在很大程度上决定视线估计的准确性。然而，在实际应用中，受不同光照变化和头部运动姿态等因素的影响，所采集的图像往往在噪声、细节、对比度等方面存在不同程度的干扰，如何在保证虹膜定位准确度的情况下提高算法速度仍然是当前研究的重点和难点。

目前的虹膜定位方法大致分为两类：基于特征的和基于形状的。

基于特征的方法有，Kim等人提出的利用加权梯度提取特征点，用聚类方法对特征点进行分组，结合像素值和虹膜边缘梯度值确定虹膜的方法，这种方法复杂度高，不利于后续应用。Valenti和Gevers提出了利用圆形边界曲率和圆中心间关系的虹膜中心定位方法，这种相比较前者，速度上更有优势，且精确度也有一定保障，但其方法在很大程度上取决于虹膜边界特征点的提取，图像的目视区域对最终结果有很大影响。Zhou等人提出了一种改进的结合卷积模板的等照度线法，它不仅提高了效率也没降低精度，但是这种方法并没有考虑头部姿态信息。 Valenti等人则在矫正虹膜中心位置的等照度线方法中考虑头部姿态，能够在大的头部姿态下依然保持强健性。

基于形状的方法有，Cai提出的基于IDO的改进方法，缩小虹膜临界边界的操作范围，提高算法效率，然而这种方法并没有考虑头部姿态。Kim提出的一种基于循环假设的虹膜定位和半径更新方法采用传统的两步策略(先粗定位，再精确定位)，这种方法未考虑在三维条件下眼球转动引起的虹膜边界形状变化。Baek 等人提出了另一种方法，改进了这一因素，考虑了虹膜边界形状变化，并在两维相机平面与三维空间中的几何关系的不同旋转条件下得到了一些候选虹膜边界。最后的虹膜中心位置是通过计算每个候选位置的椭圆匹配程度来确定的。虽然这种方法考虑了眼球转动对图像平面虹膜边界形状的影响，但仅限于个别位置，且不够灵活，不能使最终的定位结果更加准确。

发明内容

为了克服现有的基于形状的虹膜中心定位方法难以解决眼球转动对图像平面虹膜边界形状的影响以及其他干扰因素的影响，本发明提出了一种基于人脸对齐的虹膜中心定位方法，考虑眼球转动对虹膜边界形状的影响以及其他抗干扰因素，并最终在算法的速度和精度上达到一个良好的平衡。

本发明解决其技术问题所采用的技术方案是：

一种基于眼球模型几何关系的虹膜中心定位方法，所述方法包括以下步骤：

S1.使用人脸对齐方法进行虹膜粗定位，过程如下：

用网络摄像头拍摄得到脸部图像，使用人脸对齐方法得到特征点X，X是特征向量，包含所有特征点的二维坐标，定义虹膜半径r_e，眼球半径r_i，得到虹膜中心的初始坐标，眼球中心的初始坐标；

S2.虹膜精确定位，过程如下：

S2.1.利用眼球中心

与虹膜中心

之间的位置关系来描述眼球的三维旋转信息，得到旋转后的虹膜边界

建立虹膜边界模型具体的步骤如下：

以眼球中心为坐标原点，Z轴向外建立坐标系；眼球中心(x_ec,y_ec,z_ec)的坐标为(0,0)，虹膜中心的当前坐标为(x_ic,y_ic,z_ic),其中虹膜中心与眼球中心之间的距离满足以下规则

x_ic，y_ic,r_e,r_i,已知，故z_ic由(1)公式解决得到；由于虹膜的边界由眼球模型所得，它的几何形状是由眼睛的球体与虹膜所在的平面相交的点组成的，虹膜中心坐标已知，虹膜平面法向量由虹膜中心和眼球中心组成，假设这个相交的点是(x_i,y_i,z_i)，得到以下公式

x_ic(x_i-x_ic)+y_ic(y_i-y_ic)+z_ic(z_i-z_ic)＝0 (2)，

而由于虹膜边界点在球面上，因此具有一个球形约束

x_i ²+y_i ²+z_i ²＝re² (3)，

结合(2)和(3)得到以下公式

利用网络摄像头得到的信息来解决上述方程，故将(4)转换成摄像机空间下的公式

根据公式(5)得到虹膜边界点的坐标；根据针孔模型，假定空间点P与捕获图像的坐标有以下对应关系

其中

和u0,v0是相机校准过程中得到的摄像机的内部引用；假设虹膜中心位置(u_ic,v_ic)位于图像，眼球中心(u_e,v_e)和虹膜边界的假定(u_i,v_i), 然后根据公式(6)，获得虹膜的中心和眼球中心的三维坐标，并生成下面的约束

因为为f_x≈f_y和z_i≈z_ic≈z_ec,设定适距离，使下列公式成立：

那么，公式(8)写为

其中u_e，v_e,u_ic,v_ic是输入值，z_ic-z_ec是公式(8)得到的值，u_i,v_i是图像平面上的虹膜边界的要求坐标；用公式(9)描述图像平面内虹膜中心位置变化引起的虹膜边界变化；

S2.2.根据虹膜边界计算能量函数的值，过程如下：

能源更新如下：

在这里，I代表了虹膜区域，p(x,y)表示坐标(x,y)的像素值，n_I代表虹膜区域内的像素量，λ是平衡字符1和字符2的系数，IB代表虹膜边界，g(x,y)表示像素与坐标(x,y)的梯度，最后，n_IB代表虹膜边界的周长；

S2.3.考虑8个方向，每个方向重复步骤S2.1得到虹膜边界，根据S2.2计算出这8个方向的能量函数值，并在图像平面上记录最大的结果从而更新虹膜位置，用迭代的方法逐渐接近虹膜中心的最终位置，重复上述步骤直到相邻两次更新的方向恰好相反则停止迭代，完成虹膜中心定位。

本发明的有益效果为：考虑眼球转动对虹膜边界形状的影响以及其他抗干扰因素，并最终在良好的算法速度下保持一个相对较高的精确度。

附图说明

图1是图像平面上眼球中心和虹膜中心的位置示意图

图2是(a)来自SDM上的特征点示意图(b)算法八个迭代方向示意图。

图3是该算法在BioID数据库上的得到一些快照结果图，其中前三行显示了准确的结果，最后一个行显示了不准确的结果，其中绿色的点为算法估计的虹膜中心位置，红色点为实际真实的虹膜中心位置。

图4是该算法在BioID数据库中获得的统计精度结果图。

图5是该算法在我们自己的数据库中获得的一些快照结果图，其中前两行显示了准确的结果，最后一个行显示了不准确的结果，其中绿色的点为算法估计的虹膜中心位置，红色点为实际真实的虹膜中心位置。

图6是该算法在我们自己的数据库中获得的统计精度结果图。

图7是该算法考虑不同光照条件下在我们自己的数据库中获得的统计精度结果图。

图8是该算法考虑眼球运动因素下在我们自己的数据库中获得的统计精度结果图。

图9是该算法考虑是否佩戴眼镜下在我们自己的数据库中获得的统计精度结果图。

图10是一种基于眼球模型几何关系的虹膜中心定位方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图10，一种基于眼球模型几何关系的虹膜中心定位方法，包括以下步骤：

S1.虹膜粗定位，过程如下：

用网络摄像头拍摄得到脸部图像，使用提出的人脸对齐方法得到特征点X(X 是特征向量，包含所有特征点的二维坐标)，如图2(a)所示，根据图2(a), 定义虹膜半径为特征点20和23的距离:re＝||X[23]-X[20]||2，将眼球半径定义为特征点19和22之间的距离:ri＝||X[22]-X[19]||2，所示虹膜中心的初始坐标为中心的特征点,20,21,23和24:

眼球中心定义为特征点的中心19和22:

S2.虹膜精确定位，过程如下：

S2.1利用眼球中心

与虹膜中心

之间的位置关系来描述眼球的三维旋转信息，得到旋转后的虹膜边界

建议虹膜边界模型的步骤如下：

以眼球中心为坐标原点，Z轴向外建立坐标系，眼球中心(x_ec,y_ec,z_ec)的坐标为(0,0)，虹膜中心的当前坐标为(x_ic,y_ic,z_ic),其中虹膜中心与眼球中心之间的距离满足以下规则

x_ic，y_ic,r_e,r_i,已知，故z_ic可由(1)公式解决得到，由于虹膜的边界由眼球模型所得，它的几何形状是由眼睛的球体与虹膜所在的平面相交的点组成的，虹膜中心坐标已知，虹膜平面法向量由虹膜中心和眼球中心组成，假设这个相交的点是(x_i,y_i,z_i)，得到以下公式

x_ic(x_i-x_ic)+y_ic(y_i-y_ic)+z_ic(z_i-z_ic)＝0 (2)，

而由于虹膜边界点在球面上，因此具有一个球形约束

x_i ²+y_i ²+z_i ²＝re²(3)，

结合(2)和(3)得到以下公式

利用网络摄像头得到的信息来解决上述方程，故将(4)转换成摄像机空间下的公式

根据公式(5)可得到虹膜边界点的坐标，根据针孔模型，假定空间点P与捕获图像的坐标有以下对应关系

其中

和u0,v0是相机校准过程中得到的摄像机的内部引用，假设虹膜中心位置(u_ic,v_ic)位于图像，眼球中心(u_e,v_e)和虹膜边界的假定(u_i,v_i), 然后根据公式(6)，获得虹膜的中心和眼球中心的三维坐标，并生成下面的约束

因为f_x≈f_y和z_i≈z_ic≈z_ec，设定距离，使下列公式成立：

那么，公式(8)写为

其中u_e，v_e,u_ic,v_ic是输入值，z_ic-z_ec是公式(8)得到的值，u_i,v_i是图像平面上的虹膜边界的要求坐标，用公式(9)描述图像平面内虹膜中心位置变化引起的虹膜边界变化；

S2.2.根据虹膜边界计算能量函数的值，过程如下：

迭代的定位策略主要基于虹膜区域的两个特征:虹膜内像素值相对较低，虹膜边界的梯度比其他区域要高，根据上述两个标准提出以下能源功能，以确保能源的更新:

在这里，I代表了虹膜区域，p(x,y)表示坐标(x,y)的像素值，n_I代表虹膜区域内的像素量，λ是平衡字符1和字符2的系数,将它设置为0.7，IB代表虹膜边界，g(x,y)表示像素与坐标(x,y)的梯度，最后，n_IB代表虹膜边界的周长；

S2.3.考虑8个方向(如图2(b)所示)，每个方向重复步骤S2.1.得到虹膜边界，根据S2.2.计算出这8个方向的能量函数值，并在图像平面上记录最大的结果从而更新虹膜位置，用迭代的方法逐渐接近虹膜中心的最终位置，重复上述步骤直到相邻两次更新的方向恰好相反则停止迭代，完成虹膜中心定位。

Claims (1)

1.一种基于眼球模型几何关系的虹膜中心定位方法，其特征在于：所述方法包括以下步骤：

S1.使用人脸对齐方法进行虹膜粗定位，过程如下：

用网络摄像头拍摄得到脸部图像，使用人脸对齐方法得到特征点X，X是特征向量，包含所有人脸对齐方法得到的特征点的二维坐标，定义虹膜半径r_e，眼球半径r_i，得到虹膜中心的初始坐标，眼球中心的初始坐标；

S2.虹膜精确定位，过程如下：

S2.1.利用眼球中心

与虹膜中心

之间的位置关系来描述眼球的三维旋转信息，得到旋转后的虹膜边界

建立虹膜边界模型的步骤如下：

以眼球中心为坐标原点，Z轴向外建立坐标系；眼球中心(x_ec，y_ec，z_ec)的坐标为(0，0，0)，虹膜中心的当前坐标为(x_ic，y_ic，z_ic)，其中虹膜中心与眼球中心之间的距离满足以下规则

x_ic，y_ic，r_e，r_i，已知，故z_ic由(1)公式求解得到；由于虹膜的边界由眼球模型所得，它的几何形状是由眼睛的球体与虹膜所在的平面相交的点组成的，虹膜中心坐标已知，虹膜平面法向量由虹膜中心和眼球中心组成，假设这个相交的点是(x_i，y_i，z_i)，得到以下公式

x_ic(x_i-x_ic)+y_ic(y_i-y_ic)+z_ic(z_i-z_ic)＝0 (2)，

而由于虹膜边界点在球面上，因此具有一个球形约束

x_i ²+y_i ²+z_i ²＝re²(3)，

结合(2)和(3)得到以下公式

利用网络摄像头得到的信息来求解上述方程，故将(4)转换成摄像机空间下的公式

根据公式(5)得到虹膜边界点的坐标；根据针孔模型，假定空间点P与捕获图像的坐标有以下对应关系

其中

和u0，v0是相机校准过程中得到的摄像机的内部引用；假设虹膜中心位置(u_ic，v_ic)位于图像，眼球中心(u_e，v_e)和虹膜边界的假定(u_i，v_i)，然后根据公式(6)，获得虹膜的中心和眼球中心的三维坐标，并生成下面的约束

因为f_x≈f_y和z_i≈z_ic≈z_ec，设定距离，使下列公式成立：

那么，公式(7)写为

其中u_e，v_e,u_ic,v_ic是输入值，z_ic-z_ec是公式(8)得到的值，u_i,v_i是图像平面上的虹膜边界的要求坐标；用公式(8)描述图像平面内虹膜中心位置变化引起的虹膜边界变化；

S2.2.根据虹膜边界计算能量函数的值，过程如下：

能源更新如下:

在这里，I代表了虹膜区域，p(x,y)表示坐标(x,y)的像素值，n_I代表虹膜区域内的像素量，λ是平衡字符1和字符2的系数，IB代表虹膜边界，g(x,y)表示像素与坐标(x,y)的梯度，最后，n_IB代表虹膜边界的周长；

S2.3.考虑8个方向，每个方向重复步骤S2.1得到虹膜边界，根据S2.2计算出这8个方向的能量函数值，并在图像平面上记录最大的结果从而更新虹膜位置，用迭代的方法逐渐接近虹膜中心的最终位置，重复上述步骤直到相邻两次更新的方向恰好相反则停止迭代，完成虹膜中心定位。

Images