CN102902967A - 基于人眼结构分类的虹膜和瞳孔的定位方法 - Google Patents

Abstract

本发明公开了一种基于人眼结构分类的虹膜和瞳孔的定位方法。该方法首先从系统获取的图像中检测人脸，提取人眼图像。由于在远距离非侵入的情况下获取的人眼图像可在很大的范围内变化，例如，虹膜半径可在几十到几百个像素间变化，本发明在精确定位虹膜和瞳孔边界前，利用非监督学习技术，对人眼图像进行自动的结构分类。该分类能大致定位虹膜和瞳孔，估算有效虹膜区域大小，极大地去除非虹膜和瞳孔边界的离群数据，并且减少针对虹膜瞳孔位置和大小的搜索空间。在缩小的搜索空间中，本发明进一步依据虹膜瞳孔固有特征进行约束优化，搜索最优虹膜和瞳孔边界。本发明可以大大增加虹膜和瞳孔定位的稳定性和精确性，尤其适合远距离非侵入式的虹膜获取系统。

Description

基于人眼结构分类的虹膜和瞳孔的定位方法

技术领域

本发明属于图像处理，模式识别和计算机视觉的技术领域，涉及一种自动的基于人眼结构分类的虹膜和瞳孔定位方法，尤其适合于从远距离非侵入情况下获取的图像。

背景技术

与生物识别技术的其它方式相比，虹膜识别更加准确、可靠和独特。它的信息采集是非接触式的，从而非常卫生。虹膜识别的步骤大致包括人眼图像获取，图像预处理，虹膜和瞳孔定位，虹膜特征提取，以及虹膜特征匹配等步骤。

如果人脸图像是在远距离非侵入的情况下获取的，人眼图像可在很大的范围内变化。例如，图像上的虹膜的半径可在几十到几百个像素间变化，而在近距可控条件下，虹膜半径一般只有几十像素差异；光照条件不及近距离获取系统的一致；虹膜区域可被眼镜，高光，眼帘，睫毛等物遮挡。

在这类人眼图像中，只有非常小比例的图像区域包括虹膜及瞳孔的边界，而非虹膜及瞳孔的离群数据比例远超过了现有通用的稳健检测算法的失效点。因此，虹膜和瞳孔的精确定位的难度大大增加，进而降低了此类图像的识别率和阻碍了远距离非侵入式获取系统的推广。

发明内容

针对上述现有技术，本发明提供一种基于人眼结构分类的虹膜和瞳孔定位方法，以增加远距离非侵入式虹膜图像获取及识别系统的稳健性。本发明中所谓类似圆的结构是指类似圆形的形状，非圆结构是指不具备圆形的形状。

为了解决上述技术问题，本发明基于人眼结构分类的虹膜和瞳孔定位方法，包括以下步骤：

步骤1、在虹膜采集系统获取图像中检测人脸图像，在人脸图像中提取人眼图像：

利用训练过的哈尔小波特征级连分类器在降低了分辨率的图像中检测人脸；

如果没有检测到人脸，则不进行处理；

如果检测到人脸，则使用训练过的哈尔小波特征级连分类器在人脸范围内检测人眼；

如果检测到两只人眼，则提取两张分别具有一只人眼的人眼图像；

如果检测到一只人眼，则根据人脸对称性分析另一只眼的位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

如果没有检测到人眼，则根据人脸比例及对称分析两眼位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

步骤2、利用机器学习中的非监督学习技术，对人眼图像进行自动的结构分类：

采用非监督学习技术将人眼图像分为类似圆的结构和其他非圆结构，从而初步定位虹膜和瞳孔，估算有效虹膜区域大小及人眼闭合程度，用以去除非虹膜和瞳孔边界的离群数据，同时缩小针对虹膜瞳孔位置和大小的搜索空间；

步骤3：结合虹膜和瞳孔的固有特征进行约束优化，搜索最优虹膜和瞳孔边界，从而精确定位虹膜和瞳孔边界，具体包括以下步骤：

步骤3-1：在由步骤2确定的搜索空间内，利用以下方法之一自动检测多个虹膜和瞳孔边界的候选解：

先运用识别圆的霍夫变换，然后，在霍夫空间内进行多个局部极值检测；或

先运用稳健曲线拟合，再加上拟合残差分析；

步骤3-2：结合虹膜和瞳孔的平均半径比率的范围以及平均的同心率范围，对候选解进行约束，寻找最优的候选解；

约束优化定义为:

$\underset{(B_p,B_i)}{\max }(v\left(B_p\right)+v\left(B_i\right))s.t.$

$d_l\≤\frac{r_p}{r_i}\≤d_h$

$\frac{\left|\right|O_p-O_i\left|\right|}{r_i}\≤e$

其中B_p和B_i为瞳孔和虹膜边界的候选，v(·)为霍夫空间的投票，r_p和r_i分别为虹膜和瞳孔的边界,O_p和O_i为虹膜和瞳孔的圆心位置；半径比率d_l和d_h在0.1和0.8之间，同心率e设为0.2。其中，得到的最优解即为虹膜和瞳孔边界的精确定位。

进一步讲，所述非监督学习技术的实现是基于图论的规范化分割的改进，包括以下步骤：

步骤2-1：对获取的人眼图像进行边缘检测，形成边缘图像；

步骤2-2：对步骤2-1的边缘图像进行预处理，形成只有线段组成的要素图；

步骤2-3：描述要素图为带权的无向图，其中节点为线段，节点之间的权重值的计算是基于构成类似圆的轮廓的线段集的一致性，该一致性的评估包括线段的平均灰度梯度，半径的标准方差，以及构成当前类圆轮廓的线段集的密度；

步骤2-4：对于步骤2-3建立的权重矩阵采用规范化分割，要素图中的线段被分离成两类，能组成类圆轮廓的线段，和组成其他类型轮廓的线段；

步骤2-5：对群内数据分析，计算构成当前类圆轮廓的线段集的中心与长宽比例、所包括的图像区域的灰度分布，用以估计虹膜瞳孔位置大小及人眼闭合程度；如果长宽比例以及灰度分布超出虹膜区域正常的范围，则不对该图像进行进一步处理，在虹膜采集系统获取到新的图像后，返回到步骤1；如果长宽比例以及灰度分布在正常范围内，则到步骤3。

与现有技术相比，本发明的有益效果是：

本发明通过基于人眼结构分类的虹膜和瞳孔定位方法，提高了远距离非侵入式虹膜图像获取及识别系统的稳健性。

本发明能精确定位大多数非理想状况下获取图像中的虹膜，例如虹膜半径可在几十到几百像素内变化，所受光照条件不一，以及被不同物体遮挡。

本发明综合了机器学习中的非监督学习技术，对图像中的人眼结构进行分类。这种分类能提高虹膜瞳孔精确定位的稳健性，同时减少针对虹膜瞳孔位置和大小的搜索空间。

附图说明

图1为基于人眼结构分类的虹膜和瞳孔定位方法的流程示意图；

图2为基于图论的规范化分割的人眼结构分类方法的流程示意图；

图3（a）、图3(b)和图3(c)为基于图论的规范化分割中的权重矩阵计算的示意图；

图4(a)、图4(b)、图4(c)和图4(d)为使用基于图论的规范化分割所产生的分类样本；

图5为虹膜和瞳孔定位的实验结果样本。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。所描述的实施方式仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，基于人眼结构分类的虹膜和瞳孔定位方法的步骤如下：

步骤1、在虹膜采集系统获取图像中检测人脸图像，在人脸图像中提取人眼图像：

利用训练过的哈尔小波特征级连分类器在降低了分辨率的图像中进行人脸检测；

如果检测人脸失败，则不进行处理；

如果检测到人脸，则使用训练过的哈尔小波特征级连分类器在人脸范围内进行人眼检测；

如果检测到两只人眼，则提取两张分别具有一只人眼的人眼图像；

如果检测到一只人眼，则根据人脸对称性分析另一只眼的位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

如果没有检测到人眼，则根据人脸比例及对称分析两眼位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

步骤2、利用机器学习中的非监督学习技术，对人眼图像进行自动的结构分类：

采用非监督学习技术将人眼图像分为类似圆的结构和其他非圆结构，从而初步定位虹膜和瞳孔，估算有效虹膜区域大小及人眼闭合程度，用以去除非虹膜和瞳孔边界的离群数据，同时减少针对虹膜瞳孔位置和大小的搜索空间；

如图2所示，所述非监督学习技术的实现是基于图论的规范化分割的改进，包括以下步骤：

步骤2-1：对获取的如图4(a)所示的人眼图像进行边缘检测，形成边缘图像；

步骤2-2：如图4（b）所示，对步骤2-1的边缘图像进行近似处理，形成只有线段组成的要素图，近似处理方法可以为渐进式直线拟合法或者识别直线的霍夫变换；

步骤2-3：描述要素图为带权的无向图，其中节点为线段，节点之间的权重值的计算是基于构成类似圆的轮廓的线段集的一致性，该一致性的评估包括线段的平均灰度梯度，半径的标准方差，以及构成当前类圆轮廓的线段集的密度；图3(a)，图3（b），和图3（c）描述了权重矩阵的具体实现。N_i和N_j为线段V_i和V_j的法线方向。C_ij测量的是两条线段在同一类圆轮廓上的可能性，

$C_{\mathrm{ij}}=N(\▿V_i-\▿V_j|0,{\mathrm{\δ}}_g^2)\·N\left(s_{\mathrm{ij}}\right|0,{\mathrm{\δ}}_s^2)$

其中和

为平均梯度幅度，s_ij为法线交点到线段终点和中点的长度的标准差。

和

分别是

和s_ij的方差。因为类圆轮廓通常包括多条线段，在法线方向的交点的密度也需要计算。因此，V_i和V_j之间的权重可定义为，

其中C_ik是线段V_i和V_k在同一类圆轮廓上的可能性，r_j和r_k是交点和线段V_i的中点之间的距离，r_min和r_max是最小和最大可能的半径，Z是归一化因子导致W_ij在0和1之间。核函数K_λ定义为

K_λ(r_j，r_k)＝D(||r_j-r_k||/λ)

其中λ为核函数窗口大小，D(·)定义为

步骤2-4：对于步骤2-3建立的权重矩阵采用规范化分割，要素图中的线段被分离成两类，能组成类圆轮廓（群内数据）的线段，和组成其他类型轮廓（离群数据）的线段；其中拉普拉斯矩阵定义为

D为对角矩阵其元素为线段被分为两类，类圆轮廓的群内数据，和其他轮廓的离群数据，如图4（c）和4（d）所示。

步骤2-5：对群内数据分析，计算构成当前类圆轮廓的线段集的中心，长宽比例、所包括的图像区域的灰度分布，用以估计虹膜瞳孔位置大小及人眼闭合程度；如果长宽比例以及灰度分布不在虹膜区域正常的分布范围，则不对该图像进行进一步处理，在虹膜采集系统获取到新的图像后，返回到步骤1；如果长宽比例以及灰度分布在正常范围内，则到步骤3。

步骤3：结合虹膜和瞳孔的固有特征进行约束优化，搜索最优虹膜和瞳孔边界，从而精确定位虹膜和瞳孔边界，具体包括以下步骤：

步骤3-1：在由步骤2确定的缩小的搜索空间内检测多个虹膜和瞳孔边界的候选解，具体方法可以是先运用识别圆的霍夫变换，再加上在霍夫空间内进行多个局部极值检测；也可以是先运用稳健曲线拟合，再加上拟合残差分析；

步骤3-2：结合虹膜和瞳孔的平均半径比率的范围以及平均的同心率范围，对候选解进行约束，寻找最优的候选解；

约束优化定义为:

$\underset{(B_p,B_i)}{\max }(v\left(B_p\right)+v\left(B_i\right))s.t.$

$d_l\≤\frac{r_p}{r_i}\≤d_h$

$\frac{\left|\right|O_p-O_i\left|\right|}{r_i}\≤e$

其中B_p和B_i为瞳孔和虹膜边界的候选，v(·)为霍夫空间的投票，r_p和r_i分别为虹膜和瞳孔的边界,O_p和O_i为虹膜和瞳孔的圆心位置。半径比率d_l和d_h在0.1和0.8之间，同心率e设为0.2。其中，得到的最优解即为虹膜和瞳孔边界的精确定位。

图5显示由上述方法对不同的虹膜半径，变化的光照条件，以及眼镜遮盖的情况下的虹膜和瞳孔定位的实验结果样本。虹膜半径在52到351像素范围。这些实验样本包括了低分辨率图像（(b),(c),(e),(f),(i)和(g)），高分辨率图像（(a)和(j)），有较强烈的高光的图像（(a)和(g)），有较大的眼镜框遮挡的图像（(a),(h),和(i)）,有较强的睫毛遮挡的图像((j)),有红眼效果的图像（(e)）,以及在人头和眼球的旋转时采集的图像（(a)和(d)）。实验样本显示出本发明适用于在很多不理想的条件下采集的人眼图像，可以极大增加虹膜和瞳孔定位的稳定性和精确性，尤其适用于远距离非侵入式的虹膜获取系统。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

Claims (2)

1.一种基于人眼结构分类的虹膜和瞳孔的定位方法，其特征在于，包括以下步骤：

步骤1、在虹膜采集系统获取的图像中检测人脸图像，在人脸图像中提取人眼图像：

利用训练过的哈尔小波特征级连分类器在降低了分辨率的图像中检测人脸；

如果没有检测到人脸，则不进行处理；

如果检测到人脸，则使用训练过的哈尔小波特征级连分类器在人脸范围内检测人眼；

如果检测到两只人眼，则提取两张分别具有一只人眼的人眼图像；

如果检测到一只人眼，则根据人脸对称性分析另一只眼的位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

如果没有检测到人眼，则根据人脸比例及对称分析两眼位置，进而提取一张具有一只人眼的人眼图像或两张分别具有一只人眼的人眼图像；

步骤2、利用机器学习中的非监督学习技术，对人眼图像进行自动的结构分类：

采用非监督学习技术将人眼图像分为类似圆的结构和其他非圆结构，从而初步定位虹膜和瞳孔，估算有效虹膜区域大小及人眼闭合程度，用以去除非虹膜和瞳孔边界的离群数据，同时缩小针对虹膜瞳孔位置和大小的搜索空间；

步骤3：结合虹膜和瞳孔的固有特征进行约束优化，搜索最优虹膜和瞳孔边界，从而精确定位虹膜和瞳孔边界；

具体包括以下步骤：

步骤3-1：在由步骤2确定的搜索空间内，利用以下方法之一自动检测多个虹膜和瞳孔边界的候选解：

先运用识别圆的霍夫变换，然后，在霍夫空间内进行多个局部极值检测；或

先运用稳健曲线拟合，再加上拟合残差分析；

步骤3-2：结合虹膜和瞳孔的平均半径比率的范围以及平均的同心率范围，对候选解进行约束，寻找最优的候选解；

约束优化定义为:

$\underset{(B_p,B_i)}{\max }(v\left(B_p\right)+v\left(B_i\right))s.t.$

$d_l\≤\frac{r_p}{r_i}\≤d_h$

$\frac{\left|\right|O_p-O_i\left|\right|}{r_i}\≤e$

其中B_p和B_i为瞳孔和虹膜边界的候选，v(·)为霍夫空间的投票，r_p和r_i分别为虹膜和瞳孔的边界,O_p和O_i为虹膜和瞳孔的圆心位置；半径比率d_l和d_h在0.1和0.8之间，同心率e设为0.2。其中，得到的最优解即为虹膜和瞳孔边界的精确定位。

2.根据权利要求1所述基于人眼结构分类的虹膜和瞳孔的定位方法，其特征在于，步骤2中，所述非监督学习技术的实现是基于图论的规范化分割的改进，包括以下步骤：

步骤2-1：对获取的人眼图像进行边缘检测，形成边缘图像；

步骤2-2：对步骤2-1的边缘图像进行预处理，形成只有线段组成的要素图；

步骤2-3：描述要素图为带权的无向图，其中节点为线段，节点之间的权重值的计算是基于构成类似圆的轮廓的线段集的一致性，该一致性的评估包括线段的平均灰度梯度，半径的标准方差，以及构成当前类圆轮廓的线段集的密度；

步骤2-4：对于步骤2-3建立的权重矩阵采用规范化分割，要素图中的线段被分离成两类，能组成类圆轮廓的线段，和组成其他类型轮廓的线段；

步骤2-5：对群内数据分析，计算构成当前类圆轮廓的线段集的中心与长宽比例、所包括的图像区域的灰度分布，用以估计虹膜瞳孔位置大小及人眼闭合程度；如果长宽比例以及灰度分布超出虹膜区域正常的范围，则不对该图像进行进一步处理，在虹膜采集系统获取到新的图像后，返回到步骤1；如果长宽比例以及灰度分布在正常范围内，则到步骤3。

Images