CN105205480A - 一种复杂场景中人眼定位方法及系统 - Google Patents

Abstract

本发明涉及人脸识别技术领域，提供一种复杂场景中人眼定位方法及系统，方法包括：对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；根据获取到的候选眼睛区域中眼睛中心的位置，计算眼睛中心在采集到的图像中的坐标，并标记，实现在大场景下对人脸进行快速、准确的定位。

Description

一种复杂场景中人眼定位方法及系统

技术领域

本发明属于人脸识别技术领域，尤其涉及一种复杂场景中人眼定位方法及系统。

背景技术

人脸识别是模式识别研究领域的重要课题，在信息安全、出入口访问控制、智能卡等方面有着良好的应用前景。其中，二维和三维人脸识别方法中一个很重要的过程就是人眼的检测和定位，这是由于眼睛区域包含了丰富的可用于个体区分的重要信息，不仅可以提高识别和检测的速度，而且能够降低识别算法的复杂度。同时，由于双眼位置和间距受光照和表情变化的影响最小，眼睛的定位又是人脸图像进行位置、大小和角度归一化的前提，也是人脸其他部件眉毛、鼻子、嘴巴等检测和抽取的基础。因此，人眼的自动定位成为人脸识别研究中的一个基本且非常重要的课题。

目前，针对人眼定位的方法有很多，主要包括基于模板匹配的方法、基于灰度投影的方法和基于分类器设计的方法等，其中，这些人眼定位方法存在缺陷，具体为：

在基于模板匹配的方法中，需要分别使用左眼模板和右眼模板在图像中进行匹配，不需要大量的先验知识，但是其对初始位置有要求并且计算量大；

基于灰度投影法，由于其计算量小的特点常常被用作人眼的定位，但是该方法需要大量的图像预处理，并且受光照和遮挡的影响较大，对于出现头发的遮挡会使得算法失效；

基于分类器设计方法主要包括支持向量机(SupportVectorMachine，SVM)、神经网络、迭代算法AdaBoost等，这些方法将人眼定位作为一个分类问题，其定位精度较高，但是在大场景中，人眼作为微弱目标存在，利用分类器全局多次搜索图像计算量大，过程繁琐。

发明内容

本发明的目的在于提供一种能够在复杂大场景下，对人脸进行快速准确定位的复杂场景中人眼定位方法。

本发明是这样实现的，一种复杂场景中人眼定位方法，所述方法包括下述步骤：

对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；

对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；

在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；

根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

作为一种改进的方案，所述对采集到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像的步骤具体包括下述步骤：

将获取到的RGB图像转换为彩色空间图像；

对所述彩色空间图像进行基于肤色的模型分析以及基于形态学的运算处理，得到基于灰度的人脸图像；

对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像；

根据获取到的人脸候选区域的图像，获取人脸候选截图；

将所述人脸候选截图转换为灰度图像，并对所述灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

作为一种改进的方案，所述对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像的步骤具体包括下述步骤：

对包含纯人脸区域的人脸图像进行高帽变换处理；

对人脸图像进行低帽变换处理；

对人脸图像进行对比度增强计算；

对对比度增强计算后的人脸图像进行二值化处理；

对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

作为一种改进的方案，所述在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的步骤具体包括下述步骤：

对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域；

对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域；

对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像；

将所述掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像；

将所述粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

作为一种改进的方案，所述在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的步骤之后，所述根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标的步骤之前还包括下述步骤：

对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。

本发明的另一目的在于提供一种复杂场景中人眼定位系统，所述系统包括：

人脸图像生成模块，用于对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；

对比度增强处理模块，用于对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；

候选眼睛区域获取模块，用于在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；

眼睛中心计算标记模块，用于根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

作为一种改进的方案，所述人脸图像生成模块具体包括：

色彩转换模块，用于将获取到的RGB图像转换为彩色空间图像；

肤色模型分析模块，用于对所述彩色空间图像进行基于肤色的模型分析；

形态学运算模块，用于基于形态学的运算处理，得到基于灰度的人脸图像；

区域筛选模块，用于对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像；

人脸候选截图获取模块，用于根据获取到的人脸候选区域的图像，获取人脸候选截图；

转换检测模块，用于将所述人脸候选截图转换为灰度图像，并对所述灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

作为一种改进的方案，所述对比度增强处理模块具体包括：

高帽变换处理模块，用于对包含纯人脸区域的人脸图像进行高帽变换处理；

低帽变换处理模块，用于对人脸图像进行低帽变换处理；

对比度增强计算模块，用于对人脸图像进行对比度增强计算；

二值化处理模块，用于对对比度增强计算后的人脸图像进行二值化处理；

滤除处理模块，用于对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

作为一种改进的方案，所述候选眼睛区域获取模块具体包括：

截图处理模块，用于对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域；

筛选模块，用于对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域；

掩膜二值图像形成模块，用于对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像；

抠图处理模块，用于将所述掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像；

分类检测验证模块，用于将所述粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

作为一种改进的方案，所述系统还包括：

瞳孔中心定位模块，用于对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。

在本发明实施例中，对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；根据获取到的候选眼睛区域中眼睛中心的位置，计算眼睛中心在采集到的图像中的坐标，并标记，实现在大场景下对人脸进行快速、准确的定位。

附图说明

图1是本发明提供的复杂场景中人眼定位方法的实现流程图；

图2是本发明提供的对采集到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像的具体实现流程图；

图3是本发明提供的对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像的实现流程图；

图4是本发明提供的在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的具体实现流程图；

图5是本发明提供的复杂场景中人眼定位系统的结构框图；

图6是本发明提供的人脸图像生成模块的结构框图；

图7是本发明提供的对比度增强处理模块的结构框图；

图8是本发明提供的候选眼睛区域获取模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的复杂场景中人眼定位方法的实现流程，其具体的步骤如下所述：

在步骤S101中，对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像。

在步骤S102中，对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像。

在步骤S103中，在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像。

在步骤S104中，对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。

在步骤S105中，根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

其中，上述步骤S104为优选的方案，可以不执行该定位眼睛中心的位置的步骤，直接执行上述步骤S105，在此不再赘述。

其中，图2示出了本发明提供的对采集到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像的具体实现流程，其具体包括下述步骤：

在步骤S201中，将获取到的RGB图像转换为彩色空间图像。

其中，该RGB图像的获取方式可以有多种，例如通过摄像机现场采集或从数据库中读取彩色图片；

上述色彩空间转换主要是将RGB图像转换为YCbCr色彩空间，其主要用于有效的将亮度和色度进行分离，其转换的模型模式可以采用如下：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.5870& 0.1140& 0\\ -0.1687& -0.3313& 0.5000& 128\\ 0.5000& -0.4187& 0.0813& 128\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]$

其中，Y表示颜色的亮度，Cb表示蓝色分量，Cr表示红色分量，Cr和Cb一起表示颜色的色度信息，并且Cr和Cb之间是二维独立的。

在步骤S202中，对彩色空间图像进行基于肤色的模型分析以及基于形态学的运算处理，得到基于灰度的人脸图像。

其中，由于在YCbCr空间中对人脸皮肤颜色表现出了较好的聚类特性，与背景颜色具有较好的区分效果，通过计算单个像素的肤色相似性进行分割的图像，如果用1表示肤色区域，0表示非肤色区域，则可以得到肤色区域的判别函数如下所述：

由于肤色区域只是对YCbCr空间的Cb和Cr分量进行处理后，需要应用形态学算子来除去人脸图像中孤立的背景区域，经过运算，腐蚀操作用于去除孤立噪声，膨胀操作用于填充脸部的非肤色区域，使整个图像出现为全填充的连通区域，因此，闭合运算为“·”，其是先进行膨胀然后再进行腐蚀运算，A用B来闭合记为A·B，其定义如下：

$A\·B=(A\⊕B)\mathrm{\Θ}B$

其中，腐蚀运算的符号为“Θ”，膨胀运算的符号为“”。

在步骤S203中，对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像。

其中，经过基于数学形态学的滤波方法处理后，人脸图像中的小块噪声大多数被清除，但是由于背景复杂影响因素较多，可能存在裸露的手臂或腿部等非人脸区域被误检为人脸候选区域，为了尽量删除非人脸图像的区域，根据先验几何知识如形状大小、长宽比例、椭圆近似的长短轴比例以及像素占有率等知识进行验证，剔除明显不是人脸的区域，保留包含人脸的肤色图像块。

对人脸区域来说，由于存在眼睛、嘴巴、眉毛等非肤色区域，因此在人脸区域中会存在一个或多个“孔”(非人脸区域)，基于此可以去掉那些不包含孔的肤色区域，为此计算候选人脸区域中孔洞的数量，其计算方式采用欧拉数，欧拉数定义为连通成分数减去洞数，用公式表示：

E＝C-H

其中，E、C和H分别是欧拉数、连通成分数与孔数，由上式可得：

H＝C-E

考虑到肤色的生长区域，C＝1，所以H＝1-E。

计算各个分块的欧拉数，反映出每个分块各有多少个空洞。因为人脸的眼睛、鼻子和嘴唇经过以上步骤会有黑色的空洞显示出来，因此通过所计算的欧拉数，设定一个阈值，当分块欧拉数>0时，将该分块视为人脸区域，进入下一轮人脸区域候选，反之视为非人脸区域。

此外，上述人脸区域的外接矩形长宽也用到区域筛选的方法，在此不再赘述。

在步骤S204中，根据获取到的人脸候选区域的图像，获取人脸候选截图。

其中，根据获取到的人脸候选区域，将该人脸候选区域的上下左右范围分别扩展20个像素形成扩展矩形，最大限度的保证人脸区域全部落入扩展矩形内，然后将该扩展矩形保存为图片格式，得到人脸候选截图。

在步骤S205中，将人脸候选截图转换为灰度图像，并对灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

其中，将人脸候选截图转换为灰度图像，可以结合人眼对颜色额的敏感度的原理，采用加权平均法，即：

Y＝ω_k*R+ω_G*G+ω_B*B

其中，W_R、W_G、W_B分别为颜色分量R、G、B所对应的权重，Y为灰度图对应点的像素值，所用的参数设置为W_R＝0.30，W_G＝0.59，W_B＝0.11，得到灰度图像像素值为256级。

对灰度图像进行人脸区域的检测主要是基于迭代算法AdaBoost实现，其具体的实现为：

首先，使用Haar-like矩形特征描述人脸，采用“积分图”实现特征向量的快速计算；然后基于AdaBoost算法挑选出一些最能代表人脸的矩形特征形成弱分类器，按照加权投票的方式将弱分类器构造为一个强分类器；最后将训练得到的若干强分类器串联起来组成一个级联结构的层叠分类器，级联结构能够有效提高检测速度。

若在该步骤没有检测到人脸，则需要整体读入原始图像，进行灰度变换后对整幅图像进行搜索获得人脸，对于整幅图像采用Adaboost分类器搜索都未检测到人脸的情况，直接提示“未检测到人脸”。

在该实施例中，上述步骤S205中，该包含纯人脸区域的人脸图像，需要基于灰度图像进行截图，截图后的包含纯人脸区域的人脸图像为正方形，长宽比例为1：1。

同时，对正方形的包含纯人脸区域的人脸图像需要进行尺寸归一化，即将图像大小缩放为100像素*100像素。

图3示出了本发明提供的对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像的实现流程，其具体的步骤如下所述：

在步骤S301中，对包含纯人脸区域的人脸图像进行高帽变换处理。

其中，为了凸显人脸图像中眼部的灰度特征，需要利用形态学滤波的方法进行对比度增强处理，快速剪接映射算法(Top-Hat)具有高通滤波的某些特性，即开Top-Hat算子能检测图像中灰度值的峰，而闭Top-Hat算子则能检测图像中灰度值的谷，利用数学形态学中的Top-hat变换，对人脸图像进行预处理，来减弱外界光线变化对人脸辨识效果的影响。从背景中找出亮的像素聚集。

在形态学中，腐蚀和膨胀是数学形态学的基础，是定义域内的最大和最小值运算，其他的变换都是由这两种变换的组合来定义。

设f(x)和b(x)是定义在二维离散空间F和B上的两个离散函数，其中f(x)表示需要处理的灰度图像，b(x)表示所选取的结构元素,则f(x)关于b(x)的膨胀和腐蚀分别定义为：

$(f\⊕b)\left(x\right)=\underset{y\∈B}{max}\left(f\right(x-y)+b(y\left)\right)$

经过膨胀运算以后，结果中的灰度值是它在一个局部范围内点与结构元素中与之相对应的点的灰度值之和的最大值。它是一种使边界点向外部扩张的过程,它可以把物体边界点进行扩充,从而将与物体接触的所有背景点合并到该物体中。

$\left(f\mathrm{\Θ}b\right)\left(x\right)=\underset{y\∈B}{\min }\left(f\right(x+y)-b(y\left)\right)$

腐蚀运算结果是在一个局部范围内点与结构元素中与之相对应的点的灰度值之差的最小值。它可以把小于结构元素的物体去除,可以消除物体边界点,它是一种使边界向内部收缩的过程。

因此，该步骤S301中的高帽变换处理其具体的过程如下所述：

原图像f(x)减去对其进行开运算后图像的差值，用于检测图像中的峰，从而提取图像的前景信息，其中，该开运算为先腐蚀后膨胀的运算，其算子为8*8大小。

在步骤S302中，对人脸图像进行低帽变换处理。

其中，低帽变换处理即将原图像f(x)经闭运算后得到的图像与原图像的差值，用于检测图像中的谷，提取图像的背景信息，即对灰度图像进行先膨胀后腐蚀的运算，其算子为8*8大小。

在步骤S303中，对人脸图像进行对比度增强计算。

其中，该对比度增强计算的过程，即将步骤S301中高帽变换处理后的图像与原图像相加后，再减去步骤S302中低帽变换处理后的图像，得到对比度增强的人脸图像。

在步骤S304中，对对比度增强计算后的人脸图像进行二值化处理。

其中，假设经过上述步骤S303处理后的图像为f(x，y)，二值化处理后的图像为g(x，y)，阈值设为T，那么：

$g(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&GreaterEqual;T\\ 1& f(x,y)<T\end{array}\right.$

其中，值为1的部分表示目标区域，值为0的部分表示背景。

在步骤S305中，对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

其中，对二值化处理后的人脸图像进行基于形态学的开运算处理，即利用形态学算子[0，1，1，1，0]进行开运算处理，排除一些纵向分布的连通区域，减少因头发或其他干扰造成的眼睛和眉毛相连接。

图4示出本发明提供的在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的具体实现流程，其具体包括下述步骤：

在步骤S401中，对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域。

其中，对于凸显人脸眼部的灰度特征的人脸图像进行截图，取该人脸图像的上半部分进行分析，例如截取图像高度减半，宽度不变的方式。

在人脸图像中，头发的存在会似的图像中出现与边缘接壤的区域，因此需要剔除。

首先，对截图后的人脸图像中的目标区域利用8连通区域标记法进行标记，将各个独立白色区域区分开来。

然后，寻找各区域中存在边缘坐标的区域(因图像为100×50像素大小，只要横坐标出现1或100，或者纵坐标中出现1或50，则认为该区域为边缘接壤区域)。

最后，搜索各个边缘接壤区域，查找是否存在坐标点位于左上角坐标为[26,16]，右下角坐标为[40,85]矩形区域之内，如果是，则将矩形区域外的其他区域用0填充为黑色；否则将该边缘接壤区域用0填充为黑色。

在步骤S402中，对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域。

其中，对人脸图像进行筛选的条件为：

区域的高度大于其宽度；

区域宽度小于8个像素；

区域面积小于15个像素；

即：如果不满足以下条件，则该区域被筛选掉，该区域内像素点用0代替。

在该步骤中，选取其中2个区域作为候选眼睛区域的具体实现为：

眉眼分离，提取候选眼睛区域；

对于经过筛选后的区域个数多数为4个，但是也可能存在例外情况还需要进行处理。

首先对于区域个数进行统计，并且计算各区域的中心坐标；

然后判断区域的个数，根据区域个数的不同分别进行处理；

a.如果区域个数为4个，则选择纵坐标最小的2个区域作为眼睛候选区域；

b.如果区域个数为2-3个，则需要对人脸图像进行对称填充操作，具体方法为：将图像A进行左右镜像运算，获得镜像图像B，然后将图像A和B进行异或运算，获得图像C，然后选择纵坐标最小的2个区域作为眼睛候选区域。

c.如果区域个数为0-1个或大于4个，则直接对当前图像进行抠图操作，抠图的区域为10×20像素的矩形。

在步骤S403中，对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像。

其中，对筛选操作后的2个候选眼睛区域进行框图标注，即对该2个候选眼睛区域做出最小矩形区域，用框图进行标注；

然后对该最小矩形区域进行填充，即将2个最小矩形区域部分用像素值为1进行填充，其他部分用0填充，最终形成该掩膜二值图像。

在步骤S404中，将掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像。

在步骤S405中，将粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

将上述2幅图像送入支持向量机分类器进行检测和验证，如果满足人眼条件标准则进行下一步，否则，系统重新改变参数。(对于支持向量机分类器的设计，主要采用人眼样本和非人眼样本对其训练完成，技术和步骤成熟，非本发明创新点，不做详细描述)。

在该实施例中，使得支持向量机分类器既能对人眼进行验证，有能避免对整个图像的全局搜索，降低了计算量，增大了粗定位的准确性。

在本发明实施例中，对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置的具体的步骤如下所述：

由于来自眼睫毛等干扰的影响，所获得的候选眼睛区域还需要进行精定位，对于获得的眼睛窗口，其主要由瞳孔和眼白等部分组成。利用瞳孔区域相对于周围灰度变化较大的特点可以首先对瞳孔位置进行粗定位，然后对瞳孔中心精确定位，从而实现了对这个眼睛中心的定位。其具体步骤如下：

(1)将获得的二值图像(即候选眼睛区域的人眼图像)作为蒙版，与对应灰度图像进行相乘运算，获得仅仅包含眼睛区域的抠图IM1，其中背景为0，裁剪出眼睛区域保存为新图像；

(2)寻找IM中的像素为0的背景点，将其用灰度255代替，获得背景为白色的眼睛图像；

(3)将图像采用阈值分割算法获得阈值，然后通过进行阈值分割获得候选瞳孔区域；

(4)对候选瞳孔区域进行开运算，运算子为：

$E=\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right],$

并滤除多余的杂点；

(5)挑选瞳孔区域；

a.对二值图像中的白色区域进行标记；

b.统计各区域的面积；

c.然后对面积进行排序；

d.筛选出前2个面积最大的区域，其他区域像素值用0代替。

(6)对瞳孔区域空洞填补；

运算子为：

$E=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 1& 1& 1& 0\\ 1& 1& 1& 1& 1\\ 0& 1& 1& 1& 0\\ 0& 0& 1& 0& 0\end{array}\right],$

该运算可以使得填充因瞳孔区域反光造成的空缺。

(7)利用重心法计算瞳孔中心。计算公式为：利用图像中心点作为起始点进行边界跟踪。

在本发明实施例中，上述步骤S105中，计算出眼睛中心在原始图像中的绝对坐标，然后采用“+”的方式进行眼睛中心的标注，并采用矩形方式标注眼睛区域，实现对复杂场景中人眼的识别。

图5示出了本发明提供的复杂场景中人眼定位系统的结构框图，为了便于说明，图中仅给出了与本发明相关的部分。

人脸图像生成模块11用于对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；对比度增强处理模块12用于对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；候选眼睛区域获取模块13用于在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；眼睛中心计算标记模块14用于根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

其中，瞳孔中心定位模块15用于对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。

如图6所示，人脸图像生成模块11的具体结构如下所述：

色彩转换模块21用于将获取到的RGB图像转换为彩色空间图像；肤色模型分析模块22用于对所述彩色空间图像进行基于肤色的模型分析；形态学运算模块23用于基于形态学的运算处理，得到基于灰度的人脸图像；区域筛选模块24用于对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像；人脸候选截图获取模块25用于根据获取到的人脸候选区域的图像，获取人脸候选截图；转换检测模块26用于将人脸候选截图转换为灰度图像，并对灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

如图7所示，对比度增强处理模块12的具体结构如下所述：

高帽变换处理模块31用于对包含纯人脸区域的人脸图像进行高帽变换处理；低帽变换处理模块32用于对人脸图像进行低帽变换处理；对比度增强计算模块33用于对人脸图像进行对比度增强计算；二值化处理模块34用于对对比度增强计算后的人脸图像进行二值化处理；滤除处理模块35用于对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

如图8所示，候选眼睛区域获取模块13的具体结构如下所述：

截图处理模块41用于对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域；筛选模块42用于对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域；掩膜二值图像形成模块43用于对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像；抠图处理模块44用于将所述掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像；分类检测验证模块45用于将所述粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

其中，上述图5至图8所示的各个模块的具体实现如上述对应的方法实施例所记载，在此不再赘述，但不用以限制本发明。

在本发明实施例中，对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；根据获取到的候选眼睛区域中眼睛中心的位置，计算眼睛中心在采集到的图像中的坐标，并标记，实现在大场景下对人脸进行快速、准确的定位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种复杂场景中人眼定位方法，其特征在于，所述方法包括下述步骤：

对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；

对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；

在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；

根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

2.根据权利要求1所述的复杂场景中人眼定位方法，其特征在于，所述对采集到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像的步骤具体包括下述步骤：

将获取到的RGB图像转换为彩色空间图像；

对所述彩色空间图像进行基于肤色的模型分析以及基于形态学的运算处理，得到基于灰度的人脸图像；

对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像；

根据获取到的人脸候选区域的图像，获取人脸候选截图；

将所述人脸候选截图转换为灰度图像，并对所述灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

3.根据权利要求1所述的复杂场景中人眼定位方法，其特征在于，所述对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像的步骤具体包括下述步骤：

对包含纯人脸区域的人脸图像进行高帽变换处理；

对人脸图像进行低帽变换处理；

对人脸图像进行对比度增强计算；

对对比度增强计算后的人脸图像进行二值化处理；

对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

4.根据权利要求1所述的复杂场景中人眼定位方法，其特征在于，所述在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的步骤具体包括下述步骤：

对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域；

对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域；

对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像；

将所述掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像；

将所述粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

5.根据权利要求1所述的复杂场景中人眼定位方法，其特征在于，所述在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像的步骤之后，所述根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标的步骤之前还包括下述步骤：

对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。

6.一种复杂场景中人眼定位系统，其特征在于，所述系统包括：

人脸图像生成模块，用于对获取到的图像进行人脸图像处理和检测，生成包含纯人脸区域的人脸图像；

对比度增强处理模块，用于对包含纯人脸区域的人脸图像进行对比度增强处理，获得凸显人脸眼部的灰度特征的人脸图像；

候选眼睛区域获取模块，用于在凸显人脸眼部的灰度特征的人脸图像上进行人眼的初步定位处理，获取候选眼睛区域的人眼图像；

眼睛中心计算标记模块，用于根据获取到的候选眼睛区域中眼睛中心的位置，计算所述眼睛中心在采集到的图像中的坐标，并标记。

7.根据权利要求6所述的复杂场景中人眼定位系统，其特征在于，所述人脸图像生成模块具体包括：

色彩转换模块，用于将获取到的RGB图像转换为彩色空间图像；

肤色模型分析模块，用于对所述彩色空间图像进行基于肤色的模型分析；

形态学运算模块，用于基于形态学的运算处理，得到基于灰度的人脸图像；

区域筛选模块，用于对基于形态学运算处理后的人脸图像进行区域筛选，获取基于灰度的人脸候选区域的图像；

人脸候选截图获取模块，用于根据获取到的人脸候选区域的图像，获取人脸候选截图；

转换检测模块，用于将所述人脸候选截图转换为灰度图像，并对所述灰度图像进行人脸区域的检测，生成包含纯人脸区域的人脸图像。

8.根据权利要求6所述的复杂场景中人眼定位系统，其特征在于，所述对比度增强处理模块具体包括：

高帽变换处理模块，用于对包含纯人脸区域的人脸图像进行高帽变换处理；

低帽变换处理模块，用于对人脸图像进行低帽变换处理；

对比度增强计算模块，用于对人脸图像进行对比度增强计算；

二值化处理模块，用于对对比度增强计算后的人脸图像进行二值化处理；

滤除处理模块，用于对二值化处理后的人脸图像进行滤除处理，得到凸显人脸眼部的灰度特征的人脸图像。

9.根据权利要求6所述的复杂场景中人眼定位系统，其特征在于，所述候选眼睛区域获取模块具体包括：

截图处理模块，用于对凸显人脸眼部的灰度特征的人脸图像进行裁图，并剔除边缘头发区域；

筛选模块，用于对剔除边缘头发区域的人脸图像进行筛选，选取其中2个区域作为候选眼睛区域；

掩膜二值图像形成模块，用于对选取到的2个候选眼睛区域进行框图标注和填充，形成掩膜二值图像；

抠图处理模块，用于将所述掩膜二值图像与裁图后的灰度特征的人脸图像进行抠图处理，获得粗左眼图像和粗右眼图像；

分类检测验证模块，用于将所述粗左眼图像和粗右眼图像送入支持向量机分类器进行检测验证，获取符合人眼特征的候选眼睛区域的人眼图像，并输出。

10.根据权利要求6所述的复杂场景中人眼定位系统，其特征在于，所述系统还包括：

瞳孔中心定位模块，用于对获取到的候选眼睛区域的人眼图像，进行候选眼睛区域的瞳孔中心进行定位，确定候选眼睛区域中眼睛中心的位置。