CN103927509A - 眼睛定位方法及装置 - Google Patents

Abstract

本发明公开一种眼睛定位方法及装置，其方法包括：获取人脸图像，从中裁剪出眼睛区域图像，从眼睛区域图像中提取红色通道信息；根据红色通道信息对眼睛区域图像进行加权积分处理，获取积分后的增强图像；统计增强图像的直方图，获取临界灰度值，并从直方图中获取像素灰度值小于临界灰度值的像素坐标；计算各像素坐标的均值，作为瞳孔的检测位置。本发明充分利用瞳孔红色通道特征分布稳定的特性，不依赖于眼睛的几何位置以及灰度信息，减少光照和头部旋转的干扰，增强人眼定位的鲁棒性；对眼睛周围的障碍物不敏感，最大程度减小图像色差的干扰，从而提高了人眼瞳孔定位的准确度。

Description

眼睛定位方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸图像中的眼睛定位方法及装置。

背景技术

在照相软件中通常采用模板匹配方法来实现人眼的快速定位，以获取目标物体。目前通常是基于图像灰度信息，使用Haar Cascade眼睛模板进行相似物体检测，从而得到与模板相似度最高的物体作为目标物体。

但是现有的这种基于Haar Cascade眼睛模板的检测方法，由于对图像的光照和人体头部旋转位置敏感，且依赖于眼睛的几何位置以及灰度信息，使得眼睛瞳孔定位的鲁棒性不高；而且，这种检测方法对眼睛上的障碍物（眼镜）敏感，无法准确区分障碍物和眼睛瞳孔，易受障碍物干扰，因此影响了眼睛瞳孔定位的准确度；此外，上述方法由于基于眼睛几何形状进行判断，因此对不同肤色眼睛色差不明显下的眼睛检测的鲁棒性不强，造成误检率较高。

发明内容

本发明的主要目的在于提供一种眼睛定位方法及装置，旨在提高眼睛定位的准确性和鲁棒性。

为了达到上述目的，本发明提出一种眼睛定位方法，包括：

获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

计算各像素坐标的均值，作为瞳孔的检测位置。

本发明还提出一种眼睛定位装置，包括：

提取模块，用于获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

加权积分模块，用于根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

统计获取模块，用于统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

计算模块，用于计算各像素坐标的均值，作为瞳孔的检测位置。

本发明提出的一种眼睛定位方法及装置，通过对接收的人脸图像中裁剪出眼睛区域图像，并从所述眼睛区域图像中提取红色通道信息，根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像，然后统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；计算各像素坐标的均值，作为瞳孔的检测位置，充分利用瞳孔红色通道特征分布稳定的特性，不依赖于眼睛的几何位置以及灰度信息，减少光照和头部旋转的干扰，增强人眼定位的鲁棒性；对眼睛周围的障碍物不敏感，最大程度减小图像色差的干扰，从而提高了人眼瞳孔定位的准确度。

附图说明

图1是本发明眼睛定位方法第一实施例的流程示意图；

图2是本发明眼睛定位方法第二实施例的流程示意图；

图3是本发明眼睛定位装置第一实施例的结构示意图；

图4是本发明眼睛定位装置第一实施例中加权积分模块的结构示意图；

图5是本发明眼睛定位装置第二实施例的结构示意图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

本发明实施例的解决方案主要是：基于人脸图像中人眼瞳孔在红色通道具有稳定分布的表征特点，统计其分布特性，并基于加权的圆形区域积分算法，获取瞳孔的检测位置，快速实现人眼定位，其不依赖于眼睛的几何位置以及灰度信息，以减少光照和头部旋转的干扰，增强人眼定位的鲁棒性；同时对眼睛周围的障碍物不敏感，最大程度减小图像色差的干扰，以提高人眼瞳孔定位的准确度。

如图1所示，本发明第一实施例提出一种眼睛定位方法，包括：

步骤S101，获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

首先获取输入的人脸彩色图像，根据眼睛在人脸位置的统计分布特点，估算眼睛的大概区域位置，通常眼睛大体分布在脸部的纵向1/5~2/5之间的横向区域。

然后，从人脸图像中分别裁剪出左右眼睛区域图像，并提取出红颜色通道信息。

所述红色通道信息包括：眼睛区域图像中各像素的坐标值及各像素的红色通道值。该红色通道信息用于后续的圆形加权积分计算。

步骤S102，根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

由于人眼瞳孔形状为圆形分布，且瞳孔和眼白之间具有非常明显的对比度。因此本实施例采用基于加权的圆形区域积分方法来实现眼睛瞳孔的定位。

首先，根据眼睛区域图像大小估计瞳孔半径C；然后，根据所述瞳孔半径及眼睛区域图像中各像素的坐标值计算圆形区域加权系数；圆形区域加权系数具体采用以下计算公式：

$W(x,y,c)=\frac{\sin (x^2+y^2/c)}{(x^2+y^2)/c}---\left(1\right)$

上述公式（1）中，为x，y为对应像素的几何坐标值，c为圆形区域半径；W（x，y，c）为坐标（x，y）对应像素点的圆形区域加权系数。

之后，根据所述圆形区域加权系数及各像素的红色通道值，计算所述眼睛区域图像中各像素的圆形加权积分，具体采用以下计算公式：

$I^{,}(x,y)={\∫}_0^c{\∫}_0^{2\mathrm{\π}}W(x,y,c)I(x,y)\mathrm{d\θdr}$

上述公式（2）中，W（x，y，c）为通过上述公式（1）计算而得的对应像素的圆形区域加权系数；I（x，y）为以坐标（x，y）对应的各像素的红色通道值；I^，（x，y）为眼睛区域图像中各像素的圆形加权积分。

最后对积分结果进行归一化处理，生成积分后的增强图像。

步骤S103，统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

步骤S104，计算各像素坐标的均值，作为瞳孔的检测位置。

在得到积分后的增强图像后，统计增强图像的直方图分布，根据直方图找出临界灰度值，使得直方图中小于该灰度值的像素个数占全图像素个数的比例为alpha=3%（通常，瞳孔像素个数占整个眼睛区域的比例为2.5%~4.5%）。

然后，扫描增强图像，找出像素灰度值小于临界灰度值的像素的几何坐标，并计算出这些几何坐标的均值作为瞳孔的检测位置，由此完成了眼睛瞳孔的准确定位。

本实施例通过上述方案，充分利用瞳孔红色通道特征分布稳定的特性，不依赖于眼睛的几何位置以及灰度信息，减少光照和头部旋转的干扰，增强人眼定位的鲁棒性；同时对眼睛周围的障碍物不敏感，最大程度减小图像色差的干扰，从而提高了人眼瞳孔定位的准确度；而且检测结果较同类算法更快速，不仅能检测出人眼位置，还能检测出瞳孔半径大小。

如图2所示，本发明第二实施例提出一种眼睛定位方法，在上述实施例的基础上，在上述步骤S102之前还包括：

步骤S105，对所述眼睛区域图像进行最小滤波处理。

本实施例与上述第一实施例的区别在于，本实施例在对眼睛区域图像进行加权积分处理之前还需要对眼睛区域图像进行最小滤波处理，以消除高光噪声。

具体地，为了消除眼睛周围的弱高光影响，需要对眼睛图像进行最小滤波（Minimum Filter）处理，以减少高光噪声的影响，而且需要注意的是，虽然对于清晰度较高的人眼图像，最小滤波效果不明显，但是由于肤色影响导致眼睛轮廓不清晰时，此种最小滤波处理尤为需要。

本实施例通过上述方案，可以减少高光噪声的影响，进一步提高眼睛瞳孔定位的准确性。

如图3所示，本发明第一实施例提出一种眼睛定位装置，包括：提取模块201、加权积分模块202、统计获取模块203及计算模块204，其中：

提取模块201，用于获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

加权积分模块202，用于根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

统计获取模块203，用于统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

计算模块204，用于计算各像素坐标的均值，作为瞳孔的检测位置。

本实施例可以充分利用人眼瞳孔在红色通道具有稳定分布的表征特点，统计其分布特性，并基于加权的圆形区域积分算法，获取瞳孔的检测位置，快速实现人眼定位。

具体地，首先提取模块201获取输入的人脸彩色图像，根据眼睛在人脸位置的统计分布特点，估算眼睛的大概区域位置，通常眼睛大体分布在脸部的纵向1/5~2/5之间的横向区域。

然后，从人脸图像中分别裁剪出左右眼睛区域图像，并提取出红颜色通道信息。

所述红色通道信息包括：眼睛区域图像中各像素的坐标值及各像素的红色通道值。该红色通道信息用于后续的圆形加权积分计算。

由于人眼瞳孔形状为圆形分布，且瞳孔和眼白之间具有非常明显的对比度。因此本实施例通过加权积分模块202采用基于加权的圆形区域积分方法来实现眼睛瞳孔的定位。

首先，加权积分模块202根据眼睛区域图像大小估计瞳孔半径C；然后，根据所述瞳孔半径及眼睛区域图像中各像素的坐标值计算圆形区域加权系数；圆形区域加权系数具体采用上述计算公式（1）。

 上述公式（1）中，为x，y为对应像素的几何坐标值，c为圆形区域半径；W（x，y，c）为坐标（x，y）对应像素点的圆形区域加权系数。

之后，根据所述圆形区域加权系数及各像素的红色通道值，计算所述眼睛区域图像中各像素的圆形加权积分，具体采用上述计算公式（2）。

上述公式（2）中，W（x，y，c）为通过上述公式（1）计算而得的对应像素的圆形区域加权系数；I（x，y）为以坐标（x，y）对应的各像素的红色通道值；I^，（x，y）为眼睛区域图像中各像素的圆形加权积分。

最后对积分结果进行归一化处理，生成积分后的增强图像。

在得到积分后的增强图像后，统计获取模块203统计增强图像的直方图分布，根据直方图找出临界灰度值，使得直方图中小于该灰度值的像素个数占全图像素个数的比例为alpha=3%（通常，瞳孔像素个数占整个眼睛区域的比例为2.5%~4.5%）。

然后，扫描增强图像，找出像素灰度值小于临界灰度值的像素的几何坐标，并由计算模块204计算出这些几何坐标的均值作为瞳孔的检测位置，由此完成了眼睛瞳孔的准确定位。

具体实施过程中，如图4所示，上述加权积分模块202可以包括：估计单元2021、加权系数计算单元2022、加权积分计算单元2023及处理单元2024，其中：

估计单元2021，用于根据所述眼睛区域图像大小估计瞳孔半径；

加权系数计算单元2022，用于根据所述瞳孔半径及眼睛区域图像中各像素的坐标值计算圆形区域加权系数；

加权积分计算单元2023，用于根据所述圆形区域加权系数及各像素的红色通道值，计算所述眼睛区域图像中各像素的圆形加权积分；

处理单元2024，用于对积分结果进行归一化处理，生成积分后的增强图像。

本实施例通过上述方案，充分利用瞳孔红色通道特征分布稳定的特性，不依赖于眼睛的几何位置以及灰度信息，减少光照和头部旋转的干扰，增强人眼定位的鲁棒性；同时对眼睛周围的障碍物不敏感，最大程度减小图像色差的干扰，从而提高了人眼瞳孔定位的准确度；而且检测结果较同类算法更快速，不仅能检测出人眼位置，还能检测出瞳孔半径大小。

如图3所示，本发明第二实施例提出一种眼睛定位装置，本实施例在上述实施例的基础上，还包括：

滤波模块205，用于对所述眼睛区域图像进行最小滤波处理。

本实施例与上述第一实施例的区别在于，本实施例在对眼睛区域图像进行加权积分处理之前还需要对眼睛区域图像进行最小滤波处理，以消除高光噪声。

具体地，为了消除眼睛周围的弱高光影响，通过滤波模块205对眼睛图像进行最小滤波（Minimum Filter）处理，以减少高光噪声的影响，而且需要注意的是，虽然对于清晰度较高的人眼图像，最小滤波效果不明显，但是由于肤色影响导致眼睛轮廓不清晰时，此种最小滤波处理尤为需要。

本实施例通过上述方案，可以减少高光噪声的影响，进一步提高眼睛瞳孔定位的准确性。

相比现有技术，本发明实施例眼睛定位方法及装置具有如下优点：

1、现有的基于Haar Cascade眼睛模板的检测方法对图像的光照和头部旋转位置敏感，而本发明由于仅针对瞳孔红色分布稳定的特性，且不依赖于眼睛的几何位置以及灰度信息，故检测结果对光照和头部旋转等不敏感，在此种环境下的瞳孔定位具有较高的鲁棒性；

2、现有的基于Haar Cascade眼睛模板的检测方法对眼睛上的障碍物（眼镜）敏感，而本发明由于充分利用瞳孔红色分布稳定的特点，对眼睛周围的障碍物不敏感，能准确区分障碍物和眼睛瞳孔，因此在此种环境下的本发明人眼瞳孔定位准确度较高，受障碍物的干扰不明显；

3、现有的基于Haar Cascade眼睛模板的检测方法，基于眼睛几何形状的判断，对不同肤色眼睛色差不明显下的眼睛检测鲁棒性不强，误检率较高，而本发明仅统计红颜色通道的瞳孔分布特征，对图像进行最小滤波，消除了色差的影响，故受此种条件下的色差干扰影响较小。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种眼睛定位方法，其特征在于，包括：

获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

计算各像素坐标的均值，作为瞳孔的检测位置。

2.根据权利要求1所述的方法，其特征在于，所述红色通道信息包括：眼睛区域图像中各像素的坐标值及各像素的红色通道值；所述根据红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像的步骤包括：

根据所述眼睛区域图像大小估计瞳孔半径；

根据所述瞳孔半径及眼睛区域图像中各像素的坐标值计算圆形区域加权系数；

根据所述圆形区域加权系数及各像素的红色通道值，计算所述眼睛区域图像中各像素的圆形加权积分；

对积分结果进行归一化处理，生成所述积分后的增强图像。

3.根据权利要求1或2所述的方法，其特征在于，所述根据红色通道信息对所述眼睛区域图像进行加权积分处理的步骤之前还包括：

对所述眼睛区域图像进行最小滤波处理。

4.根据权利要求3所述的方法，其特征在于，所述统计增强图像的直方图，获取临界灰度值的步骤包括：

在所述直方图中统计并获取所述临界灰度值，使得该直方图中小于该临界灰度值的像素个数占全图像素个数的比例为一预定值。

5.一种眼睛定位装置，其特征在于，包括：

提取模块，用于获取人脸图像，从中裁剪出眼睛区域图像，从所述眼睛区域图像中提取红色通道信息；

加权积分模块，用于根据所述红色通道信息对所述眼睛区域图像进行加权积分处理，获取积分后的增强图像；

统计获取模块，用于统计所述增强图像的直方图，获取临界灰度值，并从所述直方图中获取像素灰度值小于所述临界灰度值的像素坐标；

计算模块，用于计算各像素坐标的均值，作为瞳孔的检测位置。

6.根据权利要求5所述的装置，其特征在于，加权积分模块包括：

估计单元，用于根据所述眼睛区域图像大小估计瞳孔半径；

加权系数计算单元，用于根据所述瞳孔半径及眼睛区域图像中各像素的坐标值计算圆形区域加权系数；

加权积分计算单元，用于根据所述圆形区域加权系数及各像素的红色通道值，计算所述眼睛区域图像中各像素的圆形加权积分；

处理单元，用于对积分结果进行归一化处理，生成所述积分后的增强图像。

7.根据权利要求5或6所述的装置，其特征在于，还包括：

滤波模块，用于对所述眼睛区域图像进行最小滤波处理。

8.根据权利要求7所述的装置，其特征在于，所述统计获取模块还用于在所述直方图中统计并获取所述临界灰度值，使得该直方图中小于该临界灰度值的像素个数占全图像素个数的比例为一预定值。