CN103605968A - 基于混合投影的瞳孔定位方法 - Google Patents

Abstract

本发明提供一种基于混合投影的瞳孔定位方法，包括以下步骤：对整个探测区域进行均匀照射；采集一帧视频并提取其中的人眼窗口；对人眼窗口进行预处理；分别计算人眼窗口在水平和竖直方向上的积分投影和方差投影，得到水平方向上的积分投影向量和方差投影向量以及竖直方向上的积分投影向量和方差投影向量；对前述4个向量进行归一化操作；以及将水平方向和竖直方向上的积分投影向量进行反向操作并与同方向上的方差投影向量按照权重进行综合并计算出该方向上的混合投影向量，从而得到瞳孔坐标。本发明的定位方法可提高定位的稳定性，实现快读、高精度的瞳孔定位，而且抗干扰能力强，在低分辨率下也有很好的效果。

Description

基于混合投影的瞳孔定位方法

技术领域

本发明涉及计算机视觉领域，具体而言涉及一种基于混合投影的瞳孔定位方法，适于有效地在人脸图像中精确定位瞳孔，快速且精确地定位瞳孔的中心位置。

背景技术

在许多应用中都有涉及瞳孔定位，比如视线追踪、飞行员自动瞄准、无辅助立体显示等。以其在无辅助立体显示中的应用为例，在该系统中，需要实时精确地定位观看者的瞳孔位置，利用特殊的光学引擎将指向光束精准地投射到用户的瞳孔位置。在这个过程中，对瞳孔定位模块的性能要求非常高。由于直接定位瞳孔难度较大，整个定位的过程一般包括人脸检测、人眼检测和瞳孔的精确定位等部分，然后才能得到包含在人眼区域中的瞳孔的中心位置。

投影是提取图像特征的一种有效方法，对一幅二维图像进行投影，产生两个正交的一维向量，一维向量的特征比较容易分析和提取，同时也大大减少了计算量。投影函数是一种有效的瞳孔定位方法，现有的基于投影函数的瞳孔定位方法，例如直接对人眼区域进行积分投影或者方差投影方式或者将二者直接混合的投影方式，虽然对于定位瞳孔有一定的效果，但是稳定不够，易受干扰，尤其是对于图像的分辨率具有较高的要求，在分辨率很低的情况下效果明显变差。

发明内容

针对现有技术的缺陷和不足，本发明旨在提供基于混合投影的瞳孔定位方法，利用改进的混合投影方式，快速、精确地定位瞳孔的中心位置。

为达成上述目的，本发明所采用的技术方案如下：

基于混合投影的瞳孔定位方法，包括以下步骤：

利用一主动光光源对整个探测区域进行均匀照射；

使用一视频采集装置采集一帧视频并提取其中的人眼窗口；

对人眼窗口进行预处理；

分别计算人眼窗口在水平和竖直方向上的积分投影和方差投影，得到水平方向上的积分投影向量和方差投影向量以及竖直方向上的积分投影向量和方差投影向量；

对前述4个向量进行归一化操作；以及

将水平方向和竖直方向上的积分投影向量进行反向操作并与同方向上的方差投影向量按照权重进行综合并计算出该方向上的混合投影向量，从而得到瞳孔坐标。

进一步，前述方法中，利用近红外光对整个探测区域进行均匀照射。

进一步，前述方法中，水平方向和竖直方向上积分投影的分配权重分别取一定数值，取值范围在0～1之间，且分别与同方向上的方差投影的分配权重和值为1。

进一步，前述方法中，所述视频采集装置的镜头前安装有滤光片，用以消除环境光照的干扰。

由以上本发明的技术方案可知，本发明的有益效果在于通过对原图进行预处理操作后再进行反积分投影（IPF）操作，再和原图的方差投影（VPF）结果进行综合，消除环境光照等因素的影响，提高定位的稳定性，实现快读、高精度的瞳孔定位，而且抗干扰能力强，在低分辨率下也有很好的效果。

附图说明

图1为本发明较优实施例的瞳孔定位方法的流程示意图。

图2为人眼区域的理想模型以及IPF和VPF的示意图。

图3为积分投影（IPF）和方差投影（VPF）的测试结果对比图。

图4为采用传统直接混合投影（HPF）和本实施例的改进的HPF的测试结果比对图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

如图1所示，根据本发明的较优实施例，基于改进的混合投影的瞳孔定位方法，包括以下步骤：利用一主动光光源对整个探测区域进行均匀照射；使用一视频采集装置采集一帧视频并提取其中的人眼窗口；对人眼窗口进行直方图均衡化处理和去噪处理等预处理；分别计算人眼窗口在水平和竖直方向上的积分投影和方差投影，得到水平方向上的积分投影向量M_h和方差投影向量V_h以及竖直方向上的积分投影向量M_v和方差投影向量V_v；对前述4个向量进行归一化操作；再将积分投影向量M_h和M_v进行反向操作并与同方向上的方差投影向量按照权重进行综合并计算出该方向上的混合投影向量，从而得到瞳孔坐标，其计算过程为：

$\left\{\begin{array}{c}{H}_v\left(x\right)=(1-a)V_v^{\′}\left(x\right)+a(1-M_v^{\′}\left(x\right))\\ H_h\left(y\right)=(1-b)V_h^{\′}\left(y\right)+b(1-M_h^{\′}\left(y\right))\end{array}\right.$

其中，M_v′(x)，M_h′(y)，V_v′(x)，V_h′(y)分别是归一化的M_v，M_h，V_v，V_h、即归一化的方差投影和积分投影；a和b分别是综合H_v(x)和H_h(y)时积分投影的分配权重，其取值范围均在0～1之间。

本实施例中，为了克服环境光照变化的干扰，采用固定的、主动式的近红外照明环境，利用850纳米波长的近红外光对整个探测区域进行均匀照射。采用850nm波长的近红外光可以克服环境光照变化的干扰。

为了避免环境光的变化给瞳孔定位带来的影响，本实施例中所用的视频采集装置的镜头前安装有带通滤光片，带通滤光片的中心频率与主动光光源的中心频率相等或相近，这样可以滤除大部分环境光，削弱或消除其带来的干扰。

在采集到一帧视频后，首先利用一些常见的眼睛定位方法可以粗略地标识出眼睛的大致坐标位置，例如基于统计学习的方法获取其中的人眼窗口。然后再对人眼窗口进行直方图均衡化处理和去噪处理。再分别计算人眼窗口在水平和竖直方向上的积分投影（IPF）和方差投影（VPF），得到水平方向上的积分投影向量M_h和方差投影向量V_h以及竖直方向上的积分投影向量M_v和方差投影向量V_v。

假设原图像为I,I(x,y)表示图像中点(x,y)的像素灰度值，则在像素坐标范围[x₁,x₂]和[y₁,y₂]之间平均垂直方向和水平方向的积分投影（IPF）可以表示为：

$\left\{\begin{array}{c}{M}_v=\frac{1}{y_2-y_1}{\∫}_{y_1}^{y_2}I(x,y)\mathrm{dy}\\ M_h=\frac{1}{x_2-x_1}{\∫}_{x_1}^{x_2}I(x,y)\mathrm{dx}\end{array}\right.$

当图像的某一行或某一列的均值发生变化时，就会在积分投影（IPF）中体现出来，由于IPF是一个积分的过程，所以对于随机噪点不敏感，一般精度也较低。

而在区间[x₁,x₂]和[y₁,y₂]之间的垂直方向和水平方向的方差投影（VPF）可分别表示为：

$\left\{\begin{array}{c}{V}_v=\frac{1}{y_2-y_1}\underset{y_i=y_1}{\overset{y_2}{\mathrm{\Σ}}}{[I(x,y_i)-M_v\left(x\right)]}^2\\ V_h=\frac{1}{x_2-x_1}\underset{x_i=x_1}{\overset{x_2}{\mathrm{\Σ}}}{[I(x_i,y)-M_h\left(y\right)]}^2\end{array}\right.$

如果均值变化不大，但是灰度的分布却有很大区别，那么可以很好地在方差投影（VPF）的结果中体现出来。

参考图2所示的人眼区域的理想模型以及IPF和VPF的示意图，从理想的人眼模型分析来看，水平方向上的方差投影的发生跃变的位置对应上下眼睑，垂直方向的方差投影发生跃变的位置分别对应左右眼睑和虹膜边缘，而水平和垂直积分投影没有跃变，都呈“山谷”型分布。因此，直接对人眼区域进行积分投影或者方差投影对于定位瞳孔有一定的效果，但是稳定不够，易受干扰。如果仅仅简单地进行混合投影（Hybrid Projection Function，HPF），直接对原图作IPF和VPF，然后综合归一化的M_v，M_h，V_v，V_h，得到混合投影的结果，计算过程为：

$\left\{\begin{array}{c}{H}_v\left(x\right)=\frac{1}{2}{V}_v^{\′}\left(x\right)+\frac{1}{2}{M}_v^{\′}\left(x\right)\\ H_h\left(y\right)=\frac{1}{2}{V}_h^{\′}\left(y\right)+\frac{1}{2}{M}_h^{\′}\left(y\right)\end{array}\right.$

其中，M_v′(x)，M_h′(y)，V_v′(x)，V_h′(y)分别是归一化的M_v，M_h，V_v，V_h，即归一化的方差投影和积分投影，综合H_v(x)和H_h(y)时积分投影的分配权重均为1/2。

但是在实际场景中，由于光照等因素的影响，直接进行IPF往往得不到理想的效果。

参考图1所示，本实施例的方法中，将IPF和VPF结合使用，并根据实际场景中光照等因素的影响，改进混合投影（HPF）的应用，提高系统抗干扰能力，且在低分辨率下也有很好的效果。

参考图1所示，本方法在计算人眼窗口在水平和竖直方向上的积分投影和方差投影，得到水平方向上的积分投影向量M_h和方差投影向量V_h以及竖直方向上的积分投影向量M_v和方差投影向量V_v以后，再对前述4个向量进行归一化操作，然后再将积分投影向量M_h和M_v进行反向操作（即反IPF操作）并与同方向上的方差投影向量按照权重进行综合并计算出该方向上的混合投影向量，从而得到瞳孔坐标。由于在水平和竖直方向上，人眼区域有着不同的灰度分布特点，因此在综合时候的分配权值也是不同的（即分别取a、b），其综合的计算过程为：

$\left\{\begin{array}{c}{H}_v\left(x\right)=(1-a)V_v^{\′}\left(x\right)+a(1-M_v^{\′}\left(x\right))\\ H_h\left(y\right)=(1-b)V_h^{\′}\left(y\right)+b(1-M_h^{\′}\left(y\right))\end{array}\right.$

其中，M_v′(x)，M_h′(y)，V_v′(x)，V_h′(y)分别是归一化的M_v，M_h，V_v，V_h、即归一化的方差投影和积分投影；a和b分别是综合H_v(x)和H_h(y)时积分投影的分配权重，其取值范围均在0～1之间，经多次试验证实，在本实施例所使用的主动式红外照明环境下，a=0.2、b=0.6时有最佳的效果。

图3所示为积分投影IPF和方差投影VPF的测试结果对比图，图4所示为采用直接混合投影HPF和本实施例的改进的HPF的测试结果比对图，从测试的结果来看，本实施例的方法和现有技术的方法相比，结果有了很大的改善，体现在更容易从垂直HPF和水平HPF的结果中提取瞳孔坐标。

综上所述，本发明的通过对原图进行直方均衡等预处理操作后再进行反IPF操作，再和原图的VPF结果进行综合，消除环境光照等因素的影响，提高定位的稳定性，实现快读、高精度的瞳孔定位，而且抗干扰能力强，在低分辨率下也有很好的效果。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (4)

1.一种基于混合投影的瞳孔定位方法，其特征在于，包括以下步骤：

利用一主动光光源对整个探测区域进行均匀照射；

使用一视频采集装置采集一帧视频并提取其中的人眼窗口；

对人眼窗口进行预处理；

分别计算人眼窗口在水平和竖直方向上的积分投影和方差投影，得到水平方向上的积分投影向量和方差投影向量以及竖直方向上的积分投影向量和方差投影向量；

对前述4个向量进行归一化操作；以及

将水平方向和竖直方向上的积分投影向量进行反向操作并与同方向上的方差投影向量按照权重进行综合并计算出该方向上的混合投影向量，从而得到瞳孔坐标。

2.根据权利要求1所述的方法，其特征在于，利用近红外光对整个探测区域进行均匀照射。

3.根据权利要求1所述的方法，其特征在于，所述水平方向和竖直方向上积分投影的分配权重分别取一定数值，取值范围在0～1之间，且分别与同方向上的方差投影的分配权重和值为1。

4.根据权利要求1所述的方法，其特征在于，所述视频采集装置的镜头前安装有用以消除环境光照干扰的滤光片。

Images