CN103810472B - 基于运动相关性的瞳孔位置滤波方法 - Google Patents

Abstract

一种基于运动相关性的瞳孔位置滤波方法，包括人脸检测部分，人眼检测部分以及瞳孔位置检测部分三个流程；其中人脸检测部分包括（1）采集每帧视频图像并提取候选区域；（2）基于候选区域的人脸检测；人眼检测位置检测：在检测出人脸的区域内，进行人眼检测；随后进行瞳孔位置检测；瞳孔位置检测部分包括（1）基于模板匹配的宏块跟踪；（2）基于候选区域的瞳孔检测；（3）基于运动相关性的瞳孔位置滤波；将基于模板匹配的运动估计和瞳孔定位算法相结合，实时计算两组数据的相关性，当两者相关性较好时，瞳孔检测准确，将其值作为输出值输出。以得到当前的瞳孔检测准确值作为输出值输出。可有效地克服随机干扰，提高系统的准确性和鲁棒性。

Description

基于运动相关性的瞳孔位置滤波方法

技术领域

本发明涉及计算机视觉处理技术领域，特别是有关于一种基于运动相关性的瞳孔位置滤波方法。

背景技术

在许多应用中都有涉及瞳孔定位，比如视线追踪、视线瞄准、无辅助立体显示等。以其在无辅助立体显示中的应用为例，在该系统中，需要实时精确地定位观看者的瞳孔位置，利用特殊的光学引擎将指向光束精准地投射到用户的瞳孔位置，在这个过程中，对瞳孔定位模块的性能要求非常高。在定位过程中有时会因受到干扰而产生跳变，从而引起光学设备的误动作，使得观看者观察到闪烁、串影等不良显示效果，影响观看体验。

在现行瞳孔定位技术中，基本关注于提高定位的精准度方面，对稳定性方面的关注较少。在提高稳定性方面的研究中，涉及的方法大多过于复杂，无法应用于有很高实时性要求的场合中。基于运动相关性的瞳孔位置滤波从人体运动的特点出发，结合精确的瞳孔定位技术，能有效地克服随机干扰，计算量小，性能可靠。

发明内容

本发明的目的是为了克服现有技术存在的缺陷，提供一种改进的瞳孔位置滤波方法，基于人体运动平滑性的假设，将基于模板匹配的运动估计和人眼定位算法相结合，该方法能有效地克服噪声干扰，提高稳定性。

本发明的基本原理：

一种基于运动相关性的瞳孔位置滤波方法，包括人脸检测部分，人眼检测部分以及瞳孔检测部分三个部分，如图1所示。具体包括：1、采集每帧视频图像并提取候选区域：通过摄像头采集视频，为减小计算复杂度，对每帧图像进行候选区域选取。2、基于候选区域的人脸检测：在通过上述步骤后提取出的候选区域内进行人脸检测。3、人眼检测位置检测：在检测出人脸的区域内，进行人眼检测。4、随后进行瞳孔位置的检测。

瞳孔检测部分包括以下步骤，其流程如图2所示：

1、基于模板匹配的宏块跟踪；

在已经检测出人脸的范围内，选择一定区域作为模板匹配的初始化区域，将此时的模板中心位置存入内存中，在后续的每一帧人脸区域中，利用一定的搜索策略，寻找与初始化模板匹配程度最高的区域，并将区域的中心位置存入内存，以得到模板匹配值序列。

2、基于候选区域的瞳孔检测；

在已经检测出人眼的区域内进行瞳孔检测，并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中，以得到瞳孔检测值序列。

3、基于运动相关性的瞳孔位置滤波；

对于已经存入内存区的模板匹配值序列和瞳孔检测值序列，对于每帧数据，考查两者之间的相关性是否变差，相关性变差的判定方法有多种，现在列举如下：

(x-u)²+(y-v)²＞γ.

(1)

其中：x、y是当前瞳孔检测值的横、纵坐标，u、v是当前模板匹配值的横、纵坐标，γ是阈值。上述表达式体现的是，如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值，则认为此时瞳孔检测准确，并将瞳孔检测值作为最终的输出值输出；如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值，则认为两者相关性降低，此时瞳孔检测受到干扰，检测不准。

如果出现相关性降低，瞳孔检测受到干扰，需要进行下面的滤波处理，其滤波方法有多种，现在列举如下：

x_t＝x_t-1+u_t-u_t-1.

y_t＝y_t-1+v_t-v_t-1

(2)

其中：x_t-1、y_t-1是上一帧瞳孔检测值的横、纵坐标，u_t-u_t-1、v_t-v_t-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标，即当前帧与上一帧之间的运动偏移量，用该偏移量与上一帧准确检测的瞳孔坐标相加，得到当前的瞳孔检测准确值作为输出值输出。

本发明相对于现有技术具有如下有益效果：

本发明基于运动的平滑性和相关性等特点，将基于模板匹配的运动估计算法与瞳孔定位技术相结合，提出基于运动相关性的瞳孔位置滤波方法，可有效地克服随机干扰，提高系统的准确性和鲁棒性。

附图说明

图1为人脸检测，人眼检测以及瞳孔检测流程图

图2为基于运动相关性的瞳孔位置滤波方法

具体实施方式

下面结合附图，对本发明应用在瞳孔检测上举例作进一步详细说明。

本实施例的方法是基于人体运动平滑性的假设，这是一个较强的假设，因为在正常情况下，相对于每秒25帧的视频流，人体的运动速度是比较慢的，同时还假设用户在观看立体显示器的时候不会做出剧烈的动作，这个假设也是成立的。

1、采集每帧视频图像并提取候选区域；

通过摄像头采集视频，为减小计算复杂度，对每帧图像进行候选区域选取，可以在近红外光照射环境下采集脸部视频，利用人眼的亮瞳效应进行候选区域的选取；

2、基于候选区域的人脸检测；

在通过上述步骤后提取出的候选区域内进行人脸检测；

人眼检测部分包括以下步骤：

在检测出人脸的区域内，进行人眼检测；

瞳孔检测部分包括以下步骤：

1、基于模板匹配的宏块跟踪；

在已经检测出人脸的范围内，选择一定区域作为模板匹配的初始化区域，将此时的模板中心位置存入内存中，在后续的每一帧人脸区域中，利用一定的搜索策略，寻找与初始化模板匹配程度最高的区域，并将区域的中心位置存入内存，以得到模板匹配值序列。这里可以将跟踪区域设定为一个包含人眼的矩形区域，初始化模板以瞳孔为中心，大小为人脸大小的1/4，在后续每帧中采用三步法作为搜索策略，搜索模板的最佳匹配位置。

2、基于候选区域的瞳孔检测；

在已经检测出人眼的区域内进行瞳孔检测，并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中，以得到瞳孔检测值序列。

3、基于运动相关性的瞳孔位置滤波；

对于已经存入内存区的模板匹配值序列和瞳孔检测值序列，对于每帧数据，考查两者之间的相关性是否变差，相关性变差的判定方法有多种，现在列举如下：

法一：

(x-u)²+(y-v)²＞γ. (3)

其中：x、y是当前瞳孔检测值的横、纵坐标，u、v是当前模板匹配值的横、纵坐标，γ是阈值。上述表达式体现的是，如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值，则认为此时瞳孔检测准确，并将瞳孔检测值作为最终的输出值输出；如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值，则认为两者相关性降低，此时瞳孔检测受到干扰，检测不准。

法二：

□x＝x_k-x_k-1

□y＝y_k-y_k-1

□u＝u_k-u_k-1. (4)

□v＝v_k-v_k-1

(□x-□u)²+(□y-□v)²＞γ

其中：□x、□y是当前帧与上一帧瞳孔检测值的横、纵坐标之差，即当前帧与上一帧瞳孔检测值的运动偏移量，□u、□v是当前帧与上一帧模板匹配值的横、纵坐标之差，即当前帧与上一帧模板匹配值的运动偏移量，γ是阈值。上述表达式体现的是，如果与瞳孔检测值的运动偏移量与模板匹配值的运动偏移量相关的距离函数小于阈值，则认为此时瞳孔检测准确，并将瞳孔检测值作为最终的输出值输出；如果与瞳孔检测值的运动偏移量与模板匹配值的运动偏移量相关的距离函数大于阈值，则认为两者相关性降低，此时瞳孔检测受到干扰，检测不准。

其中：□x_k、□y_k是第_k帧与上一帧瞳孔检测值的横、纵坐标之差，即第_k帧与上一帧瞳孔检测值的运动偏移量，□u_k、□v_k是第_k帧与上一帧模板匹配值的横、纵坐标之差，即第_k帧与上一帧模板匹配值的运动偏移量，γ是阈值。上述表达式反应的是，从当前帧到此前_k帧为止，如果与瞳孔检测值的运动偏移量和模板匹配值的运动偏移量相关的累积距离函数小于阈值，则认为此时瞳孔检测准确，并将瞳孔检测值作为最终的输出值输出；如果与瞳孔检测值的运动偏移量和模板匹配值的运动偏移量相关的累积距离函数大于阈值，则认为两者相关性降低，此时瞳孔检测受到干扰，检测不准。

如果出现相关性降低，瞳孔检测受到干扰，需要进行下面的滤波处理，其滤波方法有多种，现在列举如下：

法一：

x_t＝x_t-1+u_t-u_t-1. (5)

y_t＝y_t-1+v_t-v_t-1

其中：x_t-1、y_t-1是上一帧瞳孔检测值的横、纵坐标，u_t-u_t-1、v_t-v_t-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标，即当前帧与上一帧之间的运动偏移量，用该偏移量与上一帧准确检测的瞳孔坐标相加，得到当前的瞳孔检测准确值作为输出值输出。

法二：

$\begin{array}{c}{x}_t=\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}{x}_{t-1}+\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}(u_t-u_{t-1})\\ y_t=\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}{y}_{t-1}+\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}(v_t-v_{t-1})\end{array}\·---\left(6\right)$

其中：α、β分别与瞳孔检测值和模板匹配值的置信度有关，x_t-1、y_t-1是上一帧瞳孔检测值的横、纵坐标，u_t-u_t-1、v_t-v_t-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标，即当前帧与上一帧之间的运动偏移量，用该偏移量与上一帧准确检测的瞳孔坐标进行加权相加，得到当前的瞳孔检测准确值作为输出值输出。

本发明相对于现有技术具有如下有益效果：

本发明基于运动的平滑性和相关性等特点，将基于模板匹配的运动估计算法与瞳孔定位技术相结合，提出基于运动相关性的瞳孔位置滤波方法，可有效地克服随机干扰，提高系统的准确性和鲁棒性。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (3)

1.一种基于运动相关性的瞳孔位置滤波方法，其特征在于，包括人脸检测部分，人眼检测部分以及瞳孔位置检测部分三个流程；其中人脸检测部分包括(1)采集每帧视频图像并提取候选区域；(2)基于候选区域的人脸检测；人眼检测位置检测：在检测出人脸的区域内，进行人眼检测；随后进行瞳孔位置检测；

瞳孔位置检测部分包括1)基于模板匹配的宏块跟踪；2)基于候选区域的瞳孔检测；3)基于运动相关性的瞳孔位置滤波；

将基于模板匹配的运动估计和位置定位算法相结合，实时计算两组数据的相关性；用当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标，得到当前帧与上一帧之间的运动偏移量，用该偏移量与上一帧准确检测的瞳孔坐标相加，得到当前的瞳孔检测准确值作为输出值输出；

1)基于模板匹配的宏块跟踪：在已经检测出人脸的范围内，选择一定区域作为模板匹配的初始化区域，将此时的模板中心位置存入内存中，在后续的每一帧人脸区域中，利用一定的搜索策略，寻找与初始化模板匹配程度最高的区域，并将区域的中心位置存入内存，以得到模板匹配值序列；

2)基于候选区域的瞳孔检测：在已经检测出人眼的区域内进行瞳孔检测，并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中，以得到瞳孔检测值序列；

3)基于运动相关性的瞳孔位置滤波：

3-1)对于已经存入内存区的模板匹配值序列和瞳孔检测值序列，对于每帧数据，考查两者之间的相关性是否变差，相关性变差的判定方法如下：

(x-u)²+(y-v)²＞γ (1)

其中：x、y是当前瞳孔检测值的横、纵坐标，u、v是当前模板匹配值的横、纵坐标，γ是阈值；上式表示，如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值，则认为此时瞳孔检测准确，并将瞳孔检测值作为最终的输出值输出；如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值，则认为两者相关性降低，此时瞳孔检测受到干扰，检测不准；

3-2)如果出现相关性降低，瞳孔检测受到干扰，需要进行下面的滤波处理，其滤波方法如下：

$\begin{array}{c}{x}_t=x_{t-1}+u_t-u_{t-1}\\ y_t=y_{t-1}+v_t-v_{t-1}\end{array}.---\left(2\right)$

其中：x_t-1、y_t-1是上一帧瞳孔检测值的横、纵坐标，u_t-u_t-1、v_t-v_t-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标，即当前帧与上一帧之间的运动偏移量，用该偏移量与上一帧准确检测的瞳孔坐标相加，得到当前的瞳孔检测准确值作为输出值输出。

2.根据权利要求1所述基于运动相关性的瞳孔位置滤波方法，其特征在于：

采集每帧视频图像并提取候选区域；通过摄像头采集视频，为减小计算复杂度，对每帧图像进行候选区域选取，在近红外光照射环境下采集脸部视频，利用人眼的亮瞳效应进行候选区域的选取。

3.根据权利要求1所述基于运动相关性的瞳孔位置滤波方法，其特征在于：在后续的每一帧人脸区域中，利用搜索策略，寻找与初始化模板匹配程度最高的区域，并将区域的中心位置存入内存，以得到模板匹配值序列；这里将跟踪区域设定为一个包含人眼的矩形区域，初始化模板以瞳孔为中心，大小为人脸大小的1/4，在后续每帧中采用三步法作为搜索策略，搜索模板的最佳匹配位置。