CN104166996A - 一种基于边缘及颜色双特征空间直方图的人眼跟踪方法 - Google Patents

Abstract

本发明提出一种基于边缘及颜色双特征空间直方图的人眼跟踪方法，它有七大步骤。在经典均值偏移算法框架体系下，对人眼区域的颜色特征及边缘特征分别建立空间直方图模型，目标区域模型与候选区域模型在颜色特征空间与边缘特征空间中各自的相似度由巴氏系数衡量，综合相似度为两子特征的加权和。利用由新的综合相似度推导得出的迭代公式计算均值偏移向量进行人眼实时跟踪。本发明对于快速运动人眼及眨动人眼的跟踪有实时性好，鲁棒性强的优点。

Description

一种基于边缘及颜色双特征空间直方图的人眼跟踪方法

技术领域

本发明涉及计算机视觉技术在驾驶员疲劳检测系统中的应用，特别涉及一种基于边缘及颜色双特征空间直方图的人眼跟踪方法。

背景技术

在基于图像处理的驾驶员疲劳检测系统中，驾驶员眼睛的状态是判断疲劳的重要依据。在第一帧成功定位眼睛的基础之上，为了满足实时性的要求，对于后续帧的处理，大多采用视频目标跟踪算法来跟踪眼睛的位置。当驾驶员在正常驾驶汽车时，大部分时间眼睛注释前方路况，头部有轻微晃动，当头部左右转动时，时间较短，因此人眼跟踪算法应该能满足头部的快速转动的要求，另外，还需要考虑到光照变化及眼睛眨动的影响。

基于近年来对于人眼跟踪的研究，提出了一些有效的跟踪算法。有用眼睛模板在模板匹配算法框架下对人眼进行跟踪，有用粒子滤波算法跟踪眼睛的位置。基于穷尽搜索的模板匹配算法和基于大量粒子采样的粒子滤波算法计算量较大，在实时运行时对硬件的要求高。而在目标跟踪领域，均值偏移算法因其迭代向量计算简单，实时性好并且对于目标的部分遮挡和旋转的鲁棒性强的优点被广泛应用研究。在实际应用中，为了取得更好的跟踪效果，研究者对传统均值偏移算法进行了改进。有将均值偏移与卡尔曼滤波相结合来跟踪人眼，但是人眼的运动并非线性高斯过程，跟踪精度无法保证。有将粒子滤波器与均值偏移相结合，粒子滤波的跟踪精度较好但是降低了实时性。以上采用均值偏移算法的人眼跟踪只基于颜色直方图对目标区域建模，这种只考虑颜色分布信息而没有考虑空间分布信息的算法，在光照变化或背景较复杂时，跟踪效果往往不令人满意。

发明内容

为解决上述技术问题，本发明提出一种基于边缘及颜色双特征空间直方图的人眼跟踪方法，该方法在基于空间直方图均值偏移跟踪算法的基础上，将受光照变化影响弱的边缘特征与颜色特征联合建模，用两个子特征的综合相似度衡量候选区域与目标区域的相似程度，用基于综合相似度推导出的均值偏移向量计算公式进行迭代运算，在满足实时性要求光照变化鲁棒性要求的同时，提高了对于快速移动人眼和眨动人眼的跟踪精度。

本发明不涉及人眼检测部分，在初始图像中，人眼目标区域为一已确定位置和大小的矩形区域。

本发明一种基于边缘及颜色双特征空间直方图的人眼跟踪方法，该方法具体步骤包括：

步骤1.目标区域建模。利用Soble算子对初始帧中人眼区域进行边缘提取，计算目标区域的颜色空间直方图h_c'和边缘空间直方图h_e'。

步骤2.候选区域建模。在当前帧中，初始搜索位置y₀定为上一帧中眼睛的位置，计算候选区域的颜色空间直方图h_c(y₀)和边缘空间直方图h_e(y₀)。

步骤3.计算目标区域与候选区域相似度。计算各个特征空间中的目标模型与候选模型的相似度和特征权重值，从而计算联合相似度ρ(y₀)。

步骤4.计算均值偏移向量。计算每个采样点的权值，从而得到当前搜索位置处的均值偏移向量，若||y₁-y₀||＞ε(ε为衡量均值偏移向量不为0的最小阀值)，则该向量指向被跟踪目标的新位置y₁，若||y₁-y₀||≤ε，则停止搜索。

步骤5.相似度比较。将搜索窗口移动到步骤4中的新位置y₁处，更新候选模型，即计算y₁处的颜色空间直方图h_c(y₁)和边缘空间直方图h_e(y₁)。

步骤6.计算y₁处的联合相似度ρ(y₁)。

步骤7.若ρ(y₁)＜ρ(y₀)，则新位置为否则y₀←y₁，转到步骤4。

其中，在步骤1中，进行边缘提取的Soble算子水平和垂直梯度模板分别为： $d_x=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $d_y=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

利用梯度模板与3×3图像矩阵卷积可得水平垂直梯度G_x和G_y，则梯度幅值G和梯度方向θ由公式(1)计算出。

$\left\{\begin{array}{c}G=\sqrt{{G_x}^2+{G_y}^2}\\ \mathrm{\θ}=\arctan \left(\frac{G_y}{G_x}\right)\end{array}\right.$ 公式(1)

目标区域颜色空间直方图h_c'＝<n^c',μ^c',Σ^c'>的计算步骤为：将RGB颜色空间均分为N_C个区间，首先计算落入第b个区间的像素加权个数接着计算落入第b个区间的像素点的坐标均值向量和坐标协方差矩阵计算方法由公式(2)给出。

$\left\{\begin{array}{c}{n}_b^{c\&prime;}=C\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{x_i-x_0}{h}\left|\right|}^2\right){\mathrm{\&delta;}}_{\mathrm{ib}}\\ {\mathrm{\&mu;}}_b=\frac{1}{{\mathrm{\&Sigma;}}_{j=1}^{N_h}{\mathrm{\&delta;}}_{\mathrm{jb}}}\underset{i=1}{\overset{N_h}{\mathrm{\&Sigma;}}}(x_i-y){\mathrm{\&delta;}}_{\mathrm{ib}}\\ {\mathrm{\&Sigma;}}_b=\frac{1}{{\mathrm{\&Sigma;}}_{j=1}^{N_h}{\mathrm{\&delta;}}_{\mathrm{jb}}}\underset{i=1}{\overset{N_h}{\mathrm{\&Sigma;}}}{(x_i-{\mathrm{\&mu;}}_b)}^T(x_i-{\mathrm{\&mu;}}_b){\mathrm{\&delta;}}_{\mathrm{ib}}\end{array}\right.$ 公式(2)

公式(2)中，点{x_i}_i＝1…N为初始帧人眼矩形区域中的N个采样像素点，x₀为矩形区域中心；k(·)为核函数，选取Epanechnikov核函数，h为核窗宽；若第i个采样点x_i落入第b个区间则δ_ib为1，否则为0；C为归一化常数： $C=1/\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}k\left({\left|\right|x_i-x_0/h\left|\right|}^2\right).$

目标区域的边缘空间直方图h_e'＝<n^e',μ^e',Σ^e'>计算方法为，根据梯度幅值G≥T将像素点分为边缘像素点和非边缘像素点，阀值T由最大类间方差法得出。对边缘像素点，根据梯度方向θ分为个N_E区间，分别计算落入每个区间的边缘像素点的加权个数，坐标均值向量和协方差矩阵。计算方法与计算颜色空间直方图同理。

其中，在步骤2中，当前帧的起始搜索位置与初始帧中眼睛位置相同，矩形搜索窗口的大小不变，用上述方法提取搜索窗口区域的边缘点，并计算候选模型的颜色空间直方图h_c(y₀)＝<n^c(y₀),μ^c(y₀),Σ^c(y₀)>和边缘空间直方图h_e(y₀)＝<n^e(y₀),μ^e(y₀),Σ^e(y₀)>。

其中，在步骤3中，目标模型与候选模型在颜色空间的相似度ρ_c(y₀)为：公式(3)

公式(3)中，表示空间相似度，η为高斯归一化常数。

同理，目标模型与候选模型在边缘空间的相似度为ρ_e(y₀)＝BH_e。

则特征权重ω_k和综合相似度ρ(y₀)为：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_k={\mathrm{BH}}_k/\underset{k=e,c}{\mathrm{\&Sigma;}}{\mathrm{BH}}_k\\ \mathrm{\&rho;}\left(y_0\right)={\left[{\mathrm{\&rho;}}_e\left(y\right)\right]}^{{\mathrm{\&omega;}}_e}{\left[{\mathrm{\&rho;}}_c\left(y\right)\right]}^{{\mathrm{\&omega;}}_c}\end{array}\right.$ 公式(4)

其中，在步骤4中，搜索窗口中每个采样点的权值λ_i和个特征空间偏移向量ν_k为：

公式(5)

公式(5)中，k分别代表边缘e和颜色c。

则当前搜索点处的均值偏移向量由下式计算：

$y_1=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{x}_i+\underset{k=e,c}{\mathrm{\&Sigma;}}{v}_k}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}$ 公式(6)

计算结果即为新位置y₁。

本发明的主要创新之处在于，将人眼区域的边缘特征与颜色特征综合建模，并且融合了采样点坐标的空间位置信息，在均值偏移跟踪算法框架下进行迭代搜索，满足了实时性要求，对光照变化具有鲁棒性，尤其提高了对快速移动人眼及眨动人眼的跟踪精度。

附图说明

图1是本发明的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的算法流程图。

图2(a)是本发明的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的初始帧人眼位置示意图。

图2(b)是本发明的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的当前帧搜索窗口第一次移动示意图。

图2(c)是本发明的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的当前帧搜索窗口第二次移动示意图。

图3是本发明的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的搜索中心点在综合相似度函数空间的移动示意图。

图2(a)、图2(b)和图2(c)中窗口w1、w2、w3的中心A、B、C三点代表的位置分别与图3中的A、B、C三点代表的位置相同。

具体实施方式

下面结合附图对本发明的较佳实例进行详细阐述。

图1为本发明一种基于边缘及颜色双特征空间直方图的人眼跟踪算法的流程图。如图1所示，算法包括以下几个步骤：

步骤1.计算初始帧目标人眼区域模型，即目标颜色空间直方图h_c'和目标边缘空间直方图h_e'。

1)计算目标边缘空间直方图h_e'。在初始帧中，已准确定位的人眼中心位置为A，如图2(a)所示，矩形区域w1为初始帧中已定位的目标人眼区域。对初始帧中的目标人眼区域利用Sobel算子进行边缘提取，得到每个像素点的梯度幅值G和梯度方向θ。对于梯度幅值G，用最大类间方差法计算边缘分割阀值T，若G>T,则该点为边缘点，否则，为非边缘点。对于边缘点，将梯度方向θ均分为12个区间，计算落入每个区间的边缘点的核加权个数及每个区间内所有像素点的坐标的均值向量和协方差矩阵则目标边缘空间直方图为 ${h_e}^{\&prime;}=<n_b^{e\&prime;},{\mathrm{\&mu;}}_b^{e\&prime;},{\mathrm{\&Sigma;}}_b^{e\&prime;}>,b=1...12.$

2)计算目标颜色空间直方图h_c'。将RGB颜色空间均分为512个区间，计算落入每个区间的像素点的核加权个数及每个区间内所有像素点的坐标的均值向量和协方差矩阵则目标颜色空间直方图为 ${h_c}^{\&prime;}=<n_b^{c\&prime;},{\mathrm{\&mu;}}_b^{c\&prime;},{\mathrm{\&Sigma;}}_b^{c\&prime;}>,b=1...512.$

步骤2.计算当前帧初始搜索位置y₀处的候选模型，即候选颜色空间直方图h_c(y₀)和候选边缘空间直方图h_e(y₀)。当前帧即为初始帧后一帧，当前帧的初始搜索位置y₀定为前一帧的人眼窗口位置，当前帧的初始搜索窗口如图2(b)中的窗口w1所示。

1)计算候选边缘空间直方图h_e(y₀)。与步骤S1的1)中计算目标边缘空间直方图方法相同，计算出y₀处候选边缘空间直方图 $h_e\left(y_0\right)=<n_b^e\left(y_0\right),{\mathrm{\&mu;}}_b^e\left(y_0\right),{\mathrm{\&Sigma;}}_b^e\left(y_0\right)>,b=1...12.$

2)计算候选颜色空间直方图h_c(y₀)。与步骤S1的2)中计算目标颜色空间直方图方法相同，计算出y₀处候选颜色空间直方图 $h_c\left(y_0\right)=<n_b^c\left(y_0\right),{\mathrm{\&mu;}}_b^c\left(y_0\right),{\mathrm{\&Sigma;}}_b^c\left(y_0\right)>,b=1...512.$

步骤3.计算y₀处目标模型与候选模型的综合相似度ρ(y₀)。

1)计算边缘特征空间的相似度ρ_e(y₀)及颜色特征空间的相似度ρ_c(y₀)。

2)根据各特征空间中的相似度数值得到特征权值，加权得到y₀处的候选模型与目标模型的综合相似度ρ(y₀)。

图3给出了初始搜索位置y₀周围60×30的矩形区域内的相似度函数值。A点处的值即为ρ(y₀)。

步骤4.计算y₀处的均值偏移向量。根据目标模型h_e'h_c'和候选模型h_e(y₀)h_c(y₀)，首先得到搜索窗口w1中每个像素点的权值λ_i，及各特征空间偏移向量ν_k。即可求出y₀处的均值偏移向量，即图3中

步骤5.计算当前帧新搜索位置y₁处的候选模型，即候选颜色空间直方图h_c(y₁)和候选边缘空间直方图h_e(y₁)。得到y₀处的均值偏移向量后，如图2(b)所示，搜索窗口从w1移动到w2，搜索窗口的中心坐标为y₁，计算y₁处的候选边缘空间直方图 $h_e\left(y_1\right)=<n_b^e\left(y_1\right),{\mathrm{\&mu;}}_b^e\left(y_1\right),{\mathrm{\&Sigma;}}_b^e\left(y_1\right)>,b=1...12$ 和候选颜色空间直方图 $h_c\left(y_1\right)=<n_b^c\left(y_1\right),{\mathrm{\&mu;}}_b^c\left(y_1\right),{\mathrm{\&Sigma;}}_b^c\left(y_1\right)>,b=1...512.$

步骤6.计算y₁处目标模型与候选模型的综合相似度ρ(y₁)。如图3所示，B点处的相似度函数值即为ρ(y₁)。

步骤7.比较y₀与y₁处的相似度函数值。由于ρ(y₁)＞ρ(y₀)，表示新位置y₁处的候选模型与目标模型的相似度较高，搜索位置移动到y₁，即将y₁的值(B点坐标值)赋给y₀，同时将y₁处的边缘空间直方图h_e(y₁)和颜色模型直方图h_c(y₁)分别赋给h_e(y₀)和h_c(y₀)，ρ(y₁)的值赋给ρ(y₀)。

接着转到步骤S4。计算坐标为y₀处的均值偏移向量，即图3中的将搜索窗口的中心移动到C点处，y₁的值为C点坐标。计算y₁处的边缘空间直方图h_e(y₁)和颜色模型直方图h_c(y₁)及ρ(y₁)。由于ρ(y₁)＞ρ(y₀)，将y₁的值(C点坐标值)赋给y₀，如图2(c)所示，搜索窗口由w2移动到w3。计算坐标为y₀处的均值偏移向量，由于||y₁-y₀||≤ε(本实施例中ε的值取为1)，说明C点处的相似度函数梯度为0，达到了局部极大值，即C点为人眼在当前帧中的位置，搜索停止。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (5)

1.一种基于边缘及颜色双特征空间直方图的人眼跟踪算法，其特征在于：该方法具体步骤包括：

步骤1.目标区域建模；利用Soble算子对初始帧中人眼区域进行边缘提取，计算目标区域的颜色空间直方图h_c'和边缘空间直方图h_e'；

步骤2.候选区域建模；在当前帧中，初始搜索位置y₀定为上一帧中眼睛的位置，计算候选区域的颜色空间直方图h_c(y₀)和边缘空间直方图h_e(y₀)；

步骤3.计算目标区域与候选区域相似度；计算各个特征空间中的目标模型与候选模型的相似度和特征权重值，从而计算联合相似度ρ(y₀)；

步骤4.计算均值偏移向量；计算每个采样点的权值，从而得到当前搜索位置处的均值偏移向量，若||y₁-y₀||＞ε，ε为衡量均值偏移向量不为0的最小阀值，则该向量指向被跟踪目标的新位置y₁，若||y₁-y₀||≤ε，则停止搜索；

步骤5.相似度比较；将搜索窗口移动到步骤4中的新位置y₁处，更新候选模型，即计算y₁处的颜色空间直方图h_c(y₁)和边缘空间直方图h_e(y₁)；

步骤6.计算y₁处的联合相似度ρ(y₁)；

步骤7.若ρ(y₁)＜ρ(y₀)，则新位置为否则y₀←y₁，转到步骤4。

2.根据权利要求1所述的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法，其特征在于：在步骤1中，进行边缘提取的Soble算子水平和垂直梯度模板分别为：

$d_x=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $d_y=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

利用梯度模板与3×3图像矩阵卷积得水平垂直梯度G_x和G_y，则梯度幅值G和梯度方向θ由公式(1)计算出；

$\left\{\begin{array}{c}G=\sqrt{{G_x}^2+{G_y}^2}\\ \mathrm{\&theta;}=\arctan \left(\frac{G_y}{G_x}\right)\end{array}\right.$ 公式(1)

目标区域颜色空间直方图h_c'＝<n^c',μ^c',Σ^c'>的计算步骤为：将RGB颜色空间均分为N_C个区间，首先计算落入第b个区间的像素加权个数接着计算落入第b个区间的像素点的坐标均值向量和坐标协方差矩阵计算方法由公式(2)给出；

$\left\{\begin{array}{c}{n}_b^{c\&prime;}=C\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{x_i-x_0}{h}\left|\right|}^2\right){\mathrm{\&delta;}}_{\mathrm{ib}}\\ {\mathrm{\&mu;}}_b=\frac{1}{{\mathrm{\&Sigma;}}_{j=1}^{N_h}{\mathrm{\&delta;}}_{\mathrm{jb}}}\underset{i=1}{\overset{N_h}{\mathrm{\&Sigma;}}}(x_i-y){\mathrm{\&delta;}}_{\mathrm{ib}}\\ {\mathrm{\&Sigma;}}_b=\frac{1}{{\mathrm{\&Sigma;}}_{j=1}^{N_h}{\mathrm{\&delta;}}_{\mathrm{jb}}}\underset{i=1}{\overset{N_h}{\mathrm{\&Sigma;}}}{(x_i-{\mathrm{\&mu;}}_b)}^T(x_i-{\mathrm{\&mu;}}_b){\mathrm{\&delta;}}_{\mathrm{ib}}\end{array}\right.$ 公式(2)

公式(2)中，点{x_i}_i＝1…N为初始帧人眼矩形区域中的N个采样像素点，x₀为矩形区域中心；k(·)为核函数，选取Epanechnikov核函数，h为核窗宽；若第i个采样点x_i落入第b个区间则δ_ib为1，否则为0；C为归一化常数： $C=1/\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}k\left({\left|\right|x_i-x_0/h\left|\right|}^2\right)$

目标区域的边缘空间直方图h_e'＝<n^e',μ^e',Σ^e'>计算方法为，根据梯度幅值G≥T将像素点分为边缘像素点和非边缘像素点，阀值T由最大类间方差法得出，对边缘像素点，根据梯度方向θ分为个N_E区间，分别计算落入每个区间的边缘像素点的加权个数，坐标均值向量和协方差矩阵，计算方法与计算颜色空间直方图同理。

3.根据权利要求1所述的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法，其特征在于：在步骤2中，当前帧的起始搜索位置与初始帧中眼睛位置相同，矩形搜索窗口的大小不变，用上述方法提取搜索窗口区域的边缘点，并计算候选模型的颜色空间直方图h_c(y₀)＝<n^c(y₀),μ^c(y₀),Σ^c(y₀)>和边缘空间直方图h_e(y₀)＝<n^e(y₀),μ^e(y₀),Σ^e(y₀)>。

4.根据权利要求1所述的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法，其特征在于：在步骤3中，目标模型与候选模型在颜色空间的相似度ρ_c(y₀)为：

公式(3)

公式(3)中，表示空间相似度，η为高斯归一化常数，

同理，目标模型与候选模型在边缘空间的相似度为ρ_e(y₀)＝BH_e，

则特征权重ω_k和综合相似度ρ(y₀)为：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_k={\mathrm{BH}}_k/\underset{k=e,c}{\mathrm{\&Sigma;}}{\mathrm{BH}}_k\\ \mathrm{\&rho;}\left(y_0\right)={\left[{\mathrm{\&rho;}}_e\left(y\right)\right]}^{{\mathrm{\&omega;}}_e}{\left[{\mathrm{\&rho;}}_c\left(y\right)\right]}^{{\mathrm{\&omega;}}_c}\end{array}\right.$ 公式(4)。

5.根据权利要求1所述的一种基于边缘及颜色双特征空间直方图的人眼跟踪算法，其特征在于：在步骤4中，搜索窗口中每个采样点的权值λ_i和个特征空间偏移向量ν_k为：

公式(5)

公式(5)中，k分别代表边缘e和颜色c，

则当前搜索点处的均值偏移向量由下式计算：

$y_1=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{x}_i+\underset{k=e,c}{\mathrm{\&Sigma;}}{v}_k}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}$ 公式(6)

计算结果即为新位置y₁。