CN104077778B - 一种基于距离正则化的变分水平集得到人眼状态的方法 - Google Patents

Abstract

本发明公开了一种基于距离正则化的变分水平集得到人眼状态的方法，该方法将获取到的人脸图像进行灰度图像转化和滤波后，根据新的灰度级做出灰度图像，再根据灰度图像用水平集方法的初始轮廓线进行人眼粗定位，定义能量泛函，当能量泛函最小化时即为初始轮廓线演化为目标眼睛区域，由零阶矩的算法计算得到相应区域的面积，与所设定的阈值比较，得到人眼状态。与传统的水平集方法相比，本发明避免了对水平集函数的重新初始化，计算效率高，确保了足够的数值精度，而且判断驾驶员状态时间短，速度快，实现简单方便，效果好。

Description

一种基于距离正则化的变分水平集得到人眼状态的方法

【技术领域】

本发明属于图像分割技术领域，具体涉及一种基于距离正则化的变分水平集得到人眼状态的方法。

【背景技术】

目前，交通业的发展速度较快，交通事故也已经变得不可避免，人身安全也越来越受到人们的关注。近期的研究表明：产生交通事故的原因有部分是驾驶疲劳。主要是因为驾驶员的作息时间、工作枯燥，所以容易造成驾驶疲劳。

人眼的状态能较好反应驾驶员精神状态，事实证明，人在正常状态下每分钟眨眼十五次，而人的眨眼频率一旦增高，说明人已经处于疲劳状态，即将睡着。

水平集方法已被广泛用于图像处理和计算机视觉，它有效解决了以前算法不能解决的在曲线演化过程中的拓扑变化问题，其核心是利用水平集这一数学理论来对能量函数进行极小值求解的曲线演化过程，通过求解极小值最终获取目标轮廓从而达到图像分割的目的。在运用传统的水平集方法进行图像分割时，水平集函数在演变过程中会产生振荡和很尖锐或者很平坦的形状，这最终会破坏曲线演化的稳定性，所以后来在演化过程中将水平集函数重新初始化为符号距离函数，以避免计算不准确。然而，重新初始化的问题导致曲线演化变得极为缓慢，因为如果重新初始化函数不平滑或者其某一边比较陡峭将导致零水平集严重偏离初始函数。所以，这样的水平集方法有待进一步改进。

【发明内容】

本发明的目的在于克服上述方法的缺点，提出了一种基于距离正则化的变分水平集得到人眼状态的方法，该方法避免了对水平集函数的重新初始化，计算效率高，确保了足够的数值精度，而且判断驾驶员状态时间短，速度快，实现简单方便，效果好。

为达到上述目的，本发明采用以下技术方案来实现的：

一种基于距离正则化的变分水平集得到人眼状态的方法，包括以下步骤：

1)对摄像头拍到的驾驶员人脸彩色图像，将人脸彩色图像转换为256级灰度级的人脸灰度图像，对人脸灰度图像中值滤波来减少噪声；

2)对中值滤波后的人脸灰度图像进行灰度级转化，从0灰度级开始，每连续的32个灰度级合并为一个灰度级，重新把灰度级标号为0到7，最终把有256个灰度级的图像转化为8个灰度级的图像；

3)把水平集函数Φ初始化成一个初始水平集函数Φ₀，用初始水平集函数Φ₀的零水平集轮廓对步骤2)中处理后的8个灰度级的图像初步分割，得到眼睛初始轮廓；

4)定义一个由距离正则项和外部能量项组成的能量泛函，最小化能量泛函；如果任何一零交叉点停止连续迭代，则停止迭代，即已找到梯度流方程的稳态解，能量泛函取得最小化，得到目标区域；否则，从用初始水平集函数的零水平集轮廓对图像初步分割开始循环；

5)得到正常状态下驾驶员人脸图像分割后所得目标眼睛区域后，使用最小二阶矩的方法，用0阶矩求得被测目标区域的面积，设定为眼睛正常睁开时的目标区域的面积为初始值S₀，重复步骤1)至4)，得到每次扫描的人眼面积。

本发明进一步改进在于，步骤4)中，具体步骤如下：

a)构建零水平集周围的初级窄带其中，r为相邻两个网格点之间的距离，0为初级窄带的意思，因为窄带区域内的网格点相对较少，以此减少水平集函数演化过程中的计算量，定义初级窄带区域内(i,j)为横坐标为i、纵坐标为j的一个网格点，称为零交叉点，Z⁰为初始水平集函数Φ⁰所有的零交叉点的集合，为以网格点(i,j)为中心的(2r+1)×(2r+1)的方块；

b)在初级窄带上更新水平集函数即在k+1时刻网格点(i，j)处的水平集函数，Φ(i,j)为网格点(i，j)上定义的水平集函数，把更新后的水平集函数Φ_i,j ^k+1的所有零交叉点的集合记为Z^k+1，其中，能够扩展为Ф(ir,jr,(k+1)Δt),记为Ф(x,y,t)，Δt是时间步长；

c)对窄带上的零交叉点更新，对每一个在窄带上而不在窄带上的网格点(i,j)，如果Φ_i,j ^k>0，设置Φ_i,j ^k+1的值为m，否则设置Φ_i,j ^k+1的值为-m，m为常量，且m＝r+1；

d)如果任何一零交叉点停止连续迭代，则停止迭代，即已找到梯度流方程的稳态解，能量泛函取得最小化，得到目标区域；

本发明进一步改进在于，步骤4)中，能量泛函方程如下：

ε(Φ)＝μR_q(Φ)+ε_e(Φ) (1)

式中：

q是一个泛函或能量密度，

是Φ的梯度；

μ＞0，用于控制调整水平集函数和符号距离函数之间的偏离；

ε_e(Φ)是推动水平集函数Φ运动的外部能量，R_q(Φ)是距离正则项，使得演变中水平集函数总是与符号距离函数保持一致，避免了重新初始化；

定义函数的外部能量为：

ε_e(Φ)＝αL_g(Φ)+βA_g(Φ) (2)

式中：

α>0，β是常量，g是边缘指示函数；

其中：I为全域Ω中的一个图像，G_σ是有标准差σ的高斯函数，g中的卷积用来平滑图像来减少噪声；

δ是Dirac函数，H是Heaviside函数；

因此，总能量函数表示为：

ε(Φ)＝μR_q(Φ)+αL_g(Φ)+βA_g(Φ) (3)

最小化函数ε的梯度流方程表示为：

通过变分计算得到：

其中：△是拉普拉斯算子；

应用最陡下降法求函数ε最小值：

注意到：

本发明进一步改进在于，在实现过程中，Dirac函数δ(x)用较平滑的函数δ_ε近似，如下式所示：

和分别用中心差分和来近似，

用前向差分及来近似；

其中，分别是x轴方向上的中心差分和前向差分，分别是y轴方向上的中心差分和前向差分，i、i+1、i-1是网格点的横坐标，j、j+1、j-1是网格点的纵坐标。

本发明进一步改进在于，步骤5)中，根据大量测验表明，人眼睡着时作为目标区域的眼球的面积为十分之三S₀，将其设为阈值，用摄像机跟踪人脸每分钟扫描三十次，将每次扫描得到的面积与阈值比较，若每三十次扫描有大于二十次且小于三十次扫描得到的面积小于阈值，判定眨眼次数较多，则判断驾驶员快睡着了；若每三十次扫描中每次扫描得到的面积都小于阈值，则判断驾驶员处于睡眠状态。

与现有技术相比，本发明具有以下的有益效果：

本发明一种基于距离正则化的变分水平集得到人眼状态的方法，该方法将获取到的人脸图像进行灰度图像转化和滤波后，将所得灰度图像重新分等级，然后根据新的灰度级重新做出灰度图像，用初始水平集轮廓进行人眼粗定位，定义能量泛函，首先初始化水平集函数Φ，然后，构建初级窄带，在窄带上更新水平集函数，并且更新窄带，给窄带上的新的像素赋值，确定终止迭代，如果任何一零交叉点停止连续迭代，则停止迭代，最小化能量泛函，得到目标区域，否则，从更新初始化LSF开始循环。使用最小二阶矩的方法，用0阶矩求得被测目标区域的面积，设定为初始值S₀，人眼睡着时作为目标区域的眼球的面积为十分之三S₀，将其设为阈值，用摄像机跟踪人脸每秒扫描三十次，将每次扫描得到的面积与阈值比较，进行驾驶员状态判别。与传统的水平集方法相比，该方法避免了对水平集函数的重新初始化，计算效率高，确保了足够的数值精度，而且判断驾驶员状态时间短，速度快，实现简单方便，效果好。

【附图说明】

图1为驾驶员清醒状态下的人脸图像；

图2为驾驶员清醒状态下的人脸灰度图像；

图3为驾驶员清醒状态下的人眼初始轮廓；

图4为驾驶员清醒状态下演化后的最终人眼轮廓；

图5为驾驶员疲劳状态下的人脸图像；

图6为驾驶员疲劳状态下的人脸灰度图像；

图7为驾驶员疲劳状态下的人眼初始轮廓；

图8为驾驶员疲劳状态下演化后的最终人眼轮廓。

【具体实施方式】

下面结合附图对本发明做进一步详细的说明。

本发明目标区域分割原理如下：

在运用传统的水平集方法进行图像分割时，水平集函数在演变过程中会产生振荡和很尖锐或者很平坦的形状，这最终会破坏曲线演化的稳定性，所以就在演化过程中将水平集函数重新初始化为符号距离函数，以避免计算不准确。

可以看出这种方法存在缺陷，重新初始化将导致曲线演化变得极为缓慢，而且如果重新初始化函数不平滑或者其某一边比较陡峭将导致零水平集严重偏离初始函数。

其中，水平集方法最早是由Osher和Sethian提出，用于解决遵循热力学方程下的火苗的外形变化过程。其基本思想是将平面闭合曲线隐含地表达为三维连续函数曲面Ф(x,y)的一个具有相同函数值的同值曲线，通常是{Ф＝0}，称为零水平集，而Ф(x,y)称为水平集函数。这就是关于水平集函数的定义。

我们改进的带有距离正则项和驱使零水平轮廓朝着期望的位置运动的外部能量项的变分水平集方法中，充分利用了距离正则项，使得演化中水平集函数总是与符号距离函数保持一致，避免了重新初始化，它是用一个势函数定义，该势函数能迫使水平集函数的梯度级朝向它的一个最小点，即水平集演化派生为能最小化能量泛函的梯度流。在水平集演化中，由来源于距离正则化项的一个向前和向后(FAB)扩散来维护水平集函数的规律性，使分割结果趋于稳定，原理步骤如下：

1、获取驾驶员人脸的含有8个灰度级的灰度图像，用初始水平集函数Φ₀的零水平集轮廓对输入图像初步分割，定义一个由距离正则项和外部能量项组成的能量泛函。

2、初始化水平集函数，构建初级窄带，在窄带上更新水平集函数，并且更新窄带，给窄带上的新的像素赋值，记下窄带上所有零交叉像素的集合。

3、如果任何一零交叉点停止连续迭代，则停止迭代，最小化能量泛函，得到目标区域；否则，从用初始水平集函数的零水平集轮廓对图像初步分割开始循环，得到能量泛函方程：

ε(Φ)＝μR_q(Φ)+ε_e(Φ) (1)

其中：

μ＞0用于控制调整水平集函数和符号距离函数之间的偏离；

ε_e(Φ)是推动水平集函数Φ运动的外部能量，R_q(Φ)是距离正则项，使得演变中水平集函数总是与符号距离函数保持一致，避免了重新初始化；

定义函数的外部能量为：

ε_e(Φ)＝αL_g(Φ)+βA_g(Φ) (2)

式中

α>0，β是常量，g是边缘指示函数；

其中：I为全域Ω中的一个图像，G_σ是有标准差σ的高斯函数，g中的卷积用来平滑图像来减少噪声；

其中：δ是Dirac函数，H是Heaviside函数。

因此，总能量函数表示为：

ε(Φ)＝μR_q(Φ)+αL_g(Φ)+βA_g(Φ) (3)

通过最小化能量函数以得到目标轮廓，最小化函数ε的梯度流表示为：

通过变分计算得到：

其中：△是拉普拉斯算子。

应用最陡下降法求函数ε最小值：

注意到:

在实现过程中，Dirac函数δ(x)用较平滑的函数δ_ε近似：

和分别用中心差分和来近似，

用前向差分及来近似；

其中，分别是x轴方向上的中心差分和前向差分，分别是y轴方向上的中心差分和前向差分，i、i+1、i-1是网格点的横坐标，j、j+1、j-1是网格点的纵坐标。

能量泛函最小化过程中需要不断更新窄带上的水平集函数，并且不断更新窄带，使初始轮廓演化至目标曲线。

构建的初级窄带

初级窄带由零水平集上的零交叉点组成，其形状为一方块，式中：(i,j)为一个网格点，称为零交叉点，Z⁰为初始化的Φ⁰所有的零交叉点的集合，为以(i,j)为中心的(2r+1)×(2r+1)的方块。

更新水平集函数：

Φ(i,j)为网格上定义的LSF。

把上Φ_i,j ^k+1的所有零交叉像素的集合记为Z^k+1，通过设置上式来更新窄带。对窄带上的像素更新，给对每一个在上而不在上的点(i,j)，如果Φ_i,j ^k>0设置Φ_i,j ^k+1为m，否则设置Φ_i,j ^k+1为-m，此处m通常设为r+1。当任何一零交叉点停止连续迭代，则能量泛函取得最小值，由此得到目标轮廓，停止迭代。

4、得到正常状态下驾驶员人脸图像分割后所得目标眼睛区域后，使用最小二阶矩的方法，用0阶矩求得被测目标区域的面积S，设定为初始值，用摄像机跟踪人脸每秒扫描三十次，重复以上步骤，将再次得到的面积与初始值比较，若每三十次有二十五次以上扫描得到的面积小于初始值，则判断驾驶员眨眼次数较多，即将睡着。

以下给出本发明的一个具体实施例：

根据参考图1至图8，采取具体的实施步骤：

步骤一，获取驾驶员人脸图像，选取有代表性的原始彩色图像。

步骤二，对选取的彩色图像转换为灰度图像,对图像中值滤波来减少噪声。

步骤三，将该256级灰度级的灰度图像转化为8级灰度级的灰度图像，将该图像作为后续处理的基础。

步骤四，初始水平集函数Φ₀，零水平集轮廓对输入图像初步分割。

步骤五，定义一个由距离正则项和外部能量项组成的能量泛函，通过步骤六和步骤七最小化能量泛函。

步骤六，构建零水平集周围的初级窄带在窄带上更新水平集函数Φ_i,j ^k+1＝Φ_i,j ^k+τL(Φ_i,j ^k)。把上Φ_i,j ^k+1的所有零交叉像素的集合记为Z^k+1，通过设置(2)式来更新窄带。给对每一个在上而不在的点(i，j)，如果Φ_i,j ^k>0设置Φ_i,j ^k+1为m，否则设置Φ_i,j ^k+1为-m，此处m可以设为r+1，并且更新窄带，给窄带上的新的像素赋值，记下窄带上所有零交叉像素的集合。

步骤七，如果任何一零交叉点停止连续迭代，则停止迭代，即已找到梯度流方程的稳态解，最小化能量泛函，得到目标区域；否则，从用初始水平集函数的零水平集轮廓对图像初步分割开始循环。

步骤八，得到正常状态下驾驶员人脸图像分割后所得目标眼睛区域后，使用最小二阶矩的方法，用0阶矩求得被测目标区域的面积S，设定为初始值，用摄像机跟踪人脸每秒扫描三十次，重复以上步骤，将再次得到的面积与初始值比较，若每三十次有二十次以上扫描得到的面积小于初始值，则判断驾驶员每分钟眨眼次数较多，即将睡着。

Claims (5)

1.一种基于距离正则化的变分水平集得到人眼状态的方法，其特征在于，包括以下步骤：

1)对摄像头拍到的驾驶员人脸彩色图像，将人脸彩色图像转换为256级灰度级的人脸灰度图像，对人脸灰度图像中值滤波来减少噪声；

2)对中值滤波后的人脸灰度图像进行灰度级转化，从0灰度级开始，每连续的32个灰度级合并为一个灰度级，重新把灰度级标号为0到7，最终把有256个灰度级的图像转化为8个灰度级的图像；

3)把水平集函数Φ初始化成一个初始水平集函数Φ₀，用初始水平集函数Φ₀的零水平集轮廓对步骤2)中处理后的8个灰度级的图像初步分割，得到眼睛初始轮廓；

4)定义一个由距离正则项和外部能量项组成的能量泛函，最小化能量泛函；

如果任何一零交叉点停止连续迭代，则停止迭代，即已找到梯度流方程的稳态解，能量泛函取得最小化，得到目标区域；否则，从用初始水平集函数的零水平集轮廓对图像初步分割开始循环；其中，零交叉点定义为初级窄带区域内(i,j)为横坐标为i、纵坐标为j的一个网格点；

5)得到正常状态下驾驶员人脸图像分割后所得目标眼睛区域后，使用最小二阶矩的方法，用0阶矩求得被测目标区域的面积，设定为眼睛正常睁开时的目标区域的面积为初始值S₀，重复步骤1)至4)，得到每次扫描的人眼面积。

2.根据权利要求1所述的一种基于距离正则化的变分水平集得到人眼状态的方法，其特征在于，步骤4)中，具体步骤如下：

a)构建零水平集周围的初级窄带其中，r为相邻两个网格点之间的距离，0为初级窄带的意思，因为窄带区域内的网格点相对较少，以此减少水平集函数演化过程中的计算量，Z⁰为初始水平集函数Φ⁰所有的零交叉点的集合，为以网格点(i,j)为中心的(2r+1)×(2r+1)的方块；

b)在初级窄带上更新水平集函数即在k+1时刻网格点(i，j)处的水平集函数，Φ(i,j)为网格点(i，j)上定义的水平集函数，把更新后的水平集函数Φ_i，j ^k+1的所有零交叉点的集合记为Z^k+1，其中，能够扩展为Ф(ir,jr,(k+1)Δt),记为Ф(x,y,t)，Δt是时间步长；

c)对窄带上的零交叉点更新，对每一个在窄带上而不在窄带上的网格点(i,j)，如果Φ_i,j ^k>0，设置Φ_i,j ^k+1的值为m，否则设置Φ_i,j ^k+1的值为-m，m为常量，且m＝r+1；

d)如果任何一零交叉点停止连续迭代，则停止迭代，即已找到梯度流方程的稳态解，能量泛函取得最小化，得到目标区域。

3.根据权利要求1或2所述的一种基于距离正则化的变分水平集得到人眼状态的方法，其特征在于，步骤4)中，能量泛函方程如下：

ε(Φ)＝μR_q(Φ)+ε_e(Φ) (1)

式中：

q是一个泛函或能量密度，

是Φ的梯度；

μ＞0，用于控制调整水平集函数和符号距离函数之间的偏离；

ε_e(Φ)是推动水平集函数Φ运动的外部能量，R_q(Φ)是距离正则项，使得演变中水平集函数总是与符号距离函数保持一致，避免了重新初始化；

定义函数的外部能量为：

ε_e(Φ)＝αL_g(Φ)+βA_g(Φ) (2)

式中：

α>0，β是常量，g是边缘指示函数；

A_g(Φ)＝∫_ΩgH(-Φ)dx；

其中：I为全域Ω中的一个图像，G_σ是有标准差σ的高斯函数，g中的卷积用来平滑图像来减少噪声；

δ是Dirac函数，H是Heaviside函数；

因此，总能量函数表示为：

ε(Φ)＝μR_q(Φ)+αL_g(Φ)+βA_g(Φ) (3)

最小化函数ε的梯度流方程表示为：

$\frac{\∂\mathrm{\Φ}}{\∂t}=-\frac{\∂\mathrm{\ϵ}}{\∂\mathrm{\Φ}}---\left(4\right)$

通过变分计算得到：

$\frac{\∂\mathrm{\ϵ}}{\∂\mathrm{\Φ}}=-\mathrm{\μ}\[\mathrm{\Δ}\mathrm{\Φ}-div\left(\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)\]-\mathrm{\α}\mathrm{\δ}\left(\mathrm{\Φ}\right)div\left(g\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)-\mathrm{\β}g\mathrm{\δ}\left(\mathrm{\Φ}\right)---\left(5\right)$

其中：△是拉普拉斯算子；

应用最陡下降法求函数ε最小值：

$\frac{\∂\mathrm{\Φ}}{\∂t}=\mathrm{\μ}\[\mathrm{\Δ}\mathrm{\Φ}-div\left(\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)\]+\mathrm{\α}\mathrm{\δ}\left(\mathrm{\Φ}\right)div\left(g\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)+\mathrm{\β}g\mathrm{\δ}\left(\mathrm{\Φ}\right)---\left(6\right)$

注意到：

$\mathrm{\Δ}\mathrm{\Φ}-div\left(\frac{\▿\mathrm{\Φ}}{\left|\▿\mathrm{\Φ}\right|}\right)=div\[(1-\frac{1}{\left|\▿\mathrm{\Φ}\right|})\▿\mathrm{\Φ}\]---\left(7\right).$

4.根据权利要求3所述的一种基于距离正则化的变分水平集得到人眼状态的方法，其特征在于，在实现过程中，Dirac函数δ(x)用较平滑的函数δ_ε近似，如下式所示：

${\mathrm{\&delta;}}_{\mathrm{\&epsiv;}}\left(x\right)=\left\{\begin{array}{c}\frac{1}{2\mathrm{\&epsiv;}}\&lsqb;1+cos\left(\frac{\mathrm{\&pi;}x}{\mathrm{\&epsiv;}}\right)\&rsqb;,\left|x\right|<\mathrm{\&epsiv;}\\ 0,\left|x\right|>\mathrm{\&epsiv;}\end{array}\right.---\left(8\right)$

和分别用中心差分和来近似，用前向差分及来近似；

其中，分别是x轴方向上的中心差分和前向差分，分别是y轴方向上的中心差分和前向差分，i、i+1、i-1是网格点的横坐标，j、j+1、j-1是网格点的纵坐标。

5.根据权利要求1所述的一种基于距离正则化的变分水平集得到人眼状态的方法，其特征在于，步骤5)中，根据大量测验表明，人眼睡着时作为目标区域的眼球的面积为十分之三S₀，将其设为阈值，用摄像机跟踪人脸每分钟扫描三十次，将每次扫描得到的面积与阈值比较，若每三十次扫描有大于二十次且小于三十次扫描得到的面积小于阈值，判定眨眼次数较多，则判断驾驶员快睡着了；若每三十次扫描中每次扫描得到的面积都小于阈值，则判断驾驶员处于睡眠状态。