CN102696041B

CN102696041B - 用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法

Info

Publication number: CN102696041B
Application number: CN201080059278.6A
Authority: CN
Inventors: K·S·齐达南德; B·博米克
Original assignee: Tata Consultancy Services Ltd
Current assignee: Tata Consultancy Services Ltd
Priority date: 2009-12-02
Filing date: 2010-12-02
Publication date: 2016-03-02
Anticipated expiration: 2030-12-02
Also published as: WO2011067788A3; US20130010096A1; EP2507742A2; JP5680667B2; WO2011067788A2; US9483695B2; JP2013513155A; CN102696041A

Abstract

一种通过利用设置在车辆上的近红外（IR）摄像机捕捉的图像来定位和跟踪司机的眼睛的睡意状态的成本效益高且稳健的方法，所述方法包括以下处理器实施的步骤：通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框；通过计算从一个位置到另一个位置的所述眼睛的质心、目标模型直方图和目标候选模型直方图，将它们进行比较以识别距离并利用加权平均值来计算目标中心的位移，以跟踪所述眼睛，其中基于特征空间计算目标模型直方图和目标候选模型直方图；以及使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的参数来检测眼睛的睡意状态。

Description

用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法

技术领域

本发明涉及用于眼睛跟踪和司机睡意确认的系统和方法。更具体而言，本发明涉及用于定位和跟踪司机的眼睛的睡意状态以通过使用设置在车辆上的近红外（IR）摄像机捕捉的图像来避免事故的成本效益高和稳健的系统和方法。

背景技术

司机疲劳和司机缺少睡眠是存在已久的问题，尤其那些驾驶例如卡车、公共汽车等大型车辆的司机。每年大量的交通事故和伤亡是由于在驾驶时困乏的司机入睡而造成的。如果我们能够检测司机的睡意状态并且具有警告处于这种状态的司机的机制，则可以在很大程度上防止这样的事故。

缺少用于检测在汽车中的司机睡意的方法是存在已久的问题。

已知的涉及眼睛跟踪和司机睡意确认的一些发明如下：

KingmanYee的US6283954讲授了利用巩膜和虹膜之间的对比获得眼睛位置的感测和跟踪眼睛的位置的改进的装置、系统和方法。该发明尤其用于在激光眼睛外科手术期间跟踪眼睛的位置，例如准分子激光角膜切削术（PRK）、光学治疗性角膜切削术（PTK）、准分子激光角膜原位磨镶术（LASIK）等。

Taboada等的US5345281公开了关于用于跟踪人的眼睛的特定视角的装置，尤其公开了一种用于通过分析眼睛对红外（IR）光束的反射而跟踪眼睛移动的光学装置。

Smith等的US6927694公开了利用带有可以自动启动且当需要时可以重新启动并提供实时输出的全自动系统的单独的车载摄像机来跟踪人的头和面部特征。如US6927694中提出的系统使用标记为重要的像素的R,G，B分量的RGB阵列索引，该系统还致力于白天和夜间条件的不同的运算法则。

ClarkeSr等的US5689241公开了关于借助穿过视频电荷耦合装置的数字化摄影图像的温度敏感的红外部分，利用红外摄像机对司机的眼睛张开与闭合的像素颜色中的热图像变化进行监控的装置。不移动与呼吸温度降低的结合将触发红外摄像机缩放到司机的眼睛区域上，不移动与呼吸温度降低为肺换气不足的生理反应，由此引起睡眠。

ChristosT.Kyrtso的US5900819公开了关于通过测量包括速度、横向位置和转向角的车辆行为来检测睡意。

TomokazuNakamura的US20080252745讲授了对于基于构成眼睛区域的像素的像素数据的眼睛区域，计算表示眼睛的状态的特征值的眼睛的状态（包括眨眼）的辨识装置。阈值设定装置根据在目标眼睛张开时为目标眼睛所计算的特征值，计算表示在从张开状态到闭合状态的第一转变点处的特征值的第一阈值和表示在从闭合状态到张开状态的第二转变点处的特征值的第二阈值。

RiadI.Hammoud的US7362885讲授了一种使用灰度随机编码滤波器（hatfilter）在连续产生的红外视频图像之间跟踪目标对象以从背景中提取目标对象的对象跟踪方法。其中对象为人的眼睛，通过分析二进制球（binaryblob）的形状和外观及其尺寸和眼睛之前状态的变化，以及将对应的参数应用到眼睛状态决策矩阵来确定眼睛状态和决策可信度。

Rui等的US7130446讲授了自动检测和跟踪多个个体包括接收视频和/或音频内容的帧并且识别用于在帧中的新的面部区域的候选区域。一个或多个分层校验等级用于校验人的面部是否在候选区域，并且做出指示，如果一个或多个分层校验等级证实人的面部在候选区域中，则候选区域包括面部。多个音频和/或视频提示用于跟踪在从帧到帧的视频内容中的各经校验的面部。

大多数这些已知的睡意检测装置依赖传感器技术。尽管已经使用计算机视觉技术执行一些方法，然而这些睡意检测装置使用复杂的方法检测睡意并且价格昂贵。所有这些方法对于跟踪眼睛区域以监控经受疲劳和缺少睡眠的司机的警觉是不充分和不精确的。

因此，鉴于上述背景技术，显然，需要一种简单的、容易安装并且以较低成本提供较高精确度的用于眼睛跟踪和司机睡意识别的系统和方法。

发明内容

本发明的目的

本发明的主要目的是提供通过利用设置在车辆上的近红外（IR）摄像机捕捉的图像定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的系统和方法。

本发明的另一目的是不受瞳孔效应影响跟踪眼睛，其中通过在腐蚀的图像中执行直方图均衡和形态学变换而在面部边界框内进行了形态腐蚀。

本发明的另一目的是提供一种设想为使用核心跟踪算法跟踪眼睛和面部的稳健方式的系统和方法。

本发明的另一目的是以借助基于核心的面部和眼睛跟踪算法在面部边界框中首先跟踪面部然后跟踪眼睛的方式定位眼睛部分。

本发明的另一目的是提供收集例如随后作为核心跟踪算法的参数的形态学变换图像和直方图均衡图像的特征的方法。

本发明的再一目的是提供一种使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的参数来检测眼睛的状态的系统和方法。

本发明的另一目的是在检测到司机在睡意状态中之后向司机提供音频或视听来警告司机。

技术方案

在描述本发明的方法、系统和启用的硬件之前，应该理解，本发明不限于所描述的具体系统和方法，由于可以具有没有在本公开具体描述中的多个可行的实施方式。还应该理解，本发明中的术语仅旨在描述具体版本或实施方式，且不旨在限制本发明的范围，该范围由所附的权利要求书限定。

本发明提供了通过利用设置在车辆上的近红外（IR）摄像机捕捉的图像来定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的系统和方法。

本发明包括通过使用设置在车辆上的近红外（IR）摄像机捕捉的图像来定位和跟踪司机眼睛的睡意状态以避免事故的经济和稳健的方法，所述方法包括由处理器实现的如下步骤：通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框；通过计算从一个位置到另一个位置的眼睛的质心、目标模型直方图和目标候选模型直方图，之后将它们进行比较来识别距离并随后利用加权平均值来计算目标中心的位移，从而跟踪眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图；以及使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的参数来检测眼睛的睡意状态。

在本发明的另一方面中，提供一种使用检测眼睛的睡意状态以警告司机警报装置以避免碰撞，其中所述警报装置可以为包括但不限于警报、基于声音的警示、指示和显示的音频或视听装置。根据本发明的另一方面，近红外摄像机被设置在车辆内部面向司机。

附图说明

当结合附图阅读时可以更好地理解上文的发明内容和下文的优选实施方式的具体说明。为了例证本发明，在附图中示出了本发明的示例结构；然而，本发明不限于在附图中所公开的具体方法和设备：

图1为示出根据本发明的各个实施方式的针对事故定位和跟踪司机眼睛的睡意状态的方法的流程图；

图2A示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域；

图2B示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化；

图2C示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果；

图2D示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域；

图2E示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化；

图2F示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果；

图3A示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域；

图3B示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化；

图3C示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果；

图3D示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域；

图3E示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化；

图3F示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果；

图4A和图4B示出根据本发明的示例性实施方式说明司机睡意识别状态的图形。

具体实施方式

现将详细讨论说明本发明的特征的本发明的一些实施方式。词语“包括”、“具有”、“含有”、“包含”及其其它形式旨在具有相同的含义并且是开放式的，在这些词语中的任一个之后的一个或多个项目不意味着这些项目的穷尽列举或意味着仅限于列举的项目。还必须注意，如本文和所附的权利要求书中所用的单数形式包括复数引用，除非上下文另有明确指示。尽管类似于或等同于本文中描述的系统和方法的任一系统和方法可以用于执行或测试本发明的实施方式，然而现在描述优选的系统和方法。公开的实施方式仅仅是本发明的示例，本领域技术人员可以以多种形式实现这些实施方式。

一种用于确定司机的睡意状态的成本效益高且稳健的方法，通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来避免事故，所述方法包括以下处理器实施的步骤：

a)通过基于面部最右边和面部最左边的坐标之间的差值确定面部宽度，和通过基于鼻尖位置和眉毛位置之间的差值的两倍与眉毛位置坐标之间的差值确定面部高度，从而确定面部边界框，以及使用分割处理确定眼睛边界框；

b)通过收集大于从所述分割处理获得的阈值的灰度值，实时跟踪所述面部；

c)通过在所述面部边界框中执行形态腐蚀且随后在所述面部边界框中收集直方图均衡化和形态学变换，实时跟踪所述眼睛；

d)通过计算所述眼睛的质心，并且基于直方图均衡化的图像和形态学变换的图像的亮度范围计算目标模型直方图和目标候选模型直方图，来跟踪所述眼睛；

e)计算所述目标模型直方图和所述目标候选模型直方图之间的距离并且计算目标中心的位移；

f)使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的参数来检测眼睛的睡意状态。

根据本发明的一个示例性实施方式，一种成本效益高且稳健的系统包括：设置在车辆上、面向司机的用于捕捉图像的近IR摄像机；和处理器，该处理器容纳在其中，用于实时分析捕捉的图像以定位和跟踪司机眼睛的睡意状态来避免事故。

图1为示出根据本发明的各个实施方式的为防止事故而用于定位和跟踪司机眼睛的睡意状态的方法100的流程图。

在本发明的一个示例性实施方式中，为防止事故而用于定位和跟踪司机眼睛的睡意状态的成本效益高的方法使用设置在车辆上的近红外(IR)摄像机捕捉的图像110。根据本发明的另一方面，近IR摄像机可以被设置在车辆的外侧或内侧面向司机。在本发明的一个示例性实施方式中，近IR摄像机被设置在车辆的内侧面向司机。

根据本发明的一方面，近IR摄像机的分辨率为352*288。根据本发明的一方面，近IR摄像机的IR范围可以选自(0.7-1)微米到5微米的范围，用于检测和跟踪行人。根据本发明的一方面，近IR摄像机的温度范围可以选自740开尔文到(3,000-5,200)开尔文之间，用于检测和跟踪行人。

根据本发明的一方面，处理器可以被设置在近IR摄像机的机身中、车辆的外部或内部、车辆的顶部或仪表板上。在本发明的一个示例性实施方式中，处理器被设置在近IR摄像机的机身中。根据本发明的另一方面，处理器可以选自DavinciDM6446处理器、ADSP-BF533和750MHzBlackfin处理器的群组中。

上述成本效益高的方法包括多个处理器实施的步骤。在全部图像中跟踪例如眼睛的较小的对象是困难的。因此在提出的方法的第一步骤中，定位眼睛的搜索，在面部边界框中，首先跟踪面部，随后跟踪眼睛。

处理器执行代码，以使用分割处理识别120眼睛的形状以及例如眉毛、鼻尖和纵向面部中心的面部标记。为了跟踪面部，处理器执行代码，以使用以下等式确定面部坐标：

面部宽度＝面部最右边-面部最左边

面部高度＝2*(鼻尖位置-眉毛位置)-眉毛位置

为了跟踪眼睛，处理器执行代码，以使用分割处理确定眼睛的边界框。为了跟踪面部130，处理器执行代码，以收集仅作为大于从分割处理所获得的阈值的灰度值的特征。为了跟踪眼睛140，处理器执行代码，以收集特征，该特征为在面部的边界框中的直方图均衡化和在面部的边界框中的形态学变换。

跟踪眼睛的主要障碍是消除瞳孔效应。为了使眼睛跟踪不受瞳孔效应影响，首先通过处理器在面部边界框中执行形态腐蚀。从该腐蚀的图像，执行直方图均衡化和形态学变换。

通过在大范围的强度级上扩展输入图像的级别，直方图均衡化产生具有均衡直方图的输出图像。在处理器执行代码以在输出图像上应用直方图均衡化之后，深色图像变得更深并且亮色图像变得更亮。处理器执行代码以使用形态学变换从亮色背景(即面部边界框)中提取深色对象(即眼睛)。

在提出的方法的第二步骤中，处理器通过计算从一个位置到另一个位置的眼睛的质心、目标模型直方图和目标候选模型直方图，之后比较它们以确定距离并且随后利用加权平均值计算目标中心的位移，来跟踪眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图。

对于眼睛跟踪140，处理器执行以下步骤：在第一步骤中，处理器执行代码，以将眼球的质心作为中心m0，然后通过考虑特征空间计算目标模型直方图。

if(hist_eq(i，j)＜max_range&&hist_eq(i，j)＞min_range)

Compute32binhistogramonMorphologicaltransformedimage.

目标模型：

\hat{q} = {q_{u}^{^}}, u = 1,2,3, . . . . . . . . 32,

Σ q_{u}^{^} = 1 .

从下一帧开始，目标的中心在其之前的位置(y0)处被初始化并且处理器执行代码，以通过考虑相同的特征空间计算目标候选直方图。

if(hist_eq(i，j)＜max_range&&hist_eq(i，j)＞min_range)

Update32binhistogramonMorphologicaltransformedimage.

现在，处理器执行代码，以计算目标模型和目标候选直方图之间的距离，其中ρ[.]为在p和q之间的巴卡哈亚(bhattacharya)系数。

现在，处理器执行代码，以利用加权平均值计算目标中心的位移。

{\hat{y}}_{1} = \frac{Σ_{i = 1}^{n_{h}} x_{i} w_{i}}{Σ_{i = 1}^{n_{h}} w_{i}}

其中，

w_{i} = Σ_{n = 1}^{m} \sqrt{\frac{{\hat{q}}_{u}}{{\hat{p}}_{u} ({\hat{y}}_{0})}} i .

一旦发现目标的新位置，处理器执行代码：

1)在新位置上利用相同的特征空间计算目标候选直方图，该特征空间涉及直方图均衡化图像范围和形态学变换图像。

2)随后计算

3)如果

ρ [\hat{p} (y_{1}), \hat{q}] < ρ [\hat{p} (y_{0}), \hat{q}]

执行y₁＜-(y₀+y₁₎)/2

求值

ρ [\hat{p} (y_{1}), \hat{q}]

4)如果||y₁-y₀||＜ε，中止。

否则设定y₀＜-y₁和推导出权重，随后新位置并且转到步骤1。

利用以上跟踪方法，将出现眼睛的漂移，这主要是因为：

a)在形态学变换图像中，噪点还显得很明亮并且导致不清楚像素是鼻子像素还是眼睛像素。

b)没有包含位置和速度。

为了解决这些问题，处理器在形态学变换图像中绘制眼睛到眉毛的图形以识别眼睛像素，由此避免在这样的图像中显示较亮的鼻子像素。

为了在形态学变换图像中绘制眼睛到眉毛的图形，处理器执行以下步骤：

a)眼睛到眉毛的图形的绘制

由于眼睛和眉毛显示一个在另一个下面，故我们使用该线索区分像素是眼睛像素还是鼻子像素。

在形态学变换图像中眼睛到眉毛的图形的绘制涉及：

然而形态学变换图像中鼻子到眉毛的图形的绘制还涉及：

b)方向估计。

在第一个4帧中，眼睛位置的质心被存储在FIFO(先进先出)或队列中。

对于当前帧，在使用核心跟踪算法计算新质心之前，处理器执行代码，以使用下述等式更新质心：

cr＝previous_cr+(fifocr[3]-fifo.cr[0])/4；

cc＝previous.cc+(fifo.cc[3]-fifo.cc[0])/4

如果在汽车环境中自然地发生突然颤动，则头部位置和眼睛位置急剧变化。为了跟踪眼睛，处理器执行代码，以检测相对于之前的帧在当前帧中头部位置的变化，其中条件为：

||curr_diff-prev_diff||＞||velocity||

curr_diff＝||track[0].cr-fifo1.cr(2))||+||track[0].cc-fifo1.cc[2]||

prev_diff＝||fifo1.cr[1]-fifo1.cr[2]||+||fifo1.cc[1]-fifo1.cc[2]||

velocity＝||fifo1.cr[3]-fifo1.cr[0]||+||fifo1.cc[3]-fifo1.cc[0]||/4

一旦该条件被核实以及如果该条件被设定，则核心跟踪算法不能跟踪眼睛，但由于面部尺寸比眼睛尺寸大，故仍然跟踪面部。

为了甚至在发生较大变化(颤动)时还能跟踪眼睛，处理器计算基于SAD(绝对误差和)的眼睛的模板匹配。在核心跟踪算法结束时，跟踪的眼睛被作为模板图像存储。

在跟踪方法中，眼睛的边界框被定位。在最后的步骤中，处理器使用直方图均衡化、形态学操作以及使用直方图和灰度共生矩阵的基于纹理的参数检测眼睛的睡意状态150。

现将详细讨论这样的处理器实施的方法：

在进行直方图均衡化过程之前，处理器执行代码以将眼睛的边界框向上延伸到眉毛的质心。在该区域中，处理器执行代码以将直方图均衡化过程应用在眼睛的边界框上，其中直方图均衡化为使用图像的直方图调整对比度的图像处理方法。直方图均衡化为使得图像的直方图的动态范围增大的技术。直方图均衡化在输入的图像中分配像素的强度值使得输出图像含有均衡分布的强度。改善了对比度并且直方图均衡化的目标是获得均衡的直方图。该技术可以用在全部图像或仅一部分图像上。

直方图均衡化重新分配强度分布。如果任一图像的直方图具有多个峰值和谷值，则其在均衡化之后将仍具有峰值和谷值，但峰值和谷值将被转换。由于该原因，对于描述直方图均衡化，“扩展”是比“展平”更好的词语。在直方图均衡化中，各个像素基于其先前的强度级被分配新的强度值。

在下一步骤中，通过计算这种带有结构化元素的图像的线腐蚀，处理器消除直方图均衡化的图像的较亮的瞳孔效应，其中所述结构化元素的宽度等于1/3的眉毛宽度并且结构化元素的高度等于1。

为了消除较亮的瞳孔效应，处理器执行以下步骤：

考虑离散灰度等级图像{x}并且令n_i为灰度级为i的出现次数。图像中级为i的像素的出现概率为p_x(i)＝p(x＝i)＝n_i/n，0≤i≤L。

L为图像中灰度级的总量，n为图像中像素的总量，以及p_x实际为图像的直方图，归一化到[0，1]。

将p_x所对应的累积分布函数定义为

其也是图像的累积归一化直方图。

此外，变换被创建成形式y＝T(x)以产生新图像{y}，使得其CDF在这些值的范围内被线性化，即，对于一些常数K，

cdf_x(i)＝iK。

CDF的特性允许进行这样的变换：

y＝T(x)＝cdf_x(x)。

应该注意，T将等级映射到范围[0，1]。为了使这些值映射回初始范围中，需要对结果应用以下简单变换：

yⁱ＝y.(max{x}-min{x})+min{x}。

在直方图均衡化之后，灰度级图像中的深色部分显得更深且灰度级图像中的亮色部分显得更亮。由于在眼睛中的明亮的瞳孔效应显示较亮或有时检测不到亮的瞳孔效应，因此为了抑制亮的瞳孔效应，利用宽度为眉毛宽度的1/3且高度等于1的结构化元素进行线腐蚀。

如果A为灰度级图像且B为结构化元素，则对于在Z²中的集合A和B，B对A的腐蚀为，

在腐蚀之后，将有较小的不需要的成分。为了抑制不需要的成分和保持眼睛区域，将利用结构化元素高度和等于3的结构化元素宽度来进行灰度等级开运算。

在数学形态学中，开运算为通过结构化元素B扩大集合A的腐蚀。

如果A为灰度级图像且B为结构化元素，则对于在Z²中的集合A和B，A和B的形态学开运算为，

在下一步骤中，处理器使用基于直方图的方法进行纹理分析，纹理分析基于集中在表示为直方图的图像的全部或部分上的强度值以识别眼睛的状态，其中均匀度或角二次矩(ASM)纹理参数的值对于闭合的眼睛为高值而对于张开的眼睛为低值。

为了进行纹理分析，处理器执行以下步骤：

在第一步骤中，处理器执行代码以对图像实现基于纹理的分析。

纹理为表示图像的表面和结构的属性。可将纹理定义为表面上的元素或图案的有规律的重复。图像纹理为由带有具有亮度、颜色、形状、尺寸等特征的子图案的实体或区域组成的复杂的可视图案。如果图像区的一组特征为恒定的、缓慢变化的或大约周期性的，则图像区具有恒定的纹理。纹理分析为纹理分类、图像分割和图像形状识别任务中的主要步骤。图像分割和形状识别通常为用于在图像中识别对象或目标的预处理步骤。

特征化纹理的数学过程分为两大类：

1.统计，以及

2.句法。

统计方法计算不同的特性，且如果纹理基元尺寸与像素尺寸可比较，则该统计方法是适用的。这些统计方法包括傅立叶变换、卷积滤波、共生矩阵、空间自相关和分形等。

句法和混合(统计和句法的结合)方法适用于纹理，其中可以使用比仅色调性能更多数量的特性来描述基元；例如形状描述。使用这些特性，可以识别、限定基元，并分配标签给基元。对于灰度级图像，可以用亮度代替色调。

一种描述纹理的最简单的方法是使用图像或区域的灰度级直方图的统计矩。基于直方图的纹理分析方法基于集中在表示为直方图的图像的全部或部分上的强度值。常见特征包括统计矩，例如平均值、方差、离差、均方值或平均能量、熵、偏度和峰度。

令Z为表示灰度级的随机变量，且令ρ(Z_i)，I＝0、1、2、L-1为对应的直方图，其中L为不同的灰度级的数量。

Z关于平均值的第n个统计矩为

其中m为Z的平均值(平均灰度级)

m = Σ_{i = 0}^{L - 1} Z_{i} ρ (Z_{i}) .

在本发明的一个实施方式中，我们使用“均匀度或角二阶矩(ASM)”纹理参数。这是局部同态性的度量。当在移动的窗口中的像素非常相似时ASM的高值出现。

该均匀度通过以下等式给出：

U = Σ_{i = 0}^{L - 1} p^{2} (Z_{i}) .

均匀度的值在0到1之间。该参数对于闭合的眼睛为高值，而对于张开的眼睛为低值。

可选地，处理器通过检测N帧的波段具有相同的性能，则眼睛为闭合的，使用灰度级共生矩阵的对比度来识别眼睛的状态。

为了检测眼睛状态，处理器执行以下步骤：

共生矩阵，也称为共生分布，被限定在图像上，作为在给定偏差下的共生值的分布。在数学上，将共生矩阵C限定在nxm图像I上，通过偏差(Δx，Δy)参数化，为：

在该灰度级共生矩阵中，“对比度”

我们发现了一个参数“对比度”，该参数“对比度”为检测眼睛状态的辨别因子。

处理器执行代码，以利用以下等式计算对比度。

为了分类，处理器用于从跟踪开始的位置观察第一T帧。对于各个帧，处理器执行代码，以为每个特征动态地计算μ和σ，赋初值μ＝特征值，σ＝0。特征值＞μ+3*σ或特征值＜μ-3*σ的帧，固定这两个参数的更新。一旦发现N帧的波段具有相同的性能，则发出闭合的眼睛的信号。

图2A示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域。

图2B示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化。

图2C示出根据本发明的在司机的一个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果。

图2D示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域。

图2E示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化。

图2F示出根据本发明的在司机的一个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果。

图3A示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域。

图3B示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化。

图3C示出根据本发明的在司机的另一示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果。

图3D示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域

图3E示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化。

图3F示出根据本发明的在司机的另一示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果。

在本发明的另一方面中，利用警报装置，使用检测的眼睛的睡意状态警告司机来避免碰撞，其中，警报装置可以为发出警报、基于声音的警示、指示和显示的音频或视听装置。

已参照本发明的多个实施方式给出上文的说明。本发明所属技术领域的技术人员可以理解，对描述的操作步骤和方法可以做出改动和变化，而没有从实质上脱离本发明的原则、精神和范围。

有益效果

因此在本发明中提出的用于眼睛跟踪和司机睡意识别的系统和方法的一些优点为：

1.就使用直方图均衡化、形态学操作和基于纹理的分析跟踪眼睛的位置而言更精确。

2.在发生突然颤动的情况下系统相对于眼睛位置的变化自适应。

3.联接系统中的睡意检测应用的司机警告策略。

4.跟踪眼睛不受瞳孔效应影响，通过在腐蚀的图像中执行直方图均衡化和形态学变换而在面部边界框内执行形态腐蚀。

Claims

1.一种通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来确定司机的睡意状态以避免事故的方法，所述方法包括以下处理器实施的步骤：

通过应用分割技术来识别图像中的面部标记，其中，所述面部标记包括眉毛、鼻尖和纵向面部中心，

基于面部宽度和面部高度确定以图像中的面部边界框为边界的面部，其中，基于面部最右边的坐标和面部最左边的坐标之间的差值确定所述面部宽度，和基于鼻尖位置和眉毛位置之间的差值的两倍与眉毛位置之间的差值确定所述面部高度；

通过收集大于阈值的灰度值，实时跟踪所述面部；

通过区分眼睛与眉毛，从面部中识别眼睛；

在所述面部边界框上执行直方图均衡化之后，在所述面部边界框中执行形态学操作，其中，当使用所述直方图均衡化时，所述图像中的深色部分变得更深且所述图像的亮色部分变得更亮；

通过对多个图像使用核心跟踪算法，实时跟踪眼睛，其中，在眼睛被实时跟踪时，与眼睛相关联的同态性和对比度的值被跟踪，且其中，与眼睛相关联的所述对比度被存储在共生矩阵中；以及

通过使用与眼睛相关联的所述同态性和所述对比度的值中的至少一者来从眼睛检测司机的睡意状态。

2.根据权利要求1所述的方法，还包括，基于所述司机的所述睡意状态来产生用于警告司机的警报。

3.根据权利要求1所述的方法，其中，所述近红外(IR)摄像机被设置在所述车辆的外部或所述车辆的内部，其中所述IR摄像机面向所述司机。

4.根据权利要求1所述的方法，其中，所述眼睛的实时跟踪还包括检测相对于前一帧在当前帧中头部位置的变化。

5.根据权利要求1所述的方法，还包括：

使用基于直方图的方法进行纹理分析以确定眼睛的状态，其中，使用灰度级共生矩阵的对比度，以通过监控N帧的波段从而确定所述眼睛的状态。

6.一种通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来确定司机的睡意状态以避免事故的系统，所述系统包括：

用于通过应用分割技术来识别图像中的面部标记的模块，其中，所述面部标记包括眉毛、鼻尖和纵向面部中心；

用于基于面部宽度和面部高度确定以图像中的面部边界框为边界的面部的模块，其中，基于面部最右边的坐标和面部最左边的坐标之间的差值确定所述面部宽度，和基于鼻尖位置和眉毛位置之间的差值的两倍与眉毛位置之间的差值确定所述面部高度；

用于通过收集大于阈值的灰度值来实时跟踪所述面部的模块；

用于通过区分眼睛与眉毛而从面部中识别眼睛的模块；

用于在所述面部边界框上执行直方图均衡化后、在所述面部边界框中执行形态学操作的模块，其中，当使用所述直方图均衡化时，所述图像中的深色部分变得更深且所述图像的亮色部分变得更亮；

用于通过对多个图像使用核心跟踪算法实时跟踪眼睛的模块，其中，在眼睛被实时跟踪时，与眼睛相关联的同态性和对比度的值被跟踪，且其中，与眼睛相关联的所述对比度被存储在共生矩阵中；以及

用于通过使用与眼睛相关联的所述同态性和所述对比度的值中的至少一者来从眼睛检测司机的睡意状态的模块。