CN104346621A - 创建眼睛模板及检测眼睛状态的方法与装置 - Google Patents

Abstract

一种创建眼睛模板及检测眼睛状态的方法与装置，创建眼睛模板方法包括：提取人脸图像中的眼部区域；通过快速径向对称变换算法获得眼部区域中各像素点的径向对称变换结果；将径向对称变换结果为最大值的像素点位置确定为瞳孔位置；在瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。可以精确定位瞳孔位置，使创建的眼睛模板精确和可靠。检测眼睛状态方法包括：采用所述创建眼睛模板的方法获得眼睛模板，搜索待测区域，将与所述眼睛模板匹配的区域确定为待测眼睛区域；基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。有效提高检测眼睛状态的准确度，对眼镜、头部晃动、光照条件变换等具有更好的鲁棒性。

Description

创建眼睛模板及检测眼睛状态的方法与装置

技术领域

本发明涉及人眼检测技术领域，尤其涉及一种创建眼睛模板及检测眼睛状态的方法与装置。

背景技术

眼睛是人体面部最重要的特征，在计算机视觉研究和应用中发挥着极其重要的作用，眼睛状态的检测一直是受研究者广泛关注的方向。在人脸识别的基础上，眼睛状态的检测有助于各种智能设备识别出人眼的状态，在疲劳检测、视觉交互领域有广阔的应用前景。例如，通过图像处理来检测驾驶员眼部的物理反应，通过眼睛的检测和跟踪可以有效地实现驾驶员的疲劳检测，所述疲劳检测可以对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告，减少事故的发生率。再例如，在使用数码摄像设备进行拍摄时，经常会由于各种情况，比如拍摄者或者被拍摄者无意的动作，导致拍摄的图像中可能存在被拍摄者为闭眼或者眯眼状态，影响拍摄的效果。因此，为避免拍摄过程中出现的闭眼或者眯眼的情况的出现，在很多数码摄像设备中引入了眨眼识别技术，即在拍摄时，对场景中的人眼进行检测，判断是否出现眨眼情形。

目前，在进行眼睛状态的检测的过程中，可以首先进行人脸识别，在已知人脸区域的基础上，通过检测眼皮和眼睑的状态判断眼睛处于睁眼或者闭眼的状态，另外也可以首先通过人主动眨眼造成的睁眼与闭眼图像帧之间的差异来确定人眼位置并创建睁眼模板，进而通过所述睁眼模板进行人眼跟踪并检测眼睛状态。

但现有技术中，由于眼部图像的采集容易受到不均匀光照、人的睫毛、人所佩戴的眼镜以及拍摄图像时人体头部的晃动等因素的影响，导致检测眼睛状态的准确性普遍较差，容易引起检测眼睛状态错误的情况发生，很难满足在疲劳检测、视觉交互领域等对于检测眼睛状态的需求。

相关技术可以参考公开号为US2011205383A1的美国专利申请。

发明内容

本发明解决的问题是眼睛状态的检测准确性不高的问题。

为解决上述问题，本发明提供一种创建眼睛模板的方法，所述方法包括：

提取人脸图像中的眼部区域；

通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果；

将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置；

在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

可选的，所述眼部区域为左眼区域或右眼区域；或者，所述眼部区域包括左眼区域和右眼区域。

可选的，所述左眼区域为正方形区域、矩形区域、圆形区域或椭圆形区域；所述右眼区域为正方形区域、矩形区域、圆形区域或椭圆形区域。

可选的，所述人脸图像为正方形图像；所述左眼区域为边长等于所述人脸图像的边长的3/10的正方形区域，所述左眼区域的左上角与所述人脸图像的上边的距离和所述左眼区域的左上角与所述人脸图像的左边的距离均等于所述人脸图像的边长的3/20；所述右眼区域为边长等于所述人脸图像的边长的3/10的正方形区域，所述右眼区域的右上角与所述人脸图像的上边的距离和所述右眼区域的右上角与所述人脸区域的右边的距离均等于所述人脸区域的边长的3/20。

可选的，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的区域。

可选的，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的正方形区域、矩形区域、圆形区域或椭圆形区域。

可选的，所述人脸图像为正方形图像；所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心、边长等于所述人脸图像的边长的3/20的正方形区域。

可选的，在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

可选的，所述人脸图像包括预设时间范围内的连续帧的人脸图像；所述瞳孔位置所在的人脸图像是指所述瞳孔位置所在帧的人脸图像。

可选的，所述预设时间范围大于一次眨眼的持续时间。

可选的，所述一次眨眼的持续时间为0.05s～0.15s。

为解决上述问题，本发明还提供一种检测眼睛状态的方法，所述方法包括：

采用上述创建眼睛模板的方法获得眼睛模板；

搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域；

基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

可选的，所述待测区域为人脸区域；所述检测眼睛状态的方法还包括：通过人脸检测获得所述人脸区域；若人脸检测失败，则重新采用上述创建眼睛模板的方法获得眼睛模板。

可选的，所述搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域包括：

以搜索窗口遍历所述待测区域，所述搜索窗口的尺寸与所述眼睛模板的尺寸相同，所述搜索窗口在所述待测区域自左向右、从上至下移动且每次移动预定距离；

计算每一位置的搜索窗口与所述眼睛模板的相关系数；

将预定位置的搜索窗口确定为所述待测眼睛区域，所述预定位置的搜索窗口与所述眼睛模板的相关系数最大。

可选的，所述相关系数通过下述公式计算：

$R_{u,v}=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{{\mathrm{\Σ}}_{x,y}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2{\mathrm{\Σ}}_{x,y}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}},$ 其中，R_u,v为当前位置的搜索窗口与所述眼睛模板的相关系数，(u,v)为当前位置的搜索窗口的起始像素点的位置，f(x,y)为当前位置的搜索窗口中的像素点(x,y)的亮度值，为当前位置的搜索窗口中的像素点的亮度均值，t(x-u,y-u)为所述眼睛模板中位置与像素点(x,y)对应的像素点(x-u,y-u)的亮度值，是眼睛模板中的像素点的亮度均值。

可选的，所述预定距离为像素点的间距。

可选的，所述眼睛模板为左眼模板或右眼模板，所述待测眼睛区域对应为待测左眼区域或待测右眼区域；所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述眼睛模板与所述待测眼睛区域的相关系数小于匹配阈值，则确定所述待测眼睛区域的眼睛处于眨眼状态。

可选的，所述眼睛模板为左眼模板或右眼模板，所述待测眼睛区域对应为待测左眼区域或待测右眼区域；所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述眼睛模板与所述待测眼睛区域的相关系数大于匹配阈值，则确定所述待测眼睛区域的眼睛处于睁眼状态。

可选的，所述眼睛模板包括左眼模板和右眼模板，所述待测眼睛区域包括待测左眼区域和待测右眼区域；所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述左眼模板与所述待测左眼区域的相关系数及所述右眼模板与所述待测右眼区域的相关系数均小于匹配阈值，则确定所述待测眼睛区域的眼睛处于眨眼状态。

可选的，所述眼睛模板包括左眼模板和右眼模板，所述待测眼睛区域包括待测左眼区域和待测右眼区域；所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述左眼模板与所述待测左眼区域的相关系数大于匹配阈值或所述右眼模板与所述待测右眼区域的相关系数大于匹配阈值，则确定所述待测眼睛区域的眼睛处于睁眼状态。

可选的，所述匹配阈值的取值范围为[0.8，0.85]。

本发明技术方案还提供一种创建眼睛模板的装置，所述装置包括：

提取单元，适于提取人脸图像中的眼部区域；

计算单元，适于通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果；

位置确定单元，适于将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置；

选取单元，在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

可选的，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的区域。

可选的，所述计算单元适于在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

可选的，所述人脸图像包括预设时间范围内的连续帧的人脸图像；所述瞳孔位置所在的人脸图像是指所述瞳孔位置所在帧的人脸图像。

本发明技术方案还提供一种检测眼睛状态的装置，所述装置包括：

如上所述的创建眼睛模板的装置；

搜索单元，适于搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域；

状态确定单元，适于基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

可选的，所述搜索单元包括：

移动单元，适于以搜索窗口遍历所述待测区域，所述搜索窗口的尺寸与所述眼睛模板的尺寸相同，所述搜索窗口在所述待检区域自左向右、从上至下移动且每次移动预定距离；

系数计算单元，适于计算每一位置的搜索窗口与所述眼睛模板的相关系数；

区域确定单元，适于将预定位置的搜索窗口确定为所述待测眼睛区域，所述预定位置的搜索窗口与所述眼睛模板的相关系数最大。

与现有技术相比，本发明的技术方案具有以下优点：

首先提取人脸图像中的眼部区域，然后通过快速径向对称算法获得所述眼部区域中各像素点的径向对称变换结果，将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置，以所述瞳孔位置创建眼睛模板，该方法可以精确定位瞳孔的位置，使得创建的眼睛模板精确和可靠。

将上述创建眼睛模板的方法与检测眼睛状态的方法相结合，可以准确确定眼睛睁眼、闭眼或者眨眼的状态，有效提高检测眼睛状态的准确度，对人所配对的眼镜、头部晃动、光照条件变换等具有更好的鲁棒性。

在提取人脸图像中的眼部区域时，由人脸图像和眼部区域的比例关系，快速确定眼部区域的方法，可以快速、准确的确定瞳孔的位置，有效提高运算效率，有效提高确定睁眼模板以及检测眼睛状态的效率及准确性。

在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果的方法，可以有效减少计算量，达到实时性的要求。

附图说明

图1是本发明技术方案提供的创建眼睛模板的方法的流程示意图；

图2是本发明技术方案提供的检测眼睛状态的方法的流程示意图；

图3是本发明实施例一提供的创建眼睛模板的方法的流程示意图；

图4是本发明实施例一提供的人脸图像中的眼部区域的位置示意图；

图5是本发明实施例一提供的改进的快速径向对称算法的流程示意图；

图6是本发明实施例一提供的快速径向对称变换算法中像素点的映射关系图；

图7是本发明实施例二提供的检测眼睛状态的方法的流程示意图。

具体实施方式

在现有技术中，通常是基于眼球、瞳孔的检测方法或者是基于眼部结构特征的检测方法，所述眼球、瞳孔的检测方法主要通过检测眼部图像是否含有眼球来判断眼睛的状态，所述基于眼部结构特征的检测方法主要根据睁眼和闭眼情况下眼部整体结构特征的变化（如瞳孔和眼睑的变化）来判断眼睛的状态。具体地，在对眼睛状态的检测的过程中，通常会先对眼睛进行定位，眼睛的定位是眼睛状态检测的首要工作。目前已有区域分割法、边缘提取法、灰度投影法、神经网络法和模板匹配等多种眼睛定位方法，但现有技术中的很多算法只是利用了眼部图像中眼球灰度分布信息以及眼睑的形状信息，对于环境的变化、不同的人脸和姿态的变化等较敏感，容易受到头部晃动、光照变换等的影响，使得眼睛定位的结果可能不准确，进而使得最终确定的眼睛状态可能也是错误的。

为了解决上述问题，本发明技术方案提供一种创建眼睛模板方法，在该方法中，通过使用快速径向对称变换算法（FRST，Fast Radial SymmetryTransform）确定瞳孔的位置，进而通过所确定的瞳孔的位置来创建眼睛模板。

快速径向对称变换算法是一种在广义对称变换的基础上发展而来的简单、快速的基于梯度的目标检测算法，在目标检测领域得到广泛的应用，由于径向对称变换主要利用径向对称特性来突出具有圆对称性的区域，从而实现对圆形目标的检测，由于眼睛的瞳孔为圆形或者椭圆形，具有较强的径向对称性，所以采用快速径向对称算法可以准确的确定瞳孔的位置，在瞳孔位置精确定位后，以瞳孔位置确定的眼部区域也就可以确定，即可以由所述瞳孔位置确定眼睛模板。

图1是本发明技术方案提供的创建眼睛模板的方法的流程示意图，如图1所示，首先执行步骤S101，提取人脸图像中的眼部区域。

对于人脸图像中的眼部区域的获取，可以采用现有技术中已有的获取眼部区域的方法直接获得，现有技术中已有多种方法，比如基于灰度对比的眼睛定位方法、基于神经网络的眼睛定位方法等，通过这些方法可以获得眼睛的大致位置，即所述人脸图像中的眼部区域。

也可以采用人脸检测技术先确定人脸图像，然后按照一定的比例从所述确定的人脸图像中提取眼部区域图像。所述人脸检测技术是指对于一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸的方法。现有技术中，已有多种人脸检测方法、例如线性子空间方法，神经网络方法等，具体获得人脸图像的方法可以采用现有技术，在此不再赘述。

在人脸区域确定后，可以通过简单的区域划分，得到人的眼睛的大致区域。一般来说，人的眼睛一般是大约位于脸部中间偏上的位置，通过观察或者是采集一定量的样本，可以获得人的眼睛位于人脸的大致区域范围，获得人的眼睛相对于人脸的比例，进而可以按照比例得到所述人脸图像中的眼部区域。

需要说明的是，根据实际创建模板的需求，所述眼部区域可以为左眼区域或右眼区域，也可以为包括左眼区域和右眼区域的眼部区域。举例来说，如果只需要创建一只眼睛的模板，如只需创建左眼模板或只需创建右眼模板，则所述眼部区域可以为左眼区域或右眼区域，如果需要创建含有两只眼睛的模板，则所述眼部区域同时包括左眼区域和右眼区域。所述眼部区域（左眼区域、右眼区域）可以为正方形区域、矩形区域、圆形区域或椭圆形区域等形状，也可以根据实际情况预设为其它形状，在此不作限定。

执行步骤S102，通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果。

对于步骤S101中得到的眼部区域中的每一个像素点，可以通过快速径向对称算法计算出每一个像素点的径向对称变换结果。

进一步，在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，由于我们需要的是确定眼睛瞳孔的位置，也即关注的是白色眼球部分到深色眼球部分有明显梯度下降的方向，所以也可以仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

执行步骤S103，将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置。

将步骤S102中计算得到的径向对称变换结果为最大值的像素点的坐标作为眼睛的瞳孔位置的坐标，基于此瞳孔位置所在帧的人脸图像创建眼睛模板。

执行步骤S104，在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

在由步骤S103确定瞳孔位置后，就可以基于所述瞳孔位置选取一定的区域作为眼睛模板。具体地，可以以所述瞳孔位置为中心的正方形区域作为眼睛模板。

所述瞳孔位置也可以不是包含所述瞳孔位置的区域的中心点，例如所述瞳孔位置可以适当的偏离于所述包含所述瞳孔位置的区域的中心点位置，所述包含所述瞳孔位置的区域可以为正方形区域、矩形区域、圆形区域或椭圆形区域等。

通过步骤S101至步骤S104，完成创建眼睛模板的过程，考虑到在步骤S101中提取人脸图像中的眼部区域的时候，所述人脸图像中眼睛可能正好处于闭眼的状态，则以此为基础创建的眼睛模板可能就会是错误的，所以为了避免这种错误产生，在创建眼睛模板开始时，还可以先设定一个预设时间范围，获取所述时间范围内的连续帧的人脸图像，通过步骤S101和S102获得每一帧人脸图像中的眼部区域中各像素点的径向对称变换结果，将径向对称变换结果为最大值的像素点所在的帧确定为最终创建眼睛模板的人脸图像，以径向对称变换结果为最大值的像素点所在的位置为瞳孔位置创建眼睛模板。为了避免用于创建眼睛模板的人脸图像处于闭眼的状态，所述预设时间范围应该大于一次眨眼的持续时间，具体地，所述预设时间范围可以设置为0.05s～0.15s。

本技术方案通过先在人脸区域对眼睛区域进行粗略的定位，然后通过快速径向对称变换算法精确定位瞳孔的位置，进而对眼睛区域进行精确的定位，由于快速径向对称算法的精确度很高，在受到眼睛、头部晃动、光照条件变换等影响时仍可以准确定位瞳孔的位置，从而使得创建的眼睛模板精确和可靠，对眼镜、头部晃动、光照条件变换等具有更好的鲁棒性。

进一步，在获取眼部区域的时候，通过简单的区域划分获得人脸图像中的眼部区域的方法，和现有技术获得眼部区域的方法相比而言，在提取人脸图像中的眼部区域时，按照一定的比例就可以快速获得眼部区域范围，而不需要进行复杂的运算，可以有效减少计算量，提高运算效率。

仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果的方法，可以有效减少计算量，达到实时性的要求。

基于上述创建眼睛模板的方法，本发明技术方案还提供一种检测眼睛状态的方法。

图2是本发明技术方案提供的检测眼睛状态的方法的流程示意图，如图2所示，首先执行步骤S201，创建眼睛模板。采用图1所示的创建眼睛模板的方法获得眼睛模板，在此不再赘述。

执行步骤S202，搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域。

所述待测区域可以为通过人脸检测方法确定的人脸区域，进一步，也可以通过简单区域划分而得到当前帧的人脸图像的眼部区域。相对而言，如果采用通过简单区域划分得到的当前帧的人脸图像的眼部区域作为待测区域，则相对于将整个人脸区域作为待测区域其搜索范围更小，有效提高搜索速度，减少计算量，提高眼睛状态的检测效率，很好满足检测眼睛状态的实时性的要求。

在步骤S202中，首先需要判断人脸检测是否成功，若人脸检测失败，为了确保检测眼睛状态的准确性，需要基于当前获取的人脸图像重新按照上述方法创建眼睛模板。

在所述眼睛模板创建之后，可以通过模板匹配的方法获得待测眼睛区域，进而可以获得所述眼睛模板与待测眼睛区域的相似度。

模板匹配是一种有效的模式识别技术，它能利用图像信息和有关识别模式的先验知识，更加直接地反映图像之间的相似度。现有技术中，已有多种模板匹配算法，例如基于固定步长的模板匹配算法，以及基于多步长的模板匹配算法等，具体地，例如金字塔搜索法、遗传搜索法、菱形搜索法等。

通常所述模板匹配算法会使用搜索窗口遍历所述待测区域，通过所述模板匹配算法可以得到待测区域与眼睛模板之间的相似度，相似度越大说明搜索窗口与眼睛模板之间的匹配程度越高，相似度取得最大值时，此时搜索窗口与眼睛模板最匹配，则将此时搜索窗口所在的区域确定为待测眼睛区域，则此时搜索窗口与眼睛模板之间的相似度对应为待测眼睛区域与眼睛模板之间的相似度。

在获得所述眼睛模板与待测区域中的待测眼睛区域的相似度后，执行步骤S203，基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

将在步骤S202中确定的眼睛模板与所述待测眼睛区域的相似度作为检测眼睛状态的依据。可以理解，当用户在一次眨眼的过程中，眼睛逐渐闭上时，眼睛模板与待测眼睛区域之间的相似度会下降，而当用户眼睛逐渐睁开的时候，眼睛模板与待测眼睛区域之间的相似度又会提高。

在上述检测眼睛状态的方法中，通过将快速径向对称算法定位瞳孔位置、确定待测眼睛区域以及根据相似度确定眼睛状态相结合，可以有效提高检测眼睛状态的准确度，计算速度快，检测效率高，具有更好的实时性，且由于该方法只计算梯度下降方向上的映射信息，因此对于光照变化有很强的鲁棒性，具有较好的适应性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图和实施例对本发明技术方案做进一步的说明。

实施例一

图3是本实施例提供的创建眼睛模板的方法的流程示意图，如图3所示，在创建眼睛模板时，首先执行步骤S301，提取当前帧的人脸图像。

采用现有技术中的人脸检测的方法，获取当前帧的人脸图像。

步骤S302，通过简单区域划分确定所述当前帧的人脸图像的眼部区域。

在本实施例中，以所述当前帧的人脸图像为正方形图像进行说明，所述简单区域划分可以为假设人脸区域的边长为1（单位为长度单位），请参考图4，如图4所示，假设坐标原点（0,0）为人脸区域的左上角位置，从原点开始，水平向右的方向为X方向，从原点开始，垂直向下的方向为Y方向。

眼部区域仍以正方形区域为例进行说明，在本实施例中，分别确定左眼区域和右眼区域，所述左眼区域和右眼区域的大小如图4所示可以设置为人脸区域边长的3/10。所述左眼区域的左上角位置的坐标可以设置为（3/20,3/20)，即可以设置为其左上角与所述人脸图像的上边的距离等于所述人脸图像的边长的3/20，其左上角与所述人脸图像的左边的距离也等于所述人脸图像的边长的3/20，由于左眼和右眼具有对称的特性，所述右眼区域的左上角位置的坐标可以设置为（11/20,3/20)，即可以设置为其右上角与所述人脸图像的上边的距离等于所述人脸图像的边长的3/20，其右上角与所述人脸区域的右边的距离也等于所述人脸图像的边长的3/20。

通过上述简单区域划分后，可以得到如图中斜线部分的两个正方形区域分别为当前帧的人脸图像的左眼区域和右眼区域。

请继续参考图3，然后执行步骤S303，通过快速径向对称变换算法获得所述当前帧的人脸图像的眼部区域（左眼区域和右眼区域）中各像素点的径向对称变换结果。

在本实施例中，所述眼部区域如无特别说明，则为步骤S302中得到的左眼区域和右眼区域。

为了精确定位瞳孔位置，此处采用快速径向对称变换算法，并对其进行了适应定位瞳孔位置的改进，该算法的流程图如图5所示，在算法开始后首先执行步骤S501，计算梯度图像。

可以通过在步骤S302中得到的眼部区域图像分别与水平方向和垂直方向的3×3的Sobel（索伯尔）算子卷积得到梯度图像。

对于梯度图像中每个像素点P，请结合参考图6，如图6所示，根据梯度方向，可以计算出在梯度方向上与其对应的两个映射点p₊和p_-，由于我们所关注的是计算瞳孔的位置，即关注的是白色眼球部分到深色眼球部分有明显梯度下降的方向，因此对所述算法进行了改进，只取梯度下降方向上与其对应的映射点p_-，对于像素点P而言，只计算像素点P对应的梯度下降方向的映射点p_-。

具体地，采用公式（1）计算像素点P对应的梯度下降方向上的映射点p_-的位置。

$p_{-}=P-\mathrm{round}(\frac{g\left(p\right)}{\left|g\left(p\right)\right|}\×n)---\left(1\right)$

其中，p_-为像素点P对应的梯度下降方向上的映射点p_-的位置，P为像素点P的位置，g（p）为像素点P的梯度向量，|g（p）|为像素点P的梯度向量的绝度值，n为进行对称变换所选用的检测半径，round函数是对变量求取最接近的整数。

请继续参考图5，在得到梯度图像后，执行步骤S502，对于每一个检测半径n，计算M_n和O_n。

所述M_n和O_n分别为检测半径为n时，眼部区域图像的幅值映射图和方向映射图。

采用公式（2）计算M_n。

M_n(p_-)=M_n(p_-)+|g(p)|   （2）

其中，n为检测半径，M_n（p_-）为检测半径为n时，像素点P对应的梯度下降方向上的映射点p_-在幅值映射图M_n中的对应的值，g（p）为像素点P的梯度向量。

幅值映射图M_n反映了像素点P周围点梯度大小对该点的贡献。

采用公式（3）计算O_n。

O_n(p_-)=O_n(p_-)+1   （3）

其中，n为检测半径，O_n（p_-）为检测半径为n时，像素点P对应的梯度下降方向上的映射点p_-在方向映射图O_n中的对应的值。

方向映射图O_n反映了像素点P周围的像素点沿梯度下降方向映射到该点的像素个数。

执行步骤S503，计算径向对称变换结果S_n。

采用公式（4）计算当检测半径为n时的径向对称变换结果。

S_n=M_n(p_-)×|O_n(p_-)|²   （4）

其中，S_n为眼部区域图像在检测半径为n时的径向对称变换结果。在检测半径为n时，对眼部区域图像内的所有像素点通过公式（4）进行计算，得到检测半径为n时对应的径向对称变换结果S_n。

对于每一个检测半径n，重复执行步骤S502至步骤S503，得到每一个检测半径n计算其对应的径向对称变换结果S_n。

执行步骤S504，计算S_n的和。

在本实施例中，所述检测半径n的取值为n=3，4，5，6，7，8，对应的径向对称变换结果为S₃，S₄，S₅，S₆，S₇，S₈，S_n的和对应为

执行步骤S505，与高斯模板卷积。

之后将步骤S404中得到的S_n的和与高斯模板进行卷积，即采用公式（5）得到最终的径向对称变换结果S。

$S=\underset{3}{\overset{8}{\mathrm{\Σ}}}{S}_n*A---\left(5\right)$

其中，A为高斯模板，在本实施例中，A为3×3的高斯模板。

需要说明的是，在上述计算过程中，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

通过上述步骤S501至步骤S505，可以得到当前帧的人脸图像的眼部区域的径向对称变换结果。

为了避免用于创建眼睛模板的人脸图像处于闭眼的状态，所以在本实施例中，预先设定一个时间范围，在预设时间范围内连续采集人脸图像，所述预设时间范围大于一次眨眼持续的时间，以确保在预设时间范围内可以采集到处于睁眼状态的人脸图像，对此时间范围内的每一帧图像分别进行径向对称变换。

因此，在通过步骤S501至步骤S505得到当前帧的人脸图像的眼部区域的径向对称变换结果后，请继续参考图3，执行步骤S304，判断是否超过预设时间范围。

在本实施例中，所述预设时间范围设置为0.15s。在本步骤中，判断从创建睁眼模板开始到目前为止的时间值是否超过所述预设时间范围。如果判断结果为否，返回执行步骤S301，继续采集图像，提取当前帧的人脸图像；如果判断结果为是，则执行步骤S305。

步骤S305，将上述获得的在预设时间范围内的所有帧的人脸图像的眼部区域中径向对称变换结果为最大值的像素点所在的帧确定为瞳孔位置所在的人脸图像。

对于预设时间范围内所提取的所有帧的人脸图像的眼部区域分别进行径向对称变换，则每一帧图像都可以得到对应该帧图像的对称变化结果S，求取该帧图像对称变化结果S中对称变换结果为最大值的像素点，将所述最大值的像素点记为s_max，则对应多帧图像，可以得到多个对应的s_max，将所有s_max值中的最大s_max所在的帧确定为瞳孔位置所在的人脸图像。

步骤S306，将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置。

将步骤S305中得到的所有s_max中最大的s_max的像素点所在的位置确定为瞳孔位置。在本实施例中，由于眼部区域分别包括左眼区域和右眼区域，相应的在这里可以分别得到对应于左眼区域的左眼瞳孔位置和对应于右眼区域的右眼瞳孔位置。

步骤S307，在所述瞳孔位置所在的人脸图像中，选取以所述瞳孔位置为中心的区域作为眼睛模板。

在本实施例中，以步骤S306确定的左眼瞳孔位置为中心、边长等于步骤S301中得到人脸图像的边长的3/20的正方形区域作为左眼模板，以步骤S306确定的右眼瞳孔位置为中心、边长等于步骤S301中得到人脸图像的边长的3/20的正方形区域作为右眼模板。

至此完成眼睛模板的创建过程。

实施例二

本实施例是基于上述检测眼睛状态的方法的技术方案所给出的具体实施例，在本实施例中，通过分别判断左眼和右眼是否眨眼，进而检测眼睛状态处于睁眼状态或者眨眼状态。

如图7所示，首先执行步骤S701，分别创建左眼模板和右眼模板。

可以采用本发明所提供的创建眼睛模板的方法分别创建左眼模板和右眼模板，不再赘述。

执行步骤S702，判断人脸检测是否成功。

在创建眼睛模板之后，开始检测眼睛状态时，需要首先进行人脸检测，以获得需要检测的待测眼睛区域，在此步骤中，若判断人脸检测失败，重新按照上述方法创建睁眼模板，即返回步骤S701；否则执行步骤S703。

步骤S703，通过简单区域划分获得左眼和右眼的大致区域。

请参考实施例一步骤S302。

执行步骤S704，以搜索窗口分别遍历所述左眼和右眼的大致区域。

所述搜索窗口的尺寸与步骤S701中创建的眼睛模板的尺寸相同，所述搜索窗口分别在所述左眼和右眼的大致区域自左向右、从上至下移动且每次移动预定距离，计算每一位置的搜索窗口与所述眼睛模板的相似度。在本实施例中，采用公式（6）可以计算得到的搜索窗口与所述眼睛模板之间的相关系数。

所述预定距离小于搜索窗口的边长，在本实施例中，设定为两个像素点之间的间距，也就是搜索窗口每次移动1个像素。在其他实施例中，所述预定距离通常也可以设定为三个或者以上的像素点之间的间距，也就是搜索窗口每次移动2个或2个以上的像素。

$R_{u,v}=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{{\mathrm{\Σ}}_{x,y}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2{\mathrm{\Σ}}_{x,y}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}}---\left(6\right)$

其中，R_u,v为当前位置的搜索窗口与所述眼睛模板的相关系数，(u,v)为当前位置的搜索窗口的起始像素点的位置，f(x,y)为当前位置的搜索窗口中的像素点(x,y)的亮度值，为当前位置的搜索窗口中的像素点的亮度均值，t(x-u,y-u)为所述眼睛模板中位置与像素点(x,y)对应的像素点(x-u,y-u)的亮度值，是眼睛模板中的像素点的亮度均值。

由公式（6）计算得到的相关系数体现了当前搜索窗口与眼睛模板之间的相似度，计算得到的相关系数一般在[-1,1]，相关系数越大说明搜索窗口与眼睛模板之间的相似度越高，即匹配程度越高，相关系数取得最大值时，搜索窗口与眼睛模板最匹配。

执行步骤S705，计算每一位置的搜索窗口与所述左眼模板的相关系数R_l，计算每一位置的搜索窗口与所述右眼模板的相关系数R_r。

执行步骤S706，将搜索窗口与所述左眼模板的相关系数为最大值的搜索窗口所在的位置确定为待测左眼区域，将搜索窗口与所述右眼模板的相关系数为最大值的搜索窗口所在的位置确定为待测右眼区域。

此时搜索窗口与眼睛模板之间的相关系数即为待测眼睛区域与眼睛模板之间的相关系数。通常在用户睁眼时，匹配得到的相关系数在0.8～1之间，当用户眨眼时，相关系数会显著下降。在具体实施时，可以预先设定匹配阈值，通过所述相关系数和匹配阈值的比较，作为判断检测眼睛状态的依据。通常匹配阈值的取值范围可以为[0.8,0.85]。

执行步骤S707，判断左眼模板与所述待测左眼区域的相关系数是否小于匹配阈值，如果否，则执行步骤S710，确定眼睛处于睁眼状态；否则执行步骤S708。

在本实施例中，所述匹配阈值可以设置为0.85。

步骤S708，判断右眼模板与所述待测右眼区域的相关系数是否小于匹配阈值,如果否，则执行步骤S710，确定眼睛处于睁眼状态；否则执行步骤S709。

步骤S709，确定眼睛处于眨眼状态。

由于左眼和右眼与眼睛模板的相关系数均小于匹配阈值，所以确定此时眼睛处于眨眼状态。

在其他实施例中，根据实际需求，所述眼睛模板可以为左眼模板或右眼模板，则对应的所述待测眼睛区域可以为待测左眼区域或待测右眼区域，则基于眼睛模板与待测眼睛区域的相关系数确定眼睛状态可以是：若左眼模板或右眼模板与待测左眼区域或待测右眼区域的相关系数小于匹配阈值，则确定所述待测左眼区域或待测右眼区域的眼睛处于眨眼状态；若左眼模板或右眼模板与待测左眼区域或待测右眼区域的相关系数大于匹配阈值，则确定所述待测左眼区域或待测右眼区域的眼睛处于睁眼状态。对于相关系数等于匹配阈值的情形，可以设置为处于眨眼状态或睁眼状态。

对应上述创建眼睛模板的方法，本发明技术方案还提供一种创建眼睛模板的装置，所述装置包括：提取单元，适于提取人脸图像中的眼部区域；计算单元，适于通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果；位置确定单元，适于将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置；选取单元，在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

对应上述检测眼睛状态的方法，本发明技术方案还提供一种检测眼睛状态的，所述装置包括：如上所述的创建眼睛模板的装置；搜索单元，适于搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域；状态确定单元，适于基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (27)

1.一种创建眼睛模板的方法，其特征在于，包括：

提取人脸图像中的眼部区域；

通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果；

将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置；

在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

2.如权利要求1所述的创建眼睛模板的方法，其特征在于，所述眼部区域为左眼区域或右眼区域；或者，所述眼部区域包括左眼区域和右眼区域。

3.如权利要求2所述的创建眼睛模板的方法，其特征在于，所述左眼区域为正方形区域、矩形区域、圆形区域或椭圆形区域；所述右眼区域为正方形区域、矩形区域、圆形区域或椭圆形区域。

4.如权利要求3所述的创建眼睛模板的方法，其特征在于，所述人脸图像为正方形图像；所述左眼区域为边长等于所述人脸图像的边长的3/10的正方形区域，所述左眼区域的左上角与所述人脸图像的上边的距离和所述左眼区域的左上角与所述人脸图像的左边的距离均等于所述人脸图像的边长的3/20；所述右眼区域为边长等于所述人脸图像的边长的3/10的正方形区域，所述右眼区域的右上角与所述人脸图像的上边的距离和所述右眼区域的右上角与所述人脸区域的右边的距离均等于所述人脸区域的边长的3/20。

5.如权利要求1所述的创建眼睛模板的方法，其特征在于，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的区域。

6.如权利要求5所述的创建眼睛模板的方法，其特征在于，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的正方形区域、矩形区域、圆形区域或椭圆形区域。

7.如权利要求6所述的创建眼睛模板的方法，其特征在于，所述人脸图像为正方形图像；所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心、边长等于所述人脸图像的边长的3/20的正方形区域。

8.如权利要求1所述的创建眼睛模板的方法，其特征在于，在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

9.如权利要求1所述的创建眼睛模板的方法，其特征在于，所述人脸图像包括预设时间范围内的连续帧的人脸图像；所述瞳孔位置所在的人脸图像是指所述瞳孔位置所在帧的人脸图像。

10.如权利要求9所述的创建眼睛模板的方法，其特征在于，所述预设时间范围大于一次眨眼的持续时间。

11.如权利要求10所述的创建眼睛模板的方法，其特征在于，所述一次眨眼的持续时间为0.05s～0.15s。

12.一种检测眼睛状态的方法，其特征在于，包括：

采用权利要求1至11任一项所述的创建眼睛模板的方法获得眼睛模板；

搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域；

基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

13.如权利要求12所述的检测眼睛状态的方法，其特征在于，所述待测区域为人脸区域；所述检测眼睛状态的方法还包括：通过人脸检测获得所述人脸区域；若人脸检测失败，则重新采用权利要求1至11任一项所述的创建眼睛模板的方法获得眼睛模板。

14.如权利要求12所述的检测眼睛状态的方法，其特征在于，所述搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域包括：

以搜索窗口遍历所述待测区域，所述搜索窗口的尺寸与所述眼睛模板的尺寸相同，所述搜索窗口在所述待测区域自左向右、从上至下移动且每次移动预定距离；

计算每一位置的搜索窗口与所述眼睛模板的相关系数；

将预定位置的搜索窗口确定为所述待测眼睛区域，所述预定位置的搜索窗口与所述眼睛模板的相关系数最大。

15.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述相关系数通过下述公式计算：

$R_{u,v}=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{{\mathrm{\Σ}}_{x,y}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2{\mathrm{\Σ}}_{x,y}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}},$ 其中，R_u,v为当前位置的搜索窗口与所述眼睛模板的相关系数，(u,v)为当前位置的搜索窗口的起始像素点的位置，f(x,y)为当前位置的搜索窗口中的像素点(x,y)的亮度值，为当前位置的搜索窗口中的像素点的亮度均值，t(x-u,y-u)为所述眼睛模板中位置与像素点(x,y)对应的像素点(x-u,y-u)的亮度值，t是眼睛模板中的像素点的亮度均值。

16.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述预定距离为像素点的间距。

17.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述眼睛模板为左眼模板或右眼模板，所述待测眼睛区域对应为待测左眼区域或待测右眼区域；

所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述眼睛模板与所述待测眼睛区域的相关系数小于匹配阈值，则确定所述待测眼睛区域的眼睛处于眨眼状态。

18.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述眼睛模板为左眼模板或右眼模板，所述待测眼睛区域对应为待测左眼区域或待测右眼区域；

所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述眼睛模板与所述待测眼睛区域的相关系数大于匹配阈值，则确定所述待测眼睛区域的眼睛处于睁眼状态。

19.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述眼睛模板包括左眼模板和右眼模板，所述待测眼睛区域包括待测左眼区域和待测右眼区域；

所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述左眼模板与所述待测左眼区域的相关系数及所述右眼模板与所述待测右眼区域的相关系数均小于匹配阈值，则确定所述待测眼睛区域的眼睛处于眨眼状态。

20.如权利要求14所述的检测眼睛状态的方法，其特征在于，所述眼睛模板包括左眼模板和右眼模板，所述待测眼睛区域包括待测左眼区域和待测右眼区域；

所述基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态包括：若所述左眼模板与所述待测左眼区域的相关系数大于匹配阈值或所述右眼模板与所述待测右眼区域的相关系数大于匹配阈值，则确定所述待测眼睛区域的眼睛处于睁眼状态。

21.如权利要求17至20所述的检测眼睛状态的方法，其特征在于，所述匹配阈值的取值范围为[0.8，0.85]。

22.一种创建眼睛模板的装置，其特征在于，包括：

提取单元，适于提取人脸图像中的眼部区域；

计算单元，适于通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果；

位置确定单元，适于将径向对称变换结果为最大值的像素点所在的位置确定为瞳孔位置；

选取单元，在所述瞳孔位置所在的人脸图像中，选取包含所述瞳孔位置的区域作为眼睛模板。

23.如权利要求22所述的创建眼睛模板的装置，其特征在于，所述包含所述瞳孔位置的区域为以所述瞳孔位置为中心的区域。

24.如权利要求22所述的创建眼睛模板的装置，其特征在于，所述计算单元适于在通过快速径向对称变换算法获得所述眼部区域中各像素点的径向对称变换结果时，仅基于所述眼部区域中像素点对应在梯度下降方向上的映射点计算该像素点的径向对称变换结果。

25.如权利要求22所述的创建眼睛模板的装置，其特征在于，所述人脸图像包括预设时间范围内的连续帧的人脸图像；所述瞳孔位置所在的人脸图像是指所述瞳孔位置所在帧的人脸图像。

26.一种检测眼睛状态的装置，其特征在于，包括：

权利要求22至25任一项所述的创建眼睛模板的装置；

搜索单元，适于搜索待测区域，以将与所述眼睛模板匹配的区域确定为待测眼睛区域；

状态确定单元，适于基于所述眼睛模板与所述待测眼睛区域的相似度确定眼睛状态。

27.如权利要求26所述的检测眼睛状态的装置，其特征在于，所述搜索单元包括：

移动单元，适于以搜索窗口遍历所述待测区域，所述搜索窗口的尺寸与所述眼睛模板的尺寸相同，所述搜索窗口在所述待检区域自左向右、从上至下移动且每次移动预定距离；

系数计算单元，适于计算每一位置的搜索窗口与所述眼睛模板的相关系数；

区域确定单元，适于将预定位置的搜索窗口确定为所述待测眼睛区域，所述预定位置的搜索窗口与所述眼睛模板的相关系数最大。