CN102346842A - 一种人眼状态检测方法及装置 - Google Patents

Abstract

本发明提供了一种人眼状态检测方法，所述方法包括：(a)、将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；(b)、在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；(c)、统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；(d)、根据人眼轮廓内部像素点数确定人眼状态。另外，还提供了一种人眼状态检测装置。本发明通过从包含人眼的图像中提取出精确的人眼轮廓，然后根据人眼轮廓内部非轮廓区域的图像像素点数准确的判断人眼是张开状态还是闭合状态。解决了人眼状态判断速度慢、准确率不高的技术问题。

Description

一种人眼状态检测方法及装置

技术领域

本发明属于图像处理和模式识别领域，尤其涉及一种人眼状态检测方法及装置。

背景技术

红外光照射下的图像不同于普通的可见光下采集的图像，红外光照射下的图像比较模糊、对比度不高、无色彩等特点，使得细节信息匮乏，大大增加了图像处理的难度。现有的算法有基于形状特征、基于模板匹配等。基于模板匹配的算法需要适应不同的图像角度及尺寸，很难匹配。基于形状特征的如哈夫(Hough)查找圆法、伪泽里克(Zernike)矩描述法、边缘检测等，这些算法需要精确的提取人眼的轮廓边缘，而红外图像对比度差，外加眼镜等物品的干扰很难精确提取边缘，限制了这些算法的应用。此外，这些算法计算量普遍很大，在实时监控系统中严重影响系统性能。

还有一种算法是计算人眼上下眼皮的高度变化来检测人眼是张开还是闭合状态，但是对于小眼睛人群失效。

发明内容

本发明为解决现有对红外光照射下的图像进行人眼状态检测失效的技术问题，提供一种速度快、准确率高的人眼状态检测方法及装置。

一种人眼状态检测方法，包括：

(a)、将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；

(b)、在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；

(c)、统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；

(d)、根据人眼轮廓内部像素点数确定人眼状态。

一种人眼状态检测装置，包括：

图像轮廓提取单元，将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；

人眼轮廓提取单元，在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；

人眼轮廓大小估计单元，统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；

人眼状态识别单元，根据人眼轮廓内部像素点数确定人眼状态。

本发明通过从包含人眼的图像中提取出精确的人眼轮廓，计算人眼轮廓内部非轮廓区域的图像像素点数，然后根据所述像素点数准确的判断人眼是张开状态，还是闭合状态。解决了人眼状态判断速度慢、准确率不高的技术问题。

附图说明

图1是本发明实施例提供的快速人眼定位方法流程图；

图2是本发明实施例提供的图像矩阵示意图；

图3是本发明实施例提供的图像处理效果图；

图4是本发明实施例提供的快速人眼定位装置示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种人眼状态检测方法，如图1所示，包括如下步骤：

(a)、将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；

(b)、在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；

(c)、统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；

(d)、根据人眼轮廓内部像素点数确定人眼状态。

通常情况下，得到的图像除包含眼睛外，还包括一定区域的皮肤，甚至还有眉毛、眼镜的镜框等。根据红外光成像的特点，皮肤亮度值比较大，眼镜框、眉毛以及眼白亮度值低，由于红眼效应，眼球的亮度值也比较大。但是，眼白与皮肤在某些情况下的亮度差别并不是很大。还有在晴天、阴天、晚上、路灯下等不同的场合光照情况并不相同，故不能采取单个阈值对整幅图像做二值化。因此，本人眼状态检测方法采取局部自适应二值化的方法，提取轮廓图像。

所述步骤(a)中对包含人眼的图像采用局部二值化的方法进行轮廓提取，得到轮廓图像。

作为优选方案，局部二值化的方法步骤如下：

(11)、用N*N的矩阵对人眼图像进行平滑处理得到平滑图像；

(12)、对于图像中任意像素点N(x，y)，如果原图像中该像素点亮度值减去平滑图像的该像素点的亮度值小于第二预设阈值，则将该像素点二值化为0，即为轮廓，反之二值化为1。

所述步骤(11)中平滑处理方法如下：

计算以图像中任意像素点为中心的N*N矩阵内的像素点的亮度平均值；并用所述亮度平均值替代当前像素点的亮度值。

所述N取大于等于3的奇数。作为特殊情况，对于人眼图像中边缘部分无法计算以其为中心的N*N矩阵内的像素点的亮度平均值，直接将其二值化为1，视其无轮廓。

如图2所示，以3*3的矩阵为例对图像进行中值平滑，计算以像素点N(x，y)为中心的9个像素点的亮度平均值Y_aver＝Y11+Y12+Y13+Y21+YN+Y23+Y31+Y32+Y33，并用亮度平均值代替该点的亮度值；Y11、Y12、Y13、Y21、Y21、Y31、Y32、Y33分别为以像素点N(x，y)为中心的周围8个像素点的亮度值，YN为待计算的像素点亮度值。

矩阵N值取得越小，自适应程度也就越高，得到的边缘信息越多。但是某些不明显的边缘对提取眼睛轮廓反而形成干扰，N值为9效果最好，既能获取眼睛轮廓，又能舍弃很多无用的边缘信息。

同时，第二预设阈值取得越小，边缘越细。本算法只需要一个明显的轮廓，边缘线条不需要太细。第二预设阈值选取-3效果较好，得到轮廓清晰的二值化轮廓图像。

作为另一实施例，局部二值化的方法步骤如下：

(21)、对于图像中任意像素点N(x，y)，计算以该点为中心的N*N矩阵内的像素点的亮度平均值Y_aver；

(22)如果原图中该像素点的亮度值Y与所述亮度平均值Y_aver满足条件：Y-Y_aver＜V，则将则将该像素点二值化为0，即为轮廓，反之二值化为1，V为第三预设阈值。

所述N取大于等于3的奇数。作为特殊情况，对于人眼图像中边缘部分无法计算以其为中心的N*N矩阵内的像素点的亮度平均值，直接将其二值化为1，视其无轮廓。

步骤(22)中第三预设阈值V同第二预设阈值一致，选取-3效果最好，原理相同，故不累述。

如图2所示，步骤(21)中以3*3的矩阵求亮度平均值，计算以像素点N(x，y)为中心的9个像素点的亮度平均值Y_aver＝Y11+Y12+Y13+Y21+YN+Y23+Y31+Y32+Y33；Y11、Y12、Y13、Y21、YN、Y21、Y31、Y32、Y33分别为以像素点N(x，y)为中心的周围8个像素点的亮度值，YN为待计算的像素点亮度值。

矩阵N值取得越小，自适应程度也就越高，得到的边缘信息越多。但是某些不明显的边缘对提取眼睛轮廓反而形成干扰，N值为9效果最好，既能获取眼睛轮廓，又能舍弃很多无用的边缘信息。

如图3所示，步骤(a)通过二值化获取轮廓图像，所获取的轮廓图像除了人眼轮廓外，还存在噪点、及镜框等轮廓边缘。为了消除他们对人眼状态判断的影响，需要除去这些除眼睛轮廓以外的轮廓边缘。通常情况下，眼睛轮廓是最大的黑块。因此，本方案借助堆栈的思想来对图像进行连通性分析。即将某一黑块所有的点压入堆栈，为了避免重复处理，压入堆栈的点需要将其二值化值设为1，即将黑色反色为白色；在遇到下一连通的轮廓时，也将其压入堆栈，并将两块轮廓区域的像素点数的大小做比较，如果前一轮廓像素数小于后一轮廓像素数，则在堆栈中去掉前轮廓的所有像素点，反之去掉后一轮廓的所有像素点。由于堆栈中最多将整个眼睛轮廓所有像素点压入堆栈，故堆栈长度较小，可用数组来实。

步骤(b)中人眼轮廓提取采用连通域分析的方法。人眼轮廓提取方法包括如下步骤：

(31)对轮廓图像进行扫描，遇到连通的轮廓时，将其坐标压入堆栈，并进行像素点计数，并将连通轮廓像素的二值化值设为1；

(32)继续对轮廓图像进行扫描，统计下一连通的第二轮廓像素点数；将当前轮廓像素点数与上一轮廓像素点数进行比较，舍弃像素点数较小的连通轮廓；

(33)重复步骤(32)，堆栈中保存具有像素点数最大的连通轮廓，根据堆栈中最终保存的像素点坐标信息，将轮廓图像中对应的像素点二值化值设置为0，其余的点二值化值设置为1；再将堆栈中保存的像素点坐标信息清零。

为了使步骤(b)的内容更加清楚明白，下面详细描述连通域分析方法。

1、逐行扫描轮廓图像，当遇到二值化值为0的像素点时，将该像素点的坐标压入堆栈，并将该像素点二值化值设为1；

2、从堆栈中取出该像素点，对其做四领域分析，分析到二值化值为0的像素点，将所述二值化值为0的像素点的坐标压入堆栈，并将该像素点的二值化值设为1；

3、重复步骤2，直到没有压入堆栈的像素点为止；

4、计算步骤2、3共压入堆栈的像素点总个数n；

5、在执行步骤2之前堆栈中的像素点总数为p，如果n＜p，抛弃步骤1到步骤3压入堆栈的像素点，通过将栈顶指针减小n实现；如果n＞＝p，抛弃步骤1到步骤3压入堆栈的n个像素点，通过将栈底指针加p实现；

6、重复步骤1到5，直到遍历完整幅图像。

7、根据堆栈中最终保存的像素点坐标信息，将轮廓图像中对应的点二值化值设置为0，其余的点二值化值设置为1；再将堆栈中保存的像素点坐标信息清零。

通过对轮廓图像进行连通域分析，将轮廓最大的人眼轮廓提取出来，得到人眼轮廓图像，然后计算人眼轮廓图像内部像素点的大小。

所述步骤(c)中对所述人眼轮廓内部非轮廓区域的图像进行像素统计包括如下步骤：

(41)、从上往下逐列扫描人眼轮廓图像。

(42)、每列中遇到二值化值为0的像素点后，则将接下来二值化值为1的像素点进行计数，直到再次遇到二值化值为0的像素点，停止计数；如果先遇到二值化值为0的像素点后，直到该列最后一个像素点都没有二值化值为0的像素点，则抛弃该列统计的二值化值为1的像素点。

(43)、重复步骤(41)、(42)遍历整幅人眼轮廓图像，将每列中二值化值为0之间的二值化值为1的像素点数相加，得到最终人眼轮廓内的像素点数。

步骤(d)中将所述像素值与第一预设阈值比较，如所述像素值大于所述第一预设阈值，为睁眼状态，如所述像素值小于所述第一预设阈值，为闭眼状态。

眼睛张开到闭合的临界状态是上下两条线中间存在一行像素的空白，即人眼图像轮廓内的白色点的个数等于人眼图像一行的像素点个数。故第一预设阈值设置为人眼图像一行的像素点点数。根据输入人眼图像像素值的大小，可改变第一预设阈值的大小，准确的判断人眼是张开还是闭合状态。

如图3所示，a部分为睁眼效果，b部分为闭眼效果；a、b部分从左到右分别为输入原图、将原图局部二值化后轮廓图像、将轮廓图像进行连通性分析后的人眼轮廓图。

本发明通过从包含人眼的图像中提取出精确的人眼轮廓，计算人眼轮廓内部非轮廓区域的图像像素点数，然后根据所述像素点数准确的判断人眼是张开状态，还是闭合状态。解决了人眼状态判断速度慢、准确率不高的技术问题。

一种人眼状态检测装置，如图4所示，包括：

图像轮廓提取单元1，将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像。

人眼轮廓提取单元2，在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像。

人眼轮廓大小估计单元3，统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数。

人眼状态识别单元4，根据人眼轮廓内部像素点数确定人眼状态。

上述图像轮廓提取单元1对包含人眼的图像采用局部二值化的方法进行轮廓提取，得到轮廓图像。

作为优选方案，图像轮廓提取单元1包括：

图像平滑处理单元，用N*N的矩阵对人眼图像进行平滑处理得到平滑图像；

第一图像二值化单元，对于图像中任意像素点N(x，y)，如果原图像中该像素点亮度值减去平滑图像的该像素点的亮度值小于第二预设阈值，则将该像素点二值化为0，即为轮廓，反之二值化为1。

上述图像平滑处理单元计算以图像中任意像素点为中心的N*N矩阵内的像素点的亮度平均值；并用所述亮度平均值替代当前像素点的亮度值。

所述N取大于等于3的奇数。作为特殊情况，对于人眼图像中边缘部分无法计算以其为中心的N*N矩阵内的像素点的亮度平均值，直接将其二值化为1，视其无轮廓。

如图2所示，以3*3的矩阵为例对图像进行中值平滑，计算以像素点N(x，y)为中心的9个像素点的亮度平均值Y_aver＝Y11+Y12+Y13+Y21+YN+Y23+Y31+Y32+Y33，并用亮度平均值代替该点的亮度值；Y11、Y12、Y13、Y21、YN、Y21、Y31、Y32、Y33分别为以像素点N(x，y)为中心的周围8个像素点的亮度值，YN为待计算的像素点亮度值。

矩阵N值取得越小，自适应程度也就越高，得到的边缘信息越多。但是某些不明显的边缘对提取眼睛轮廓反而形成干扰，N值为9效果最好，既能获取眼睛轮廓，又能舍弃很多无用的边缘信息。

同时，第二预设阈值取得越小，边缘越细。本算法只需要一个明显的轮廓，边缘线条不需要太细。第二预设阈值选取-3效果较好，得到轮廓清晰的二值化轮廓图像。

作为另一优选实施例，图像轮廓提取单元包括：

亮度平均值计算单元，对于图像中任意像素点N(x，y)，计算以该点为中心的N*N矩阵内的像素点的亮度平均值Y_aver。

第二图像二值化单元，如果原图中该像素点的亮度值Y与所述亮度平均值Y_aver满足条件：Y-Y_aver＜V，则将则将该像素点二值化为0，即为轮廓，反之二值化为1，V为第三预设阈值。

其中N的取值大小、亮度平均值的计算、图像边缘部分二值化得处理、第三预设值的取值同方法实施例相同，故不累述。

所述人眼轮廓提取单元包括：

连通轮廓计数单元，对轮廓图像进行扫描，遇到连通的轮廓时，将其坐标压入堆栈，并进行像素点计数，并将连通轮廓像素的二值化值设为1。

图像大小比较单元，继续对轮廓图像进行扫描，统计下一连通的第二轮廓像素点数；将当前轮廓像素点数与上一轮廓像素点数进行比较，舍弃像素点数较小的连通轮廓。

人眼轮廓还原单元，堆栈中保存具有像素点数最大的连通轮廓，根据堆栈中最终保存的像素点坐标信息，将轮廓图像中对应的点二值化值设置为0，其余的点二值化值设置为1；再将堆栈中保存的像素点坐标信息清零。

人眼轮廓提取单元2过对轮廓图像进行连通域分析，将轮廓最大的轮廓提取出来，得到人眼轮廓图像，然后计算人眼轮廓图像内部像素点的大小。

所述人眼轮廓大小估计单元3包括：

图像扫描单元，从上往下逐列扫描人眼轮廓图像；

单行数据计数单元，每列中遇到二值化值为0的像素点后，则将接下来二值化值为1的像素点进行计数，直到再次遇到二值化值为0的像素点，停止计数；如果先遇到二值化值为0的像素点后，直到该列最后一个像素点都没有二值化值为0的像素点，则抛弃该列统计的二值化值为1的像素点；

像素计数单元，遍历整幅人眼轮廓图像，将每列中二值化值为0之间的二值化值为1的像素点数相加，得到最终人眼轮廓内的像素值。

人眼状态判断单元将所述像素值与第一预设阈值比较，如所述像素值大于所述第一预设阈值，为睁眼状态，如所述像素值小于所述第一预设阈值，为闭眼状态。

所述第一预设阈值的大小选取同方法实施例相同，故不累述。

本发明通过从包含人眼的图像中提取出精确的人眼轮廓，计算人眼轮廓内部非轮廓区域的图像像素点数，然后根据所述像素点数准确的判断人眼是张开状态，还是闭合状态。解决了人眼状态判断速度慢、准确率不高的技术问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种人眼状态检测方法，其特征在于，包括如下步骤：

(a)、将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；

(b)、在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；

(c)、统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；

(d)、根据人眼轮廓内部像素点数确定人眼状态。

2.如权利要求1所述的人眼状态检测方法，其特征在于：所述步骤(a)中对包含人眼的图像采用局部二值化的方法进行轮廓提取，得到轮廓图像。

3.如权利要求2所述的人眼状态检测方法，其特征在于：局部二值化的方法步骤如下：

(11)、用N*N的矩阵对人眼图像进行平滑处理得到平滑图像；

(12)、对于图像中任意像素点N(x，y)，如果原图像中该像素点亮度值减去平滑图像的该像素点的亮度值小于第二预设阈值，则将该像素点二值化为0，即为轮廓，反之二值化为1。

4.如权利要求3所述的人眼状态检测方法，其特征在于：所述步骤(11)中平滑处理方法如下：

计算以图像中任意像素点为中心的N*N矩阵内的像素点的亮度平均值；并用所述亮度平均值替代当前像素点的亮度值。

5.如权利要求2所述的人眼状态检测方法，其特征在于：局部二值化的方法步骤如下：

(21)、对于图像中任意像素点N(x，y)，计算以该点为中心的N*N矩阵内的像素点的亮度平均值Y_aver；

(22)如果原图中该像素点的亮度值Y与所述亮度平均值Y_aver满足条件：Y-Y_aver＜V，则将则将该像素点二值化为0，即为轮廓，反之二值化为1，V为第三预设阈值。

6.如权利要求3或5所述的人眼状态检测方法，其特征在于：所述步骤(b)中人眼轮廓提取方法包括如下步骤：

(31)对轮廓图像进行扫描，遇到连通的轮廓时，将其坐标压入堆栈，并进行像素点计数，并将连通轮廓像素的二值化值设为1；

(32)继续对轮廓图像进行扫描，统计下一连通的第二轮廓像素点数；将当前轮廓像素点数与上一轮廓像素点数进行比较，舍弃像素点数较小的连通轮廓；

(33)重复步骤(32)，堆栈中保存具有像素点数最大的连通轮廓，根据堆栈中最终保存的像素点坐标信息，将轮廓图像中对应的像素点二值化值设置为0，其余的点二值化值设置为1。

7.如权利要求3或5所述的人眼状态检测方法，其特征在于：所述步骤(c)中统计所述人眼轮廓内部非轮廓区域图像像素点数的方法包括如下步骤：

(41)、从上往下逐列扫描人眼轮廓图像；

(42)、每列中遇到二值化值为0的像素点后，则将接下来二值化值为1的像素点进行计数，直到再次遇到二值化值为0的像素点，停止计数；如果先遇到二值化值为0的像素点后，直到该列最后一个像素点都没有二值化值为0的像素点，则抛弃该列统计的二值化值为1的像素点；

(43)、重复步骤(41)、(42)遍历整幅人眼轮廓图像，将每列中二值化值为0之间的二值化值为1的像素点数相加，得到最终人眼轮廓内的像素点数。

8.一种人眼状态检测装置，其特征在于，包括：

图像轮廓提取单元，将获取的红外光照射下的包含人眼的图像进行轮廓提取，得到轮廓图像；

人眼轮廓提取单元，在所述轮廓图像中进行人眼轮廓提取，得到人眼轮廓图像；

人眼轮廓大小估计单元，统计人眼轮廓内部非轮廓区域图像的像素点数，得到人眼轮廓内部像素点数；

人眼状态识别单元，根据人眼轮廓内部像素点数确定人眼状态。

9.如权利要求8所述的人眼状态检测装置，其特征在于：所述图像轮廓提取单元对包含人眼的图像采用局部二值化的方法进行轮廓提取，得到轮廓图像。

10.如权利要求9所述的人眼状态检测装置，其特征在于：图像轮廓提取单元包括：

图像平滑处理单元，用N*N的矩阵对人眼图像进行平滑处理得到平滑图像；

第一图像二值化单元，对于图像中任意像素点N(x，y)，如果原图像中该像素点亮度值减去平滑图像的该像素点的亮度值小于第二预设阈值，则将该像素点二值化为0，即为轮廓，反之二值化为1。

11.如权利要求10所述的人眼状态检测装置，其特征在于：图像平滑处理单元计算以图像中任意像素点为中心的N*N矩阵内的像素点的亮度平均值；并用所述亮度平均值替代当前像素点的亮度值。

12.如权利要求9所述的人眼状态检测装置，其特征在于：图像轮廓提取单元包括：

亮度平均值计算单元，对于图像中任意像素点N(x，y)，计算以该点为中心的N*N矩阵内的像素点的亮度平均值Y_aver；

第二图像二值化单元，如果原图中该像素点的亮度值Y与所述亮度平均值Y_aver满足条件：Y-Y_aver＜V，则将则将该像素点二值化为0，即为轮廓，反之二值化为1，V为第三预设阈值。

13.如权利要求10或12所述的人眼状态检测装置，其特征在于：所述人眼轮廓提取单元包括：

连通轮廓计数单元，对轮廓图像进行扫描，遇到连通的轮廓时，将其坐标压入堆栈，并进行像素点计数，并将连通轮廓像素的二值化值设为1；

图像大小比较单元，继续对轮廓图像进行扫描，统计下一连通的第二轮廓像素点数；将当前轮廓像素点数与上一轮廓像素点数进行比较，舍弃像素点数较小的连通轮廓；

人眼轮廓还原单元，堆栈中保存具有像素点数最大的连通轮廓，根据堆栈中最终保存的像素点坐标信息，将轮廓图像中对应的点二值化值设置为0，其余的点二值化值设置为1。

14.如权利要求10或12所述的人眼状态检测装置，其特征在于：所述人眼轮廓大小估计单元包括：

图像扫描单元，从上往下逐列扫描人眼轮廓图像；

单行数据计数单元，每列中遇到二值化值为0的像素点后，则将接下来二值化值为1的像素点进行计数，直到再次遇到二值化值为0的像素点，停止计数；如果先遇到二值化值为0的像素点后，直到该列最后一个像素点都没有二值化值为0的像素点，则抛弃该列统计的二值化值为1的像素点；

像素计数单元，遍历整幅人眼轮廓图像，将每列中二值化值为0之间的二值化值为1的像素点数相加，得到最终人眼轮廓内的像素值。

Images