CN115039148A - 眼睛睁闭检测方法、眼睛睁闭检测装置以及眼睛睁闭检测程序 - Google Patents

Abstract

本发明的眼睛睁闭检测装置，获取包含通过摄像装置摄像的人的脸部的第一图像；从第一图像生成包含人的眼睛区域的第二图像；对第二图像进行二值化，并生成用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素的第三图像；基于第三图像的高度、在具有第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断人的眼睛是处于睁开的状态还是处于闭上的状态；输出与判断的结果相关的信息。

Description

眼睛睁闭检测方法、眼睛睁闭检测装置以及眼睛睁闭检测 程序

技术领域

本发明涉及一种从图像检测出人的眼睛的睁闭状态的技术。

背景技术

从图像检测出人的眼睛的睁闭状态的技术作为用于推测人的感情或者人的状态(例如，人的醒来程度以及眼睛的疲劳程度等)的基础技术正日益受到关注。作为检测出人的眼睛的睁闭状态的技术已知有如下所述的文献。

例如，专利文献1的眼睛睁闭判断装置具备：基于所输入的图像进行眼睛区域的边缘检测的边缘检测部；对已经进行了边缘检测的眼睛区域进行二值化处理的二值化处理部；基于已经进行了二值化处理的眼睛区域的数据进行眼睛的睁闭判断的眼睛睁闭判断部。

而且，例如，专利文献2的图像处理装置具备：在包含脸部的摄像图像确定包含眼睛的眼睛区域的眼睛区域确定部；判断眼睛是睁开还是闭上的眼睛睁闭判断部；根据眼睛是睁开还是闭上对眼睛区域进行不同的处理的图像处理部。

然而，上述的现有技术，人的眼睛的睁闭状态的检测精度较低，需要进一步地改善。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2008-84109号

专利文献2：日本专利公开公报特开2016-9306号

发明内容

本发明是为了解决上述的问题而做出的发明，其目的在于提供一种可以提高人的眼睛的睁闭状态的检测精度的技术。

本发明的一实施方式涉及的眼睛睁闭检测方法，让计算机执行以下步骤：获取包含通过摄像装置摄像的人的脸部的第一图像；从所述第一图像生成包含所述人的眼睛区域的第二图像；对所述第二图像进行二值化，并生成用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素的第三图像；基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；输出与判断的结果相关的信息。

根据本发明，可以提高人的眼睛的睁闭状态的检测精度。

附图说明

图1是本发明的第一实施方式的眼睛睁闭检测系统的外观图。

图2是表示本发明的第一实施方式的眼睛睁闭检测系统的整体构成的一个例子的方框图。

图3是表示本发明的第一实施方式的眼睛睁闭检测装置的眼睛睁闭检测处理的一个例子的流程图。

图4是表示图3的步骤S6的眼睛状态判断处理的一个例子的流程图。

图5是表示从脸部图像检测出的脸部区域的一个例子的示意图。

图6是表示与左眼对应的眼睛检测区域的一个例子的示意图。

图7是表示与右眼对应的眼睛检测区域的一个例子的示意图。

图8是表示与左眼对应的二值图像的一个例子的示意图。

图9是表示与右眼对应的二值图像的一个例子的示意图。

图10是表示被显示在显示器的显示画面的一个例子的示意图。

图11是表示第一实施方式的第一变形例的眼睛状态判断处理的一个例子的流程图。

图12是表示第一实施方式的第二变形例的眼睛状态判断处理的一个例子的流程图。

图13是表示本发明的第二实施方式的眼睛睁闭检测系统的整体构成的一个例子的方框图。

图14是表示第二实施方式的眼睛状态判断处理的一个例子的流程图。

图15是表示眼睛处于睁开状态的眼睛检测区域的一个例子的示意图。

图16是表示眼睛处于闭上状态的眼睛检测区域的一个例子的示意图。

图17是表示本发明的第三实施方式的眼睛睁闭检测系统的整体构成的一个例子的方框图。

图18是表示第三实施方式的眼睛状态判断处理的一个例子的流程图。

图19是表示眼睛处于睁开状态下的RGB图像、HSV图像以及二值图像的一个例子的示意图。

图20是表示眼睛处于闭上状态下的RGB图像、HSV图像以及二值图像的一个例子的示意图。

图21是表示本发明的第四实施方式的眼睛睁闭检测系统的整体构成的一个例子的方框图。

图22是表示本发明的第四实施方式的眼睛睁闭检测装置的处理的一个例子的流程图。

图23是表示在执行形态梯度运算之前的二值图像的示意图。

图24是表示对二值图像执行了扩张处理以及收缩处理后的扩张图像以及收缩图像的示意图。

图25是表示梯度图像的示意图。

图26是表示本发明的第五实施方式的眼睛睁闭检测系统的整体构成的一个例子的方框图。

图27是表示本发明的第五实施方式的眼睛睁闭检测装置的处理的一个例子的流程图。

图28是表示检测出了外眼角以及内眼角的二值图像的示意图。

具体实施方式

本发明的基础知识

上述专利文献1的眼睛的睁闭的判断，在二值化处理之后的像素之中黑色像素的比率成为阈值以上的情况下判断为眼睛处于睁开，在黑色像素的比率小于阈值的情况下判断为眼睛处于闭上。

而且，上述专利文献2的眼睛的睁闭的判断，在右眼区域以及左眼区域的各自区域，在二值化后的一方的白色像素数比事先指定的像素数多的情况下判断为眼睛处于睁开，在二值化后的一方的白色像素数为事先指定的像素数以下的情况下判断为眼睛处于闭上。

人的眼睛的大小以及形状因人而异。而且，人的眼睛的大小以及形状也有可能会因为假睫毛以及化妆的影响而发生变化。为此，如上所述的现有技术，即使根据二值化后的一方的像素的比率或者二值化后的一方的像素数能检测出眼睛的睁闭状态，也难以高精度地检测出人的眼睛的睁闭状态。

为了解决上述的问题，本发明的一实施方式涉及的眼睛睁闭检测方法，让计算机执行以下步骤：获取包含通过摄像装置摄像的人的脸部的第一图像；从所述第一图像生成包含所述人的眼睛区域的第二图像；对所述第二图像进行二值化，并生成用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素的第三图像；基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；输出与判断的结果相关的信息。

根据该构成，基于对包含人的眼睛区域的第二图像进行了二值化的第三图像的高度、在具有第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断人的眼睛是处于睁开的状态还是处于闭上的状态。因此，可以抑制因人的眼睛的大小以及形状的个体差异带来的影响，提高人的眼睛的睁闭状态的检测精度。

而且，所述的眼睛睁闭检测方法，也可以，在所述判断，判断所述第一亮度区域内的所述最大高度是否大于对所述第三图像的高度乘以第一系数之后的值，当判断为所述第一亮度区域内的所述最大高度大于对所述第三图像的高度乘以第一系数之后的值的情况下，判断所述眼睛处于睁开的状态。

第一亮度区域内的最大高度相对于第三图像的高度的比率根据眼睛是处于睁开的状态还是处于闭上的状态而有所不同。在眼睛处于睁开的状态下，第三图像的高度与第一亮度区域内的最大高度实质上相同。因此，通过将第一亮度区域内的最大高度与对第三图像的高度乘以第一系数之后的值进行比较，能高精度地判断眼睛是处于睁开的状态。

而且，所述的眼睛睁闭检测方法，也可以，在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以第一系数之后的值以下的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第三图像的高度乘以比所述第一系数小的第二系数之后的值，当判断为所述第一亮度区域内的所述最大高度小于对所述第三图像的高度乘以所述第二系数之后的值的情况下，判断所述眼睛处于闭上的状态。

第一亮度区域内的最大高度相对于第三图像的高度的比率根据眼睛是处于睁开的状态还是处于闭上的状态而有所不同。眼睛处于闭上的状态下的第一亮度区域内的最大高度与眼睛处于睁开的状态下的第一亮度区域内的最大高度相比变短。因此，通过将第一亮度区域内的最大高度与对第三图像的高度乘以比第一系数小的第二系数之后的值进行比较，能高精度地判断眼睛是处于闭上的状态。

而且，所述的眼睛睁闭检测方法，也可以，还从所述第一图像生成表示所述人的脸部区域的第四图像，在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第四图像的高度乘以比所述第二系数小的第三系数和所述第二系数之后的值，当所述第一亮度区域内的所述最大高度小于对所述第四图像的高度乘以所述第三系数和所述第二系数之后的值的情况下，判断所述眼睛处于闭上的状态，当所述第一亮度区域内的所述最大高度在对所述第四图像的高度乘以所述第三系数和所述第二系数之后的值以上的情况下，判断所述眼睛处于睁开的状态。

根据该构成，因为不仅仅利用第一亮度区域内的最大高度相对于包含人的眼睛区域的第三图像的高度的比率，还利用第一亮度区域内的最大高度相对于表示人的脸部区域的第四图像的高度的比率来判断人的眼睛是处于睁开的状态还是处于闭上的状态，所以能以更高的精度检测出眼睛的睁闭状态。

而且，所述的眼睛睁闭检测方法，也可以，还从所述第一图像生成表示所述人的脸部区域的第四图像，在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第一系数之后的值以下的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第四图像的高度乘以比所述第一系数小的第二系数和比所述第二系数小的第三系数之后的值，当判断为所述第一亮度区域内的所述最大高度小于对所述第四图像的高度乘以所述第二系数和所述第三系数之后的值的情况下，判断所述眼睛处于闭上的状态，当所述第一亮度区域内的所述最大高度在对所述第四图像的高度乘以所述第二系数和所述第三系数之后的值以上的情况下，判断所述眼睛处于睁开的状态。

根据该构成，因为不仅仅利用第一亮度区域内的最大高度相对于包含人的眼睛区域的第三图像的高度的比率，还利用第一亮度区域内的最大高度相对于表示人的脸部区域的第四图像的高度的比率来判断人的眼睛是否处于闭上的状态，所以即使是在没能正确地检测出第三图像的情况下，也能高精度地检测出眼睛的睁闭状态。

而且，所述的眼睛睁闭检测方法，也可以是，所述第二图像呈矩形，在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，基于所述第二图像的高度与横向宽度的比率，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态。

处于闭上状态的眼睛的高度具有与处于睁开状态的眼睛的高度相比变短的倾向。因此，即使是在利用第三图像的高度和第一亮度区域内的最大高度不能判断眼睛的睁闭状态的情况下，可以利用包含人的眼睛区域的第二图像的纵横比来判断眼睛的睁闭状态，从而可以提高人的眼睛的睁闭状态的检测精度。

而且，所述的眼睛睁闭检测方法，也可以是，所述第二图像由红色成分、绿色成分以及蓝色成分表示，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，还从所述第二图像生成由色相成分、饱和度成分以及明度成分表示的第五图像，还对所述第五图像的所述色相成分进行二值化，生成用第三亮度值表示灰度值小于阈值的像素、用第四亮度值表示灰度值在阈值以上的像素的第六图像，还基于具有所述第三亮度值的第三亮度区域，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态。

摄像了睁开的眼睛的可见光图像与摄像了闭上的眼睛的可见光图像之间的区别在于光是否映入到角膜部分。即，光会映入到睁开的眼睛的角膜部分，然而闭上的眼睛本身就不存在角膜。映入到角膜部分的光在由色相成分、饱和度成分以及明度成分表示的色空间以色相成分显著地表现出来。相当于映入到角膜部分的光的特征量，通过生成将由色相成分、饱和度成分以及明度成分表示的第五图像的色相成分进行了二值化的第六图像，而被提取。因此，即使是在利用第三图像的高度和第一亮度区域内的最大高度不能判断眼睛的睁闭状态的情况下，通过判断有无特征量可以判断眼睛的睁闭状态，从而可以提高人的眼睛的睁闭状态的检测精度，其中，所述特征量相当于映入到将由色相成分、饱和度成分以及明度成分表示的第五图像的色相成分进行了二值化的第六图像中的角膜部分的光。

而且，所述的眼睛睁闭检测方法，也可以是，还基于所述第三图像分别检测上眼睑的位置以及下眼睑的位置。

根据该构成，因为基于第三图像分别检测上眼睑的位置以及下眼睑的位置，可以基于眼睛的睁闭状态、上眼睑的位置以及下眼睑的位置推测人的感情或者人的状态。

而且，所述的眼睛睁闭检测方法，也可以是，在检测所述上眼睑的位置以及所述下眼睑的位置时，通过对第三图像进行形态梯度运算来检测所述上眼睑的位置以及所述下眼睑的位置。

根据该构成，因为通过对被二值化的第三图像进行形态梯度运算来检测上眼睑的位置以及下眼睑的位置，可以高精度地检测出上眼睑的位置以及下眼睑的位置。

而且，所述的眼睛睁闭检测方法，也可以是，所述第三图像是所述人的左眼以及右眼的其中之一的二值图像，还基于所述第三图像分别检测外眼角的位置以及内眼角的位置。

根据该构成，因为基于第三图像分别检测外眼角的位置以及内眼角的位置，可以基于眼睛的睁闭状态、外眼角的位置以及内眼角的位置推测人的感情或者人的状态。

而且，所述的眼睛睁闭检测方法，也可以是，在检测所述外眼角的位置以及所述内眼角的位置时，在所述第三图像，将具有所述第一亮度值的横向的左端的像素的位置作为所述外眼角以及所述内眼角的其中一方的位置进行检测，将具有所述第一亮度值的所述横向的右端的像素的位置作为所述外眼角以及所述内眼角的其中另一方的位置进行检测。

根据该构成，在作为左眼以及右眼的其中之一的二值图像的第三图像，将具有第一亮度值的横向的左端的像素的位置作为外眼角以及内眼角的其中一方的位置进行检测，将具有第一亮度值的横向的右端的像素的位置作为外眼角以及内眼角的其中另一方的位置进行检测。因此，可以容易地检测出外眼角的位置以及内眼角的位置。

而且，所述的眼睛睁闭检测方法，也可以是，还将表示所述眼睛是处于睁开的状态还是处于闭上的状态的信息重叠显示在被显示在显示器的所述人的脸部图像上。

根据该构成，因为将表示眼睛是处于睁开的状态还是处于闭上的状态的信息重叠显示在被显示在显示器的人的脸部图像上，所以可以将眼睛的睁闭状态的判断结果实时地显示在脸部图像上。

而且，本发明不仅可以作为执行如上所述的特征性的处理的眼睛睁闭检测方法来实现，而且还可以作为具备与执行眼睛睁闭检测方法的特征性的方法对应的特征性的构成的眼睛睁闭检测装置来实现。而且也可以作为让计算机执行该眼睛睁闭检测方法所包含的特征性的处理的计算机程序来实现。因此，以下的其它的实施方式也具有与上述的眼睛睁闭检测方法相同的效果。

本发明的另一方面涉及的眼睛睁闭检测装置包括：获取部，用于获取包含通过摄像装置摄像的人的脸部的第一图像；眼睛区域检测部，从所述第一图像生成包含所述人的眼睛区域的第二图像；二值化处理部，对所述第二图像进行二值化，并生成用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素的第三图像；判断部，基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；以及，输出部，输出与判断的结果相关的信息。

本发明的另一方面涉及的眼睛睁闭检测程序，使计算机执行以下处理：获取包含通过摄像装置摄像的人的脸部的第一图像；从所述第一图像生成包含所述人的眼睛区域的第二图像；对所述第二图像进行二值化，并生成用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素的第三图像；基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；输出与判断的结果相关的信息。

以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式只是具体化本发明的一个例子而已，并不用于限定本发明的技术保护范围。

第一实施方式

图1是本发明的第一实施方式的眼睛睁闭检测系统100的外观图。眼睛睁闭检测系统100由智能手机或者平板电脑终端等便携式终端装置构成。但是，这仅是一个例子而已，眼睛睁闭检测系统100也可以通过适当地组合台式计算机或者云服务器与相机和显示器来构成。

眼睛睁闭检测系统100包含眼睛睁闭检测装置1、摄像装置2以及显示器3。眼睛睁闭检测装置1检测出通过摄像装置2摄像到的人U1的眼睛的睁闭状态。

摄像装置2由配装在便携式终端装置的相机构成。摄像装置2是能以规定的帧速率(frame rate)获取彩色的可见光图像的相机。

显示器3由配装在便携式终端装置的液晶显示装置或有机EL(ElectroLuminescence)显示装置等的显示装置构成。显示器3显示摄像装置2摄像到的人U1的脸部的图像。此外，显示器3在人U1的脸部的图像上重叠显示由眼睛睁闭检测装置1检测到的与眼睛的睁闭状态相关的信息。

图2是表示本发明的第一实施方式的眼睛睁闭检测系统100的整体构成的一个例子的方框图。眼睛睁闭检测装置1具备处理器10以及存储器20。处理器10例如由CPU(Central Processing Unit)构成。处理器10具备图像获取部11、眼睛区域检测部12、二值化处理部13、眼睛状态判断部14以及输出部15。图像获取部11、眼睛区域检测部12、二值化处理部13、眼睛状态判断部14以及输出部15例如通过让处理器10执行眼睛睁闭检测程序来实现。

图像获取部11获取通过摄像装置2摄像到的图像。在此，获取到的图像中包含人U1的脸部。以下，将包含脸部的图像称为脸部图像。图像获取部11以规定的帧速率依次获取摄像到的脸部图像。脸部图像是包含人的脸部的第一图像的一个例子。

眼睛区域检测部12从脸部图像生成包含人的眼睛区域的眼睛检测区域。眼睛区域检测部12从图像获取部11获取到的脸部图像检测出表示人物的脸部的脸部区域。眼睛区域检测部12可以通过将脸部图像输入到为了检测脸部区域而预先创建的分类器来检测脸部区域。该分类器例如由哈尔级联分类器(Haar cascade classifier)构成。脸部区域例如是具有包含整个脸部的大小的矩形区域。脸部区域是表示人的脸部的区域的第四图像的一个例子。

眼睛区域检测部12将脸部区域输入到为了检测出眼睛检测区域而预先创建的分类器来检测眼睛检测区域。该分类器例如由哈尔级联分类器构成。眼睛检测区域是上边与上眼睑相接、下边与下眼睑相接、左边以及右边之中的一边与内眼角相接、左边以及右边之中的另一边与外眼角相接的矩形区域。眼睛区域检测部12从脸部区域分别检测出包含左眼的眼睛检测区域和包含右眼的眼睛检测区域。眼睛检测区域是包含人的眼睛的区域的第二图像的一个例子。

以下，将包含左眼的眼睛检测区域称为“左眼检测区域”，将包含右眼的眼睛检测区域称为“右眼检测区域”。在不区分两者的情况下，简称为眼睛检测区域。而且，左眼是指从正面观察人U1时位于左侧的眼睛，右眼是指从正面观察人U1时位于右侧的眼睛。但是，这仅是一个例子而已，这个关系也可以相反。

二值化处理部13对眼睛检测区域进行二值化生成二值图像，在该二值图像，灰度值(gradation value)小于阈值的像素用第一亮度值来表示，灰度值在阈值以上的像素用第二亮度值来表示。二值图像是第三图像的一个例子。在眼睛检测区域由彩色图像构成的情况下，二值化处理部13可以将眼睛检测区域转换为例如具有0至255的灰度值的灰度图像，并对转换后的灰度图像执行二值化处理。作为二值化处理，例如，可以采用大津二值化处理(Otsu’s binarization process)。第一亮度值例如为白色，第二亮度值例如为黑色。即，在第一实施方式，生成用白色表示暗处、用黑色表示明处的二值图像。白色的亮度值例如用255来表示，黑色的亮度值例如用0来表示。

在此，由于摄像装置2摄像到的图像是用8比特量化的图像，灰度图像具有0至255的灰度值，但是这仅是一个例子而已。如果摄像装置2摄像到的图像是用16比特等其它的比特数量化的图像，灰度图像可以具有能够用该比特数表现的灰度值。

二值化处理部13可以针对左眼检测区域和右眼检测区域分别生成二值图像。

眼睛状态判断部14，基于二值图像的高度和在具有第一亮度值的第一亮度区域内的上端像素以及下端像素之间在纵向的距离变为最大的最大高度，判断人的眼睛是处于睁开的状态还是处于闭上的状态。

具体而言，眼睛状态判断部14判断第一亮度区域内的最大高度是否大于对二值图像的高度乘以第一系数之后的值。第一系数例如为0.9。眼睛状态判断部14，在判断第一亮度区域内的最大高度大于对二值图像的高度乘以第一系数之后的值的情况下，判断眼睛处于睁开的状态。

而且，眼睛状态判断部14，在判断第一亮度区域内的最大高度在对二值图像的高度乘以第一系数之后的值以下的情况下，判断第一亮度区域内的最大高度是否小于对二值图像的高度乘以第二系数之后的值。第二系数例如为0.6。眼睛状态判断部14，在判断第一亮度区域内的最大高度小于对二值图像的高度乘以第二系数之后的值的情况下，判断眼睛处于闭上的状态。

输出部15输出与判断结果相关的信息。输出部15生成显示画面，并使显示器3显示该显示画面，所述显示画面将用于表示眼睛状态判断部14判断的眼睛的睁闭状态的信息重叠在图像获取部11获取到的脸部图像上。

存储器20例如为RAM(Random Access Memory)、SSD(Solid State Drive)或者闪存等可以存储各种信息的存储装置。存储器20作为处理器10的作业区域而被使用。而且，存储器20也可以将表示眼睛状态判断部14判断的眼睛的睁闭状态的信息与图像获取部11获取到的脸部图像相互对应地进行存储。

被与表示眼睛的睁闭状态的信息相互对应的脸部图像可以作为在机器学习用于从脸部图像识别眼睛的睁闭状态的识别模型时的教师数据而使用。即，输出部15也可以将表示眼睛的睁闭状态的信息作为标签(label)赋予脸部图像，并将被赋予了标签的脸部图像存储到存储器20。

接着，对第一实施方式的眼睛睁闭检测装置1的眼睛睁闭检测处理进行说明。

图3是表示本发明的第一实施方式的眼睛睁闭检测装置1的眼睛睁闭检测处理的一个例子的流程图。而且，图3所示的流程图被以规定的采样周期而执行。规定的采样周期例如是摄像装置2的帧周期(frame period)。

首先，在步骤S1，图像获取部11从摄像装置2获取脸部图像。

其次，在步骤S2，眼睛区域检测部12将脸部图像输入到用于检测脸部区域的分类器，并检测出脸部区域。

图5是表示从脸部图像40检测出的脸部区域41的一个例子的示意图。如图5所示，眼睛区域检测部12将包含额头的上部和下巴的下部以及耳朵的发际的矩形区域作为脸部区域41进行检测。在此，虽然脸部区域41没有包含整个头发，但是也可以是包含整个头发的区域。在图5中，因为脸部图像40是从正面摄像人U1的图像，所以包含左眼和右眼。而且，如图5所示，人U1的左眼睁开，人U1的右眼闭上。

其次，在步骤S3，眼睛区域检测部12将在步骤S2提取到的脸部区域41输入到用于检测眼睛检测区域的分类器来检测眼睛检测区域。如图5所示，眼睛区域检测部12将包含整个眼睛的矩形区域作为眼睛检测区域421、422进行检测。眼睛检测区域421与左眼对应，眼睛检测区域422与右眼对应。

图6是表示与左眼对应的眼睛检测区域421的一个例子的示意图，图7是表示与右眼对应的眼睛检测区域422的一个例子的示意图。如图6所示，眼睛检测区域421是包含整个睁开的左眼的矩形区域。而且，如图7所示，眼睛检测区域422是包含整个闭上的右眼的矩形区域。从图5所示的脸部区域41提取与图6所示左眼对应的眼睛检测区域421和与图7所示右眼对应的眼睛检测区域422。

在眼睛处于睁开状态的眼睛检测区域421，上边与上眼睑相接、下边与下眼睑相接、右边与内眼角相接、左边与外眼角相接。而在眼睛处于闭上的状态的眼睛检测区域422，上边与上眼睑相接、下边与睫毛的先端部分相接、右边与外眼角相接、左边与内眼角相接。

其次，在步骤S4，二值化处理部13将在步骤S3检测到的眼睛检测区域421、422转换为灰度图像。作为向灰度图像的转换处理，例如，可以采用计算构成眼睛检测区域421、422的各像素的红色成分、绿色成分、蓝色成分各自的灰度值的平均值的处理。但是，这仅是一个例子而已，也可以采用作为向灰度图像的转换处理的其它的处理。

其次，在步骤S5，二值化处理部13对被转换为灰度图像的眼睛检测区域421、422进行二值化并生成二值图像431、432。

图8是表示与左眼对应的二值图像431的一个例子的示意图，图9是表示与右眼对应的二值图像432的一个例子的示意图。二值化处理部13将被转换为灰度图像的眼睛检测区域421、422进行二值化并生成二值图像431、432。

左眼睁开。为此，在图8的例子，在与左眼对应的眼睛检测区域421生成二值图像431，在该二值图像431用白色的像素表示的瞳、睫毛以及白眼仁的一部分较暗部位的像素，用黑色的像素表示白限仁的另一部分以及肌肤的较亮部位的像素。在图8的例子中，二值图像431包含由白色的像素构成的一块白色区域51和由黑色的像素构成的一块黑色区域52。

右眼闭上。为此，在图9的例子，在与右眼对应的眼睛检测区域422生成二值图像432，在该二值图像432用白色的像素表示睫毛以及上眼睑的边缘较暗部位的像素，用黑色的像素表示肌肤的较亮部位的像素。在图9的例子，二值图像432包含由白色的像素构成的一块白色区域61和由黑色的像素构成的一块黑色区域62。

其次，在步骤S6，眼睛状态判断部14，基于二值图像的高度和在具有第一亮度值的第一亮度区域内的上端像素以及下端像素之间的纵向距离变为最大的最大高度，执行判断人的眼睛是处于睁开的状态还是处于闭上的状态的眼睛状态判断处理。眼睛状态判断部14，针对左眼检测区域以及右眼检测区域，分别判断人的眼睛是处于睁开的状态还是处于闭上的状态。另外，关于眼睛状态判断处理，将利用图4在以后进行说明。

其次，在步骤S7，输出部15输出表示由眼睛状态判断部14判断的眼睛的睁闭状态的判断结果的判断结果信息。输出部15生成显示画面并使显示器3显示该显示画面，该显示画面将在步骤S6判断的眼睛的睁闭状态的判断结果的判断结果信息重叠在通过步骤S1获取到的脸部图像上。通过以规定的采样周期重复图3的流程，在显示器3上实时地显示将表示眼睛的睁闭状态的判断结果的判断结果信息重叠在脸部图像上的显示画面。

接着，对图3的步骤S6的眼睛状态判断处理进行说明。

图4是表示图3的步骤S6的眼睛状态判断处理的一个例子的流程图。

首先，在步骤S11，眼睛状态判断部14计算在具有第一亮度值的白色区域内的上端像素以及下端像素之间的纵向距离变为最大的最大高度。眼睛状态判断部14，对于图8所示的二值图像431的白色区域51，通过对在各X坐标的Y轴上的白色像素的数量进行计数，计算出白色区域51的各X坐标的高度。另外，高度用纵向的白色像素的数量来表示。眼睛状态判断部14一边从白色区域51的左端向右端依次逐个像素地移动X坐标一边计算在各X坐标的高度。眼睛状态判断部14计算在白色区域51内高度为最大的X坐标以及在该X坐标的高度。

另外，在检测到与左眼对应的眼睛检测区域421和与右眼对应的眼睛检测区域422的情况下，针对与左眼以及右眼分别对应的二值图像431、432进行眼睛状态判断处理。为此，眼睛状态判断部14，对于图9所示的二值图像432的白色区域61，也通过对在各X坐标的Y轴上的白色像素的数量进行计数，计算出白色区域56的各X坐标的高度。眼睛状态判断部14一边从白色区域61的左端向右端依次逐个像素地移动X坐标一边计算在各X坐标的高度。眼睛状态判断部14计算在白色区域61内高度为最大的X坐标以及在该X坐标的高度。

其次，在步骤S12，眼睛状态判断部14判断白色区域的最大高度是否大于对眼睛检测区域的二值图像的高度乘以0.9后的值。

在此，在判断白色区域的最大高度大于对眼睛检测区域的二值图像的高度乘以0.9后的值的情况下(在步骤S12为“是”)，在步骤S13，眼睛状态判断部14判断眼睛处于睁开的状态。即，如图8所示，在眼睛睁开的情况下，白色区域51的最大高度54相对于眼睛检测区域421的二值图像431的高度53的比率接近1。为此，在白色区域51的最大高度54大于对眼睛检测区域421的二值图像431的高度乘以0.9后的值的情况下，眼睛状态判断部14判断眼睛检测区域421内的眼睛处于睁开的状态。

另一方面，在判断白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以0.9后的值以下(在步骤S12为“否”)的情况下，在步骤S14，眼睛状态判断部14判断白色区域的最大高度是否小于对眼睛检测区域的二值图像的高度乘以0.6后的值。

在此，在判断白色区域的最大高度小于对眼睛检测区域的二值图像的高度乘以0.6后的值的情况下(在步骤S14为“是”)，在步骤S15，眼睛状态判断部14判断眼睛处于闭上的状态。即，如图9所示，在眼睛闭上的情况下，白色区域61的最大高度64比眼睛检测区域422的二值图像432的高度63的60％的长度小。因此，在白色区域61的最大高度64小于对眼睛检测区域422的二值图像432的高度乘以0.6后的值的情况下，眼睛状态判断部14判断眼睛检测区域422内的眼睛处于闭上的状态。

另一方面，在判断白色区域的最大高度为对眼睛检测区域的二值图像的高度乘以0.6后的值以上的情况下(在步骤S14为“否”)，在步骤S16，眼睛状态判断部14判断为无法对眼睛的睁闭状态进行判断。

另外，在被眼睛状态判断部14判断为无法对眼睛的睁闭状态进行判断的情况下，输出部15既可以输出表示无法对眼睛的睁闭状态进行判断的判断结果信息，也可以不输出判断结果信息。

而且，在第一实施方式，在步骤S12为“否”的情况下，眼睛状态判断部14也可以不进行步骤S14的处理而是判断为眼睛闭上。

而且，在第一实施方式，在进行了步骤S11的处理之后，眼睛状态判断部14也可以不进行步骤S12的处理而是判断白色区域的最大高度是否小于对眼睛检测区域的二值图像的高度乘以0.6后的值。而且，在判断为白色区域的最大高度小于对眼睛检测区域的二值图像的高度乘以0.6后的值的情况下，眼睛状态判断部14也可以判断为眼睛处于闭上的状态。而且，在判断为白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以0.6后的值以上的情况下，眼睛状态判断部14也可以判断为眼睛处于睁开的状态。

图10是表示被显示在显示器3的显示画面的一个例子的示意图。

输出部15将表示眼睛是处于睁开的状态还是闭上的状态的判断结果信息重叠地显示在被显示在显示器3的人的脸部图像上。如图10所示，显示器3将判断结果信息441、442重叠地显示在脸部图像40上。判断结果信息441表示眼睛处于睁开的状态，被显示在表示眼睛检测区域421的边框的附近。

例如，将表示眼睛处于睁开的“OPEN”这样的文字作为判断结果信息441显示在显示器3上。另一方面，判断结果信息442表示眼睛处于闭上的状态，被显示在表示眼睛检测区域422的边框的附近。例如，将表示眼睛处于闭上的“CLOSE”这样的文字作为判断结果信息442显示在显示器3上。另外，判断结果信息441、442的提示方法只是一个例子而已。显示器3也可以用不同的方式来显示表示眼睛处于睁开的眼睛检测区域421和表示眼睛处于闭上的眼睛检测区域422。不同的方式例如是改变颜色等。

而且，眼睛睁闭检测系统100还可以具备扬声器。例如，在眼睛状态判断部14判断为眼睛处于闭上的情况下，输出部15也可以从扬声器输出声音。

如上所述，基于使包含人的眼睛区域的眼睛检测区域二值化后的二值图像的高度和在具有第一亮度值的第一亮度区域内的上端像素以及下端像素之间的纵向距离变为最大的最大高度，判断人的眼睛是处于睁开的状态还是处于闭上的状态。因此，可以抑制因人的眼睛的大小以及形状的个体差异带来的影响，提高人的眼睛的睁闭状态的检测精度。

接着，对第一实施方式的第一变形例的眼睛睁闭检测系统进行说明。

在第一实施方式，在没能正确地检测出眼睛检测区域的情况下存在以下的可能性，即，即使实际上眼睛是处于睁开的状态，也有可能在图4的步骤S12不判断为“是”，在步骤S14以后的处理中不判断为眼睛是处于睁开的状态。在此，在第一实施方式的第一变形例，还利用脸部区域的高度来判断眼睛的睁闭状态。

另外，第一实施方式的第一变形例的眼睛睁闭检测系统的构成与第一实施方式的眼睛睁闭检测系统的构成相同。为此，在以下，使用图1以及图2对第一实施方式的第一变形例的眼睛睁闭检测系统的构成进行说明。

第一实施方式的第一变形例的眼睛状态判断部14，在判断为第一亮度区域内的最大高度为对二值图像的高度乘以第二系数之后的值以上的情况下，判断第一亮度区域内的最大高度是否小于对脸部区域的高度乘以比第二系数小的第三系数和第二系数之后的值。而且，眼睛状态判断部14，在第一亮度区域内的最大高度小于对脸部区域的高度乘以第三系数和第二系数后的值的情况下，判断眼睛处于闭上的状态。而且，眼睛状态判断部14，在第一亮度区域内的最大高度为对脸部区域的高度乘以第三系数和第二系数后的值以上的情况下，判断眼睛处于睁开的状态。脸部区域是表示人的脸部的区域的第四图像的一个例子。第二系数例如为0.6。第三系数例如为0.15。

对脸部区域的高度乘以0.15后的值可以说成相当于眼睛在垂直方向的长度，即，眼睛的高度。在此，眼睛状态判断部14判断第一亮度区域内的最大高度是否小于对脸部区域的高度乘以第三系数和第二系数之后的值。另外，第三系数并不局限于0.15，只要是可以表示眼睛的高度相对于脸部区域的高度的比率的值即可。

接着，对第一实施方式的第一变形例的眼睛状态判断处理进行说明。另外，在第一实施方式的第一变形例，眼睛状态判断处理以外的眼睛睁闭检测处理与图3所示的第一实施方式的眼睛睁闭检测处理相同。

图11是表示第一实施方式的第一变形例的眼睛状态判断处理的一个例子的流程图。

因为步骤S21至步骤S25的处理与图4的步骤S11至步骤S15的处理相同，所以，省略其说明。

在判断白色区域的最大高度为对眼睛检测区域的二值图像的高度乘以0.6后的值以上的情况下(在步骤S24为“否”)，在步骤S26，眼睛状态判断部14判断白色区域的最大高度是否小于对脸部区域的高度乘以0.15以及0.6后的值。

在此，在判断白色区域的最大高度小于对脸部区域的高度乘以0.15以及0.6后的值的情况下(在步骤S26为“是”)，在步骤S27，眼睛状态判断部14判断眼睛处于闭上的状态。

另一方面，在判断白色区域的最大高度为对脸部区域的高度乘以0.15以及0.6后的值以上的情况下(在步骤S26为“否”)，在步骤S28，眼睛状态判断部14判断眼睛处于睁开的状态。

如上所述，在第一实施方式的第一变形例，因为不仅利用白色区域的最大高度相对于眼睛检测区域的二值图像的高度的比率，还利用白色区域的最大高度相对于脸部区域的高度的比率来判断眼睛的睁闭状态，所以，能以更高的精度检测出眼睛的睁闭状态。

接着，对第一实施方式的第二变形例的眼睛睁闭检测系统100进行说明。

在第一实施方式，利用眼睛检测区域的二值图像的高度来判断眼睛是否处于闭上的状态。对此，在第一实施方式的第二变形例，利用脸部区域的高度来判断眼睛是否处于闭上的状态。

另外，第一实施方式的第二变形例的眼睛睁闭检测系统的构成与第一实施方式的眼睛睁闭检测系统的构成相同。为此，在以下，使用图1以及图2对第一实施方式的第二变形例的眼睛睁闭检测系统的构成进行说明。

第一实施方式的第二变形例的眼睛状态判断部14，在判断第一亮度区域内的最大高度为对二值图像的高度乘以第一系数之后的值以下的情况下，判断第一亮度区域内的最大高度是否小于对脸部区域的高度乘以比第一系数小的第二系数和比第二系数小的第三系数之后的值。而且，眼睛状态判断部14，在判断第一亮度区域内的最大高度小于对脸部区域的高度乘以第二系数和第三系数之后的值的情况下，判断眼睛处于闭上的状态。而且，眼睛状态判断部14，在判断第一亮度区域内的最大高度为对脸部区域的高度乘以第二系数和第三系数之后的值以上的情况下，判断眼睛处于睁开的状态。脸部区域是表示人的脸部的区域的第四图像的一个例子。第二系数例如为0.6。第三系数例如为0.15。

接着，对第一实施方式的第二变形例的眼睛状态判断处理进行说明。另外，在第一实施方式的第二变形例，眼睛状态判断处理以外的眼睛睁闭检测处理与图3所示的第一实施方式的眼睛睁闭检测处理相同。

图12是表示第一实施方式的第二变形例的眼睛状态判断处理的一个例子的流程图。

因为步骤S31至步骤S33的处理与图4的步骤S11至步骤S13的处理相同，所以，省略其说明。

当判断白色区域的最大高度在通过对眼睛检测区域的二值图像的高度乘以0.9后的值以下的情况下(在步骤S32为“否”)，在步骤S34，眼睛状态判断部14判断白色区域的最大高度是否小于通过对脸部区域的高度乘以0.15以及0.6后的值。

在此，当判断为白色区域的最大高度小于通过对脸部区域的高度乘以0.15以及0.6的值的情况下(在步骤S34为“是”)，在步骤S35，眼睛状态判断部14判断眼睛处于闭上的状态。

另一方面，当判断为白色区域的最大高度在对脸部区域的高度乘以0.15以及0.6后的值以上的情况下(在步骤S34为“否”)，在步骤S36，眼睛状态判断部14判断眼睛处于睁开的状态。

如上所述，在第一实施方式的第二变形例中，因为不是利用白色区域的最大高度相对于眼睛检测区域的二值图像的高度的比率，而是利用白色区域的最大高度相对于脸部区域的高度的比率来判断眼睛是否正在闭上，所以，即使是在没能正确地检测出眼睛检测区域的情况下，也能够以高精度检测眼睛的睁闭状态。

第二实施方式

在第一实施方式，当判断为白色区域的最大高度在通过对眼睛检测区域的二值图像的高度乘以第二系数(例如0.6)之后的值以上的情况下，眼睛状态判断部14判断不能对眼睛的睁闭状态进行判断。对此，在第二实施方式，当判断为白色区域的最大高度在通过对眼睛检测区域的二值图像的高度乘以第二系数(例如0.6)之后的值以上的情况下，利用二值图像的纵横比来判断眼睛的睁闭状态。

图13是表示本发明的第二实施方式的眼睛睁闭检测系统100A的整体构成的一个例子的方框图。另外，在第二实施方式，对于与第一实施方式相同的构成要素赋予相同的符号并省略其说明。

眼睛睁闭检测装置1A具备处理器10A以及存储器20。处理器10A，相对于第一实施方式的眼睛睁闭检测装置1的处理器10，还具备纵横比判断部16。

当判断为在第一亮度区域内的上述最大高度在通过对二值图像的高度乘以第二系数之后的值以上的情况下，纵横比判断部16，基于眼睛检测区域的纵横比(高度与宽度的比率)，判断人的眼睛是处于睁开的状态还是闭上的状态。

一般来说，处于睁开状态的眼睛和处于闭上状态的眼睛在眼睛的纵横比方面具有不同的倾向。即，处于闭上状态的眼睛的高度倾向于比处于睁开状态的眼睛的高度短。在此，纵横比判断部16通过比较眼睛检测区域的纵横比和阈值，来判断眼睛的睁闭状态。

进一步具体而言，纵横比判断部16判断眼睛检测区域的纵横比是否在阈值以上。眼睛检测区域的纵横比是将矩形的眼睛检测区域的横向宽度(水平方向的长度)除以高度(垂直方向的长度)后的值。纵横比判断部16，在判断眼睛检测区域的纵横比在阈值以上的情况下，判断眼睛处于闭上的状态。而且，纵横比判断部16，在判断眼睛检测区域的纵横比小于阈值的情况下，判断眼睛处于睁开的状态。

另外，在第二实施方式，纵横比判断部16基于眼睛检测区域的纵横比判断人的眼睛是处于睁开的状态还是处于闭上的状态，但是本发明并不局限于此，纵横比判断部16也可以基于眼睛检测区域的二值图像的纵横比判断人的眼睛是处于睁开的状态还是处于闭上的状态。

接着，对第二实施方式的眼睛状态判断处理进行说明。另外，在第二实施方式中，眼睛状态判断处理以外的眼睛睁闭检测处理与图3所示的第一实施方式的眼睛睁闭检测处理相同。

图14是表示第二实施方式的眼睛状态判断处理的一个例子的流程图。

因为步骤S41至步骤S45的处理与图4的步骤S11至步骤S15的处理相同，所以省略其说明。

当判断白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以0.6后的值以上的情况下(在步骤S44为“否”)，在步骤S46，纵横比判断部16通过将眼睛检测区域的横向宽度(水平方向的长度)除以高度(垂直方向的长度)计算出眼睛检测区域的纵横比。

图15是表示眼睛处于睁开的状态的眼睛检测区域421的一个例子的示意图，图16是表示眼睛处于闭上的状态的眼睛检测区域422的一个例子的示意图。

如图15以及图16所示，眼睛检测区域421、422呈矩形。图15所示的眼睛检测区域421包含处于睁开的状态的眼睛。图16所示的眼睛检测区域422包含处于闭上的状态的眼睛。

眼睛检测区域421的横向宽度例如为263像素(pixels)，眼睛检测区域421的高度例如为80像素。眼睛检测区域421的纵横比例如为3.29。而且，眼睛检测区域422的横向宽度例如为288像素，眼睛检测区域421(应为422)的高度例如为64像素。眼睛检测区域421(应为422)的纵横比例如为4.5。

如上所述，眼睛处于闭上的状态的眼睛检测区域422的纵横比大于眼睛处于睁开的状态的眼睛检测区域421的纵横比。

返回到图14，其次，在步骤S47，纵横比判断部16判断眼睛检测区域的纵横比是否在阈值以上。阈值例如为4.0。在此，当判断眼睛检测区域的纵横比在阈值以上的情况下(在步骤S47为“是”)，在步骤S48，纵横比判断部16判断眼睛处于闭上的状态。

另一方面，当判断眼睛检测区域的纵横比小于阈值的情况下(在步骤S47为“否”)，在步骤S49，纵横比判断部16判断眼睛处于睁开的状态。

如此，即使是在利用二值图像的高度和白色区域的最大高度不能判断眼睛的睁闭状态的情况下，也可以利用眼睛检测区域的纵横比来判断眼睛的睁闭状态，可以提高对人的眼睛的睁闭状态的检测精度。

第三实施方式

在第一实施方式，当判断白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以第二系数(例如0.6)之后的值以上的情况下，眼睛状态判断部14判断无法对眼睛的睁闭状态进行判断。对此，在第三实施方式，当判断白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以第二系数(例如0.6)之后的值以上的情况下，将由红色成分、绿色成分以及蓝色成分表示的眼睛检测区域转换为由色相(Hue)成分、饱和度(Saturation)成分以及明度(Value)成分表示的HSV图像，利用HSV图像的色相成分的二值图像来判断眼睛的睁闭状态。

图17是表示本发明的第三实施方式的眼睛睁闭检测系统100B的整体构成的一个例子的方框图。另外，在第二实施方式(应为第三实施方式)，对于与第一实施方式相同的构成要素赋予相同的符号并省略其说明。

眼睛睁闭检测装置1B具备处理器10B以及存储器20。处理器10B，相对于第一实施方式的眼睛睁闭检测装置1的处理器10，还具备HSV转换部17、二值化处理部18以及白色区域判断部19。

HSV转换部17，当通过眼睛状态判断部14判断为在第一亮度区域内的最大高度在对二值图像的高度乘以第二系数之后的值以上的情况下，从由红色成分、绿色成分以及蓝色成分表示的眼睛检测区域(RGB图像)生成由色相成分、饱和度成分以及明度成分表示的HSV图像。HSV图像是第五图像的一个例子。

HSV转换部17，利用将RGB图像转换成HSV图像的转换公式，从眼睛检测区域生成HSV图像。另外，转换公式因为是现有技术，所以省略其说明。

二值化处理部18，对HSV图像的色相成分进行二值化，生成用第三亮度值表示灰度值小于阈值的像素、用第四亮度值表示灰度值在阈值以上的像素的二值图像。二值图像是第六图像的一个例子。作为二值化处理可以采用例如大津二值化处理。二值化处理部18对HSV图像的色相成分执行二值化处理即可。第三亮度值例如为白色，第四亮度值例如为黑色。白色的亮度值例如用255来表示，黑色的亮度值例如用0来表示。

白色区域判断部19，基于具有第三亮度值的第三亮度区域，判断人的眼睛是处于睁开的状态还是处于闭上的状态。第三亮度值表示白色。白色区域判断部19从二值图像检测出多个白色像素连续的白色区域。白色区域判断部19，基于从二值图像检测出的白色区域的数量或者大小，判断人的眼睛是处于睁开的状态还是处于闭上的状态。白色区域判断部19，当从二值图像检测出的白色区域的数量在阈值以上的情况下，判断眼睛处于睁开的状态。而且，白色区域判断部19，当从二值图像检测出的白色区域的数量小于阈值的情况下，判断眼睛处于闭上的状态。

另外，白色区域判断部19，当从二值图像检测出的最大的白色区域的像素数在阈值以上的情况下，也可以判断眼睛处于睁开的状态。而且，白色区域判断部19，当从二值图像检测出的最大白色区域的像素数小于阈值的情况下，也可以判断眼睛处于闭上的状态。而且，白色区域判断部19，在二值图像中没有白色区域的情况下，也可以判断眼睛处于闭上的状态。

接着，对第三实施方式的眼睛状态判断处理进行说明。另外，在第三实施方式，眼睛状态判断处理以外的眼睛睁闭检测处理与图3所示的第一实施方式的眼睛睁闭检测处理相同。

图18是表示第三实施方式的眼睛状态判断处理的一个例子的流程图。

因为步骤S61至步骤S65的处理与图4的步骤S11至步骤S15的处理相同，所以省略其说明。

当判断为白色区域的最大高度在对眼睛检测区域的二值图像的高度乘以0.6之后的值以上的情况下(在步骤S64为“否”)，在步骤S66，HSV转换部17从由RGB颜色空间表示的眼睛检测区域生成由HSV颜色空间表示的HSV图像。

其次，在步骤S67，二值化处理部18对HSV图像的色相成分进行二值化并生成二值图像。

其次，在步骤S68，白色区域判断部19对二值图像执行标记处理(labelingprocess)。在标记处理中，针对二值图像，对连续的多个白色像素分配相同的编号。通过该标记处理，可以从二值图像检测出由连续的多个白色像素构成的多个白色区域。

图19是表示眼睛处于睁开状态下的RGB图像、HSV图像以及二值图像的一个例子的示意图，图20是表示眼睛处于闭上的状态下的RGB图像、HSV图像以及二值图像的一个例子的示意图。

如图19所示，在眼睛处于睁开的状态的眼睛检测区域(RGB图像)，有光映入角膜(黑眼珠)部分。拍摄了睁开的眼睛的RGB图像和拍摄了闭上的眼睛的RGB图像的区别在于是否有光映入到角膜部分。即，在睁开的眼睛的角膜部分有光映入，而闭上的眼睛本身就不存在角膜。映入到角膜部分的光在HSV颜色空间的色相成分方面被显著地表现出来。相当于映入到角膜部分的光的特征量，通过从RGB图像生成HSV图像并生成HSV图像的色相成分的二值图像，而被提取。如图19所示，在眼睛处于睁开状态的色相成分的二值图像中，出现了相当于映入到角膜部分的光的白色区域。另一方面，如图20所示，在眼睛处于闭上的状态的色相成分的二值图像中，没有出现相当于映入到角膜部分的光的白色区域。白色区域判断部19通过对色相成分的二值图像中的白色区域的数量进行计数，可以判断眼睛的睁闭状态。

返回到图18，在步骤S69，白色区域判断部19判断白色区域的数量是否在阈值以上。在此，当判断为白色区域的数量在阈值以上的情况下(在步骤S69为“是”)，在步骤S70，白色区域判断部19判断眼睛处于睁开的状态。

另一方面，当判断为白色区域的数量小于阈值的情况下(在步骤S69为“否”)，在步骤S71，白色区域判断部19判断眼睛处于闭上的状态。

如上所述，即使是在利用作为RGB图像的眼睛检测区域的二值图像的高度和白色区域的最大高度无法判断眼睛的睁闭状态的情况下，通过利用根据眼睛检测区域的HSV图像的色相成分生成的二值图像，可以判断眼睛的睁闭状态，能够提高人的眼睛的睁闭状态的检测精度。

另外，也可以将第二实施方式与第三实施方式进行组合。即，在图14的步骤S47，当判断为眼睛检测区域的纵横比小于阈值的情况下(在步骤S47为“否”)，也可以进行图18的步骤S66至步骤S71的处理。

第四实施方式

在第一实施方式，检测眼睛的睁闭状态。对此，在第四实施方式还检测上眼睑的位置以及下眼睑的位置。

图21是表示本发明的第四实施方式的眼睛睁闭检测系统100C的整体构成的一个例子的方框图。第四实施方式的眼睛睁闭检测装置1C还检测上眼睑的位置以及下眼睑的位置。另外，在第四实施方式中，对于与第一实施方式相同的构成要素赋予相同的符号并省略其说明。

眼睛睁闭检测装置1C的处理器10C，相对于第一实施方式的眼睛睁闭检测装置1的处理器10，还具备虹膜检测处理部21、眼睑检测部22以及状态推测部24。

虹膜检测处理部21，在通过二值化处理部13生成的二值图像，生成将在具有第一亮度值的第一亮度区域内出现的第二亮度值的像素且满足规定条件的第二亮度值的像素置换为第一亮度值的像素的二值图像。而且，虹膜检测处理部21利用二值图像计算包含与人的虹膜的位置以及大小的至少其中之一相关的信息的虹膜信息。

眼睑检测部22，基于通过二值化处理部13生成的二值图像，分别检测人U1的上眼睑的位置以及下眼睑的位置。眼睑检测部22可以通过对二值图像进行形态梯度运算(morphological gradient operation)检测出上眼睑的位置以及下眼睑的位置。眼睑检测部22针对左眼的二值图像以及右眼的二值图像分别检测上眼睑的位置以及下眼睑的位置。

状态推测部24，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态和通过眼睑检测部22检测出的人的上眼睑的位置以及下眼睑的位置，推测人的状态。人的状态是例如人的醒来程度。例如，状态推测部24，基于眼睛的睁闭状态和上眼睑的位置以及下眼睑的位置，推测人的醒来程度。

人的状态也可以是例如人的疲劳程度。例如，状态推测部24也可以基于眼睛的睁闭状态和上眼睑的位置以及下眼睑的位置，推测人的疲劳程度。

另外，状态推测部24也可以，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态和通过眼睑检测部22检测出的人的上眼睑的位置以及下眼睑的位置，推测人的感情。

接着，对第四实施方式的眼睛睁闭检测装置1C的处理进行说明。

图22是表示本发明的第四实施方式的眼睛睁闭检测装置1C的处理的一个例子的流程图。

因为步骤S81至步骤S86的处理与图3的步骤S1至步骤S6的处理相同，所以省略其说明。

其次，在步骤S87，虹膜检测处理部21，通过对由二值化处理部13生成的二值图像适用虹膜检测处理，计算虹膜信息。

在此，对虹膜检测处理部21执行的虹膜检测处理进行说明。

首先，虹膜检测处理部21，将二值图像在X方向上按规定像素进行分离从而分割为多个局部区域。例如，虹膜检测处理部21将二值图像在横向上均匀地10等分。由此，二值图像被划分为以Y方向为长度方向的条形的10个局部区域。在此，虹膜检测处理部21将二值图像分割为10个局部区域，但是这仅是一个例子而已。分割数也可以是2以上9以下的整数或者11以上的整数。Y方向是指摄像装置2拍摄的图像的纵向(垂直方向)。

其次，虹膜检测处理部21计算10个局部区域的各自的平均亮度值。

其次，虹膜检测处理部21计算虹膜推测中心位置的X坐标。虹膜推测中心位置是虹膜中心位置的推测位置，与最终计算出的虹膜中心位置不同。由于双眼皮、睫毛的浓密以及假睫毛等的影响，这些部位作为白色区域有时会被过大地表现。在这种情况下，白眼仁的部位有可能被涂敷。为了避免这种事态，在该第二实施方式(应为第四实施方式)计算虹膜推测中心位置。

虹膜检测处理部21将多个局部区域之中平均亮度值为最大的局部区域在X方向的中点的坐标作为虹膜推测中心位置的X坐标进行计算。另外，根据局部区域在X方向的宽度，局部区域在X方向的中点有时不适于作为虹膜推测中心位置的X坐标。在这种情况下，也可以将局部区域在X方向的左端或者右端作为虹膜推测中心位置的X坐标进行计算。

其次，虹膜检测处理部21计算虹膜推测中心位置的Y坐标。虹膜检测处理部21，在存在虹膜推测中心位置的X坐标的局部区域，检测白色像素的最上端点和白色像素的最下端点，将最上端点和最下端点之间的中点作为虹膜推测中心位置的Y坐标进行计算。另外，由于睫毛以及化妆的影响，最上端点以及最下端点有可能出现在左侧邻接的局部区域或者右侧邻接的局部区域。在此，虹膜检测处理部21也可以计算在存在虹膜推测中心位置的X坐标的局部区域和左右邻接于该局部区域的两个局部区域的最上端点以及最下端点，并对所计算出的三个最上端点进行平均求出平均最上端点、对所计算出的三个最下端点进行平均计算出平均最下端点，将平均最上端点和平均最下端点之间的中点作为虹膜推测中心位置的Y坐标进行计算。

其次，虹膜检测处理部21对二值图像执行涂敷处理。在可见光图像中，由于周围的亮度等，外光或背景等有时会映入到角膜。当该映入较大的情况下，在黑色或茶色的瞳内会出现白色等明亮的颜色的区域。在这种情况下，如果对眼睛的图像进行二值化，在瞳区域内就会出现黑色的岛区域，从而无法高精度地检测虹膜信息。在此，在第二实施方式(应为第四实施方式)执行涂敷黑色的岛区域的涂敷处理。

涂敷处理的详细情况如下所述。首先，虹膜检测处理部21对于二值图像，对虹膜推测中心位置的X坐标设定与Y方向平行的纵线。其次，虹膜检测处理部21将在纵线从二值图像的上端侧最先出现的白色像素作为上端像素进行检测。其次，虹膜检测处理部21将在纵线从二值图像的下端侧最先出现的白色像素作为下端像素进行检测。其次，虹膜检测处理部21判断上端像素和下端像素之间的距离是否大于第一基准距离。其次，虹膜检测处理部21，当判断上端像素和下端像素之间的距离大于第一基准距离的情况下，将在纵线位于上端像素以及下端像素之间的黑色像素作为满足规定的条件的黑色像素进行判断，并将该黑色像素置换为白色像素。另一方面，虹膜检测处理部21，当判断为上端像素和下端像素之间的距离在第一基准距离以下的情况下，不进行对于纵线的置换。作为第一基准距离例如采用以假设的虹膜直径为基准的适当的距离。

虹膜检测处理部21对从虹膜推测中心位置朝向X方向的左侧的左基准距离的范围内的每条纵线执行这样的涂敷处理，还对从虹膜推测中心位置朝向X方向的右侧的右基准距离的范围内的每条纵线执行这样的涂敷处理。左基准距离范围和右基准距离范围之和是第二基准距离的一个例子。左基准距离范围和右基准距离范围例如是相等的范围。作为第二基准距离例如采用比假设的虹膜直径稍大的距离。由此，可以重点地对位于瞳区域的纵线适用涂敷处理。

其次，虹膜检测处理部21分别检测瞳区域的左端像素以及右端像素。虹膜检测处理部21，在二值图像的白色区域，以虹膜推测中心位置为起点在X方向朝左右逐个像素地检查亮度值的变化。而且，虹膜检测处理部21将在X方向的左侧最先出现的黑色像素作为左端像素进行检测，并将在X方向右侧最先出现的黑色像素作为右端像素进行检测。

其次，虹膜检测处理部21将左端像素以及右端像素的中间位置作为虹膜中心位置的X坐标进行计算。

其次，虹膜检测处理部21分别检测瞳区域的上端像素以及下端像素。虹膜检测处理部21，在二值图像的白色区域，以虹膜中心位置的X坐标为起点在Y方向朝上下逐个像素地检查亮度值的变化。而且，虹膜检测处理部21将在Y方向的上侧最先出现的黑色像素作为上端像素进行检测，并将在Y方向的下侧最先出现的黑色像素作为下端像素进行检测。

其次，虹膜检测处理部21将上端像素以及下端像素的中间位置作为虹膜中心位置的Y坐标进行计算。通过以上步骤计算虹膜中心位置。

以上是对虹膜检测处理进行的说明。虹膜检测处理部21计算包含虹膜中心位置的虹膜信息。

其次，在步骤S88，眼睑检测部22通过形态梯度运算检测上眼睑的位置以及下眼睑的位置。

图23是表示执行形态梯度运算之前的二值图像70的示意图。

在图23的例子中，在眼睛检测区域生成用白色表示瞳以及睫毛等较暗的部位、用黑色表示白眼仁以及肌肤等明亮的部位的二值图像70。图23所示的白色区域D1由白色的像素构成。

首先，眼睑检测部22对二值图像70适用扩张处理(dilation process)。扩张处理是指，如果在关注像素的附近有至少一个白色像素，就将关注像素置换为白色像素的处理。其次，眼睑检测部22对二值图像70适用收缩处理(erosion process)。收缩处理是指，如果在关注像素的附近有至少一个黑色像素，就将关注像素置换为黑色像素的处理。

图24是表示对二值图像70执行了扩张处理以及收缩处理的扩张图像81以及收缩图像82的示意图。

通过进行扩张处理，扩张图像81中包含的白色区域D1与二值图像70中包含的白色区域D1相比得到了扩张。通过进行收缩处理，收缩图像82中包含的白色区域D1与二值图像70中包含的白色区域D1相比得到了收缩。

其次，眼睑检测部22通过从扩张图像81减去收缩图像82计算出梯度图像(gradient image)。

图25是表示梯度图像83的示意图。梯度图像83包含二值图像70的白色区域D1的边缘E1。

其次，眼睑检测部22将边缘E1的最上端位置作为上眼睑的位置P10进行检测。另外，眼睑检测部22也可以将通过由虹膜检测处理部21检测出的虹膜中心位置P0的纵线与上侧的边缘E1的交点作为上眼睑的位置P10进行检测。而且，眼睑检测部22将通过由虹膜检测处理部21检测出的虹膜中心位置P0的纵线与下侧的边缘E1的交点作为下眼睑的位置P11进行检测。由此，可以检测出亮度变化较淡且难以在二值图像70中明确地表示的下眼睑的位置。另外，眼睑检测部22也可以将连接梯度图像83的左端和右端的上侧的边缘E1的部分作为上眼睑线进行检测。

而且，眼睑检测部22也可以将边缘E1的最上端位置作为上眼睑的位置P10进行检测将从检测出的上眼睑的位置P10垂直向下方延伸的直线与最下端的边缘E1的交点作为下眼睑的位置P11进行检测。在这种情况下，由于不需要检测虹膜中心位置P0，可以省略步骤S87的处理。

其次，在步骤S89，状态推测部24，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态和通过眼险检测部22检测出的人的上眼睑的位置以及下眼睑的位置，推测人的状态。此时，状态推测部24，在眼睛处于睁开的状态的情况下，计算上眼睑的位置与下眼睑的位置之间的距离。状态推测部24计算上眼睑的位置与下眼睑的位置之间的距离相对于眼睛检测区域的高度的比率。而且，状态推测部24，当所计算出的比率在阈值以下的情况下，推测人的醒来程度比较低。而且，状态推测部24，当所计算出的比率高于阈值的情况下，推测人的醒来程度比较高。并且，状态推测部24，当两个眼睛都处于闭上的状态的情况下，推测人没有醒来处于睡眠状态。

另外，状态推测部24，当所计算出的比率在阈值以下的情况下，也可以推测人的疲劳程度比较高。而且，状态推测部24，当所计算出的比率高于阈值的情况下，也可以推测人的疲劳程度比较低。

其次，在步骤S90，输出部15，通过将状态推测部24的推测结果重叠在步骤S1计算出的脸部图像上生成显示画面，并使显示器3进行显示。例如，在显示画面显示脸部图像以及人的状态(例如，醒来程度)。另外，输出部15也可以将人的眼睛的睁闭状态的判断结果重叠在脸部图像上并使显示器3进行显示。

另外，状态推测部24也可以基于上眼睑的位置P10的时间序列数据推测上眼睑是否处于痉挛状态。即，状态推测部24，当上眼睑的位置P10在规定时间内以规定间隔上下动的情况下，推测上眼睑处于痉挛状态。

如此，通过利用眼睛的睁闭状态的判断结果和上眼睑的位置以及下眼睑的位置的检测结果，可以推测人的状态或者人的感情。

第五实施方式

在第一实施方式检测眼睛的睁闭状态。对此，在第五实施方式进一步检测外眼角的位置以及内眼角的位置。

图26是表示本发明的第五实施方式的眼睛睁闭检测系统100D的整体构成的一个例子的方框图。第五实施方式的眼睛睁闭检测装置1D进一步检测外眼角的位置以及内眼角的位置。另外，在第五实施方式，对于与第一实施方式以及第四实施方式相同的构成要素赋予相同的符号并省略其说明。

眼睛睁闭检测装置1D的处理器10D，相对于第一实施方式的眼睛睁闭检测装置1的处理器10，还具备虹膜检测处理部21、外眼角内眼角检测部23以及状态推测部24D。

外眼角内眼角检测部23从通过二值化处理部13生成的二值图像分别检测出外眼角的位置以及内眼角的位置。外眼角内眼角检测部23，基于人的左眼以及右眼的其中之一的二值图像，分别检测出外眼角的位置以及内眼角的位置。在此，外眼角内眼角检测部23，针对左眼的二值图像以及右眼的二值图像，分别检测出外眼角的位置以及内眼角的位置。

外眼角内眼角检测部23，在二值图像，将具有第一亮度值的横向的左端的像素的位置作为外眼角以及内眼角的其中一方的位置进行检测，将具有第一亮度值的横向的右端的像素的位置作为外眼角以及内眼角的其中另一方的位置进行检测。

状态推测部24D，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态、通过外眼角内眼角检测部23检测出的人的外眼角的位置以及内眼角的位置、通过虹膜检测处理部16(应为21)检测出的虹膜中心位置，推测人的状态。人的状态例如为人处于困惑的状态、人处于动摇的状态或者人处于紧张的状态。例如，状态推测部24D，基于眼睛的睁闭状态、外眼角的位置以及内眼角的位置、虹膜中心位置，推测是否为人处于困惑的状态、人处于动摇的状态或者人处于紧张的状态。

具体而言，在人处于困惑的情况下、人处于动摇的情况下或者人处于紧张的情况下，眼睛的睁闭次数(眨眼的次数)会比通常增加，而且瞳也有向左右小幅度地移动的倾向。在此，状态推测部24D，基于眼睛的睁闭状态的时间序列数据，判断是否在规定时间内眨眼了规定次数以上。

而且，状态推测部24D计算虹膜中心位置与外眼角的位置之间的距离或者虹膜中心位置与内眼角的位置之间的距离。状态推测部24D，基于虹膜中心位置与外眼角的位置之间的距离或者虹膜中心位置与内眼角的位置之间的距离的时间序列数据，判断虹膜中心位置是否向左右小幅度地移动了。即，状态推测部24D，当虹膜中心位置与外眼角的位置之间的距离在规定时间内变化了规定次数的情况下，判断虹膜中心位置正在向左右小幅度地移动。另外，状态推测部24D也可以，在虹膜中心位置与内眼角的位置之间的距离在规定时间内变化了规定次数的情况下，判断虹膜中心位置正在向左右小幅度地移动。

而且，状态推测部24D，当判断在规定时间内眨眼了规定次数以上并且判断虹膜中心位置正在向左右小幅度地移动的情况下，推测人处于困惑的状态、人处于动摇的状态或者人处于紧张的状态。

另外，状态推测部24D也可以，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态、通过外眼角内眼角检测部23检测出的人的外眼角的位置以及内眼角的位置、通过虹膜检测处理部16(应为21)检测出的虹膜中心位置，推测人的感情。

接着，对第五实施方式的眼睛睁闭检测装置1D的处理进行说明。

图27是表示本发明的第五实施方式的眼睛睁闭检测装置1D的处理的一个例子的流程图。

因为步骤S101至步骤S106的处理与图3的步骤S1至步骤S6的处理相同，所以省略其说明。

其次，在步骤S107，外眼角内眼角检测部23检测外眼角的位置以及内眼角的位置。

图28是表示检测到外眼角的位置以及内眼角的位置的二值图像70的示意图。

由于二值图像70的边框是白色区域D1的外接矩形，在二值图像70，白色区域D1的左端的X坐标是二值图像70的左端的X坐标(X11)，白色区域D1的右端的X坐标是二值图像70的右端的X坐标(X12)，两个X坐标在生成二值图像70之际已经计算完毕。在此，外眼角内眼角检测部23利用已经计算完毕的两个X坐标计算外眼角的位置12以及内眼角的位置P13。另外，由于图28是左眼的二值图像70，白色区域D1的左端是外眼角的位置P12，白色区域D1的右端是内眼角的位置P13。

具体而言，外眼角内眼角检测部23，在X坐标(X11)从二值图像70的下端起朝向上端逐个像素地检索白色像素。而且，外眼角内眼角检测部23将最先检测到的白色像素的Y坐标决定为外眼角的位置P12的Y坐标。同样，外眼角内眼角检测部23，在X坐标(X12)从二值图像70的下端起朝向上端逐个像素地检索白色像素。而且，外眼角内眼角检测部23将最先检测到的白色像素的Y坐标决定为内眼角的位置P13的Y坐标。通过上述，检测外眼角的位置P12以及内眼角的位置P13。

因为步骤S108的处理与图22的步骤S87的处理相同，所以省略其说明。

其次，在步骤S109，状态推测部24D，基于通过眼睛状态判断部14判断的人的眼睛的睁闭状态、通过外眼角内眼角检测部23检测出的人的外眼角的位置以及内眼角的位置、通过虹膜检测处理部16(应为21)检测到的虹膜中心位置，推测人的状态。

其次，在步骤S110，输出部15，通过将状态推测部24D的推测结果重叠在步骤S1计算出的脸部图像上生成显示画面，并使显示器3进行显示。例如，在显示画面显示脸部图像以及人的状态的推测结果。另外，输出部15也可以将人的眼睛的睁闭状态的判断结果重叠在脸部图像上并使显示器3进行显示。

如上所述，利用眼睛的睁闭状态的判断结果、外眼角的位置以及内眼角的位置的检测结果、虹膜中心位置的检测结果，可以推测人的状态或者人的感情。

而且，眼睛睁闭检测系统100D还可以具备通过眼睛的活动进行输入操作的输入装置。例如，输入装置也可以根据虹膜中心位置与外眼角的位置或者内眼角的位置之间的距离，使显示在显示器3上的指针(pointer)移动。

另外，在上述各实施方式中，各构成要素即可以用专用的硬件来构成，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过让CPU或处理器等程序执行部读取并执行记录在硬盘或半导体存储器等存储介质中的软件程序来实现。而且，也可以通过让存储介质存储并移送程序或者经由网络移送程序，通过独立的其它的计算机系统来实施程序。

本发明的实施方式涉及的装置的功能的一部分或全部可以典型地作为集成电路LSI(Large Scale Integration)来实现。这些功能的一部分或全部即可以分别地形成芯片化，也可以形成为包含一部分或全部的芯片化。而且，集成电路并不局限于LSI，也可以用专用电路或通用处理器来实现。也可以利用在制造LSI之后可编程的FPGA(FieldProgrammable Gate Array)或可重新构筑LSI内部的电路单元的连接或设定的可重构处理器。

而且，本发明的实施方式涉及的装置的功能的一部分或全部也可以通过让CPU等处理器执行程序来实现。

而且，在上述所使用的数字都是为了具体地说明本发明而给出的示例，本发明并不局限于这些被示例的数字。

而且，上述流程图所示的各步骤被执行的顺序只是为了具体地说明本发明而给出的示例，在能够获得同样效果的范围内也可以是上述以外的顺序。而且，上述步骤的一部分也可以与其它的步骤同时(并行)执行。

产业上的可利用性

本发明涉及的技术，因为能够提高人的眼睛的睁闭状态的检测精度，作为从图像检测人的眼睛的睁闭状态的技术有其实用价值。

Claims (14)

1.一种眼睛睁闭检测方法，其特征在于，让计算机执行以下步骤：

获取包含通过摄像装置摄像的人的脸部的第一图像；

从所述第一图像生成包含所述人的眼睛区域的第二图像；

对所述第二图像进行二值化生成第三图像，在该第三图像，用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素；

基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；

输出与判断的结果相关的信息。

2.根据权利要求1所述的眼睛睁闭检测方法，其特征在于，

在所述判断，判断所述第一亮度区域内的所述最大高度是否大于对所述第三图像的高度乘以第一系数之后的值，当判断为所述第一亮度区域内的所述最大高度大于对所述第三图像的高度乘以第一系数之后的值的情况下，判断所述眼睛处于睁开的状态。

3.根据权利要求2所述的眼睛睁闭检测方法，其特征在于，

在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以第一系数之后的值以下的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第三图像的高度乘以比所述第一系数小的第二系数之后的值，当判断为所述第一亮度区域内的所述最大高度小于对所述第三图像的高度乘以所述第二系数之后的值的情况下，判断所述眼睛处于闭上的状态。

4.根据权利要求3所述的眼睛睁闭检测方法，其特征在于，

还从所述第一图像生成表示所述人的脸部区域的第四图像，

在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第四图像的高度乘以比所述第二系数小的第三系数和所述第二系数之后的值，当所述第一亮度区域内的所述最大高度小于对所述第四图像的高度乘以所述第三系数和所述第二系数之后的值的情况下，判断所述眼睛处于闭上的状态，当所述第一亮度区域内的所述最大高度在对所述第四图像的高度乘以所述第三系数和所述第二系数之后的值以上的情况下，判断所述眼睛处于睁开的状态。

5.根据权利要求2所述的眼睛睁闭检测方法，其特征在于，

还从所述第一图像生成表示所述人的脸部区域的第四图像，

在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第一系数之后的值以下的情况下，判断所述第一亮度区域内的所述最大高度是否小于对所述第四图像的高度乘以比所述第一系数小的第二系数和比所述第二系数小的第三系数之后的值，当判断为所述第一亮度区域内的所述最大高度小于对所述第四图像的高度乘以所述第二系数和所述第三系数之后的值的情况下，判断所述眼睛处于闭上的状态，当所述第一亮度区域内的所述最大高度在对所述第四图像的高度乘以所述第二系数和所述第三系数之后的值以上的情况下，判断所述眼睛处于睁开的状态。

6.根据权利要求3所述的眼睛睁闭检测方法，其特征在于，

所述第二图像呈矩形，

在所述判断，当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，基于所述第二图像的高度与横向宽度的比率，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态。

7.根据权利要求3所述的眼睛睁闭检测方法，其特征在于，

所述第二图像由红色成分、绿色成分以及蓝色成分表示，

当判断为所述第一亮度区域内的所述最大高度在对所述第三图像的高度乘以所述第二系数之后的值以上的情况下，还从所述第二图像生成由色相成分、饱和度成分以及明度成分表示的第五图像，

还对所述第五图像的所述色相成分进行二值化生成第六图像，在该第六图像，用第三亮度值表示灰度值小于阈值的像素、用第四亮度值表示灰度值在阈值以上的像素，

还基于具有所述第三亮度值的第三亮度区域，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态。

8.根据权利要求1至7中任一项所述的眼睛睁闭检测方法，其特征在于，

还基于所述第三图像分别检测上眼睑的位置以及下眼睑的位置。

9.根据权利要求8所述的眼睛睁闭检测方法，其特征在于，

在检测所述上眼睑的位置以及所述下眼睑的位置时，通过对所述第三图像进行形态梯度运算来检测所述上眼睑的位置以及所述下眼睑的位置。

10.根据权利要求1至9中任一项所述的眼睛睁闭检测方法，其特征在于，

所述第三图像是所述人的左眼以及右眼的其中之一的二值图像，

还基于所述第三图像分别检测外眼角的位置以及内眼角的位置。

11.根据权利要求10所述的眼睛睁闭检测方法，其特征在于，

在检测所述外眼角的位置以及所述内眼角的位置时，在所述第三图像，将具有所述第一亮度值的横向的左端的像素的位置作为所述外眼角以及所述内眼角的其中一方的位置进行检测，将具有所述第一亮度值的所述横向的右端的像素的位置作为所述外眼角以及所述内眼角的其中另一方的位置进行检测。

12.根据权利要求1至11中任一项所述的眼睛睁闭检测方法，其特征在于，

还将表示所述眼睛是处于睁开的状态还是处于闭上的状态的信息重叠显示在被显示在显示器的所述人的脸部图像上。

13.一种眼睛睁闭检测装置，其特征在于包括：

获取部，用于获取包含通过摄像装置摄像的人的脸部的第一图像；

眼睛区域检测部，从所述第一图像生成包含所述人的眼睛区域的第二图像；

二值化处理部，对所述第二图像进行二值化生成第三图像，在该第三图像，用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素；

判断部，基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；以及，

输出部，输出与判断的结果相关的信息。

14.一种眼睛睁闭检测程序，其特征在于，使计算机执行以下处理：

获取包含通过摄像装置摄像的人的脸部的第一图像；

从所述第一图像生成包含所述人的眼睛区域的第二图像；

对所述第二图像进行二值化生成第三图像，在该第三图像，用第一亮度值表示灰度值小于阈值的像素、用第二亮度值表示灰度值在阈值以上的像素；

基于所述第三图像的高度、在具有所述第一亮度值的第一亮度区域内的上端像素与下端像素之间的纵向的距离为最大的最大高度，判断所述人的眼睛是处于睁开的状态还是处于闭上的状态；

输出与判断的结果相关的信息。

Images