CN103679126B - 眼睛搜寻方法及眼睛状态检测装置与眼睛搜寻装置 - Google Patents

Abstract

本发明提供一种眼睛搜寻方法及使眼睛状态检测装置与眼睛搜寻装置。该方法包括以下步骤：从一脸部影像中找出两个鼻孔中心点；计算出该两鼻孔中心点之间的间距D及位在该两鼻孔中心点之间的一中间点；决定一基准点，该基准点与该中间点的水平距离与垂直距离分别是k1×D，k2×D，k1=1.6~1.8，k2=1.6~1.8；及以该基准点为中心决定一矩形框，该矩形框的水平方向宽度是大于该矩形框的垂直方向宽度，且该矩形框是围绕该脸部影像中的眼睛。通过前述方法，本发明可快速且正确地从一摄影单元所拍摄的脸部影像中找到眼睛的某一部位。

Description

眼睛搜寻方法及眼睛状态检测装置与眼睛搜寻装置

技术领域

本发明涉及影像处理技术，尤其关于如何从一脸部影像快速且正确地找出眼睛以供后续应用的技术。

背景技术

在一些需要辨识眼睛状态的应用中，例如检测一驾驶员的眼睛状态以判断其是否打瞌睡、检测一渐冻症病人的眼睛状态以判断其目前所下达的指令，已有多项技术问世。其中，关于通过影像处理方式来辨识眼睛状态的技术，在中国台湾436436、I349214、M416161、201140511等专利案，美国US8,094,883、US8,184,008及中国CN101196993等专利案中均有提及。此类技术主要是先以一摄影装置拍摄一使用者的脸部，以产生该使用者的脸部影像，再以一眼睛办识装置来处理所述这些脸部影像，并根据处理结果判断该使用者的眼睛状态。其中，该眼部办识装置在处理每一张脸部影像时，是先找出脸部区域，再根据所找到的脸部区域来找出眼睛区域，接着在该所找到的眼睛区域中找出眼睛的某一部位(例如上眼睑、下眼睑、瞳孔)，然后根据该某一部份的变化情形来判断该使用者的眼睛状态，例如张眼状态或闭眼状态。这些技术中尤受关切的议题之一是如何让装置快速且正确地从一脸部影像中找到眼睛区域。

在中国CN101196993号专利案中所揭露的已知眼部检测装置，是能从一脸部影像中找到鼻孔位置，并根据鼻孔位置设定一眼睛搜寻区域，然后于该眼睛搜寻区域中找到上、下眼睑。相对于在一脸部影像中直接找眼睛的做法，该已知眼部检测装置能较快速且正确地找到眼睛，这是因为在一脸部影像中的鼻孔是呈现黑色而易于被正确地辨识出来。

然而，该已知眼部检测装置所设定出来的眼睛搜寻区域是一水平方向宽度较小而垂直方向较大的矩形区域，其涵盖范围颇大（已涵盖到眉毛及颧骨），导致该已知眼部检测装置需要花费许多时间才能从该眼睛搜寻区域中找到上、下眼睑。

发明内容

有鉴于该已知眼部检测装置所设定出来的眼睛搜寻区域太大而导致需要花费较多时间才能从该眼睛搜寻区域中找到眼睛的某一部份，例如上、下眼睑或瞳孔。本发明提供一种能解决前述问题的方法及装置。

更详而言之，本发提供一种眼睛状态检测装置，其包括一储存单元、一摄影单元及一处理单元，该储存单元储存一程序，该摄影单元用于拍摄一使用者的脸部。当该处理单元载入并执行该程序时，该程序是使该处理单元执行以下步骤：接收该摄影单元所拍摄的一原始影像；从该原始影像取出一脸部影像；找出该脸部影像中的两个鼻孔中心点；计算出该两鼻孔中心点之间的间距D及决定一起算点坐标A（x1,y1）；根据该间距D及该起算点坐标A（x1,y1），计算出一基准点坐标B（x2,y2）；根据该基准点坐标B（x2,y2）在该脸部影像中定义出一矩形框；及从该矩形框所围绕的范围取出一眼部影像。其中，该起算点坐标A（x1,y1）所代表的位置点是位在该两鼻孔中心点之间的中间点，且x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8，较佳地，k1=k2。而该基准点坐标B（x2,y2）所代表的位置点是该矩形框的中心点，该矩形框的水平方向宽度是大于该矩形框的垂直方向宽度，以及该矩形框是围绕该脸部影像中的眼睛，使得该眼部影像中包含该使用者的眼睛。

较佳地，该程序是使该处理单元于取出该眼部影像之后继续执行一眼睛状态判断步骤，用以在该眼部影像中搜索出眼睛的上眼睑，并检测该上眼睑的弯曲程度及根据检测结果产生用以表示张眼或闭眼的一眼睛状态数据。

本发明更提供一种眼睛搜寻装置，其具有一处理单元及一程序，当该处理单元执行该程序时，该程序是使该处理单元执行上述的眼睛搜寻方法，及使该处理单元在从该脸部影像找到眼睛之后继续执行一眼睛状态判断步骤，该眼睛状态判断步骤是用以找出眼睛的上眼睑，并检测该上眼睑的弯曲程度及根据检测结果产生用以表示张眼或闭眼的一眼睛状态数据。

相对于现有技术，通过本发明方法及装置而获得的眼部影像或矩形框中，不但含有眼睛，且都比现有技术中提及的眼部搜索区域还要小而比较容易且快速地找到眼睛的某一部位。

附图说明

图1显示本发明的眼睛状态检测装置的一个较佳实施例的系统方块图。

图2显示该较佳实施例中的处理单元的执行流程。

图3显示该较佳实施例中的摄影单元所拍摄到的影像的示意图。

图4显示从该影像所取出的一眼部影像的示意图。

附图标号：

1储存单元 2摄影单元

10眼睛搜索程序码 11眼睛状态判断程序码

3处理单元 4输出单元

5输入单元 6原始影像

60基准点 61脸部影像

62鼻孔中心点 63眼部影像

具体实施方式

至于本发明的其它发明内容与更详细的技术及功能说明，将揭露于随后的说明。

图1的方块图是显示本发明的眼睛状态检测装置的一个较佳实施例，其包括一储存单元1、一摄影单元2、一处理单元3、电连接该处理单元3的一输出单元4与一输入单元5(可由多个按键所构成)。该储存单元1由一个或多个可存取的非挥发性存储器所构成，且储存有一程序，该程序包括一组眼睛搜索程序码10，较佳还包括一组眼睛状态判断程序码11。该摄影单元1是用于拍摄一使用者的脸部，以产生多张连续的影像并将之暂存于该储存单元1。

该摄影单元2较佳是具备可转动地调整方向及角度的镜头(图中未示)，以便将该镜头调整成仰望该使用者脸部的状态，例如使该镜头以仰角45度的角度朝向该使用者脸部。如此，该摄影单元2所拍摄到的每一张影像中的鼻孔都会被清楚地显示出来，这意味着每一张脸部影像的鼻孔辨识度将被大幅提升而有助于随后所述的鼻孔搜寻程序的执行。通常，该摄影单元2还具有一照明元件，用以在光线不足时适时进行补光，以确保其所拍摄到的所述这些脸部影像的清晰度。

该处理单元3是电连接该摄影单元2及该储存单元1，且至少包含一中央处理器(CPU，图中未示)及一随机存取存储器(RAM，图中未示)。当该处理单元3载入并执行该眼睛搜索程序码10时，该眼睛搜索程序码10是使该处理单元3执行以下a至g步骤，如图2、图3所示：

a)接收一原始影像6。该原始影像6是由该摄影单元2拍摄一使用者的脸部而产生的，其内容不仅包含该使用者的脸部，还包括一待去除部份，该待去除部份包括该使用者的头发、颈部及该使用者的背后影像。

b)从该原始影像6取出一脸部影像61。这可通过Adaboost演算法及一些既有的影像处理技术来达到取出该脸部影像的目的。理想上，所取出的脸部影像61中应该已经大部份地或完全地去除掉上述的待去除部份。

c)找出该脸部影像61中的两个鼻孔中心点62。关于在一脸部影像中找出该两鼻孔的作法，于现有技术中已有论及，容不赘述。由于在该脸部影像61中的每一鼻孔所占据的区域（即鼻孔区域）相对于其它区域会明显较黑，可大致取每一鼻孔区域的最长横轴及最长纵轴的交叉点，作为每一鼻孔的中心点。

d)计算出该两鼻孔中心点62之间的间距D及决定一起算点坐标A（x1,y1）。该起算点坐标A（x1,y1）所代表的位置点是位在该两鼻孔中心点之间的中间点。

e)根据该间距D及该起算点坐标A（x1,y1），计算出一基准点坐标B（x2,y2）。其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8，且较佳是k1=k2。根据实际验证的结果，经由前述所计算出来的该基准点坐标B（x2,y2）所代表的点，会刚好落在或很接近该脸部影像61中的一只眼睛的中心点。如果需要，于此步骤中，还可以根据该间距D及该起算点坐标A（x1,y1），计算出另一基准点坐标C（x3,y3），其中，x3=x1-k1×D，y3=y1+k2×D，该基准点坐标C（x3,y3）代表的点会刚好落在或很接近该脸部影像61中的另一只眼睛的中心点。

f)根据该基准点坐标B（x2,y2）在该脸部影像61中定义出一矩形框R1。该基准点坐标B（x2,y2）所代表的位置点是该矩形框R1的中心点，该矩形框R1的水平方向宽度w1=30~50pixel，该矩形框R1的垂直方向宽度w2=15~29pixel，且w1>w2。较佳是w1=40pixel、w2=25pixel。如果需要，还可以于此步骤中，根据该基准点坐标C（x3,y3）在该脸部影像61中定义出大小相同于该矩形框R1的另一矩形框R2。该基准点坐标C（x3,y3）所代表的位置点是该矩形框R2的中心点。

g)从该矩形框R1所围绕的范围内取出一眼部影像63，一如图4所示。如果需要，还可以于此步骤中，从该矩形框R2所围绕的范围内取出另一眼部影像。

根据实际验证的结果，经由f步骤所定义出来的矩形框R1，会刚好围绕在该脸部影像61中的一只眼睛的周围，位于该只眼睛正上方的眉毛不会位于该矩形框内(或是只有少部份会位于该矩形框内)，而位于该只眼睛正下方的颧骨也不会位于该矩形框内(或是只有少部份会位于该矩形框内)，另一个矩形框R2也是如此。这意味着，于g步骤中所得的任一眼部影像的内容都会包含眼睛，且该任一眼部影像都比现有技术中提及的眼部搜索区域小。

当该处理单元3依据上述步骤而从该原始影像6取得该眼部影像63或该两眼部影像63之后，会继续载入并执行该眼睛状态判断程序码11。该眼睛状态判断程序码11是使该处理单元3执行一眼睛状态判断步骤，用以在该眼部影像63或该两眼部影像63中搜索出眼睛的某一部位，例如上、下眼睑或瞳孔，并根据对该某一部位的检测结果产生一眼睛状态数据，例如以“0”代表张眼状态、以“1”代表闭眼状态。在本发明中，主要是利用检测上眼睑的弯曲程度来产生该眼睛状态数据，其原理是在张眼状态下，眼睛的上眼睑是呈现沿水平方向延伸的弧线，而在闭眼状态下，眼睛的上眼睑大致是呈现沿水平方向延伸的直线。当该处理单元3通过一影像技术处理该眼部影像63之后，就可得到沿着该眼部影像63中的上眼睑而绘制出来的一上眼睑图。如果该眼部影像63中的眼睛是在张眼状态下，则该上眼睑图会像是拋物线图形，此时，该处理单元3可根据抛物线公式可计算出该拋物线图形的焦距。然而，如果该眼部影像63中的眼睛是在闭眼状态下，则该上眼睑图会像是直线图形，此时，该处理单元3根据抛物线公式所计算出来的焦距是无限大。简言之，该处理单元3是能从该张眼部影像63处理得到一焦距，不同的焦距代表不同弯曲程度的上眼睑，不同弯曲程度的上眼睑代表不同的眼睛状态。当该处理单元3检查发现其处理多张连续影像所对应得到的焦距，是从某数值逐步递增到无限大时，即判断被摄入所述这些影像中的人的眼睛是闭上的，并因此而产生代表闭眼的眼睛状态数据“1”。而当该处理单元3检查发现其处理多张连续影像所对应得到的焦距，是从无限大逐步递减到某数值时，即判断被摄入所述这些影像中的人的眼睛是张开的，并因此而产生代表张眼的眼睛状态数据“0”。

该处理单元3于执行上述步骤的过程中所需要的数据或所产生的数据(例如该脸部影像、眼部影像)，是储存于该储存单元1中，所述这些数据是暂存性的储存或永久性的储存，则视实际执行需求而决定。

从上述说明可知，本发明的眼睛状态检测装置是能藉其该摄影单元2拍摄一使用者的脸部，并能藉其处理单元3处理该摄影单元2所拍摄到的每一张影像，及根据每一张影像的处理结果对应产生一眼睛状态数据供诸运用。例如，当该处理单元3对预定张数的连续影像进行处理时，若所得到眼睛状态数据都是代表闭眼状态的“1”，或是“1”的出现频率超过一门槛值时，就判断该使用者目前正在打瞌睡，此时，就驱使该输出单元4产生一提醒信息，例如，当该输出单元4具有一扬声器时，该提醒信息即是由该扬声器所发出的警示声。该输出单元4通常还具有一显示器(例如触控屏幕)，用以显示该提醒信息或其它相关资讯(例如用以供设定操作的用的人机操作接口)。

根据上述a至f步骤的说明可知，该处理单元3实际上是在执行一眼睛搜寻方法，该方法包括：

从一脸部影像中找出两个鼻孔中心点；

计算出该两鼻孔中心点之间的间距D及位在该两鼻孔中心点之间的一中间点；

决定一基准点，该基准点与该中间点的水平距离与垂直距离分别是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8，较佳是k1=k2；及

以该基准点为中心决定一矩形框，该矩形框的水平方向宽度w1=30~50pixel，该矩形框的垂直方向宽度w2=15~29pixel，且w1>w2。较佳是w1=40pixel、w2=25pixel。

相对于现有技术，通过本发明而获得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比现有技术中提及的眼部搜索区域还要小，使得该处理单元3的搜寻范围相对变小而比较容易且快速地找到眼睛的某一部位。

Claims (6)

1.一种眼睛状态检测装置，其特征在于，所述眼睛状态检测装置包括一储存单元、一摄影单元及一处理单元，所述储存单元储存一程序，所述摄影单元用于拍摄一使用者的脸部，所述处理单元是电连接所述摄影单元及所述储存单元，且当所述处理单元载入并执行所述程序时，所述程序是使所述处理单元执行以下步骤：

接收所述摄影单元所拍摄的一原始影像；

从所述原始影像取出一脸部影像；

找出所述脸部影像中的两个鼻孔中心点；

计算出所述两鼻孔中心点之间的间距D及决定一起算点坐标A(x1,y1)，所述起算点坐标A(x1,y1)所代表的位置点是位在所述两鼻孔中心点之间的中间点；

根据所述间距D及所述起算点坐标A(x1,y1)，计算出一基准点坐标B(x2,y2)，其中，x2＝x1+k1×D，y2＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8；

根据所述基准点坐标B(x2,y2)在所述脸部影像中定义出一矩形框，所述基准点坐标B(x2,y2)所代表的位置点是所述矩形框的中心点，所述矩形框的水平方向宽度是大于所述矩形框的垂直方向宽度；及

从所述矩形框所围绕的范围内取出一眼部影像，所述眼部影像中包含所述使用者的眼睛。

2.如权利要求1所述的眼睛状态检测装置，其特征在于，k1＝k2。

3.如权利要求1所述的眼睛状态检测装置，其特征在于，所述程序是使所述处理单元于取出所述眼部影像之后继续执行一眼睛状态判断步骤，用以在所述眼部影像中找出眼睛的上眼睑，并检测所述上眼睑的弯曲程度及根据检测结果产生用以表示张眼或闭眼的一眼睛状态数据。

4.一种眼睛搜寻方法，其特征在于，所述眼睛搜寻方法包括：

从一脸部影像中找出两个鼻孔中心点；

计算出所述两鼻孔中心点之间的间距D及位在所述两鼻孔中心点之间的一中间点；

决定一基准点，所述基准点与所述中间点的水平距离与垂直距离分别是k1×D，k2×D，且k1＝1.6～1.8，k2＝1.6～1.8；及

以所述基准点为中心决定一矩形框，所述矩形框的水平方向宽度是大于所述矩形框的垂直方向宽度，且所述矩形框是围绕所述脸部影像中的眼睛。

5.如权利要求4所述的方法，其特征在于，k1＝k2。

6.一种眼睛搜寻装置，其特征在于，具有一处理单元及一程序，当所述处理单元执行所述程序时，所述程序是使所述处理单元执行权利要求4～5任一项中所述的方法。