CN103680064B - 瞌睡提醒系统 - Google Patents

Abstract

本发明公开了一种瞌睡提醒系统，其包括一摄影单元、一处理单元、一输出单元及储存一瞌睡提醒程序的一储存单元。当该处理单元载入并执行该瞌睡提醒程序时，该瞌睡提醒程序使该处理单元执行以下步骤：接收该摄影单元所产生的多张连续影像；对每一张影像执行一影像分析步骤；根据分析结果执行一判断步骤，以判断该驾驶员是否睡着；及在判断结果为是时，驱使该输出单元产生一提醒信息。其中，该影像分析步骤在分析每一张影像中的上眼睑的弯曲程度。

Description

瞌睡提醒系统

技术领域

本发明涉及一种运用影像处理技术的瞌睡提醒系统，尤其涉及分析一连续影像中的上眼睑弯曲程度来判断眼睛开闭状态的技术。

背景技术

基于行车上的安全，目前已有多种瞌睡提醒装置问世，这种装置能够检测一驾驶员的眼睛状态以判断其是否打瞌睡，并在判断出该驾驶员正在打瞌睡时发出警报，以唤醒该驾驶员。现有的瞌睡提醒装置所采取的技术方案繁多，例如中国台湾436436、M416161、I349214、201140511等专利案及CN101196993等专利案。这些专利案提到检测一驾驶员的眨眼频率或闭眼时间是否超过一门槛值，一旦超过，就判定该驾驶员正在打瞌睡，并发出警报。为了要检测出该驾驶员的眼睛状态，通常是以一摄机模块来拍摄该驾驶员的脸部，并以一处理单元(CPU)来处理所拍摄到的影像，处理的重点在于快速且正确地找出影像中眼睛所在的区域，并检测位于该区域中的眼睛，以判断其是闭眼或开眼。

在CN101196993号案中所揭露的现有眼部检测装置，能从一脸部影像中找到鼻孔位置，并根据鼻孔位置设定一眼睛搜寻区域，然后在该眼睛搜寻区域中找到上、下眼睑。接着，根据该上、下眼睑所夹持的部份的像素数，来判断是开眼或闭眼。这种做法的问题在于，需要找出上、下眼睑才能进行开眼或闭眼的判断，这会花费掉不少处理时间，导致其提醒驾驶员的速度变慢。

发明内容

本发明提供一种瞌睡提醒系统，其只需要从一影像中找出上眼睑就能据以作出开眼或闭眼的判断，从而能够在一驾驶员正在打瞌睡时快速给予提醒。

更详而言之，本发明的瞌睡提醒系统包括一储存单元、一摄影单元、一处理单元及一输出单元。该储存单元储存一瞌睡提醒程序。该摄影单元用于拍摄一驾驶员的脸部以产生多张连续影像。该处理单元电性连接该摄影单元、该储存单元与该输出单元，且当该处理单元载入并执行该瞌睡提醒程序时，该瞌睡提醒程序使该处理单元执行以下步骤：接收该摄影单元所产生的该些影像；对每一张影像执行一影像分析步骤，其包括从被分析的该影像中取出一眼部影像，处理该眼部影像以得到一上眼睑图，检测该上眼睑图的弯曲程度，以及根据检测结果对应产生一眼睛状态数据；根据分析该些影像所得到的该些眼睛状态数据，执行用于判断该驾驶员是否睡着的一判断步骤；及在判断结果为是时，驱使该输出单元产生一提醒信息。

较佳地，在本发明中，该处理单元通过执行以下步骤而从被分析的该影像中取出该眼部影像：从该影像取出一脸部影像；找出该脸部影像中的两个鼻孔中心点；计算出该两鼻孔中心点之间的间距D及决定一起算点坐标A(x1，y1)，该起算点坐标A(x1，y1)所代表的位置点位在该两鼻孔中心点之间的中间点；根据该间距D及该起算点坐标A(x1，y1)，计算出一基准点坐标B(x2，y2)，其中，x2＝x1+k1×D，y2＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8；根据该基准点坐标B(x2，y2)在该脸部影像中定义出一矩形框，该基准点坐标B(x2，y2)所代表的位置点为该矩形框的中心点，该矩形框的水平方向宽度w1＝30～50pixel，该矩形框的垂直方向宽度w2，＝15～29pixel，且w1>w2；及从该矩形框所围绕的范围内取出该眼部影像。其中，更佳是k1＝k2。

较佳地，在本发明中，该处理单元亦可通过执行以下步骤而从被分析的该影像中取出该眼部影像：从该影像取出一脸部影像；从该脸部影像中找出两个鼻孔中心点；计算出该两鼻孔中心点之间的间距D及位在该两鼻孔中心点之间的一中间点；决定一基准点，该基准点与该中间点的水平距离与垂直距离分别是k1×D，k2×D，且k1＝1.6～1.8，k2＝1.6～1.8；在该脸部影像中定义出一矩形框，该矩形框的中心点为该基准点，且该矩形框的水平方向宽度大于该矩形框的垂直方向宽度；及从该矩形框所围绕的范围内取出该眼部影像，该眼部影像中含有该脸部影像中的眼睛。其中更佳是k1＝k2。

较佳地，在本发明中，该处理单元还可通过执行以下步骤而从被分析的该影像中取出该眼部影像：从该影像取出一脸部影像；从该脸部影像中找出两个鼻孔中心点；计算出该两鼻孔中心点之间的间距D及位在该两鼻孔中心点之间的一中间点；根据该间距D及该中间点决定一基准点；根据该基准点在该脸部影像中定义出一矩形框，该矩形框的中心点为该基准点；及从该矩形框所围绕的范围内取出该眼部影像，该眼部影像中含有该脸部影像中的眼睛。

相对于先前技术，通过本发明而获得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比先前技术中提及的眼部搜索区还要小。此外，本发明只需要分析影像中的上眼睑而不需要花时间去分析影像中的下眼睑。

至于本发明的其它发明内容与更详细的技术及功能说明，将揭露于随后的说明。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1显示本发明的瞌睡提醒装置的一个较佳实施例的系统方块图。

图2至图3显示该较佳实施例中的处理单元的执行流程。

图4的示意图显示经由该较佳实施例中的处理单元所处理得到的上眼睑图。

图5显示该较佳实施例中的处理单元的细部执行流程。

图6显示该较佳实施例中的摄影单元所拍摄到的影像6的示意图。

附图标号：

1储存单元2摄影单元

10瞌睡提醒程序

3处理单元4输出单元

5输入单元

6影像60基准点

600脸部影像601鼻孔中心点

61眼部影像

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1的方块图显示本发明的瞌睡提醒装置的一个较佳实施例，其包括一储存单元1、一摄影单元2、一处理单元3、电性连接该处理单元3的一输出单元4与一输入单元5(可由多个按键所构成)。该储存单元1由一或多个可存取的非挥发性存储器所构成，且储存有一瞌睡提醒程序10。该摄影单元2用于拍摄一驾驶员的脸部，以产生多张连续的影像并将之暂存于该储存单元1。

该摄影单元2较佳是具备可转动地调整方向及角度的镜头(图中未示)，以便将该镜头调整成仰望该驾驶员脸部的状态，例如使该镜头以仰角45度的角度朝向该驾驶员脸部。如此，该摄影单元2所拍摄到的每一张影像中的鼻孔都会被清楚地显示出来，这意味着每一张脸部影像的鼻孔辨识度将被大幅提升而有助于随后所述的鼻孔搜寻程序的执行。通常，该摄影单元2还具有一照明元件，用以在光线不足时适时补光，以确保其所拍摄到的该些脸部影像的清晰度。

该处理单元3电性连接该摄影单元2、该储存单元1及该输出单元4，且至少包含一中央处理器(CPU，图中未示)及一随机存取存储器(RAM，图中未示)。当该处理单元3载入并执行该瞌睡提醒程序10时，该瞌睡提醒程序10使该处理单元3执行以下a至d步骤，如图2所示：

a)接收该摄影单元2在拍摄一驾驶员的脸部时所对应产生的连续影像；

b)对每一张影像执行一影像分析步骤；

c)根据分析结果，执行一判断步骤，用于判断该驾驶员是否睡着；及

d)在判断结果为是时，驱使该输出单元4产生一提醒信息。例如，当该输出单元4具有一扬声器时，该提醒信息即是由该扬声器所发出的警示声。该输出单元4通常还具有一显示器(例如触控荧幕)，用以显示该提醒信息或其它相关信息(例如用以供设定操作之用的人机操作介面)。

在本发明中，该b步骤中所述的影像分析步骤如图3所示，其包括：

b1)从被分析的影像中取出一眼部影像；

b2)处理该眼部影像以得到一上眼睑图；

b3)检测该上眼睑图的弯曲程度；及

b4)根据检测结果，对应产生一眼睛状态数据。

在该b1步骤中，该眼部影像经以一影像处理技术处理(例如水平线化处理)之后所得到的上眼睑图可使用图4所示的示意图来表示。其中：图4(A)显示该眼部影像是一呈现张眼状态的眼部影像61，并显示根据该眼部影像61所处理出来的上眼睑图61a，且沿着该上眼睑图61a可大致绘出一抛物线图形610a，以抛线公式可计算出该拋物线图形610a的焦距(顶点V与焦点F之间的距离)。图4(B)显示该眼部影像是一呈现半张眼状态的眼部影像61，并显示根据它所处理出来的上眼睑图61b，且沿着该上眼睑图61b可大致绘出另一抛物线图形610b，以抛物线公式所计算出来的该另一拋物线图形610b的焦距大于该拋物线图形610a的焦距。图4(C)显示该眼部影像是一呈现闭眼状态的眼部影像61，并显示根据它所处理出来的上眼睑图61c，且沿着该上眼睑图61c可大致绘出一直线图形，以抛物线公式所计算出来的该直线图形的焦距是无限大。

从图4所显示的上眼睑图可知，人类的眼睛的上眼睑的弯曲程度，会根据其眼睛的张闭程度而有所不同。根据归纳统计结果，人类的眼睛在张开时，其上眼睑的弯曲程度会较大而类似一抛物线图形，而人类的眼睛在闭上时，其上眼睑的弯曲程度会明显很小而类似一直线图形。根据这个现象，该处理单元3即能根据抛物线公式来计算出每一张眼部影像61中的上眼睑图的焦距。不同的焦距代表不同弯曲程度的上眼睑，不同弯曲程度的上眼睑则代表眼睛不同的张闭状态。当该处理单元3检查发现其处理多张连续影像所对应得到的焦距，是从某数值逐步递增到无限大时，即判断被摄入该些影像中的该驾驶者的眼睛是闭上的，并因此而产生代表闭眼的眼睛状态数据“1”。而当该处理单元3检查发现其处理多张连续影像所对应得到的焦距，是从无限大逐步递减到某数值时，即判断被摄入该些影像中的驾驶者的眼睛是张开的，并因此而产生代表张眼的眼睛状态数据“0”。

从上述说明知，该摄影单元2拍摄该驾驶员的脸部一段预设时间而对应产生的连续影像，其每一张影像在经过上述的影像分析步骤之后所得到分析结果就是用于代表张、闭眼状态的眼睛状态数据，也就是说，每一张影像中所显示的眼睛状态都会被分析出来，接着，就可以根据每一张影像的分析结果来执行用于判断该驾驶员是否睡着的判断步骤。例如，在预定张数的影像中，有连续超过n张的影像被分析出来的结果都是“1”(其对应表示该驾驶员闭眼超过一段时间)，或是“1”的出现频率超过一门槛值(其对应表示该驾驶员张眼又闭眼的频率过高)，此时该处理单元3即可判定该驾驶员已进入瞌睡状态，并因而驱使该输出单元4产生该提醒信息。

相对于先前技术需要分析影像中的上、下眼睑才能判断一驾驶员是否打瞌睡的做法，本发明只需要从影像中分析出相对应的上眼睑，就可以据以判断一驾驶员是否在打瞌睡，从而使得本发明具有快速提醒正在打瞌睡的驾驶员的优点。

请配合参阅图5、图6，在本发明中，关于上述从一影像中取出一眼部影像的b1步骤较佳是包括以下b11～b16的步骤：

b11)从该影像6取出一脸部影像600。该影像6的内容不仅包含该驾驶员的脸部，还包括一待去除部份，该待去除部份包括该驾驶员的头发、颈部及该驾驶员的背后景象。在此步骤中，可通过Adaboost演算法及一些既有的影像处理技术来达到取出该脸部影像的目的。理想上，所取出的脸部影像600中应该已经大部份地或完全地去除掉上述的待去除部份。

b12)找出该脸部影像600中的两个鼻孔中心点601。关于在一脸部影像中找出该两鼻孔的作法，在先前技术中已有论及，容不赘述。由于在该脸部影像600中的每一鼻孔所占据的区域(即鼻孔区域)相对于其它区域会明显较黑，可大致取每一鼻孔区域的最长横轴及最长纵轴的交叉点，作为每一鼻孔的中心点。

b13)计算出该两鼻孔中心点601之间的间距D及决定一起算点坐标A(x1，y1)。该起算点坐标A(x1，y1)所代表的位置点位在该两鼻孔中心点之间的中间点。

b14)根据该间距D及该起算点坐标A(x1，y1)，计算出一基准点坐标B(x2，y2)。其中，x2＝x1+k1×D，y2＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8，且较佳是k1＝k2。根据实际验证的结果，经由前述所计算出来的该基准点坐标B(x2，y2)所代表的点，会刚好落在或很接近该脸部影像中的一只眼睛的中心点。如果需要，在此步骤中，还可以根据该间距D及该起算点坐标A(x1，y1)，计算出另一基准点坐标C(x3，y3)，其中，x3＝x1-k1×D，y3＝y1+k2×D。

b15)根据该基准点坐标B(x2，y2)在该脸部影像600中定义出一矩形框R1。该基准点坐标B(x2，y2)所代表的位置点为该矩形框R1的中心点，该矩形框R1的水平方向宽度w1＝30～50pixel，该矩形框R1的垂直方向宽度w2＝15～29pixel，且w1>w2。较佳是w1＝40pixel、w2＝25pixel。如果需要，还可以在此步骤中，根据该基准点坐标C(x3，y3)在该脸部影像600中定义出大小相同于该矩形框R1的另一矩形框R2。该基准点坐标C(x3，y3)所代表的位置点为该矩形框R2的中心点。

b16)从该矩形框R1所围绕的范围中取出上述的眼部影像61，请参阅图4。如果需要，还可以在此步骤中，根据从另一矩形框R2从该脸部影像600取出另一眼部影像61。

根据实际验证的结果，经由f步骤所定义出来的矩形框R1，会刚好围绕在该脸部影像600中的一只眼睛的周围，位于该只眼睛正上方的眉毛不会位于该矩形框内(或是只有少部份会位于该矩形框内)，而位于该只眼睛正下方的颧骨也不会位于该矩形框内(或是只有少部份会位于该矩形框内)，另一个矩形框R2也是如此。这意味着，在g步骤中所得的任一眼部影像的内容都会包含眼睛，且该任一眼部影像都比先前技术中提及的眼部搜索区小。

根据上述a至f步骤的说明可知，该处理单元3实际上是在执行一眼睛搜寻方法，该方法包括：

从一脸部影像中找出两个鼻孔中心点；

计算出该两鼻孔中心点之间的间距D及位在该两鼻孔中心点之间的一中间点；

决定一基准点，该基准点与该中间点的水平距离与垂直距离分别是k1×D，k2×D，且k1＝1.6～1.8，k2＝1.6～1.8，较佳是k1＝k2；及

以该基准点为中心在该脸部影像中定义出一矩形框，该矩形框的水平方向宽度w1＝30～50pixel，该矩形框的垂直方向宽度w2＝15～29pixel，且w1>w2。较佳是w1＝40pixel、w2＝25pixel。该矩形框会刚好包围该脸部影像中的眼睛，这表示通过本发明上述方法确实能使该处理单元3从一脸部影像中找到眼睛。

需附带一提的是，该处理单元3在执行上述步骤的过程中所需要的数据或所产生的数据(例如该脸部影像、眼部影像)，储存于该储存单元1中，该些数据是暂存性的储存或永久性的储存，则视实际执行需求而决定。

相对于先前技术，通过本发明而获得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比先前技术中提及的眼部搜索区还要小，使得该处理单元3的搜寻范围相对变小而比较容易且快速地找到眼睛的某一部位，例如上述的上眼睑。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种瞌睡提醒系统，其特征在于，包括：

接收单元，用于接收拍摄一驾驶员的脸部以产生的多张连续影像；

分析单元，用于对每一张影像执行一影像分析步骤，其包括从被分析的影像中取出一眼部影像，处理所述眼部影像以得到一上眼睑图，检测所述上眼睑图的弯曲程度，以及根据检测结果产生一眼睛状态数据；

判断单元，用于根据分析所述影像所得到的所述眼睛状态数据，执行一判断步骤，判断所述驾驶员是否睡着；及

输出单元，用于在判断结果为是时，驱使所述输出单元产生一提醒信息；

其中，所述分析单元用于从被分析的所述影像中取出所述眼部影像，其包括：

脸部影像取出单元，用于从所述影像取出一脸部影像；

鼻孔中心点确认单元，用于找出所述脸部影像中的两个鼻孔中心点；

间距及起算点坐标计算单元，用于计算出所述两个鼻孔中心点之间的间距D及决定一起算点坐标A(x1，y1)，所述起算点坐标A(x1，y1)所代表的位置点位在所述两鼻孔中心点之间的中间点；

基准点坐标计算单元，用于根据所述间距D及所述起算点坐标A(x1，y1)，计算出一基准点坐标B(x2，y2)，其中，x2＝x1+k1×D，y2＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8；

矩形框定义单元，用于根据所述基准点坐标B(x2，y2)在所述脸部影像中定义出一矩形框，所述基准点坐标B(x2，y2)所代表的位置点为所述矩形框的中心点，所述矩形框的水平方向宽度大于所述矩形框的垂直方向宽度；及

眼部影像确认单元，用于从所述矩形框所围绕的范围取出所述眼部影像，所述眼部影像中含有所述脸部影像中的眼睛。

2.如权利要求1所述的瞌睡提醒系统，其特征在于，k1＝k2。

3.一种瞌睡提醒系统，其特征在于，包括：

接收单元，用于接收拍摄一驾驶员的脸部以产生的多张连续影像；

分析单元，用于对每一张影像执行一影像分析步骤，其包括从被分析的影像中取出一眼部影像，处理所述眼部影像以得到一上眼睑图，检测所述上眼睑图的弯曲程度，以及根据检测结果产生一眼睛状态数据；

判断单元，用于根据分析所述影像所得到的所述眼睛状态数据，执行一判断步骤，判断所述驾驶员是否睡着；及

输出单元，用于在判断结果为是时，驱使所述输出单元产生一提醒信息；

其中，所述分析单元用于从被分析的所述影像中取出所述眼部影像，其包括：

脸部影像取出单元，用于从所述影像取出一脸部影像；

鼻孔中心点确认单元，用于从所述脸部影像中找出两个鼻孔中心点；

间距及中间点计算单元，用于计算出所述两个鼻孔中心点之间的间距D及位在所述两个鼻孔中心点之间的一中间点；

基准点确认单元，用于决定一基准点，所述基准点与所述中间点的水平距离与垂直距离分别是k1×D，k2×D，且k1＝1.6～1.8，k2＝1.6～1.8；

矩形框定义单元，用于以所述基准点为中心在所述脸部影像中定义出一矩形框，所述矩形框的水平方向宽度大于所述矩形框的垂直方向宽度；及

眼部影像确认单元，用于从所述矩形框所围绕的范围内取出所述眼部影像，所述眼部影像中含有所述脸部影像中的眼睛。

4.如权利要求3所述的瞌睡提醒系统，其特征在于，k1＝k2。

5.一种瞌睡提醒系统，其特征在于，包括：

接收单元，用于接收拍摄一驾驶员的脸部以产生的多张连续影像；

分析单元，用于对每一张影像执行一影像分析步骤，其包括从被分析的影像中取出一眼部影像，处理所述眼部影像以得到一上眼睑图，检测所述上眼睑图的弯曲程度，以及根据检测结果产生一眼睛状态数据；

判断单元，用于根据分析所述影像所得到的所述眼睛状态数据，执行一判断步骤，判断所述驾驶员是否睡着；及

输出单元，用于在判断结果为是时，驱使所述输出单元产生一提醒信息；

其中，所述分析单元用于从被分析的所述影像中取出所述眼部影像，其包括：

脸部影像取出单元，用于从所述影像取出一脸部影像；

鼻孔中心点确认单元，用于从所述脸部影像中找出两个鼻孔中心点；

间距及中间点计算单元，用于计算出所述两个鼻孔中心点之间的间距D及位在所述两个鼻孔中心点之间的一中间点；

基准点确认单元，用于根据所述间距D及所述中间点决定一基准点；

矩形框定义单元，用于根据所述基准点在所述脸部影像中定义出一矩形框，所述矩形框的中心点为所述基准点；及

眼部影像确认单元，用于从所述矩形框所围绕的范围取出所述眼部影像，所述眼部影像中含有所述脸部影像中的眼睛。