CN102356416B - 困倦判定装置及程序 - Google Patents

Abstract

根据所提取的眨眼的闭眼持续时间为规定时间(例如1秒)以上的区间中的眼睑开度的时序数据，求出极大值及极小值。在闭眼持续时间为1秒以上的区间上存在多个极小值时，一边通过从所求得的极大值向极小值每次向较低的值滑动某一确定的间隔的要领来设定可变闭眼阈值，一边相对于各可变闭眼阈值提取往返经过可变闭眼阈值的眨眼，来求出眨眼间间隔。若所求得的眨眼间间隔例如在1秒以下且在0.2秒以上，则判断为发生了频发性眨眼，由此检测频发性眨眼。能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。

Description

困倦判定装置及程序

技术领域

本发明涉及困倦判定装置及程序，尤其涉及判定车辆驾驶员的困倦状态的困倦判定装置及程序。 

背景技术

以前，如下清醒度下降检测装置(falling arousal level detection devices)为人们所知：从检测出的眨眼中，来判定出眨眼间间隔在规定时间以内所发生的眨眼频发的眨眼，以及眨眼间间隔在规定时间以上的伴随长时间闭眼的眨眼，根据利用眨眼频发的眨眼和伴随长时间闭眼的眨眼的履历信息，来判定被检测者的清醒度下降(专利文献1)。 

专利文献1：日本特开2008-73335号公报 

发明内容

发明要解决的问题 

然而，在上述的专利文献1所记载的技术中，存在如下问题：由于不区分通常的眨眼和频发性眨眼来提取眨眼，没有特殊化与频发性眨眼相关的提取方法，所以不能检测出频发性眨眼时多见的从闭眼折回到半睁眼后又返回到闭眼这样的眨眼现象，从而不能高精度地检测频发性眨眼。 

本发明是为解决上述问题而提出的，其目的在于提供一种困倦判定装置及程序，该困倦判定装置及程序能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。 

用于解决问题的手段 

为了实现所述的目的，第一发明涉及的困倦判定装置具有：拍摄单元，其对判定对象人员的包括眼睛的区域进行连续拍摄；开度检测单元，其基于所述拍摄单元连续拍摄得到的图像，来对眼睑开度的时序数据进行检测；频发性眨眼检测单元，其基于由所述开度检测单元检测到的眼 睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来进行检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测；困倦状态判定单元，其基于所述频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

第二发明的程序是使计算机发挥开度检测单元、频发性眨眼检测单元及困倦状态判定单元的功能的程序，所述开度检测单元，基于拍摄单元拍摄得到的图像，来对眼睑开度的时序数据进行检测，所述拍摄单元用于对判定对象人员的包括眼睛的区域进行连续拍摄；所述频发性眨眼检测单元，基于由所述开度检测单元检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值进行检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测；所述困倦状态判定单元，基于所述频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

根据第一发明及第二发明，利用拍摄单元对判定对象人员的包括眼睛的区域进行连续拍摄，并利用开度检测单元基于拍摄单元拍摄得到的图像，来检测眼睑开度的时序数据。 

然后，频发性眨眼检测单元基于开度检测单元所检测的眼睑开度的时序数据，从眼睑开度持续小于规定的阈值的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来进行检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测。困倦状态判定单元基于频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

这样，从眼睑开度持续小于规定的阈值的范围中，提取极大值和极小值，并利用在所提取的极大值和极小值之间设定的阈值来检测频发性眨眼，由此能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。 

上述的规定的阈值为与眼睑开度相关的标准的闭眼阈值。 

所述频发性眨眼检测单元从眼睑开度持续小于规定的阈值且在第二 规定时间以上的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在所述规定时间以内的频发性眨眼进行检测。 

所述频发性眨眼检测单元从眼睑开度持续小于规定的阈值的范围，针对以最小单位时间决定的多个提取区间，分别提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测。 

第三发明的困倦判定装置具有：拍摄单元，其对判定对象人员的包括眼睛的区域进行连续拍摄；开度检测单元，其基于所述拍摄单元连续拍摄得到的图像，来对眼睑开度的时序数据进行检测；频发性眨眼检测单元，其基于由所述开度检测单元检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极小值，并对所提取的极小值之间的间隔在规定时间以内的频发性眨眼进行检测；困倦状态判定单元，其基于所述频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

第四发明的程序是使计算机发挥开度检测单元、频发性眨眼检测单元及困倦状态判定单元的功能的程序，所述开度检测单元，基于拍摄单元拍摄得到的图像，来对眼睑开度的时序数据进行检测，所述拍摄单元用于对判定对象人员的包括眼睛的区域进行连续拍摄；所述频发性眨眼检测单元，基于由所述开度检测单元检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极小值，并对所提取的极小值之间的间隔处在规定时间以内的频发性眨眼进行检测；所述困倦状态判定单元，基于所述频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

根据第三发明及第四发明，利用拍摄单元对判定对象人员的包括眼睛的区域进行连续拍摄，利用开度检测单元基于拍摄单元拍摄得到的图像来检测眼睑开度的时序数据。 

然后，利用频发性眨眼检测单元基于由开度检测单元所检测到的眼睑开度的时序数据，从眼睑开度持续小于规定的阈值的范围，提取极小值，并对所提取的极小值之间的间隔在规定时间以内的频发性眨眼进行 检测。利用困倦状态判定单元基于频发性眨眼检测单元的检测结果来判定所述判定对象人员的困倦状态。 

这样，从眼睑开度小于规定的阈值的范围中提取极小值，基于所提取的极小值之间的间隔来检测频发性眨眼，由此能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。 

上述的困倦判定装置还可以包括第二频发性眨眼检测单元，该第二频发性眨眼检测单元基于开度检测单元所检测的眼睑开度的时序数据，利用规定的阈值来提取眨眼，并基于所提取的眨眼来检测频发性眨眼。困倦状态判定单元能够基于频发性眨眼检测单元的检测结果和第二频发性眨眼检测单元的检测结果，来判定所述判定对象人员的困倦状态。 

所述的困倦判定装置还可以包括眨眼特征量提取单元，该眨眼特征量提取单元基于由开度检测单元所检测到的眼睑开度的时序数据，来提取与频发性眨眼不同的眨眼特征量。困倦状态判定单元能够基于频发性眨眼检测单元的检测结果和眨眼特征量提取单元所提取的所述眨眼特征量，来判定所述判定对象人员的困倦状态。 

发明的效果 

如以上说明那样，根据本发明的困倦判定装置及程序，能够获得以下效果：能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。 

附图说明

图1是表示本发明第一实施方式的困倦判定装置的结构的示意图。 

图2是表示睁闭眼状态的状态过渡和分数之间的关系的表格。 

图3是表示眼睑开度的时序数据中的极大值及极小值的图表。 

图4是表示本发明第一实施方式的困倦判定装置的计算机中的阈值计算处理过程的内容的流程图。 

图5是表示本发明第一实施方式的困倦判定装置的计算机中的第一频发性眨眼检测处理过程的内容的流程图。 

图6是表示本发明第一实施方式的困倦判定装置的计算机中的睁闭眼状态判定处理过程的内容的流程图。 

图7是表示本发明第一实施方式的困倦判定装置的计算机中的第二频发性眨眼检测处理过程的内容的流程图。 

图8是表示本发明第一实施方式的困倦判定装置的计算机中的闭眼率提取处理过程的内容的流程图。 

图9是表示在成为闭眼状态的区间上设定的提取区间的图表。 

图10是表示本发明第二实施方式的困倦判定装置的计算机中的第二频发性眨眼检测处理过程的内容的流程图。 

图11是表示本发明第三实施方式的困倦判定装置的计算机中的第二频发性眨眼检测处理过程的内容的流程图。 

图12是表示眼睑开度的时序数据中的包络线的图表。 

具体实施方式

以下，参照附图详细地说明本发明的实施方式。另外，以将本发明应用于装载于车辆上的困倦判定装置中的情况为例进行说明。 

如图1所示，第一实施方式的困倦判定装置10具有：拍摄装置12，其例如设置于作为判定对象人员的驾驶员的斜前方，从斜下方连续地拍摄该驾驶员的脸部；计算机20，其基于拍摄装置12拍摄得到的脸部图像来判定困倦状态，并且将判定结果显示在显示装置40上。 

计算机20具有CPU、RAM(随机存取存储器)及ROM(只读存储器)，该ROM中存储有用于执行后述的阈值计算处理过程、闭眼率提取处理过程、第一频发性眨眼检测处理过程以及第二频发性眨眼检测处理过程的程序。该计算机20的功能结构如下所示。计算机20具有：眼睛区域提取部22，其从脸部图像中提取表示驾驶员的眼睛的眼睛区域；眼睑开度检测部24，其检测并记录表示眼睑睁开的程度的眼睑开度；睁闭眼状态判定部26，其使用预先设定的闭眼阈值及睁眼阈值，并根据检测出的眼睑开度的时序数据，来判定各眼睑开度的睁闭眼状态，并记录睁闭眼状态的时序数据；第一频发性眨眼检测部28，其根据所记录的睁闭眼状态的时序数据来检测频发性眨眼；第二频发性眨眼检测部30，其根据所记录的睁闭眼状态的时序数据及眼睑开度的时序数据来检测频发性眨眼；闭眼率提取部32，其根据所记录的睁闭眼状态的时序数据来提取 闭眼率；困倦判定部34，其基于第一频发性眨眼检测部28及第二频发性眨眼检测部30的检测结果和闭眼率提取部32所提取的闭眼率，来判定困倦状态；显示控制部36，其在判定为强烈困倦状态时，将警报信息显示在显示装置40上。另外，第一频发性眨眼检测部28是本发明的第二频发性眨眼检测单元的一个例子，第二频发性眨眼检测部30是本发明的频发性眨眼检测单元的一个例子。 

眼睑开度检测部24基于第一距离相对于第二距离的比例来连续检测眼睑开度并记录眼睑开度的时序数据，其中，所述第一距离是指，根据眼睛区域的图像检测出的上眼睑与下眼睑之间的距离，所述第二距离是指，预先规定的完全睁开时的上眼睑与下眼睑之间的距离。将眼睛完全睁开时的眼睑开度设为100％，将闭眼时的眼睑开度设为0％，眼睑开度检测部24检测出这样的情况下的眼睑开度，在如以半睁眼忍受困倦那样的情况下，检测出眼睑开度例如为约50％。另外，也可以检测出上眼睑与下眼睑之间的距离作为眼睑开度。 

睁闭眼状态判定部26利用预先设定的固定闭眼阈值及固定睁眼阈值，根据检测出的眼睑开度的时序数据来判定各眼睑开度的睁闭眼状态，并记录睁闭眼状态的时序数据。若眼睑开度在固定睁眼阈值以上，则判定为睁眼状态，若眼睑开度小于固定睁眼阈值且在固定闭眼阈值以上，则判定为半睁眼状态。另外，若眼睑开度小于固定闭眼阈值，则判定为闭眼状态。此外，固定闭眼阈值及固定睁眼阈值是与眼睑开度相关的标准的闭眼阈值及睁眼阈值，通过现有已知的方法来决定即可。 

第一频发性眨眼检测部28根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据来计算出眨眼次数。若所计算出的眨眼次数在例如1秒等一定时间内为一定的值以上，则第一频发性眨眼检测部28判断为发生了频发性眨眼，由此检测频发性眨眼。这里，第一频发性眨眼检测部28根据睁闭眼状态的状态过渡，每发生状态过渡就加上如图2所示的对各状态过渡赋予的分数(point)，并除以2，由此算出眨眼次数。此外，人在感到困倦时会出现短时间内多次反复眨眼的现象。该现象称为频发性眨眼，若了解到某段时间内发生了频发性眨眼，就可以高精度地判定困倦状态。 

这里，如图3所示，在眨眼埋于某个阈值中不能分离时，为了检测频发性眨眼，需要设定比固定闭眼阈值更低的阈值。因此，第二频发性眨眼检测部30如以下说明那样进行频发性眨眼的检测。 

首先，第二频发性眨眼检测部30与第一频发性眨眼检测部28同样，根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据来提取眨眼。在所提取的眨眼的闭眼持续时间在第二规定时间即1秒以上的情况下，第二频发性眨眼检测部30根据该闭眼持续的区间(眼睑开度持续在固定闭眼阈值以下且持续时间为1秒以上的范围)中的眼睑开度的时序数据，来求出包含于该区间中的极大值及极小值(例如，通过微分等根据拐点求出)。 

在闭眼持续时间为规定时间(例如1秒)以上的区间上存在多个极小值时，第二频发性眨眼检测部30一边通过从所求得的极大值(参照图3的极大值1)向极小值(参照图3的极小值1)每次向较低值滑动某一确定的间隔的要领来设定可变闭眼阈值，一边相对于各可变闭眼阈值提取往返经过可变闭眼阈值的眨眼来，求出眨眼间间隔。 

若所求得的眨眼之间的间隔在规定时间以下(例如1秒以下)且在0.2秒以上，则判断为发生了频发性眨眼，由此检测频发性眨眼。 

如以上所述，在第二频发性眨眼检测部30中，在存在闭眼持续时间长的眨眼的情况下，在该眨眼间间隔的区间上设定比固定闭眼阈值低的可变闭眼阈值，来进行频发性眨眼的检测。 

闭眼率提取部32根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据，来提取在一定时间内闭眼的比例即闭眼率(Perclos)。 

困倦判定部34针对提取出的闭眼率进行阈值判定，若闭眼率在与闭眼率相关的阈值以上，则判定为作为判定对象人员的驾驶员处于强烈困倦状态。另外，若第一频发性眨眼检测部28及第二频发性眨眼检测部30中的至少一个检测出频发性眨眼，则困倦判定部34判定为作为判定对象人员的驾驶员处于强烈困倦状态。 

接着，针对第一实施方式的困倦判定装置10的作用进行说明。首先，通过拍摄装置12连续拍摄驾驶员的脸部，并在计算机20中执行图4所 示的阈值计算处理过程。 

在步骤100中，从拍摄装置12取得脸部图像，在步骤102中，根据所取得的脸部图像来提取眼睛区域。 

然后，在步骤104中，基于所提取的眼睛区域的图像，算出眼睑开度，并记录在存储器(省略图示)中。在接下来的步骤106中，判定从处理开始起是否经过了规定时间，在未经过规定时间时，返回步骤100，而在已经过规定时间时，转移到步骤108。 

通过所述步骤100至步骤106，在存储器中记录在规定期间内检测出的眼睑开度的时序数据。 

在步骤108中，根据存储器所记录的眼睑开度的时序数据，算出眼睑开度的频度分布，在步骤110中，利用在上述步骤108计算出的眼睑开度的频度分布，分别算出标准的固定睁眼阈值和固定闭眼阈值。 

然后，在步骤112中，将在所述步骤110中所计算的固定睁眼阈值及固定闭眼阈值存储在存储器中，并结束阈值计算处理过程。 

若通过上述的阈值计算处理过程来计算一回固定睁眼阈值及固定闭眼阈值，则利用拍摄装置12对驾驶员的脸部进行连续拍摄，并且在计算机20中执行图5所示的第一频发性眨眼检测处理过程。 

在步骤120中，进行睁闭眼状态判定处理。所述步骤120是通过图6所示的睁闭眼状态判定处理过程来实现的。 

在步骤130中，从拍摄装置12取得脸部图像，在步骤132中，根据所取得的脸部图像提取眼睛区域。然后，在步骤134中，基于所提取的眼睛区域的图像，检测眼睑开度，并记录在存储器(省略图示)中。在接下来的步骤136中，对所述步骤134中检测出的眼睑开度与各固定睁眼阈值及固定闭眼阈值进行比较，来判定睁闭眼状态，并记录在存储器(省略图示)中，然后结束睁闭眼状态判定处理过程。 

然后，在第一频发性眨眼检测处理过程的步骤122中，判定从处理开始起是否经过了规定时间(例如10秒)。在未经过规定时间时，返回步骤120，但在已经过规定时间时，转移到步骤124。这时，将规定时间内的眼睑开度的时序数据和睁闭眼状态的时序数据记录在存储器中。 

在步骤124中，根据在所述步骤120中所记录的睁闭眼状态的时序 数据，对眨眼次数进行计数。在步骤126中，基于在所述步骤124中计数得到的眨眼次数，判定眨眼次数在一定时间(例如1秒)内是否在一定的值以上，来检测频发性眨眼，并返回步骤120。 

此外，在计算机20中，执行图7所示的第二频发性眨眼检测处理过程。首先，在步骤120中，进行睁闭眼状态判定处理。然后，在122中，判定处理开始起是否经过了规定时间(例如10秒)，在未经过规定时间时，返回步骤120，而在已经过规定时间时，转移到步骤124。在步骤124中，根据在所述步骤120中所记录的睁闭眼状态的时序数据，对眨眼次数进行计数。此外，上述的步骤120～124的处理与第一频发性眨眼检测处理过程一样，作为共用的处理构成即可。 

然后，在步骤140中，基于在所述步骤124中计数得到的眨眼次数，判定是否存在处于规定时间(例如1秒)以上的闭眼持续时间。在所计数的眨眼中，在不存在处于规定时间(例如1秒)以上的闭眼持续时间时，判断为未发生频发性眨眼，返回步骤120。另一方面，在存在处于规定时间(例如1秒)以上的闭眼持续时间时，则在步骤142中，根据在所述步骤120中所记录的眼睑开度的时序数据中的、持续闭眼1秒以上的区间的眼睑开度的时序数据，提取极大值及极小值。 

然后，在步骤144中，判定在所述步骤142是否已提取了多个极小值，未提取出多个极小值时，判断为未发生频发性眨眼，返回所述步骤120。另一方面，在根据持续闭眼1秒以上的区间的眼睑开度的时序数据已提取出多个极小值时，在步骤146中，一边以从所提取的极大值向极小值滑动的方式设定可变闭眼阈值，一边相对于各可变闭眼阈值提取眨眼来求出眨眼间间隔。若眨眼间间隔例如在0.2秒以上且在1秒以下，则判断为发生了频发性眨眼，由此检测频发性眨眼。若像这样进行频发性眨眼的检测，则返回所述步骤120。 

此外，在计算机20中，执行图8所示的闭眼率提取处理过程。首先，在步骤120中，进行睁闭眼状态判定处理。然后，在122中，判定从处理开始起是否已经过了规定时间(例如10秒)，未经过规定时间时，返回步骤120。另一方面，经过了规定时间时，则转移到步骤150。此外，所述的步骤120、122的处理与第一频发性眨眼检测处理过程一样，作为 共用的处理构成即可。 

在步骤150中，根据所述步骤120所记录的睁闭眼状态的时序数据来提取闭眼率。在接下来的步骤152中，针对所述步骤150所提取的闭眼率进行阈值判定，判定闭眼率是否在针对闭眼率决定的阈值以上，并返回所述步骤120。 

如以上所述，若分别执行第一频发性眨眼检测处理过程、第二频发性眨眼检测处理过程及闭眼率提取处理过程，则在计算机20中，取得第一频发性眨眼检测处理过程中的频发性眨眼的检测结果、第二频发性眨眼检测处理过程中的频发性眨眼的检测结果及闭眼率提取处理过程中的阈值判定的结果。此外，计算机20在检测出频发性眨眼或者判定为闭眼率在与闭眼率相关的阈值以上时，判断为驾驶员处于强烈困倦状态，并在显示装置40上显示警告信息，提醒驾驶员注意困倦。 

如以上说明的那样，若采用第一实施方式的困倦判定装置，则根据特定范围的眼睑开度的时序数据，提取极大值及极小值，并利用在极大值及极小值之间所设定的可变闭眼阈值来检测频发性眨眼，所述特定范围是指，眼睑开度持续小于固定闭眼阈值并处于闭眼状态的范围。由此，能够高精度地检测频发性眨眼，从而高精度地判定困倦状态。根据眼睑开度的时序数据，能够无遗漏地提取眨眼频发的现象，其结果，能够很好地判定驾驶员的困倦状态。 

本发明将频发性眨眼分为两类，并用各自不同的方法来检测。一种是，反复出现睁眼状态和闭眼状态且伴随比较大的眼睑开度变化的频发性眨眼，该频发性眨眼可利用如下方法来提取，即，对经过固定闭眼阈值的往返次数进行计数。另一种是，在接近闭眼状态的状态下反复出现微小的开度变化的频发性眨眼。该频发性眨眼可利用如下方法来提取，即，在闭眼阈值以下的极大值和极小值之间进一步设定用于检测的可变闭眼阈值，并对经过该可变闭眼阈值的往返次数进行计数。由此，可以高精度地检测作为困倦判定的指标的频发性眨眼。 

接下来，针对第二实施方式进行说明。另外，第二实施方式的困倦判定装置的结构与第一实施方式的困倦判定装置的结构相同，因此标注同一附图标记并省略说明。 

第二实施方式与第一实施方式不同之处在于，在闭眼持续时间为规定时间(例如1秒)以上的区间中的、以最小单位时间所决定的多个提取区间中的每一区间，一边变更可变闭眼阈值一边提取眨眼，来检测频发性眨眼。 

在第二实施方式的困倦判定装置的第二频发性眨眼检测部30中，如以下说明的那样进行频发性眨眼的检测。 

首先，，第二频发性眨眼检测部30与第一频发性眨眼检测部28一样，根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据来提取眨眼。在所提取的眨眼的闭眼持续时间为规定时间(例如1秒)以上时，第二频发性眨眼检测部30如图9所示那样，在该区间内设定多个所设定的最小单位时间的提取区间。 

然后，第二频发性眨眼检测部30针对所设定的各提取区间，求出在眼睑开度的时序数据中的包含于该提取区间内的极大值及极小值。在该提取区间内存在多个极小值时，第二频发性眨眼检测部30一边通过从所求得的极大值向极小值每次向较低的值滑动某一确定的间隔的要领来设定可变闭眼阈值，一边相对于各可变闭眼阈值提取往返经过可变闭眼阈值的眨眼。此外，第二频发性眨眼检测部30求出所提取的眨眼的眨眼间间隔，若求得的眨眼间间隔例如在0.2秒以上且在1秒以下，则判断为发生了频发性眨眼，由此检测频发性眨眼。 

如以上说明的那样，第二频发性眨眼检测部30对各提取区间进行频发性眨眼的检测。 

此外，用户操作计算机20，能够如所述图9那样变更最小单位时间的设定。由此，通过使提取极值的提取区间发生变化，从而能够调整计算量。 

接着，针对第二实施方式的第二频发性眨眼检测处理过程，利用图10来进行说明。此外，针对与第一实施方式相同的处理，标注同一附图标记并省略说明。 

首先，在步骤120中，进行睁闭眼状态判定处理。然后，在步骤122中，判定从处理开始起是否已经过了规定时间。在未经过规定时间时，返回步骤120，在已经过规定时间时，转移到步骤124。在步骤124中， 根据所述步骤120所记录的睁闭眼状态的时序数据，对眨眼次数进行计数。 

然后，在步骤140中，判定是否存在规定时间(例如1秒)以上的闭眼持续时间。在计数得到的眨眼中，在不存在规定时间(例如1秒)以上的闭眼持续时间时，判断为未发生频发性眨眼，返回步骤120。另一方面，在存在规定时间(例如1秒)以上的闭眼持续时间时，在步骤200中，在闭眼持续1秒上的区间上，设定由所设定的最小单位时间而成的提取区间。在步骤202中，根据在所述步骤120所记录的眼睑开度的时序数据中的、在所述步骤200所设定的提取区间的眼睑开度的时序数据，提取极大值及极小值。 

然后，在步骤204中，判定所述步骤202是否已提取了多个极小值。在未提取出多个极小值时，判断为未发生频发性眨眼，返回所述步骤200，错开设定提取区间。 

另一方面，在根据提取区间的眼睑开度的时序数据已提取了多个极小值时，在步骤206中，一边从所提取出的极大值向极小值滑动地来设定可变闭眼阈值，一边对于各可变闭眼阈值提取眨眼，来求出眨眼间间隔。若眨眼間间隔例如在0.2秒以上且在1秒以下，则判断为发生了频发性眨眼，由此检测频发性眨眼。若像这样进行频发性眨眼的检测，则转移到步骤208，判定是否针对在持续闭眼1秒以上的区间上设定的全部提取区间，进行了上述的提取处理。在存在未进行上述的处理的提取区间时，返回所述步骤200，错开设定提取区间定。另一方面，在判定为对全部提取区间进行了上述的处理时，返回所述步骤120。 

此外，第二实施方式的困倦推定装置的其他结构及作用与第一实施方式相同，因此省略说明。 

这样，在闭眼持续时间为规定时间以上的区间上设定多个提取区间，并针对每个提取区间，在极大值及极小值之间设定可变闭眼阈值，从而能够更高精度地检测频发性眨眼。 

接下来，针对第三实施方式进行说明。此外，第三实施方式的困倦判定装置的结构与第一实施方式的困倦判定装置结构相同，因此标注同一附图标记并省略说明。 

第三实施方式与第一实施方式不同之处在于，基于闭眼持续时间为规定时间(例如1秒)以上的区间中的极小值之间的间隔，来检测频发性眨眼。 

在第三实施方式的困倦判定装置的第二频发性眨眼检测部30中，如以下说明那样进行频发性眨眼的检测。 

首先，第二频发性眨眼检测部30与第一频发性眨眼检测部28一样，根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据来提取眨眼。在所提取的眨眼的闭眼持续时间为规定时间(例如1秒)以上时，第二频发性眨眼检测部30针对眼睑开度的时序数据中的该闭眼持续的区间，求出包含于该区间的极小值。 

在闭眼持续时间为规定时间(例如1秒)以上的区间上存在多个极小值时，第二频发性眨眼检测部30求出极小值之间的间隔。若所求得的极小值之间的间隔例如为在0.2秒以上且在1秒以下时，则第二频发性眨眼检测部30判断为发生了频发性眨眼，来检测频发性眨眼。 

如以上那样，在第二频发性眨眼检测部30中，在存在闭眼持续时间长的眨眼时，在闭眼持续的区间上，基于极小值之间的间隔，来进行频发性眨眼的检测。 

接下来，针对第三实施方式的第二频发性眨眼检测处理过程，利用图11来进行说明。此外，针对与第一实施方式相同的处理，标注同一附图标记并省略说明。 

首先，在步骤120中，进行睁闭眼状态判定处理。然后，在122中，判定从处理开始起是否已经过了规定时间。未经过规定时间时，返回步骤120，在已经过规定时间时，转移到步骤124。在步骤124中，根据在所述步骤120中所记录的睁闭眼状态的时序数据，来对眨眼次数进行计数。然后，在步骤140中，判定是否存在在规定时间(例如1秒)以上的闭眼持续时间。在计数得到的眨眼中，不存在规定时间(例如1秒)以上的闭眼持续时间时，判断为未发生频发性眨眼，返回步骤120。 

另一方面，存在规定时间(例如1秒)以上的闭眼持续时间时，在步骤300中，根据在所述步骤120所记录的眼睑开度的时序数据中的、持续闭眼1秒以上的区间的眼睑开度的时序数据，来提取极小值。 

然后，在步骤144中，判定在所述步骤300是否已提取了多个极小值。未提取出多个极小值时，判断为未发生频发性眨眼，返回所述步骤120。另一方面，在根据持续闭眼1秒以上的区间的眼睑开度的时序数据已提取了多个极小值时，在步骤302中求出所提取的极小值之间的间隔。若极小值之间的间隔例如为在0.2秒以上且在小于1秒以下，则判断为发生了频发性眨眼，由此检测频发性眨眼。若像这样进行频发性眨眼的检测，则返回所述步骤120。 

此外，第三实施方式的困倦推定装置的其他的结构及作用与第一实施方式相同，因此省略了说明。 

这样，根据眼睑开度小于固定闭眼阈值的范围的眼睑开度的时序数据来提取极小值，并基于所提取的极小值之间的间隔来检测频发性眨眼。由此，能够高精度地检测频发性眨眼，从而能够高精度地判定困倦状态。 

接下来，针对第四实施方式进行说明。此外，第四实施方式的困倦判定装置的结构与第一实施方式的困倦判定装置的结构相同，因此标注同一附图标记并省略说明。 

第四实施方式与第一实施方式不同之处在于，对于眼睑开度的时序数据，使用包络线来分离噪声，之后再求出极大值及极小值。 

在第四实施方式的困倦推定装置的第二频发性眨眼检测部30中，根据利用固定闭眼阈值及固定睁眼阈值判定出的睁闭眼状态的时序数据来提取眨眼。所提取的眨眼的闭眼持续时间为规定时间(例如1秒)以上时，第二频发性眨眼检测部30对于在该闭眼持续的区间中的眼睑开度的时序数据，如图12所示那样利用包络线来分离噪声。然后，第二频发性眨眼检测部30根据该闭眼持续的区间中的眼睑开度的时序数据的包络线，求出包含于该区间的极大值及极小值。第二频发性眨眼检测部30一边利用所求得的极大值及极小值，滑动地设定可变闭眼阈值，一边对于各可变闭眼阈值，提取往返经过可变闭眼阈值的眨眼，来求出眨眼间间隔。第二频发性眨眼检测部30基于所求得的眨眼间间隔来检测频发性眨眼。 

此外，第四实施方式的困倦推定装置的其他的结构及作用与第一实施方式相同，因此省略了说明。 

这样，对于眼睑开度的时序数据，利用包络线来分离噪声，从而能够分离由噪声引起的极大值及极小值。由此，能够更加高精度地检测频发性眨眼。 

此外，在所述的第一实施方式～第四实施方式中，虽然举例说明了提取闭眼率作为眨眼特征量来进行阈值判定的情况，但不限于此。也可以提取最大闭眼时间、眨眼次数、睁眼时间的分散值或者最大睁眼时间作为眨眼特征量，来进行阈值判定。 

此外，虽然举例说明了检测有无频发性眨眼的情况，但不限于此。也可以在检测有无频发性眨眼同时，还对频发性眨眼次数进行计数。这时，也可以根据频发性眨眼次数来检测眨眼频发率(每单位时间内的眨眼频发数)。 

此外，也可以将本发明的程序存储在记录媒介中来提供。 

附图标记说明 

10 困倦判定装置 

12 拍摄装置 

20 计算机 

22 眼睛区域提取部 

24 眼睑开度检测部 

26 睁闭眼状态判定部 

28 第一频发性眨眼检测部 

30 第二频发性眨眼检测部 

32 闭眼率提取部 

34 困倦判定部 

Claims (11)

1.一种困倦判定装置，其特征在于，具有：

拍摄部，其对判定对象人员的包括眼睛的区域进行连续拍摄；

开度检测部，其基于所述拍摄部连续拍摄得到的图像，来对眼睑开度的时序数据进行检测；

频发性眨眼检测部，其基于由所述开度检测部检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测；

困倦状态判定部，其基于所述频发性眨眼检测部的检测结果，来判定所述判定对象人员的困倦状态。

2.如权利要求1所述的困倦判定装置，其特征在于，

所述规定的阈值为与所述眼睑开度相关的标准的闭眼阈值。

3.如权利要求1或2所述的困倦判定装置，其特征在于，

所述频发性眨眼检测部从所述眼睑开度持续小于所述规定的阈值且持续时间为第二规定时间以上的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在所述规定时间以内的频发性眨眼进行检测。

4.如权利要求1或2所述的困倦判定装置，其特征在于，

所述频发性眨眼检测部从所述眼睑开度持续小于所述规定的阈值的范围，针对以最小单位时间决定的多个提取区间中的每一个提取区间，分别提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在所述规定时间以内的频发性眨眼进行检测。

5.如权利要求1或2所述的困倦判定装置，其特征在于，

还具有第二频发性眨眼检测部，该第二频发性眨眼检测部基于由所述开度检测部检测到的眼睑开度的时序数据，利用所述规定的阈值来提取眨眼，并基于所提取的眨眼来对频发性眨眼进行检测，

所述困倦状态判定部基于所述频发性眨眼检测部的检测结果和所述第二频发性眨眼检测部的检测结果，来判定所述判定对象人员的困倦状态。

6.如权利要求1或2所述的困倦判定装置，其特征在于，

还具有眨眼特征量提取部，该眨眼特征量提取部基于由所述开度检测部检测到的眼睑开度的时序数据，来提取与频发性眨眼不同的眨眼特征量，

所述困倦状态判定部基于所述频发性眨眼检测部的检测结果和所述眨眼特征量提取部所提取的所述眨眼特征量，来判定所述判定对象人员的困倦状态。

7.一种困倦判定装置，其特征在于，具有：

拍摄部，其对判定对象人员的包括眼睛的区域进行连续拍摄；

开度检测部，其基于所述拍摄部连续拍摄得到的图像，来对眼睑开度的时序数据进行检测；

频发性眨眼检测部，其基于由所述开度检测部检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围提取极小值，并对所提取的极小值之间的间隔在规定时间以内的频发性眨眼进行检测；

困倦状态判定部，其基于所述频发性眨眼检测部的检测结果，来判定所述判定对象人员的困倦状态。

8.如权利要求7所述的困倦判定装置，其特征在于，

还具有第二频发性眨眼检测部，该第二频发性眨眼检测部基于由所述开度检测部检测到的眼睑开度的时序数据，利用所述规定的阈值来提取眨眼，并基于所提取的眨眼来对频发性眨眼进行检测，

所述困倦状态判定部基于所述频发性眨眼检测部的检测结果和所述第二频发性眨眼检测部的检测结果，来判定所述判定对象人员的困倦状态。

9.如权利要求7所述的困倦判定装置，其特征在于，

还具有眨眼特征量提取部，该眨眼特征量提取部基于由所述开度检测部检测到的眼睑开度的时序数据，来提取与频发性眨眼不同的眨眼特征量，

所述困倦状态判定部基于所述频发性眨眼检测部的检测结果和所述眨眼特征量提取部所提取的所述眨眼特征量，来判定所述判定对象人员的困倦状态。

10.一种困倦判定方法，其特征在于，包括：

开度检测步骤，基于拍摄部拍摄得到的图像，来对眼睑开度的时序数据进行检测，所述拍摄部用于对判定对象人员的包括眼睛的区域进行连续拍摄；

频发性眨眼检测步骤，基于由所述开度检测步骤检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围，提取极大值和极小值，并对利用在所提取的极大值和极小值之间设定的阈值来检测的眨眼间间隔处在规定时间以内的频发性眨眼进行检测；

困倦状态判定步骤，基于所述频发性眨眼检测步骤的检测结果，来判定所述判定对象人员的困倦状态。

11.一种困倦判定方法，其特征在于，包括：

开度检测步骤，基于拍摄部拍摄得到的图像，来对眼睑开度的时序数据进行检测，所述拍摄部用于对判定对象人员的包括眼睛的区域进行连续拍摄；

频发性眨眼检测单元，基于由所述开度检测步骤检测到的眼睑开度的时序数据，从所述眼睑开度持续小于规定的阈值的范围提取极小值，并对所提取的极小值之间的间隔处在规定时间以内的频发性眨眼进行检测；

困倦状态判定步骤，基于所述频发性眨眼检测步骤的检测结果，来判定所述判定对象人员的困倦状态。