CN109419507A - 眨眼检测装置 - Google Patents

Abstract

一种眨眼检测装置，具备：眼睑状态指标值计测部，该眼睑状态指标值计测部按时间序列对眼睑状态指标值进行计测；以及信号处理装置。所述信号处理装置在从眼睑处于睁开状态的情况下的所述眼睑状态指标值的基准值即基线起的所述计测到的眼睑状态指标值的变化幅度超过了从所述基线起的阈值的大小时判定为发生了眨眼，计数所述计测到的眼睑状态指标值的从所述基线起的变化幅度超过从所述基线起的临时阈值的大小的次数，将与所述临时阈值对应的所述次数的变化成为极小时的临时阈值设定为所述阈值。

Description

眨眼检测装置

技术领域

本发明涉及检测人的眨眼的装置，更详细而言涉及在人的眼电图(EOG：Electrooculogram)等的表示眼睑的开闭运动中的眼睑的状态的波形中检测眨眼的装置。

背景技术

由于人的眨眼的发生频度及其变化与人的睡意的程度相关联，所以出于检测人的睡意等目的，提出了检测人的眨眼的技术。作为检测人的眨眼的方法，除了对人的眼睑进行拍摄并在该拍摄图像中检测眼睑的开闭的方法以外，还已知有在眼的周边安装电极并检测伴随着眼睑的开闭的视网膜与角膜之间的电位差(眼电位)的EOG法(眼电图法)。在EOG法中，简而言之，当发生眼睑的开闭运动时，会如图6A中示意性地描绘的那样发生眼电位的暂时性的变化，所以通过在按时间序列计测到的眼电位数据中捕捉这样的眼电位变化，从而检测眨眼。关于这点，在《瞬目の自動検出と瞬目波形解析》湯瀬裕昭、田多英興人間工学Vol.30No.5P331-337中，作为自动检测这样的伴随着眨眼的眼电位变化的一种算法，提出了如下算法：算出眼电位的时间序列数据的微分值，在眼电位的微分值的波形中，如图6B所示的那样、将值在预定的时间(0.2秒左右)内连续地超过了负侧和正侧的阈值的波形的部分检测为眨眼。在日本特开2017-42269中，提出了如下技术方案：在眼电位的微分值的时间序列数据的波形中检测眨眼的装置中，且该装置是在眼电位的微分值超过了上阈值之后在预定时间内从上阈值变化到下阈值为止时或在低于下阈值之后在预定时间内从下阈值变化到上阈值为止时将该眼电位的微分值的变化检测为眨眼波形的装置，其中，作为上阈值以及下阈值，使用将眼电位的微分值的标准偏差乘以基于表示眼电位的微分值的频率特性的频率特性值而设定的阈值用系数所得到的数值，实现眨眼波形的检测精度的提高。

发明内容

如上述那样检测眨眼的技术通常构成为，使用检测眼电位的传感器和/或拍摄眼睑的相机等按时间序列对表示眼睑的开闭运动中的眼睑的状态或位置的指标值进行计测，在相对于眼睑睁开时的指标值(基线)的眼睑闭合时的指标值的变化超过了“阈值”时(即，在眼睑闭合时的指标值从眼睑睁开时的指标值(基线)向上移位的情况下、指标值超过“阈值”地向上移位了时，在眼睑闭合时的指标值从眼睑睁开时的指标值(基线)向下移位的情况下、指标值超过“阈值”地向下移位了时)，判定为发生了眨眼。在该眨眼检测技术中，在成为眨眼发生的判定基准的“阈值”的设定中，典型而言，预先将由目视进行的眼睑的开闭运动的观察与指标值的变化进行对照，将作为眼睑从睁开状态转变为闭合状态时的指标值而预先特定了的值设定为“阈值”，例如，在进行车辆的驾驶中的驾驶员的眨眼的检测的情况等、实际的被检者的眨眼的检测中使用。

然而，如上述那样预先设定的阈值在固定为某个值不变的情况下，在刚开始眨眼的检测处理后，即使为最佳值，在开始被检者的实际的眨眼的检测处理之后，由于被检者的身体状况变化和/或其他各种各样的主要原因，若发生作为指标值的基准的基线的变动和/或眨眼发生时的指标值的变化幅度的变动，则也可能发生无法用于正确地检测眨眼的发生的情况。因此，为了防备这样的情况，在检测眨眼的装置中，若有在开始被检者的实际的眨眼的检测处理后也能够重新设定适当的阈值的构成，则会便利。

这样，本发明提供一种在眨眼检测装置中、在眨眼检测处理开始后也能够设定适当的阈值的构成，所述眨眼检测装置按时间序列对表示眼睑的开闭运动中的眼睑的状态的指标值进行计测、并在指标值超过阈值地向上或向下移位了时判定为发生了眨眼。

另外，在上述那样的装置中，优选的是，眨眼检测处理开始后的阈值的设定以适当的定时执行。因此，本发明提供一种上述那样的装置，该装置构成为能够适时执行阈值的设定。

本发明的技术方案的眨眼检测装置具备：眼睑状态指标值计测部，该眼睑状态指标值计测部按时间序列对眼睑状态指标值进行计测，所述眼睑状态指标值表示被检者的眼睛的眼睑的睁开状态与闭合状态之间的状态；以及信号处理装置。所述信号处理装置在从所述被检者的所述眼睑处于睁开状态的情况下的所述眼睑状态指标值的基准值即基线起的所述计测到的眼睑状态指标值的变化幅度超过了从所述基线起的阈值的大小时判定为发生了眨眼，存储按所述时间序列计测到的眼睑状态指标值，对于多个大小互相不同的各临时阈值(日文：仮閾値)，计数预定的期间内的所述被存储了的按时间序列计测到的眼睑状态指标值中的该眼睑状态指标值的从所述基线起的变化幅度超过从所述基线起的所述临时阈值的大小的次数，将与所述临时阈值对应的所述次数的变化成为极小时的临时阈值设定为所述阈值。

在上述技术方案中，典型而言，“眼睑状态指标值”可以为眼电位，在该情况下，“眼睑状态指标值计测部”为以能够以任意的形态计测伴随着眼睑的开闭的视网膜与角膜之间的电位差的方式对安装在眼的周边的至少一对电极间的电位差进行计测的“眼电位计测部”，将电极间的电位差即眼电位的信号进行A/D转换而用于之后的处理。在该情况下，对于眼睑处于睁开状态的情况下的眼电位的值，在发生了眨眼时即在眼睑从睁开状态变为了闭合状态的情况下的眼电位的变化的方向成为正侧还是负侧由被检者的电极的配置决定。在本技术方案中，应当理解的是，既包括发生了眨眼时的眼电位的变化为正侧的情况也包括发生了眨眼时的眼电位的变化为负侧的情况。此外，“眼睑状态指标值”也可以为眼电位的时间微分值。另外，在其他技术方案中，“眼睑状态指标值”也可以是表示被检者的眼睛的图像中的眼睑的开度(上眼睑与下眼睑的距离或上眼睑相对于下眼睑的位置)的指标值。在该情况下，可以是，“眼睑状态指标值计测部”包括对被检者的眼睛进行拍摄的相机，并在该眼睛的图像中利用任意的方法的图像处理来检测上眼睑和下眼睑的位置而检测眼睑的开度。在该情况下，眼睑从睁开状态成为了闭合状态的情况下的眼睑的开度的变化的方向成为正侧还是成为负侧由眼睑的开度来定义，在本技术方案中，应当理解的是，既包括发生了眨眼时的眼睑的开度的变化为正侧的情况也包括发生了眨眼时的眼睑的开度的变化为负侧的情况。此外，“眼睑状态指标值”也可以是眼睑的开度的时间微分值。重要的是，在眼睑从睁开状态时成为了闭合状态的情况下，“眼睑状态指标值”发生移位。

而且，在上述的构成中，如上所述，“基线”可以是被检者的眼睑处于睁开状态的情况下的眼睑状态指标值的基准值，典型而言，可以是在眼睑处于睁开状态的情况下计测到的眼睑状态指标值的时间平均值等。在此，在眼睑处于睁开状态的情况下计测到的眼睑状态指标值可以是在通常通过目视确认到眼睑处于睁开状态的期间内预先计测到的眼睑状态指标值。此外，也可以是，在眼睑状态指标值为眼电位或眼电位的时间微分值时，基线作为眼睑处于睁开状态的情况下的眼睑状态指标值的基准值而仅设定为0V，应当理解的是，该情况也属于本技术方案的范围。这样，典型而言，上述的眼睑状态指标值在眼睑为睁开状态时，向基线附近推移，在眼睑成为了闭合状态时，即在发生了眨眼时，向上方向(正侧)或下方向(负侧)从基线起超过某种幅度地发生变化。另外，“从基线起的阈值的大小”和基线与阈值的差量的大小相当。因此，在本技术方案的装置中，如上所述，在从基线起的眼睑状态指标值的变化幅度超过了从基线起的阈值的大小时能够判定为发生了眨眼。此外，在实施方式中，在发生眨眼时眼睑状态指标值从基线向正侧移位的情况下，当眼睑状态指标值超过阈值时，眼睑状态指标值的从基线起的变化幅度超过从基线起的阈值的大小，所以可以是，在眼睑状态指标值超过了阈值时，判定为发生了眨眼。另外，在发生眨眼时眼睑状态指标值从基线向负侧移位的情况下，当眼睑状态指标值低于阈值时，眼睑状态指标值的从基线起的变化幅度超过从基线起的阈值的大小，所以可以是，在眼睑状态指标值低于阈值时，判定为发生了眨眼。

然而，在如上述的本技术方案那样的眨眼检测装置的构成中，如已经提及的那样，成为眨眼发生的判定基准的“阈值”在固定于某个值不变的状态下，在发生了基线的变动和/或发生眨眼时的指标值的变化幅度的变动时，有时无法精度良好地检测眨眼的发生。更详细而言，在眼睑状态指标值中，只要不发生异常的情况，则在发生了眨眼时，眼睑状态指标值最大地且以某大致一定的幅度从基线起进行移位(在眼睑状态指标值中，与发生眨眼时相比其值更大地变动的情形通常不发生)，在进行这样的变化的眼睑状态指标值中，在对于与眨眼的发生相对应的从基线起的眼睑状态指标值的变化幅度而从基线起的阈值的大小过小时，会将未发生眨眼的眼睑状态指标值的变化误检测为眨眼，在从基线起的阈值的大小过大时，会产生眨眼的发生的漏检测(日文：検出漏れ)。

因此，在上述的本技术方案的装置中，如上所述，能够适时将阈值更新为适当的值。具体而言，如上所述，该“信号处理装置”存储按时间序列计测到的眼睑状态指标值，对于多个大小互相不同的各临时阈值，计数预定的期间内的眼睑状态指标值的从基线起的变化幅度超过从基线起的临时阈值的大小(基线与临时阈值的差量的大小)的次数，将与临时阈值对应的次数的变化成为极小时的临时阈值设定为阈值。即，在“信号处理装置”中，首先，在预定的期间内记录了的眼睑状态指标值中，一边变更临时阈值，一边对于各个临时阈值计数眼睑状态指标值的从基线起的变化幅度超过从基线起的临时阈值的大小的次数、所谓“临时的眨眼的发生次数”，接着，检测临时的眨眼的发生次数的变化成为极小的临时阈值，将该临时阈值更新为成为眨眼发生的判定基准的“阈值”。

根据上述的信号处理装置的构成，在眨眼检测处理开始后，也能够使用到此为止计测到的眼睑状态指标值来将“阈值”向更适当的值更新。即，在如本技术方案那样通过从基线起的眼睑状态指标值的变化幅度超过了从基线起的阈值的大小来检测眨眼的发生的构成中，如已经提及的那样，在从基线起的阈值的大小过小时，眨眼的发生的误检测变多，在从基线起的阈值的大小过大时，眨眼的发生的漏检测变多，若“阈值”为适当的值，则可以认为眨眼的发生的误检测和漏检测均变少，检测次数稳定。因此，能够采用检测次数稳定的“阈值”、即临时的眨眼的发生次数的变化成为极小时的临时阈值作为适当的“阈值”。实际上，如在后面的实施方式的部分(日文：欄)中所说明的那样，示出了：若使用如上所述那样选择了的“阈值”，则能够精度良好地检测眨眼。

在上述技术方案中，可以是，上述信号处理装置一边使临时阈值每次变化预定幅度或使临时阈值每次扫描预定幅度，一边计数与各临时阈值对应的、眼睑状态指标值的从基线起的变化幅度超过从基线起的临时阈值的大小的次数。在该情况下，在上述信号处理装置中，在一个技术方案中，可以是，将临时阈值中的、与两个彼此相邻的临时阈值对应的两个次数之间的差量成为极小时的临时阈值选择作为阈值。另外，在上述信号处理装置中，在其他的技术方案中，可以是，将临时阈值中的、与彼此相邻的预定数量的例如5个临时阈值对应的预定数量的次数之间的标准偏差成为极小时的临时阈值选择作为阈值。总之，在对于临时阈值生成了眼睑状态指标值的从基线起的变化幅度超过从基线起的临时阈值的大小的次数的直方图的情况下，只要将直方图成为最平坦时的临时阈值选择作为阈值即可。

另外，在上述技术方案中，用于阈值的设定的眼睑状态指标值的“预定的期间”可以由装置的设计者或使用者任意设定。例如，“预定的期间”可以为预定的时间的长度。在该情况下，“预定的时间的长度”可以设定为包括能够精度良好地实现阈值的设定的量的眼睑状态指标值的时间的长度。或者，也可以是到由上述信号处理装置判定出的眨眼的发生次数达到预定的次数为止的期间。在此，“预定的次数”可以是能够以足够的精度实现阈值的设定的眨眼的次数。而且，在上述技术方案中，上述信号处理装置可以构成为每当经过所述的预定的期间时重新设定阈值，优选可以构成为能够适时更新阈值。

这样，在上述技术方案中，在按时间序列对眼睑状态指标值进行计测、并在眼睑状态指标值的从基线起的变化幅度超过了从基线起的阈值的大小时判定为发生了眨眼的眨眼检测装置中，当设定了适当的阈值时，可降低眨眼的发生的误检测和漏检测，基于在适当的阈值的附近、计数的眨眼的发生次数稳定这一统计上的认识，能够将阈值更新为适当的值。根据该技术方案，在进行车辆的驾驶中的驾驶员的眨眼的检测、或正在进行案头工作的被检者的眨眼的检测等的情况下，在眨眼检测处理开始后，即使发生基线的变动和/或眨眼发生时的指标值的变化幅度的变动，也能够将阈值适时更新为适当的值，所以能够实现精度更好的眨眼的检测。另外，根据本技术方案，由于阈值的更新处理能够在眨眼检测处理的执行中并行地执行，所以也可以为了阈值的更新而不中断眨眼检测处理，能够进行长时间的连续的眨眼的检测。

本技术方案的其他的目的以及优点根据以下的本发明的优选的实施方式的说明而变得明了。

附图说明

以下将参照附图来说明本发明的示例性实施方式的特征、优点、以及技术和工业重要性，其中同样的附图标记表示同样的部件，并且附图中：

图1A是示意性地示出由EOG法得到的眨眼发生中的眼电位的变化的图。

图1B是示意性地示出本发明的眨眼检测装置的构成的图。

图2A是示意性地示出根据本发明的教导、对于在预定的期间内记录了的眼睑状态指标值(眼电位)按每个临时阈值的大小计数临时的眨眼次数(眼睑状态指标值超过临时阈值的次数)的情况的图。

图2B示出对与临时阈值对应的临时的眨眼次数进行标绘(英文：plot)得到的临时的眨眼次数的直方图(柱状图)、表示临时的眨眼次数的曲线ft、以及表示与临时阈值对应的临时的眨眼次数的变化的曲线Δft的例子。

图2C示出典型的眼电位的时间变化的例子，例示了：若将图2B的与临时阈值对应的临时的眨眼次数的变化的极小值时的临时阈值设定为阈值则能够精度良好地检测眨眼。

图3A示出对通过目视确认到的眨眼发生与从由传感器计测到的眼电位判定出的眨眼发生进行对照的情况。在图中，“OK”表示目视确认到的眨眼发生即使从眼电位也能够检测到(正确应答)，“NG”表示目视确认到的眨眼发生无法从传感器的眼电位检测到的情况(漏检测)以及在传感器的眼电位中误检测到眨眼的情况(误检测)。

图3B是一边变更与由传感器计测到的眼电位对应的临时阈值一边算出检测率(在眼电位中检测到的眨眼次数相对于目视确认到的眨眼发生次数的比)和误检测率(在眼电位中误检测的次数相对于检测为眨眼的次数的比)并与误检测率对应地对检测率进行标绘得到的图。离检测率1.0、误检测率0的点最近的标绘的临时阈值成为最佳的阈值。

图4是以流程图的形式示出本实施方式的眨眼检测的处理的例子的图。

图5A是以流程图的形式示出本实施方式的阈值设定监视处理的例子的图。

图5B是以流程图的形式示出图5A的处理中的阈值设定处理的例子的图。

图6A是示意性地示出利用相关技术中的EOG法得到的眨眼发生中的眼电位的变化的图。眼电位的变化方向与图1A相反的理由是因为阳极和阴极的配置与图1A的情况相反。

图6B是示意性地示出利用相关技术中的EOG法得到的眨眼发生中的眼电位的变化的微分值的图。眼电位的变化方向与图1A相反的理由是因为阳极和阴极的配置与图1A的情况相反。

图7A是与成为眨眼检测的判定基准的阈值一起示出典型的眼电位的时间变化的图。示出了如下例子：在左边的阶段中，能够利用被设定的阈值检测发生了眨眼时的眼电位变化B，但在右边的阶段中，基线上升，在被设定的阈值处误检测X变多。

图7B是与成为眨眼检测的判定基准的阈值一起示出典型的眼电位的时间变化的图。示出了如下例子：在左边的阶段中，能够利用被设定的阈值检测发生了眨眼时的眼电位变化B，但在右边的阶段中，基线下降，在被设定的阈值处漏检测Y变多。

具体实施方式

以下，参照附图，针对几个优选的实施方式详细说明本发明。在图中，相同的附图标记表示相同的部位。

装置的构成

在本发明的眨眼检测装置的一个优选的实施方式中，在基本的构成中，与日本特开2017-42269的情况同样地，利用EOG法计测被检者的眼电位。已知：如图1A示意性地示出的那样，眼电位在眼睑的开闭运动中根据眼睑的状态而变化，在眼睑为全睁开状态的情况和全闭合状态的情况之间产生大致一定的幅度的电位差(以下，将眼睑为全睁开状态时称为“睁开状态”，将眼睑为全闭合状态时称为“闭合状态”)，能够作为表示眼睑的状态的指标值、即眼睑状态指标值进行参照，所以在该眼电位的时间序列数据中，将被检者的眼睑为睁开状态的情况下的电位作为基准值、即基线，在从基线起的眼电位的移位幅度超过设定为和睁开状态与闭合状态之间的电位差大致相当的或设定为比该电位差稍小的阈值的大小时，被检者的眼睑成为闭合状态，判定为发生了眨眼，由此能够检测眨眼。

在本实施方式的眨眼检测装置的构成中，参照图1B，首先，在被检者的脸面1的眼睛以及眼睑2的周围至少贴附一对电极EL1、EL2，该电极间的电位差作为眼电位信号而被依次向信号处理装置3发送。在信号处理装置3中，在“前处理部”为了将来自电极的眼电位信号转换为能够适应于后段的处理的形式而依次进行数字化等的处理，被实施了该处理的眼电位信号被向“眨眼检测部”和“数据保存部”发送。在眨眼检测部中，以后面说明的形态对眼电位信号和阈值进行比较，检测眨眼的发生。另一方面，发送到数据保存部的眼电位信号暂且保存并积累在数据保存部，之后，由“阈值设定部”利用，该“阈值设定部”用于设定由眨眼检测部利用的阈值。如后面详细说明的那样，阈值设定部使用在预定的期间内得到的眼电位信号，决定并设定对眨眼发生的检测而言最佳的阈值，被设定的阈值被眨眼检测部参照。另外，在本实施方式的眨眼检测装置中，可以构成为，在眨眼检测处理的执行期间，也按预定的期间利用阈值设定部更新阈值，可以设置有用于监视该预定的期间的经过的“监视部”。监视部可以构成为参照来自计时器的时刻和/或在眨眼检测部中检测到的眨眼的次数，以后面说明的形态对阈值设定部赋予阈值设定处理执行的指示(阈值设定标志)。而且，可以构成为，眨眼检测的结果例如被向用于睡意判定的任意的装置(未图示)发送，或者例如被向显示器(未图示)发送并显示。典型而言，信号处理装置3可以为计算机装置，装备有以通常的形态利用未图示的双向公共总线而互相连结的CPU、存储装置、输入输出装置(I/O)，眨眼检测装置的各部分的工作通过在CPU中执行程序来实现。

此外，在图1A中，在用作眼睑状态指标值的眼电位中，眼睑的闭合状态的眼电位相对于眼睑的睁开状态变化的方向为正侧，但该变化的方向由贴附于被检者的脸面1的电极EL1、EL2的配置决定，所以根据该配置，眼睑的闭合状态的眼电位的变化的方向也可以为负侧(参照图6A。在该情况下，阈值设定在基线的下侧)。另外，用于眨眼检测的眼睑状态指标值也可以如图示那样是眼电位自身的时间序列数据，也可以是该眼电位的时间微分值的时间序列数据。在该情况下，由于眨眼发生时的眼睑状态指标值的变化在正侧和负侧这双方发生(参照图6B)，所以基线可以设定为大致为0，阈值可以设定在正侧和负侧中的任一方或双方。而且，眼睑状态指标值也可以是从用相机(未图示)拍摄到的被检者的眼睛的图像利用任意的图像处理的方法来检测上眼睑和下眼睑的位置而得到的上眼睑-下眼睑间的距离。在该情况下，在前处理部执行从相机图像到上眼睑-下眼睑间的距离的计测为止的处理，上眼睑-下眼睑间的距离的时间序列数据被向“眨眼检测部”和“数据保存部”发送。在将上眼睑-下眼睑间的距离用作眼睑状态指标值的情况下，将眼睑的睁开状态下的距离设定为基线，阈值设定为与眼睑的闭合状态相当的距离(＝0)或比其稍大的值。应当理解的是，任一情况均属于本发明的范围。

眨眼的检测以及阈值的设定的原理

在由本实施方式的装置进行的眨眼检测中，如上所述，当依次计测到的眼睑状态指标值的从基线起的变化幅度超过了从基线起的阈值的大小时，判定为发生眨眼。关于这点，在实际用作眼睑状态指标值的被检者的眼电位等中，眨眼发生时的眼睑状态指标值的变化幅度存在某种程度的偏差，另外，除了因眨眼导致的值的变化以外还会发生因眼球运动等其他的主要原因导致的变化，所以优选的是，对阈值进行调节，以使得尽可能少地将眨眼以外的变化误检测为眨眼、即尽可能少地误检测，并且能够尽可能不遗漏地检测实际发生了的眨眼、即能够尽可能少漏检测地、尽可能检测所有的眨眼。

另外，在“发明内容”中也如所述那样，即使某个阈值在刚开始眨眼的检测处理后能够适当地用于眨眼发生的检测，有时也会由于之后的被检者的身体状况变化和/或其他各种各样的状况的变化而无法用于精度良好地检测眨眼发生。例如，如图7A例示的眼电位的波形(眼睑的闭合状态的值向眼睑的睁开状态的值的正侧移位的波形)那样，在该图的左边，由于发生了眨眼的波形部分B的全部均超过被设定的阈值，其他的眼电位的变动低于阈值，所以相对于能够选择性地仅检测发生了眨眼的波形部分B的情形，如该图的右边那样，当由于某些主要原因而在眨眼的检测处理的执行期间基线上升时，眨眼以外的眼电位的变动X也超过阈值，这样，会发生眨眼的误检测。另外，如图7B例示的眼电位的波形那样，相对于在该图的左边能够选择性地仅检测发生了眨眼的波形部分B的情形，如该图的右边那样，当由于某些主要原因而在眨眼的检测处理的执行期间基线下降时，发生了眨眼的波形部分B中的、振幅稍小的波形Y低于阈值，导致漏检测。为了即使有这样的眨眼的检测处理的执行期间的状况的变化也能够尽可能精度良好地仅选择发生了眨眼的波形部分B，不将阈值固定于某个值而是能够适时将阈值更新为最佳的值即可。

另外，在用作图7A、图7B所例示的眼睑状态指标值的眼电位的波形中，当从基线附近起在阈值的大小变大的方向上扫描了时，在从基线起的阈值的大小小的期间，眨眼以外的眼电位的变动也与发生了眨眼的波形部分B一起超过阈值的大小，所以误检测变多，但之后，当从基线起的阈值的大小某种程度变大时，超过从基线起的阈值的大小的变动仅为发生了眨眼的波形部分B，即使在其附近阈值稍微增减，超过从基线起的阈值的大小的变动的次数的变化也变少。并且，当从基线起的阈值的大小进一步变大时，连发生了眨眼的波形部分B也不会超过从基线起的阈值的大小，漏检测变多。这样的理由是因为：在用作眼睑状态指标值的眼电位等的波形中，作为这些波形的特征，即使基线变动(虽然有某种程度的偏差)，发生了眨眼的波形部分B的振幅也大致一致，且比与基线重叠着的眨眼以外的眼电位的变动振幅大某种程度的幅度以上。因此，当着眼于该眼睑状态指标值的波形的特征时，在某个期间内的眼睑状态指标值的波形中，一边逐渐增大从基线起的临时的阈值(临时阈值)的大小，一边计数超过从基线起的临时阈值的大小的次数，若对超过从基线起的临时阈值的大小的次数的变化最稳定时的临时阈值进行检测，则可以认为能够将该临时阈值用作适当的阈值。

这样，在本实施方式中，阈值的设定基于上述的认识而执行。具体而言，即，如图2A所示意性地描绘的那样，首先，在眼电位等的眼睑状态指标值的时间序列数据的波形(在图示的例子中、眼睑的闭合状态的值向眼睑的睁开状态的值的正侧移位的波形)中，将临时阈值从0mV起每次增大预定的间隔(在临时阈值小时和临时阈值大时，间隔可以设定得宽，在假定为临时阈值接近适当的阈值的范围内，间隔可以设定得窄。)，在各个临时阈值中，将从基线起的眼睑状态指标值的大小超过了从基线起的临时阈值的大小时判定为临时的眨眼发生，并计数该次数。并且，关于按照每个临时阈值得到的临时的眨眼发生的次数，如图2B所示的那样，可以是，生成与临时阈值对应的临时的眨眼发生的次数的直方图，将赋予表示临时的眨眼发生的次数的曲线ft的最平坦的部位、即临时的眨眼发生的次数的变化曲线Δft的极小minΔft的临时阈值选择作为适当的阈值。

表示临时的眨眼发生的次数的曲线ft的最平坦的部位或临时的眨眼发生的次数的变化曲线Δft的极小minΔft可以用任意的方法进行检测。在一个技术方案中，可以是，在将临时阈值设为a₀、a₁、…、a_t、…、a_n时，将临时的眨眼发生的次数ft(a_t)的差量Δft定义为

Δft＝ft(a_t)-ft(a_t-1)，

将赋予Δft的极小值minΔft的临时阈值a_t选择作为适当的阈值。另外，在另一技术方案中，可以是，针对所有的临时阈值，算出以ft(a_t)为中心的各数个的标准偏差、例如ft(a_t-2)、ft(a_t-1)、ft(a_t)、ft(a_t+1)、ft(a_t+2)的标准偏差，将标准偏差成为最小的临时阈值a_t选择作为适当的阈值(这是因为变化越小则标准偏差越小)。

此外，图2B的直方图是使用眼睑的闭合状态的值作为眼睑状态指标值向睁开状态的值的正侧移位的眼电位波形的实际的例子而得到的直方图，赋予minΔft的阈值为76mV。图2C是用于图2B的直方图的生成的眼电位波形的一部分，如从该图理解的那样，当将由上述的阈值的设定方法决定出的临时阈值设定为阈值时，确认到仅眨眼发生的波形选择性地超过阈值。

而且，为了确认由上述的本实施方式的阈值的设定方法决定出的阈值的妥当性，如下述那样，将在被检者的眼电位的时间序列数据(在发生眨眼时值从基线向正侧移位的数据)中检测到的眨眼发生、和在由摄像机拍摄到的被检者的眼睛的周边的影像中通过目视确认到的眨眼发生进行对照，验证了适当地用于眼电位的时间序列数据中的眨眼发生的检测的阈值与由上述的阈值的设定方法决定出的阈值大致一致。

具体而言，验证的步骤如下所述。(i)在被检者的眼电位的时间序列数据的计测的同时利用摄像机拍摄被检者的眼睛的周边并记录了影像。(ii)在记录了的摄像机的影像中，通过目视确认并检测了发生了眨眼的期间(闭眼期间)。(图3A上段)(iii)一边在被检者的眼电位的时间序列数据中使阈值从0mV变化至300mV为止，一边按每个阈值将超过阈值的期间检测为发生了眨眼的期间(闭眼期间)。(图3A下段)(iv)按每个阈值，将在眼电位的时间序列数据中检测到的闭眼期间、和在摄像机的影像中通过目视确认而检测到的闭眼期间进行对照，在两者的闭眼期间至少以一部分重叠了的情况下，设为正确应答(OK)，当在摄像机的影像中通过目视确认而检测到的闭眼期间在眼电位的时间序列数据中没有被检测到的情况下，设为漏检测(NG)，当在摄像机的影像中通过目视确认而没有检测到闭眼期间时在眼电位的时间序列数据中检测到闭眼期间的情况下，设为误检测(NG)，对它们分别计数(图3A上下段)。(v)按每个阈值，算出正确应答(OK)的数量相对于在摄像机的影像中通过目视确认而检测到的闭眼期间的数量的比作为检测率，算出误检测的数量相对于在眼电位的时间序列数据中检测到的闭眼期间的数量的比作为误检测率。即，检测率越高则越优选，误检测率越低则越优选。(vi)如图3B所示的那样，使误检测率为横轴，使检测率为纵轴，并标绘每个阈值的点，进而特定离检测率1.0、误检测率0.0的点为最短距离的标绘点。可以认为该离检测率1.0、误检测率0.0的点为最短距离的标绘点的阈值为能够尽可能将误检测率抑制得低且尽可能提高检测率的适当的值。

关于得到上述的图2B的直方图的眼电位的时间序列数据，利用上述的验证方法得到的离检测率1.0、误检测率0.0的点为最短距离的标绘点的阈值为75mV。该值与利用本实施方式的阈值设定的方法而被赋予了的阈值即76mV大致相等，由此，示出了：利用本实施方式的阈值设定的方法所赋予的阈值成为能够尽可能地将误检测率抑制得低且尽可能地提高检测率的适当的阈值。

应当理解的是，本实施方式的阈值设定的方法是着眼于如前所述那样眼睑状态指标值的波形的特征，即即使基线变动，发生了眨眼的波形部分B的振幅也大致一致，且比与基线重叠着的眨眼以外的眼电位的变动振幅大某种程度的幅度以上的这样的特征的方法，另外，即使不中断眨眼的检测处理，也能够进行将临时的眨眼发生的次数的变化成为极小时的临时阈值设定为阈值的这一处理。因此，在本实施方式的装置中，在刚开始眨眼的检测处理后，在该执行期间，也能够适时进行阈值的更新。

装置的工作

在本实施方式的装置中，如上所述，可以是，对“眨眼检测部”中的眼睑状态指标值和阈值进行比较并检测眨眼的发生的眨眼检测处理(图4)、和用于对“监视部”中的进行阈值的更新的时期进行测量的“监视部”中的阈值设定监视处理(图5A)并行地执行，根据上述说明了的阈值设定的原理，利用“阈值设定部”适时执行设定阈值的阈值设定处理(图5B)。

可以是，当由装置的使用者指示处理的开始时，每当依次读入眼睑状态指标值时执行在图4中以流程图的形式示出“眨眼检测部”中执行的眨眼检测处理。此外，在图示的例子中，如图1A所示，对眼睑的闭合状态下的眼睑状态指标值比基线(眼睑的睁开状态下的眼睑状态指标值的平均值)上升的情况、即基线大致为0mV的情况进行说明。在该情况下，由于在发生眨眼时眼睑状态指标值从基线向正侧移位，所以当眼睑状态指标值V_i超过阈值V_th时，眼睑状态指标值V_i的从基线起的变化幅度超过从基线起的阈值V_th的大小(应当理解的是，对于眼睑的闭合状态下的眼睑状态指标值比基线低的情况、对于本领域技术人员而言也能够同样地实现。此外，在该情况下，当眼睑状态指标值V_i低于阈值V_th时，眼睑状态指标值V_i的从基线起的变化幅度超过从基线起的阈值V_th的大小。)。

在图4的处理中，具体而言，首先，进行来自前处理部的眼睑状态指标值V_i的读入(步骤1)，判定阈值V_th是否完成设定(步骤2)。在阈值V_th为未设定的情况下，读入的眼睑状态指标值V_i直接向数据保存部记录(步骤7)。另一方面，在将阈值V_th如后面详细说明的那样设定的情况下，关于在前次的循环中读入的眼睑状态指标值V_i-1和在此次的循环中读入的眼睑状态指标值V_i，判定

眼睑状态指标值V_i-1<阈值V_th且眼睑状态指标值V_i>阈值V_th…(1)

是否成立(步骤3)。若条件(1)未成立，则眼睑的状态设为没有变化，处理直接前进。在条件(1)成立的情况下，眼睑状态指标值超过阈值，眼睑从睁开状态变化为闭合状态(眼睑状态指标值的从基线起的变化幅度超过了从基线起的阈值的大小)，判定为眨眼开始了(步骤4)。接着，关于在前次的循环中读入的眼睑状态指标值V_i-1和在此次的循环中读入的眼睑状态指标值V_i，判定

眼睑状态指标值V_i-1>阈值V_th且眼睑状态指标值V_i<阈值V_th…(2)

是否成立(步骤5)。若条件(2)未成立，则眼睑的状态设为没有变化，处理直接前进。在条件(2)成立的情况下，眼睑状态指标值从超过了阈值的状态变化为低于阈值的状态，眼睑从闭合状态变化为睁开状态，所以判定为眨眼结束了(步骤6)。此外，此时，眨眼的次数C_t增加1。并且，将眼睑状态指标值V_i向数据保存部记录(步骤7)。

根据上述的一系列的处理，直到设定阈值为止，仅执行眼睑状态指标值的记录。另一方面，在设定了阈值之后，若眼睑仍为睁开状态，以“否”通过步骤3、步骤5。并且，在眼睑从睁开状态向闭合状态变化而眨眼开始了时，以“是”通过步骤3，以“否”通过步骤5，在眼睑的闭合状态持续着的期间，以“否”通过步骤3、步骤5，在眼睑从闭合状态再次向睁开状态变化而眨眼结束了时，以“否”通过步骤3，以“是”通过步骤5，这样，检测到1次眨眼的发生。之后，可以是，通过反复执行处理，每当发生眨眼时，与眼睑状态指标值的依次记录一起检测眨眼的发生，将眨眼的次数、频度、发生间隔的偏差等结果用于睡意判定等。

图5A中以流程图的形式示出的阈值设定监视处理可以与图4的眨眼检测处理的开始一起开始执行。在该阈值设定监视处理中，简而言之，每当经过预定的期间时，进行如下的处理，该处理指示以后述的形态设定用于所述眨眼的检测的阈值的处理的执行。在阈值设定监视处理的一个形态中，具体而言，首先，判定阈值V_th是否完成设定(步骤11)，在阈值V_th为未设定的阶段中，设定与用于阈值的设定的眼睑状态指标值的记录时间相当的阈值设定时间T_CHECK(步骤12)，将计测开始时间记录为T_set(步骤13)。然后，参照计时器的时刻T_timer，直到

T_timer-T_set>T_CHECK…(3)

成立为止等待处理(步骤14)，在此期间，在图4的眨眼检测处理中进行眼睑状态指标值V_i的记录。此外，在眼睑状态指标值如上所述为眼电位的情况下，阈值设定时间T_CHECK例如可以为2200秒等。这样，可以是，当条件(3)成立时，如后面说明的那样，指示阈值V_th的设定处理的执行(步骤15)，当进行阈值V_th的设定时，将阈值的设定时刻记录为T_set(步骤16)，被设定的阈值V_th用于图4的眨眼检测处理。另外，当进行阈值V_th的设定时，之后，在阈值设定监视处理中，参照计时器的时刻T_timer，每当条件(3)成立时指示阈值V_th的设定处理的执行，由此，依次决定新的阈值V_th，用于图4的眨眼检测处理的阈值依次被更新。

图5B中以流程图的形式示出的阈值设定处理响应于由阈值设定监视处理实现的阈值V_th的设定处理的执行的指示(步骤15)而执行。在阈值设定处理中，首先，将初始值V_so设定为临时阈值V_s(步骤21)，在图5A的阈值设定时间T_CHECK经过的期间用数据保存部依次积累了的眼睑状态指标值V_i中，作为临时的眨眼次数，计数并记录眼睑状态指标值V_i超过临时阈值V_s的次数、即

V_i-1<V_s且V_i>V_s…(4)

成立的次数N_s(步骤22)。此外，在图示的例子中，由于在发生眨眼时眼睑状态指标值从基线向正侧移位，所以当眼睑状态指标值V_i超过临时阈值V_s时，眼睑状态指标值V_i的从基线起的变化幅度超过从基线起的临时阈值V_s的大小。然后，直到临时阈值V_s超过最终值V_se(>V_so)为止(步骤23)，一边使临时阈值V_s每次增大预定值ΔV_s(步骤24)，一边按每个临时阈值V_s，计数并记录条件(4)成立的次数N_s(步骤22)。此外，若眼睑状态指标值V_i为眼电位，则例如可以设定为V_so＝0mV；ΔV_s＝1mV～10mV；V_se＝300mV等。这样，可以是，当V_s≥V_se成立时，如在与图2B相关的说明中记载的那样，生成与临时阈值V_s对应的临时的眨眼发生的次数N_s的直方图，利用上述的任一方法选择临时的眨眼发生的次数N_s的变化成为极小的临时阈值V_ss(步骤25)，将检测到的临时阈值V_ss设定为新的阈值V_th(步骤26)，并用于图4的眨眼检测处理。

另外，在上述的图5A的阈值设定监视处理中，关于每当经过阈值设定时间T_CHECK时执行阈值V_th的设定处理这点，在眨眼的频度存在个人差异和/或个人内差异，阈值设定时间T_CHECK中的眨眼的发生次数也产生个人差异和/或个人内差异。另一方面，在生成眼睑状态指标值的时间序列数据中的与临时阈值V_s对应的临时的眨眼发生的次数N_s的直方图、并选择临时的眨眼发生的次数N_s的变化成为极小的临时阈值V_ss的处理中，被参照的眼睑状态指标值的时间序列数据的眨眼发生的次数越多，则直方图以及所选择的临时阈值V_ss的精度越良好，为了使该精度足够，优选的是，在被参照的眼睑状态指标值的时间序列数据中发生了超过预定的次数的眨眼的情况。因此，在图5A的阈值设定监视处理中，也可以每当眨眼发生的次数超过预定的数量时更新阈值V_th，来代替每当经过阈值设定时间T_CHECK时更新阈值V_th。不过，在该形态的情况下，在阈值V_th的更新前需要能够某种程度精度良好地检测眨眼发生的次数(例如，在阈值过大而几乎无法检测眨眼的情况下，有可能为了眨眼发生的次数超过预定的数量而需要非常长的时间)。因此，也可以是，在最初设定阈值时，在经过了阈值设定时间T_CHECK的阶段，执行阈值设定处理，暂且设定阈值后，每当眨眼发生的次数超过预定的数量时更新阈值V_th。

因此，再次参照图5A，在设定监视处理的另一个形态中，在阈值V_th为未设定的情况下，可以与上述同样地，在阈值V_th完成设定的情况下，如在图中用虚线示出的那样，直到检测到的眨眼次数C_t超过预定次数C_ts为止等待处理(步骤17)，在此期间，在图4的眨眼检测处理中进行眼睑状态指标值V_i的记录。此外，在眼睑状态指标值如上所述为眼电位的情况下，预定次数C_ts例如可以为500等。这样，当C_t>C_ts成立时，如前所述指示阈值V_th的设定处理的执行(步骤15)，直到C_t>C_ts成立为止使用被积累了的眼睑状态指标值的时间序列数据，在图5B的处理中进行阈值的设定，当进行阈值V_th的设定时，眨眼次数C_t被重置为0(步骤16)。之后，可以是，每当C_t>C_ts成立时指示阈值V_th的设定处理的执行，由此，决定新的阈值V_th，用于图4的眨眼检测处理的阈值被更新。

这样，在上述的本实施方式中，简而言之，如上所述，在将眼睑状态指标值的从基线起的变化幅度超过了从基线起的阈值的大小时检测为发生眨眼的构成中，一边在眼睑状态指标值的时间序列数据中变更临时阈值一边计数临时的眨眼发生的次数，生成与临时阈值对应的临时的眨眼发生的次数的直方图，在该直方图中，将临时的眨眼发生的次数的变化成为极小时的临时阈值设定为用于眨眼的检测的阈值。能够进行该阈值的设定方法的理由是，眼睑状态指标值的波形具有如下的特征：即使基线变动，发生了眨眼的波形部分的振幅也大致一致，且比与基线重叠着的眨眼以外的眼电位的变动振幅大某种程度的幅度以上。并且，应当特别记载的是如下方面：本实施方式中的阈值设定的方法在眨眼检测处理的开始前不需要预先设定阈值，在眨眼检测处理的开始后，能够适时设定以及更新阈值。根据该构成，在进行车辆的驾驶中的驾驶员的眨眼的检测、或正在进行案头工作的被检者的眨眼的检测等的情况下，在眨眼检测处理开始后，即使发生基线的变动和/或眨眼发生时的指标值的变化幅度的变动，阈值也能够适时更新为适当的值，所以能够以不用为了阈值的更新而中断眨眼检测处理的方式、进行长时间连续的、精度更好的眨眼的检测。

以上的说明与本发明的实施方式相关联地进行，但对于本领域技术人员而言能够容易进行许多的修正以及变更，本发明并不仅是限定于上述例示的实施方式，显然在不从本发明的概念脱离的情况下能够适用于各种装置。

Claims (7)

1.一种眨眼检测装置，其特征在于，具备：

眼睑状态指标值计测部，该眼睑状态指标值计测部按时间序列对眼睑状态指标值进行计测，所述眼睑状态指标值表示被检者的眼睛的眼睑的睁开状态与闭合状态之间的状态；以及

信号处理装置，其中，

所述信号处理装置在从所述被检者的所述眼睑处于睁开状态的情况下的所述眼睑状态指标值的基准值即基线起的所述计测到的眼睑状态指标值的变化幅度超过了从所述基线起的阈值的大小时判定为发生了眨眼，存储按所述时间序列计测到的眼睑状态指标值，对于多个大小互相不同的各临时阈值，计数预定的期间内的所述被存储了的按时间序列计测到的眼睑状态指标值中的该眼睑状态指标值的从所述基线起的变化幅度超过从所述基线起的所述临时阈值的大小的次数，将与所述临时阈值对应的所述次数的变化成为极小时的临时阈值设定为所述阈值。

2.根据权利要求1所述的眨眼检测装置，其特征在于，

所述预定的期间为预定的时间的长度；并且，

每当经过所述预定的期间时所述信号处理装置重新设定所述阈值。

3.根据权利要求1所述的眨眼检测装置，其特征在于，

所述预定的期间为到由所述信号处理装置判定出的眨眼的发生次数达到预定的次数为止的期间；并且，

每当经过所述预定的期间时所述信号处理装置重新设定所述阈值。

4.根据权利要求1～3中任一项所述的眨眼检测装置，其特征在于，

所述信号处理装置一边使临时阈值每次变化预定幅度，一边计数与各临时阈值对应的、所述眼睑状态指标值的从所述基线起的变化幅度超过从所述基线起的所述临时阈值的大小的次数；并且，

所述信号处理装置将所述临时阈值中的、与两个彼此相邻的所述临时阈值对应的两个所述次数之间的差量成为极小时的临时阈值设定为所述阈值。

5.根据权利要求1～3中任一项所述的眨眼检测装置，其特征在于，

所述信号处理装置一边使临时阈值每次变化预定幅度，一边计数与各临时阈值对应的、所述眼睑状态指标值的从所述基线起的变化幅度超过从所述基线起的所述临时阈值的大小的次数；并且，

所述信号处理装置将所述临时阈值中的、与彼此相邻的预定数量的所述临时阈值对应的预定数量的所述次数之间的标准偏差成为极小时的临时阈值设定为所述阈值。

6.根据权利要求1～5中任一项所述的眨眼检测装置，其特征在于，

所述眼睑状态指标值计测部对所述被检者的眼电位进行计测；并且，

所述眼睑状态指标值为眼电位。

7.根据权利要求1～5中任一项所述的眨眼检测装置，其特征在于，

所述眼睑状态指标值计测部对所述被检者的眼睛进行拍摄并在所述眼睛的图像中检测所述眼睑的开度；并且，

所述眼睑状态指标值是表示所述眼睛的图像中的所述眼睑的开度的指标值。