CN106108922A

CN106108922A - 瞌睡探测装置

Info

Publication number: CN106108922A
Application number: CN201610290794.9A
Authority: CN
Inventors: 久保田整
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 2015-05-07
Filing date: 2016-05-05
Publication date: 2016-11-16
Anticipated expiration: 2036-05-05
Also published as: DE102016108475A1; CN106108922B; JP2016209231A; JP6399311B2

Abstract

提供能排除眨眼、干扰光等的影响，提高检测精度和响应性的瞌睡探测装置。其具备：根据对象者的双眼图像检测眼睑开度的单元(12)；按规定帧率记录作为时间序列数据的上述眼睑开度的单元(13)；以及瞌睡判断单元(14,15,17)，其从上述时间序列数据的包含最新帧在内的连续的规定数量的探测对象帧(N)中提取划分先行组(C1)和后续组(C2)的边界帧，并将上述先行组的时间序列数据(μ1)与上述后续组的时间序列数据(μ2)的分离度(η)为最大的边界帧(k)作为闭眼开始时刻。

Description

瞌睡探测装置

技术领域

本发明涉及瞌睡探测装置，特别是，涉及用于探测车辆驾驶中的驾驶者的瞌睡而将瞌睡驾驶防患于未然的装置。

背景技术

作为瞌睡驾驶的探测装置，已提出用相机拍摄驾驶者的脸部并根据图像判断瞌睡状态的装置、根据驾驶者的脉博变化判断瞌睡状态的装置等各种瞌睡驾驶探测装置。

例如，在专利文献1中公开了通过从驾驶者的睁眼度的度数分布提取极值并检测极值的时间变化来推定驾驶者的状态变化。在该技术中，提取睁眼时的极值和闭眼时的极值，在闭眼状态的极值处于变高的倾向的情况下判断为驾驶者正在犯困。

但是，在上述技术中，例如存在如下问题：在如连续反复眨眼的情况这样闭眼状态和睁眼状态在短时间内反复出现的情况下，也会误判断为闭眼状态的极值变高了。另外，有时会由于干扰光而导致检测暂时中断，不一定能连续地进行测量。

而且，由于是根据一定的测量时间内的频度分布判断闭眼状态，因此，还存在如果不是经过了测量时间之后就无法检测闭眼状态的问题。即，有可能无法确定在测量时间内的什么时点转变为闭眼状态，实际上转变为闭眼状态的时刻与检测出闭眼状态的时刻产生时间差，产生延迟。

另一方面，在专利文献2中，为了将眨眼、干扰光的影响作为噪声排除而使用了阈值，但如果在判断闭眼状态时使用阈值，由阈值的定义所致的误差就无法避免。本来，眼睛的大小存在个体差异，并受表情、姿势等各种因素影响，因此设定阈值本身就很困难。

现有技术文献

专利文献

专利文献1：特开2008-99884号公报

专利文献2：特开2010-184067号公报

发明内容

发明要解决的问题

本发明是鉴于上述这样的现状而完成的，其目的在于，在瞌睡探测装置中，排除眨眼、干扰光等的影响，提高检测精度和响应性。

用于解决问题的方案

为了解决上述问题，本发明的瞌睡探测装置具备：

根据对象者的双眼图像检测眼睑开度的单元；

按规定帧率记录作为时间序列数据的上述眼睑开度的单元；以及

瞌睡判断单元，其从上述时间序列数据的包含最新帧在内的连续的规定数量的探测对象帧中提取划分先行组和后续组的边界帧，并将上述先行组的时间序列数据与上述后续组的时间序列数据的分离度为最大的边界帧作为闭眼开始时刻。

发明效果

根据上述构成，在瞌睡探测装置的通常实施中，在探测刚刚开始之后不会开始瞌睡，因此，在刚刚开始之后，眼睑开度在整个探测对象帧中处于睁眼的级别，先行组与后续组的分离度持续取极小的值，但当表现出瞌睡的倾向时，后续组会出现眼睑开度低的级别而分离度上升。因此，能够根据连续的时间序列数据直接检测出前后的变化点，在提高检测精度和响应性上是有利的。

而且，如眨眼这样的短时间的变化或干扰光所致的数据缺失几乎不会导致分离度变化，不仅如此，即使眼睛的大小、睁开程度等个体差异、姿势变化、脸部的倾斜动作等导致图像产生了所取得大小的差异，也由于它们在作为先行组的数据而以时间序列进行记录的时点已预先考虑，因而不需要用于排除它们的处理过程或预处理，能够简化处理、装置，并且在防止误检测上是有利的。

在本发明的优选方式中，构成为：上述瞌睡判断单元对上述规定数量的探测对象帧的所有帧，设各帧是边界帧，求出上述先行组的时间序列数据与上述后续组的时间序列数据之间的作为分离度的方差，提取上述方差为最大的边界帧作为闭眼开始时刻。根据该方式，在先行组与后续组的分离度的判断中，对各组进行帧数的加权，因此，在将眨眼等暂时且零星的变动所致的影响排除而进行稳定的瞌睡探测上是有利的。

本发明的瞌睡探测装置也可以通过具备运算处理装置(计算机)来实施，上述运算处理装置能执行：

通过对象者的双眼图像检测眼睑开度的步骤；

按照规定帧率记录作为时间序列数据的上述眼睑开度的步骤；

从上述时间序列数据的记录单元读取包含最新帧在内的连续的规定数量的探测对象帧的时间序列数据的步骤；

对上述规定数量的探测对象帧的所有帧，通过各帧的边界帧将上述探测对象帧的时间序列数据划分为先行组和后续组，算出上述先行组的时间序列数据与上述后续组的时间序列数据之间的分离度的步骤；以及

提取上述各先行组与后续组的时间序列数据的分离度为最大的边界帧作为闭眼开始时刻的步骤。

另外，在本发明的更优选的方式中，构成为：上述规定数量的探测对象帧的帧数N、上述先行组的时间序列数据的平均值μ1、上述后续组的时间序列数据的平均值μ2、上述边界帧k的分离度ηk由下式算出：

ηk＝(μ1-μ2)²

(其中，若μ2＞μ1，则ηk＝0)。根据该方式，具有既能够维持检测精度又能够简化计算和处理的优点。

在本发明的优选方式中，构成为：上述瞌睡判断单元检测出上述闭眼开始时刻后，在闭眼状态经过规定时间之后判断为瞌睡。根据该方式，通过将规定时间设定为根据瞌睡检测装置的使用目的而可容许的时间，能够将对该使用目的不产生影响的程度的闭眼动作排除。

本发明的瞌睡探测装置优选作为车辆的瞌睡驾驶防止系统来实施。例如构成为：上述对象者是车辆的驾驶者，在上述瞌睡判断单元判断为瞌睡时，向上述驾驶者输出警报或者向上述车辆输出控制信号。

附图说明

图1是示出本发明的瞌睡探测装置的实施方式的框图。

图2是示出实施本发明的瞌睡探测装置的车辆的概要图。

图3是示出眼睑开度的检测的概要图。

图4是示出本发明的瞌睡探测装置的动作的流程图。

图5是示出眼睑开度的经时变化的坐标图。

图6是示出本发明的瞌睡探测装置的闭眼开始时刻的检测过程的流程图。

图7是示出类分离度和闭眼开始时刻的检测的坐标图。

图8是示出姿势发生了变化的情况下的眼睑开度的经时变化的坐标图。

图9是示出时间序列(a)～(d)的眼睑开度的经时变化的坐标图(左侧)和示出分离度的经时变化的坐标图(右侧)。

附图标记说明

1 瞌睡探测装置

2L,2R 双眼

3 上眼睑

4 车辆

10 车辆信息记录部

11 图像记录部

12 眼睑开度检测部

13 时间序列数据记录部

14 类分离度算出部

15 闭眼开始时刻检测部

16 闭眼结束时刻检测部

17 瞌睡状态判断部

18 警报显示控制信号输出部

20 车辆信息检测单元

21 相机

22 警报装置

30 驾驶者

N 探测对象帧数

O_L,O_R 眼睑开度

η,ηk 分离度

μ1,μ2 平均值

具体实施方式

以下，参照附图详细说明本发明的实施方式。

图2示出将本发明的瞌睡探测装置1作为瞌睡驾驶防止系统来实施的车辆4的概要，在图中，瞌睡驾驶防止系统由瞌睡探测装置1、车辆信息检测单元20、相机21和警报装置22等构成，根据相机21所拍摄的图像经时地检测驾驶者30的眼睑开度，在判断为驾驶者30正逐渐转变为瞌睡状态的情况下，通过警报装置22执行促使驾驶者30清醒等的防止措施。

车辆信息检测单元20取得作为有线或者无线信号的车辆各部的传感器输出，例如优选使用将车速、方向盘转角、油门开度、制动器开关、转向灯开关的操作状态等车辆信息作为无线信号取得的车载网络(CAN)。

相机21为能拍摄驾驶者30的至少双眼部分，朝向驾驶者30的脸部，设置于仪表板或管柱罩，优选采用使用了CCD、CMOS等固体摄像元件的数码相机。

如图1所示，瞌睡探测装置1主要由车辆信息记录部10、图像记录部11、眼睑开度检测部12、时间序列数据记录部13、类分离度算出部14、闭眼开始时刻检测部15、闭眼结束时刻检测部16、瞌睡状态判断部17、信号输出部18构成。

它们优选由计算机构成，上述计算机包括存储能以执行它们各自的功能的方式动作的程序和数据的ROM、进行运算处理的CPU、读出上述程序并成为上述CPU的作业区域和运算结果的暂时存储区域的RAM、连接输入侧外部设备(20,21)的输入接口、连接输出侧外部设备(22)的输出接口等。

以下，参照图1的框图和图4的流程图详细说明瞌睡探测装置1的各部的动作。

车辆信息记录部10记录通过车辆信息检测单元20取得的车辆信息，例如，在车速为零的情况下视为处于停车中，在检测出方向盘转角、油门开度、制动开关、转向灯开关等的操作的情况下，视为驾驶者30处于清醒中而使瞌睡探测装置1不发挥作用(S101)。另外，还能够根据车速来变更后述的瞌睡状态判断的持续时间。

图像记录部11将通过相机21取得的图像按规定的帧率作为时间序列数据进行记录(S102)。可以是将后述的瞌睡判断所需要的帧数的数据暂时保持并依次更新的方式，也可以是在存储到规定的存储容量后依次重写的方式。

眼睑开度检测部12对所记录的图像进行处理来进行求出眼睑开度的图像处理(S103)。求出眼睑开度的图像处理过程能够利用图像处理和图像识别的公知技术。例如，当将如图3所示的双眼2L,2R的图像二值化时，眼睑的线和瞳孔部分会成为黑色像素。因此，在所得到的二值图像中，沿上下横穿双眼2L,2R的各像素列中的黑色像素数的最大值与左右瞳孔的中央的上下方向宽度对应，成为眼睑开度O_L,O_R。

此外，在记录刚刚开始之后(驾驶刚刚开始之后)，可视为处于图中3′所示的清醒状态，因此，也可以将与该情况下的眼睑开度(O_LMAX,O_RMAX)的比例作为眼睑开度O_L,O_R(％)，但在本发明中，如上所述，为了检测睁眼状态与闭眼状态的分离度，无需求出眼睑开度的绝对值或以此为基准的眼睑开度本身，能够将黑色像素数的最大值直接用作眼睑开度O_L,O_R。另外，也可以采用左右的眼睑开度O_L,O_R的平均值，从只要其中一方处于睁眼状态即可的观点出发，也能够采用左右两个值之中的较大者。反过来说，也可以采用左右两个值之中的较小者。

时间序列数据记录部13将由眼睑开度检测部12求出的眼睑开度O_L,O_R按规定的帧率作为时间序列数据进行记录(S104)。帧率没有特别限定，但考虑到眨眼动作的特性而优选10～30帧/秒。

当帧率过高时，装置的负荷会增大，要想确保所需要的处理速度就需要增大装置成本。

另外，在时间序列数据记录部13中，仅保持判断瞌睡状态所需的最小限度的帧数的数据，依次消去过去的数据，并新追加当前帧的数据。由此，进行动作以不断更新并保持过去一定时间的时间序列数据。

图5是示出眼睑开度的时间序列数据的一例的坐标图，以当前时刻为基准，在-10～-3秒附近，眼睑开度是90％左右的睁眼状态，可以看出眨眼所致的瞬间性的眼睑开度下降、干扰光等所致的暂时性的数据缺失。从这样的睁眼状态起，在-3秒以后，很快变为闭眼状态。

虽然在后面详述，但考虑到车速等，为了根据分离度探测闭眼状态持续2秒以上的情况，优选保持其至少2倍的4秒钟的时间序列数据。在本实施方式中，为能进行可靠的检测，设想保持5秒钟的时间序列数据的情况下，在30帧/秒的帧率时，保持N＝150帧的时间序列数据。

如图7所示，类分离度算出部14将如上述这样取得的N帧的时间序列数据划分为先行组C1和后续组C2，算出先行组C1的时间序列数据与后续组C2的时间序列数据的分离度，求出该分离度为最大的边界值(S105)。在驾驶开始时基本上可以视为驾驶者30是清醒的，因此，探测最初开始时，在先行组C1中记录有眼睑开度高的睁眼状态类的时间序列数据，在探测到瞌睡的情况下，在后续组中会出现眼睑开度低的闭眼状态类的时间序列数据。

2个类之间的分离度作为类间方差σ_B ²与总方差σ_T ²之比η能够由下式求出。

η＝σ_B ²/σ_T ²＝ω₁ω₂(μ1-μ2)²/(ω₁+ω₂)²σ_T ²

在此，μ1,μ2是各类的平均值，ω₁,ω₂是各类的数据数量。

通过求出该分离度η为最大的类间的边界值，能够确定从睁眼状态类向闭眼状态类的变化点。此时，总方差σ_T2对各个数据来说是恒定值，因此，只要求出类间方差σ_B ²中的各类的平均值μ1,μ2之差的平方为最大的边界值即可。

具体来说，类分离度算出部14在将作为检测对象的N帧划分为先行组C1和后续组C2的边界帧k为0～N的各帧的情况下，算出先行组C1的时间序列数据与后续组C2的时间序列数据的分离度η，将分离度η为最大的边界帧k作为闭眼开始时刻。

闭眼开始时刻检测部15测量从由类分离度算出部14求出闭眼开始时刻(开始帧)起经过的时间(S106)。在瞌睡状态判断部17中，在根据车速设定的规定时间(规定帧)以上持续检测出分离度η的最大值的情况下，判断为产生了瞌睡(S109)。

此外，在闭眼开始时刻检测部15检测出闭眼开始时刻(开始帧)后，由闭眼结束时刻检测部16检测出从闭眼状态类向睁眼状态类的变化点的情况下(S107)，算出其间的所需要的时间(S108)，判断为产生了瞌睡(S109)。

在信号输出部18中，在由瞌睡状态判断部17判断为瞌睡状态的情况下，参照车辆信息记录部10所取得的当前的车辆信息(S110)，在车辆处于行驶中而未进行方向盘、油门、制动器、转向灯等的操作的情况下，向警报装置22输出控制信号(S111)，发出用于促使驾驶者清醒的警报。

同时，也可以在车辆的显示部进行警告显示，还可以执行使车辆自动停车等的处理。另一方面，在根据车辆信息判断为处于驾驶中的情况下，不输出控制信号。

接着，参照图6的流程图和图7的坐标图来说明根据时间序列数据检测闭眼开始时刻的过程的具体例。

首先，读出时间序列数据记录部13所记录的一定帧数(0～N)的眼睑开度数据(S201)。在此，将瞌睡状态设为2秒以上，为了检测该瞌睡状态，在30帧/秒的帧率下读出相当于5秒的帧数(N＝150)的数据。此外，在图示例中，将当前的帧编号设为0，越往过去则帧编号越大，但只要时刻与帧番号能取得对应，也可以将最老的帧编号设为0。

接着，将与先行组C1(睁眼状态类)和后续组C2(闭眼状态类)的边界帧对应的计算用标志k初始化(S202)。

然后，计算后续组C2(0～k)的范围的眼睑闭度数据的平均值μ2(S203)，计算先行组C1(k十1～N)的范围的眼睑开度数据的平均值μ1(S204)。

通过下式计算与边界帧对应的计算标志k处的分离度ηk，并将其进行记录(S205)。

ηk＝(μ1-μ2)²

其中，若μ2＞μ1，则ηk＝0

对与边界帧对应的计算标志k的值进行增计数(S206)。

判断与边界帧对应的计算标志k的值是否达到N(S207)，在计算标志k的值未达到N的情况下，返回步骤(S203)，重复至步骤(S206)为止的循环处理。

在与边界帧对应的计算标志k的值达到N的情况下，结束循环处理，从通过循环处理求出的分离度η1～ηN-1之中，决定分离度为最大的边界帧kmax(S208)。

将边界帧kmax作为闭眼开始时刻输出(S209)。

(脸部朝向上下变化的情况的应对)

接着，图8示出脸部朝向上下变化的情况下的眼睑开度的经时变化。在驾驶者30的脸部朝向变为朝上或者朝下的情况下，图3的图像从表观上来看显得眼睛变细了，因此，眼睑开度检测部12检测出的眼睑开度O_L,O_R与初始状态中的眼睑开度(O_LMAX,O_RMAX)相比，整体上成为较低的值。

但是，在本发明的瞌睡探测装置1中，对眼睑开度O_L,O_R本身不进行阈值判断，而是求出先行组C1与后续组C2的分离度，由此，能够直接检测出闭眼开始时刻(边界帧k)，因此，即使是在脸部朝向上下变化的情况下产生了个体差异，也不需要进行参数調整、校准等，当然，在更换了驾驶者的情况下也是如此。

(闭眼开始时刻的检测、瞌睡判断例)

图9的(a)～(d)的左侧4个坐标图分别示出按每1秒(30帧)的时间差推移的眼睑开度的经时变化，以下，参照附图来说明闭眼开始时刻的检测和瞌睡判断结果例。

首先，在图9(a)中，虽然经过了眨眼所致的瞬间性的闭眼状态、干扰光所致的数据缺失，但它们并未对分离度产生显著的影响，持续睁眼状态，但眼睑开度在时刻A下降，分离度为最大。此时，将时刻A作为闭眼开始时刻，但从后续的图可知，在这之后时刻A不再是最大分离度的时点，会将其从闭眼开始时刻排除在外。

另一方面，在图9(b)中，分离度在时刻B为最大，时刻B被作为闭眼开始时刻，在后续的图9(c)和(d)中，时刻B的最大分离度持续，在(d)中，闭眼状态持续规定时间(2秒)而判断为瞌睡状态。

此外，在上述实施方式中，说明了求出各类的平均值μ1,μ2之差的平方为最大的边界值作为分离度η为最大的类间的边界值，从而确定从睁眼状态类向闭眼状态类的变化点的情况，但也能够通过求出各类的平均值μ1,μ2之差的绝对值为最大的边界值来确定从睁眼状态类向闭眼状态类的变化点。不过，分离度η的变化会变小。

另一方面，在将分离度作为类间方差σ_B ²与总方差σ_T2之比η来求出的情况下，各类的数据数量ω₁,ω₂会反映进去，因此，在到达睁眼状态类向闭眼状态类的变化点后，分离度不会如图9(b)所示的那样急剧上升，可以说对眨眼等暂时性变动的稳定性高。

以上，说明了本发明的实施方式，但本发明不限于上述实施方式，能基于本发明的技术思想进一步进行各种变形和变更。

例如，在上述实施方式中，说明了实施于车辆的瞌睡驾驶防止系统的情况，但本发明的瞌睡探测装置也能实施于要求注视监视器的操作员业务等车辆以外的瞌睡探测。

Claims

1.一种瞌睡探测装置，其特征在于，具备：

根据对象者的双眼图像检测眼睑开度的单元；

2.根据权利要求1所述的瞌睡探测装置，其特征在于，构成为：

上述瞌睡判断单元对上述规定数量的探测对象帧的所有帧，设各帧是边界帧，求出上述先行组的时间序列数据与上述后续组的时间序列数据之间的作为分离度的方差，提取上述方差为最大的边界帧作为闭眼开始时刻。

3.一种瞌睡探测装置，其特征在于，具备运算处理装置，上述运算处理装置能执行：

通过对象者的双眼图像检测眼睑开度的步骤；

从上述时间序列数据的记录单元读取包含最新帧在内的、连续的规定数量的探测对象帧的时间序列数据的步骤；

4.根据权利要求1或3所述的瞌睡探测装置，其特征在于，构成为：

上述规定数量的探测对象帧的帧数N、上述先行组的时间序列数据的平均值μ1、上述后续组的时间序列数据的平均值μ2、上述边界帧k的分离度ηk由下式算出：

ηk＝(μ1-μ2)²

其中，若μ2＞μ1，则ηk＝0。

5.根据权利要求1～4中的任一项所述的瞌睡探测装置，其特征在于，

上述瞌睡判断单元构成为检测出上述闭眼开始时刻后，在闭眼状态经过规定时间之后判断为瞌睡。

6.根据权利要求1～5中的任一项所述的瞌睡探测装置，其特征在于，构成为：

上述对象者是车辆的驾驶者，在上述瞌睡判断单元判断为瞌睡时，向上述驾驶者输出警报或者向上述车辆输出控制信号。