CN113449584B - 睁眼度计算装置 - Google Patents

Abstract

本发明提供一种睁眼度计算装置。即使在脸部朝向角度与视线角度的角度差大的情况下，也准确地判定睁眼状态。睁眼度计算装置具有睁眼度计算部(11)，根据表示乘坐人员的脸部的图像，计算乘坐人员的睁眼度；脸部朝向角度计算部(12)，根据图像，计算针对预定的基准方向的乘坐人员的脸部朝向角度；视线角度计算部(13)，根据图像，计算针对预定的基准方向的乘坐人员的视线角度；校正部(14)，在脸部朝向角度与视线角度的差分为预定值以上的情况下，校正由睁眼度计算部(11)计算出的睁眼度、或者校正与睁眼度进行比较的阈值；以及判定部(15)，根据校正后的睁眼度、或者睁眼度与校正后的阈值的比较结果，判定乘坐人员的睁眼状态。

Description

睁眼度计算装置

技术领域

本发明涉及睁眼度计算装置。

背景技术

关于眼睛开闭检测装置，有根据驾驶员的脸部图像来计算睁眼量，根据与作为睁眼量的基准的基准睁眼量分布进行对比的对比结果来计算睁眼度的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2013-120442号公报

发明内容

驾驶员的脸部朝向角度与视线角度未必一致，如果脸部朝向角度与视线角度的差分变大，则有时睁眼度被错误地计算。在这样的情况下，当根据睁眼度来判定驾驶员的清醒度时，睁眼度与实际不同，所以有时错误地判定清醒度。

因而，本发明的目的在于提供即使在脸部朝向角度与视线角度的角度差大的情况下也能够准确地判定睁眼状态的睁眼度计算装置。

根据一个实施方式，提供睁眼度计算装置。该睁眼度计算装置具有：睁眼度计算部，根据表示有乘坐人员的脸部的图像，计算乘坐人员的睁眼度；脸部朝向角度计算部，根据图像，计算针对预定的基准方向的乘坐人员的脸部朝向角度；视线角度计算部，根据图像，计算针对预定的基准方向的乘坐人员的视线角度；校正部，在脸部朝向角度与视线角度的差分为预定值以上的情况下，校正由睁眼度计算部计算出的睁眼度、或者校正与睁眼度进行比较的阈值；以及判定部，根据校正后的睁眼度、或者睁眼度与校正后的阈值的比较结果，判定乘坐人员的睁眼状态。

在该睁眼度计算装置中，校正部优选根据差分将睁眼度校正成与脸部朝向角度以及视线角度为朝正面的情况相当的值。

另外，在该睁眼度计算装置中，优选在视线角度比脸部朝向角度朝下的情况下校正部以使睁眼度增加的方式校正睁眼度，在视线角度比脸部朝向角度朝上的情况下校正部以使睁眼度减少的方式校正睁眼度。

另外，在该睁眼度计算装置中，优选为差分越大，则校正部越增大睁眼度的校正量。

另外，在该睁眼度计算装置中，优选在视线角度比脸部朝向角度朝下的情况下校正部以使阈值减少的方式校正阈值，在视线角度比脸部朝向角度朝上的情况下校正部以使阈值增加的方式所述阈值。

另外，在该睁眼度计算装置中，优选为差分越大，则校正部越增大阈值的校正量。

本发明的脸部的睁眼度计算装置起到如下效果：即使在脸部朝向角度与视线角度的角度差大的情况下也能够准确地判定睁眼状态。

附图说明

图1是一个实施方式的安装有睁眼度计算装置的睁眼度计算系统的概略结构图。

图2是示出控制装置的处理器的功能块的示意图。

图3是示出乘坐人员的侧脸的示意图，是示出脸部朝向为朝正面且视线为朝下的情况的图。

图4是示出脸部朝向为朝下且视线为朝正面的情况的图。

图5是示出控制装置的处理器每隔预定的控制周期所进行的处理的流程图。

图6是示出规定了差分θ与校正系数A的关系的函数的一个例子的图。

图7是示出规定了差分θ与校正系数B的关系的函数的一个例子的图。

图8是示出在学习步骤中计算校正系数A的斜率Sa的手法的图。

符号说明

1：驾驶员监视器摄像机；2：显示装置；3：车辆控制设备；10：处理器；11：睁眼度计算部；12：脸部朝向角度计算部；13：视线角度计算部；14：校正部；15：判定部；40：上眼皮；42：下眼皮；100：控制装置(ECU)；200：车辆控制系统。

具体实施方式

以下，参照图，说明睁眼度计算装置。该睁眼度计算装置是例如计算车辆的乘坐人员的睁眼度的装置，在针对预定的基准方向的乘坐人员的脸部朝向角度与视线角度的差分为预定值以上的情况下，校正计算出的睁眼度。另外，该睁眼度计算装置在针对预定的基准方向的乘坐人员的脸部朝向角度与视线角度的差分为预定值以上的情况下，校正与睁眼度进行比较的阈值。

在脸部朝向角度与视线角度的差分为预定值以上的情况下，校正睁眼度或者与睁眼度进行比较的阈值，从而可靠地抑制由于脸部朝向角度与视线角度不同而产生的睁眼状态的误判定。

图1是一个实施方式的安装有睁眼度计算装置的车辆控制系统200的概略结构图。车辆控制系统200例如搭载于车辆，判定驾驶员等乘坐人员的睁眼状态。此外，在以下的说明中，将乘坐人员为驾驶员的情况举为例子而进行说明。车辆控制系统200具有：驾驶员监视器摄像机1，对驾驶员的脸部进行摄影，生成脸部图像；显示装置2，显示针对驾驶员的警告等；车辆控制设备3，控制车辆；以及控制装置(ECU)100，判定驾驶员的眼睛的睁眼状态。驾驶员监视器摄像机1、显示装置2、车辆控制设备3、控制装置100分别经由遵循控制器局域网络(Controller Area Network(CAN))这样的标准的车内网络能够通信地连接。

驾驶员监视器摄像机1具有：2维检测器，由CCD或者C－MOS等对可见光具有灵敏度的光电变换元件的阵列构成；以及成像光学系统，在该2维检测器上使作为摄影对象的区域的像成像。驾驶员监视器摄像机1以朝向驾驶员的设想位置的方式设置于车辆内部的仪表板或者前窗玻璃附近等，对驾驶员的脸部进行摄影。驾驶员监视器摄像机1每隔预定的摄影周期(例如1/30秒～1/10秒)而对驾驶员的脸部进行摄影，生成拍摄到驾驶员的脸部的图像。此外，由驾驶员监视器摄像机1得到的图像优选为彩色图像。驾驶员监视器摄像机1每当生成图像时，都将其生成的图像经由车内网络输出到控制装置100。另外，驾驶员摄像机1包括对驾驶员的眼睛照射近红外线的近红外线光源。

显示装置2例如由液晶显示装置(LCD)等构成，设置于仪表面板或者仪表板的附近等，根据需要而对驾驶员显示警告。车辆控制设备3包括对车辆进行操舵的操舵装置、对车辆进行制动的制动装置等。

控制装置100为控制车辆控制系统200的整体的构成要素，为睁眼度计算装置的一个方案。控制装置100具有处理器10、存储器20以及通信接口30。处理器10具有1个或者多个CPU(Central Processing Unit，中央处理单元)及其周边电路。处理器10也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其它运算电路。存储器20例如具有易失性半导体存储器以及非易失性半导体存储器，根据需要存储与本实施方式的处理关联的数据。通信接口30为通信部的一个例子，具有用于将控制装置100与车内网络连接的接口电路。

图2是示出控制装置100的处理器10的功能块的示意图。控制装置100的处理器10具有睁眼度计算部11、脸部朝向角度计算部12、视线角度计算部13、校正部14、判定部15。处理器10所具有的这些各部分例如为利用在处理器10上进行工作的计算机程序来实现的功能模块。也就是说，处理器10的功能块由处理器10和用于使其发挥功能的程序(软件)构成。另外，该程序也可以记录于控制装置100所具备的存储器20或者从外部连接的记录介质。或者，处理器10所具有的这些各部分也可以为设置于处理器10的专用的运算电路。

在如上那样构成的车辆控制系统200中，处理器10的睁眼度计算部11根据驾驶员监视器摄像机1所生成的、表示驾驶员的脸部的图像，计算驾驶员的睁眼度。另外，处理器10的脸部朝向角度计算部12计算针对预定的基准方向的驾驶员的脸部朝向角度。另外，处理器10的视线角度计算部13计算针对预定的基准方向的驾驶员的视线角度。此外，在本实施方式中，角度是指上下方向的角度，是指人的脸部点头的方向的角度。

睁眼度计算部11使用公知的手法，首先从驾驶员监视器摄像机1所生成的图像检测驾驶员的眼睛，求出眼睛的轮廓。作为从图像检测出眼睛的轮廓的手法，例如可举出文献(高野博幸，出口光一郎，“关于用于应对基于轮廓的面部对准中的姿势变化的脸部轮廓的利用(日语：輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について)”信息处理学会报告，2012年9月2日)所记载的手法，在该手法中，以使利用3维坐标数据模型化后的脸部模型(PDM)的特征点与由特征点抽取器从脸部图像抽取出的特征点的距离成为最小的方式使模型参数最佳化(拟合)。睁眼度计算部11例如通过使用该手法，根据被最佳化的模型参数来求出眼睛的轮廓的3维位置。此外，根据该手法，除了求出眼睛的3维位置，还求出鼻、口等脸部的各部位的3维位置。

睁眼度计算部11当求出眼睛的轮廓的3维位置时，从上眼皮与下眼皮的距离检测睁眼度。睁眼度计算部11使用预先保存于存储器20的、规定了上眼皮与下眼皮的距离和睁眼度的关系的表格或者函数，将上眼皮与下眼皮的距离应用于这些表格或者函数，从而检测睁眼度。或者，睁眼度计算部11也可以使用规定了眼睛的纵横比与睁眼度的关系的表格或者函数，根据眼睛的纵横比来求出睁眼度。此外，睁眼度计算部11也可以计算上眼皮与下眼皮的距离、或者眼睛的纵横比本身作为睁眼度。

处理器10的脸部朝向角度计算部12根据图像来计算针对预定的基准方向的驾驶员的脸部朝向角度。例如，脸部朝向角度计算部12使用日本特开2015-75915号公报所记载的手法等，根据鼻子位置与连结左右眼的位置的直线的距离，计算脸部朝向角度(俯仰角度)。

处理器10的视线角度计算部13通过公知的视线探测方法，根据图像来计算针对预定的基准方向的视线角度。作为计算视线角度的手法，例如可举出文献(大野健彦，武川直树，吉川厚，“基于眼球形状模型的视线测定法(日语：眼球形状モデルに基づく視線測定法)”第8次图像感测研讨会，pp307－312，2002)所记载的、利用角膜表面处的近红外光源的反射图像(浦肯野氏像)来根据瞳孔中心与浦肯野氏像的距离计算视线角度的手法、使用从浦肯野氏像得到的角膜曲率中心计算将角膜曲率中心以及瞳孔中心进行连结的直线作为视线角度的手法等。

处理器10的校正部14在脸部朝向角度与视线角度的差分为预定值以上的情况下，校正由睁眼度计算部11计算出的睁眼度、或者校正与睁眼度进行比较的阈值。

在脸部朝向角度与视线角度的差分大时，睁眼度被错误地检测，睁眼度与实际不同地被识别。作为错误地计算睁眼度的例子，可举出与视线方向相应地上眼皮下垂从而睁眼度下降的情况和与视线方向相应地上眼皮上扬从而睁眼度增加的情况这两种情况。与视线方向相应地眼皮下垂从而睁眼度下降的情况为脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况。另外，与视线方向相应地眼皮上扬从而睁眼度增加的情况为脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况。

图3是示出驾驶员的侧脸的示意图，是示出脸部朝向为朝正面且视线为朝下的情况的图。在图3中，D1表示视线方向，D2表示脸部朝向方向。D1方向与D2方向的角度的差分为θ₁。另外，在图3中，当将预定的基准方向设为驾驶员的正面朝向(水平方向)、将逆时针方向设为正(+)方向时，脸部朝向角度为0，视线角度为－θ₁。

如图3那样，在脸部朝向角度为朝正面且视线角度为朝下的情况下，上眼皮40下垂，从而上眼皮40与下眼皮42的距离变窄。因此，脸部朝向角度为朝正面且视线角度为朝下的情况下的睁眼度比脸部朝向角度和视线角度都为朝正面的情况小。由于同样的理由，脸部朝向角度为朝上且视线角度为朝下的情况下的睁眼度比脸部朝向角度和视线角度都为朝正面的情况小。

在根据睁眼度来判定驾驶员的清醒度的情况下，比较睁眼度和预定的判定阈值(闭眼判定阈值)，在睁眼度为判定阈值以下的情况下，被判定为清醒度下降。此时，判定阈值以脸部朝向角度、视线角度为朝正面为前提而被设定。在如图3所示的情况下，睁眼度被识别为比实际小，所以当想要根据睁眼度来判定清醒度时，有时本来清醒度未下降，但被误判定为清醒度下降。

另外，图4是示出脸部朝向为朝下且视线为朝正面的情况的图。在图4中，也是D1表示视线方向，D2表示脸部朝向方向。D1方向与D2方向的角度的差分为θ₂。在图4中，也将预定的基准方向设为驾驶员的正面朝向(水平方向)，将逆时针方向设为角度的正(+)方向。在该情况下，脸部朝向角度为－θ₂，视线角度为0。

如图4那样，在脸部朝向角度为朝下且视线角度为朝正面的情况下，上眼皮40上扬，从而上眼皮40与下眼皮42的距离变宽。因此，脸部朝向角度为朝下且视线角度为朝正面的情况下的睁眼度比脸部朝向角度和视线角度都为朝正面的情况大。由于同样的理由，脸部朝向角度为朝下且视线角度为朝上的情况下的睁眼度比脸部朝向角度和视线角度都为朝正面的情况大。在这样的情况下，睁眼度被识别为比实际大，所以当想要根据睁眼度来判定清醒度时，有时本来清醒度下降，但被误判定为清醒度未下降。

因此，在脸部朝向角度与视线角度的差分大而差分为预定值以上的情况下，处理器10的校正部14校正由睁眼度计算部11计算出的睁眼度。另外，在脸部朝向角度与视线角度的差分大而差分为预定值以上的情况下，校正部14校正与由睁眼度计算部计算出的睁眼度进行比较的判定阈值。此外，进行睁眼度的校正和判定阈值的校正中的至少任意一方。

校正部14在脸部朝向角度与视线角度的差分为预定值以上的情况下，根据以下的式(1)，将校正系数A与由睁眼度计算部11计算出的睁眼度相乘，将睁眼度校正成与脸部朝向和视线都为朝正面的情况相当的值。

睁眼度×A＝校正睁眼度…(1)

例如，当将预定值设为θ_{_th}，将从脸部朝向角度减去视线角度而得到的差分设为θ时，在|θ|≥θ_{_th}的情况下，校正部14根据式(1)来计算校正睁眼度。

另外，在脸部朝向角度与视线角度的差分为预定值以上的情况下，校正部14校正为了判定清醒度而与睁眼度进行比较的判定阈值。校正部14根据以下的式(2)，将校正系数B与判定阈值相乘，将判定阈值校正成与当前的脸部朝向角度以及视线角度相当的校正判定阈值。此外，式(2)的左边的校正前的判定阈值相当于脸部朝向和视线都为朝正面的情况下的判定阈值。

判定阈值×B＝校正判定阈值…(2)

例如，当将预定值设为θ_{_th}、将从脸部朝向角度减去视线角度而得到的差分设为θ时，在|θ|≥θ_{_th}的情况下，校正部14根据式(2)来计算校正判定阈值。

例如θ_{_th}被设为5[deg]。因而，在差分θ的绝对值为5[deg]以上的情况下，进行睁眼度或者判定阈值的校正，在差分θ的绝对值小于5[deg]的情况下，不进行睁眼度或者判定阈值的校正。

处理器10的判定部15根据校正后的睁眼度、或者睁眼度与校正后的判定阈值的比较结果，判定驾驶员的睁眼状态。例如，判定部15使用预先保存于存储器的、将睁眼度与睁眼状态对应起来的映射，将睁眼度应用于映射，从而判定驾驶员的睁眼状态。另外，判定部15在将睁眼度与判定阈值进行比较的结果是睁眼度为判定阈值以下的情况下，判定为睁眼状态下降，清醒度下降。

在由判定部15判定为驾驶员的睁眼状态下降的情况或者判定为驾驶员的清醒度下降的情况下，显示装置2根据来自控制装置100的指令显示针对驾驶员的警告。另外，也可以与显示装置2中的警告显示一起，进行基于声音的警告。由此，抑制驾驶员的清醒度的下降。

另外，在由判定部15判定为驾驶员的睁眼状态下降的情况或者判定为驾驶员的清醒度下降的情况下，根据来自控制装置100的指令，车辆控制设备3使车辆停止在安全的场所。由此，事先避免由于驾驶员的清醒度的下降而可能产生的瞌睡驾驶等。

图5是示出控制装置100的处理器10每隔预定的控制周期而进行的处理的流程图。首先，睁眼度计算部11根据驾驶员监视器摄像机1所生成的图像来计算驾驶员的睁眼度(步骤S101)。

接下来，脸部朝向角度计算部12计算针对预定的基准方向的驾驶员的脸部朝向角度，视线角度计算部13计算针对预定的基准方向的驾驶员的视线角度。然后，判定脸部朝向角度与视线角度的差分的绝对值是否为预定值θ_{_th}以上(步骤S102)。

当在步骤S102中脸部朝向角度与视线角度的差分θ的绝对值为预定值θ_{_th}以上的情况下，进入到步骤S103。在步骤S103中，校正部14校正睁眼度、或者校正判定阈值。

另一方面，当在步骤S102中差分θ的绝对值小于预定值θ_{_th}的情况下，不进行睁眼度的校正或者判定阈值的校正，结束处理(End)。

接下来，更详细地说明校正部14进行的睁眼度的校正。校正部14将进行睁眼度的校正的差分θ的范围设为－θ_{_max}≤θ≤θ_{_max}。在此，例如，θ_{_max}＝70[deg]。校正部14在从脸部朝向角度减去视线角度而得到的差分θ比－θ_{_max}小的情况或者从脸部朝向角度减去视线角度而得到的差分θ比θ_{_max}大的情况下，不进行睁眼度的校正。

具体而言，在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况(θ＞0的情况)下，如果θ_{_max}≥θ≥θ_{_th}，则校正部14根据式(1)来计算校正睁眼度。另外，在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况(θ＜0的情况)下，如果－θ_{_max}≤θ≤θ_{_th}，则校正部14根据式(1)来计算校正睁眼度。校正部14在与这些条件不对应的情况下，不计算校正睁眼度。因而，在与这些条件不对应的情况下，不进行睁眼度的校正。

校正部14将脸部朝向角度与视线角度的差分θ和校正系数A的关系利用线性或者非线性的函数来近似，使用这些函数来计算与差分θ相应的校正系数A。图6是示出规定了差分θ与校正系数A的关系的函数的一个例子的图。根据图6所示的函数，以如下方式计算校正系数A。此外，在以下的说明中，Sa为图6所示的函数中的直线L₁的斜率，作为一个例子，Sa＝0.03。

在－θ_{_max}≤θ≤－θ_{_th}时

A＝Sa×θ+1

在－θ_{_th}＜θ＜θ_{_th}时

A＝1

在θ_{_th}≤θ≤θ_{_max}时

A＝Sa×θ+1

如上那样，在差分θ的绝对值为θ_{_th}以上且为θ_{_max}以下的情况下，校正部14进行睁眼度的校正。此时，在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况(θ＞0的情况)下，差分θ越大，则校正部14越增大校正系数A的值。在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况下，差分θ越大，则睁眼度越小，所以差分θ越大，则越增大校正系数A的值，从而睁眼度被校正成与脸部朝向和视线都为朝正面的情况相当的值。

另外，在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况(θ＜0的情况)下，差分θ越小，则校正部14越减小校正系数A的值。在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况下，差分θ越小，则睁眼度越大，所以差分θ越小，则越减小校正系数A的值，从而睁眼度被校正成与脸部朝向和视线都为朝正面的情况相当的值。

另外，在脸部朝向角度与视线角度的差分θ的绝对值小于θ_{_th}的情况下，校正部14将校正系数A设为“1”。在该情况下，脸部朝向角度与视线角度的差分θ小，不会错误地计算睁眼度，所以不进行睁眼度的校正。

另外，在脸部朝向角度与视线角度的差分θ的绝对值超过θ_{_max}时，校正部14也不进行睁眼度的校正。在该情况下，脸部朝向角度与视线角度的差分θ过大，所以不校正睁眼度，无法进行基于睁眼度的各种处理。因而，也不能进行基于睁眼度的睁眼状态的判定。

接下来，更详细地说明校正部14进行的判定阈值的校正。校正部14按照与睁眼度的校正同样的手法，在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况(θ＞0的情况)下，如果θ_{_max}≥θ≥θ_{_th}，则根据式(2)来计算校正判定阈值。另外，在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况(θ＜0的情况)下，如果－θ_{_max}≤θ≤θ_{_th}，则校正部14根据式(2)来计算校正判定阈值。校正部14在不相当于这些条件的情况下，不进行判定阈值的校正。

另外，校正部14将脸部朝向角度与视线角度的差分θ和校正系数B的关系利用线性或者非线性的函数进行近似，使用这些函数来计算与差分θ相应的校正系数B。图7是示出规定了差分θ与校正系数B的关系的函数的一个例子的图。根据图7所示的函数，以如下方式计算校正系数B。此外，在以下的说明中，Sb为图7所示的函数中的直线L₂的斜率，作为一个例子，Sb＝－0.03。

在－θ_{_max}≤θ≤θ_{_th}时

B＝Sb×θ+1

在－θ_{_th}＜θ＜θ_{_th}时

B＝1

在θ_{_th}≤θ≤θ_{_max}时

B＝Sb×θ+1

如上那样，在差分θ的绝对值为θ_{_th}以上且为θ_{_max}以下的情况下，校正部14进行判定阈值的校正。此时，在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况(θ＞0的情况)下，差分θ越大，则校正部14越减小校正系数B的值。在脸部朝向角度为朝上或者朝正面且视线角度为朝下的情况下，差分θ越大，则睁眼度越小，所以差分θ越大，则越减小校正系数B的值，从而根据式(2)，差分θ越大，则校正判定阈值越小。因而，根据与睁眼度的下降相应地被校正成小的值的校正判定阈值，准确地判定清醒度。

另外，在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况(θ＜0的情况)下，差分θ越小，则校正部14越增大校正系数B的值。在脸部朝向角度为朝下或者朝正面且视线角度为朝上的情况下，差分θ越小，则睁眼度越大，所以差分θ越小，则越增大校正系数B的值，从而根据式(2)，差分θ越大，则校正判定阈值越大。因而，根据与睁眼度的增加相应地被校正成大的值的校正判定阈值，准确地判定清醒度。

另外，在脸部朝向角度与视线角度的差分θ的绝对值小于θ_{_th}的情况下，校正部14将校正系数A设为“1”。在该情况下，脸部朝向角度与视线角度的差分θ小，不会错误地计算睁眼度，所以不进行判定阈值的校正。

另外，在脸部朝向角度与视线角度的差分θ的绝对值超过θ_{_max}时，校正部14也不进行判定阈值的校正。在该情况下，脸部朝向角度与视线角度的差分θ过大，所以不校正判定阈值，无法进行基于睁眼度的各种处理。因而，也不能进行通过比较睁眼度和判定阈值而进行的清醒度的判定。

图6所示的直线L₁的斜率Sa例如通过学习步骤来计算。图8是示出在学习步骤中计算校正系数A的斜率Sa的手法的图。在学习步骤中，在从处理开始起时间Ti的期间计算斜率Sa。例如，Ti被设定为10[min]左右。

在学习步骤中，比较脸部朝向角度和预定的阈值ωf，比较视线角度和预定的阈值ωg。而且，脸部朝向角度＜±ωf[deg]且视线角度＜±ωg[deg]时的睁眼度的平均值或中央值被设为基准值。通过将基准值除以脸部朝向角度和视线角度中的至少任意一个角度为这些范围以外时的睁眼度，从而计算基准值相对于睁眼度的比例Ac。此外，作为一个例子，ωf＝5[deg]，ωg＝5[deg]。

这样计算出的比例Ac为与脸部朝向角度的绝对值和视线角度的绝对值分别为5[deg]以上的情况下的校正系数A相当的值，所以获取多个样本，从而求出规定比例Ac与差分θ的关系的函数(图6所示的直线L₁)，所述多个样本的各个样本将比例Ac和与该比例Ac对应的差分θ设为成对。

在图8中，示出了在将纵轴设为校正系数A、将横轴设为差分θ的坐标上绘制根据比例Ac和与比例Ac对应的差分θ表示的点的状态。根据比例Ac和差分θ，使用最小二乘法等来计算直线L₁的斜率Sa。当求出斜率Sa时，如上所述，根据差分θ的值来求出校正系数A。此外，在图8中，示出了求出θ＞0的区域的直线L₁的斜率Sa的方法，但关于θ＜0的区域也一样。

如上所述，校正部14进行睁眼度的校正和判定阈值的校正中的至少任意一个校正。睁眼度的校正和判定阈值的校正也可以根据从睁眼度计算的处理开始起的经过时间t和学习步骤所需的时间Ti来切换。

例如，在将睁眼度计算的处理开始的时刻设为0、将t设为当前时刻的情况下，如果t≤Ti，则校正部14进行判定阈值的校正处理。另外，如果t＞Ti，则校正部14进行睁眼度的校正处理。

根据这样的处理，在t≤Ti的情况下，上述学习步骤未完成，所以在直至决定校正系数A为止的期间，比较睁眼度和校正判定阈值，从而判定睁眼状态。另外，在t＞Ti的情况下，学习步骤完成，所以进行睁眼度的校正处理，从而根据通过学习而得到的校正系数A来校正睁眼度，根据校正后的睁眼度来判定睁眼状态。

在以上的说明中，说明了车辆控制系统200搭载于车辆，判定驾驶员等乘坐人员的睁眼状态的例子，但本实施方式并不限定于此。本实施方式能够广泛应用于判定人的睁眼状态的系统。

如以上说明，根据本实施方式，根据脸部朝向角度与视线角度的角度差来校正睁眼度或者与睁眼度进行比较的判定阈值，所以睁眼度或者与睁眼度进行比较的判定阈值的计算精度提高。因而，即使在脸部朝向角度与视线角度不同的情况下，也精度良好地判定睁眼状态。

以上，说明了本发明的优选的实施方式，但本发明并不限定于这些实施方式，能够在权利要求书的记载内实施各种修正以及变更。

Claims (6)

1.一种睁眼度计算装置，具有：

睁眼度计算部，根据表示有乘坐人员的脸部的图像，计算所述乘坐人员的睁眼度；

脸部朝向角度计算部，根据所述图像，计算针对预定的基准方向的所述乘坐人员的脸部朝向角度；

视线角度计算部，根据所述图像，计算针对所述预定的基准方向的所述乘坐人员的视线角度；

校正部，在所述脸部朝向角度与所述视线角度的差分为预定值以上的情况下，校正由所述睁眼度计算部计算出的所述睁眼度、或者校正与所述睁眼度进行比较的阈值；以及

判定部，根据校正后的所述睁眼度、或者所述睁眼度与校正后的所述阈值的比较结果，判定所述乘坐人员的睁眼状态。

2.根据权利要求1所述的睁眼度计算装置，其中，

所述校正部根据所述差分，将所述睁眼度校正成与所述脸部朝向角度以及所述视线角度为朝正面的情况相当的值。

3.根据权利要求1所述的睁眼度计算装置，其中，

在所述视线角度比所述脸部朝向角度朝下的情况下所述校正部以使所述睁眼度增加的方式校正所述睁眼度，在所述视线角度比所述脸部朝向角度朝上的情况下所述校正部以使所述睁眼度减少的方式校正所述睁眼度。

4.根据权利要求3所述的睁眼度计算装置，其中，

所述差分越大，则所述校正部越增大所述睁眼度的校正量。

5.根据权利要求1所述的睁眼度计算装置，其中，

在所述视线角度比所述脸部朝向角度朝下的情况下所述校正部以使所述阈值减少的方式校正所述阈值，在所述视线角度比所述脸部朝向角度朝上的情况下所述校正部以使所述阈值增加的方式校正所述阈值。

6.根据权利要求5所述的睁眼度计算装置，其中，

所述差分越大，则所述校正部越增大所述阈值的校正量。