CN105829965A - 脸部图像拍摄装置、以及驾驶员状态判定装置 - Google Patents

Abstract

在脸部图像拍摄装置中，将固定焦点式的车载照相机的焦点位置(正好焦点对准的位置)设定在如下的位置。即，将焦点位置设定在针对使驾驶席的位置移动到前方的极限时的驾驶员的脸部的位置(前方极限脸部位置)的弥散圆的一方比针对使驾驶席的位置移动到后方的极限时的驾驶员的脸部的位置(后方极限脸部位置)的弥散圆大的位置。这样一来，能够使车载照相机的焦点位置向后方移动，所以能够抑制在后方极限脸部位置的脸部图像的模糊。其结果，即使在后方极限脸部位置的脸部图像中的模糊被放大，也总是能够高精度地检测驾驶状态。

Description

脸部图像拍摄装置、以及驾驶员状态判定装置

本申请基于2013年12月18日申请的日本申请编号2013-261880号，并在此引用其记载内容。

技术领域

本公开涉及使用车载照相机来拍摄驾驶员的脸部图像的脸部图像拍摄装置、以及解析脸部图像来判定驾驶员状态的驾驶员状态判定装置。

背景技术

公知有通过解析由车载照相机拍摄到的驾驶员的脸部图像，来判定驾驶中的驾驶员的清醒度、漫不经心程度、困倦度等对安全驾驶造成影响的驾驶员的状态(在本说明书中，将这些称为“驾驶员状态”)，并根据需要进行警告等的驾驶辅助技术。该驾驶辅助技术为了高精度地判定驾驶员状态而优选尽量拍摄清楚的脸部图像。

这里，一般来说，在车辆中能够根据驾驶员的体格、嗜好将座位位置向前后调整，若调整座位位置则驾驶员的脸部的位置也前后地移动。因此，为了即使脸部的位置移动也能够拍摄清楚的脸部图像，而提出了根据驾驶员调整的座位位置推断出脸部的位置，来调整车载照相机的焦点位置的技术(专利文献1)。并且，也提出了还考虑到驾驶员在驾驶中变更姿势的情况来拍摄脸部图像的技术(专利文献2)。

另一方面，代替能够调整焦点位置的车载照相机，也广泛使用结构简单的固定焦点式的车载照相机。固定焦点式的车载照相机无法使焦点位置移动，所以为了即使驾驶员的脸部位置前后移动也得到清楚的图像而在减小光学系统的光圈的聚光的状态(F值较大的状态)下使用固定焦点式的车载照相机。这是因为，越减小光学系统的光圈(越增大F值)景深(得到焦点对准的图像的被拍摄体位置的范围)越深，所以即使脸部位置前后移动也能得到清楚的图像。不过，为了将光量的不足补充如减小光圈(增大F值)的程度而需要较强的光源。鉴于此，为了使光学系统的光圈不过于小，因此理想上以如景深与驾驶员的脸部位置的移动范围一致的方式设定光圈。

专利文献1：日本特开平6－178302号公报

专利文献2：日本特开2009－113621号公报

但是，在使用固定焦点式的车载照相机的情况下，存在即使将光学系统的光圈的设定设定为如在驾驶员的脸部位置移动的全范围中得到清楚的脸部图像那样的最佳的光圈，驾驶员状态的检测精度也降低这样的问题。而且，本申请的发明者发现了，该不可解的现象的原因是由于如下的事情，即，即使位于远离车载照相机的位置的脸部的脸部图像和位于车载照相机的附近的脸部的脸部图像相同地是清楚的图像，若从检测驾驶员状态的用途来看则不能相同地对待。

发明内容

该公开是基于本申请的发明者发现的上述的见解而完成的，其目的在于，提供即使在使用固定焦点式的车载照相机的情况下，也能够高精度地检测驾驶员状态的技术。

根据本公开的一方式，脸部图像拍摄装置以及驾驶员状态判定装置将使驾驶员的脸部图像在图像传感器上成像的成像光学系统的焦点位置(正好焦点对准的位置)固定在如下那样的位置。即，将焦点位置固定在针对前方极限脸部位置(FP)的弥散圆的一方比针对后方极限脸部位置(RP)的弥散圆大的位置。这里，所谓后方极限脸部位置是指使驾驶席的位置移动到后方的极限时的驾驶员的脸部的位置。另外，所谓前方极限脸部位置是指使驾驶席的位置移动到前方的极限时的驾驶员的脸部的位置。这些后方极限脸部位置、前方极限脸部位置基于对于可移动驾驶席的极限的位置和驾驶员的体型的统计数据按照每个车辆决定。

详细的机制将在后面描述，但发现了：尽管在驾驶员的脸部位置移动的全范围中得到清楚的脸部图像，但是驾驶员状态的检测精度也会降低的理由是因为，若驾驶员使脸部位置移动到后方，则检测驾驶员状态时放大了脸部图像中的模糊。因此，如果允许针对前方极限脸部位置的弥散圆大于针对后方极限脸部位置的弥散圆，则能够使成像光学系统的焦点位置(正好焦点对准的位置)向后方移动，所以即使在后方极限脸部位置，也能够得到模糊更少的脸部图像。其结果，即使在检测驾驶员状态时放大脸部图像中的模糊，也总是能够高精度地检测驾驶状态。

根据本公开的第二方式，在上述第一方式所涉及的脸部图像拍摄装置中，也可以在前方极限脸部位置处的MTF(ModulationTransferFunction：调制传递函数)的值成为小于后方极限脸部位置处的MTF的值的位置设定成像光学系统的焦点位置。这里，所谓MTF是指光学系统的性能评价所使用的公知的指标值，MTF的值越小，表示得到的像越模糊。

这样一来，能够使成像光学系统的焦点位置(正好焦点对准的位置)向后方移动。因此，即使在后方极限脸部位置也能得到模糊较少的脸部图像，所以即使在检测驾驶员状态时放大脸部图像中的模糊，也能够高精度地检测驾驶状态。

根据本公开的第三方式，在上述第一或者第二方式所涉及的脸部图像拍摄装置中，也可以在前方极限脸部位置与后方极限脸部位置的中间位置、或者比中间位置距离成像光学系统更远的位置设定成像光学系统的焦点位置。

以往的固定焦点式的成像光学系统的焦点位置必然被设定在比前方极限脸部位置与后方极限脸部位置的中间位置靠近前侧(接近成像光学系统的一侧)。因此，如果将成像光学系统的焦点位置设定在前方极限脸部位置与后方极限脸部位置的中间位置、或者比中间位置更远，则在后方极限脸部位置也能够得到模糊较少的脸部图像。因此，即使在检测驾驶员状态时放大脸部图像中的模糊，也能够高精度地检测驾驶状态。

根据本公开的第四方式，在上述第一至第三方式所涉及的脸部图像拍摄装置中，也可以将成像光学系统的F值设定为2.0以下的值。这里，所谓F值是光学系统的性能评价所使用的公知的指标值，F值越小，得到光量越多、越亮的图像，但已知相对于被拍摄体的前后的移动，像变得容易模糊。

一般来说，在固定焦点式的成像光学系统中，为了在从前方极限脸部位置到后方极限脸部位置的范围中，得到模糊较少的清楚的脸部图像，而需要确保2.8左右的F值，使F值为2.0以下在设计上较困难。与此相对，在上述第四方式所涉及的脸部图像拍摄装置中，在前方极限脸部位置的附近中允许脸部图像的模糊，所以能够将F值设定为2.0以下，其结果，即使较少的光量也能够拍摄较亮的脸部图像。

根据本公开的第五方式，上述第一至第四方式所涉及的脸部图像拍摄装置也可以安装于驾驶员能够将驾驶席的位置向前后方向调整的车辆，从而应用于解析驾驶员的脸部图像来判定驾驶员状态的驾驶员状态判定装置。

如上述那样，本公开的脸部图像拍摄装置在驾驶员使驾驶席向后方移动的情况下也能够拍摄模糊较少的脸部图像，所以如果解析得到的脸部图像来判定驾驶员状态，则能够高精度地判定驾驶员状态。

根据本公开的第六方式，在上述第五方式所涉及的驾驶员状态判定装置中，也可以通过使用数字处理等方法将由脸部图像拍摄装置拍摄到的脸部图像归一化为规定的大小的图像，并解析归一化后的脸部图像，来判定驾驶员状态。

若驾驶员使驾驶席移动到后方，则脸部图像拍摄得较小，所以通过归一化放大脸部图像，此时，脸部图像中的模糊也被放大。在上述第六方式所涉及的脸部图像拍摄装置中，即使在驾驶员使驾驶席移动到后方的情况下也能够拍摄模糊较少的脸部图像，所以能够抑制归一化后的脸部图像所包含的模糊。另外，若驾驶员使驾驶席移动到前方，则脸部图像拍摄得较大，所以通过归一化缩小了脸部图像，此时，脸部图像中的模糊也被缩小。因此，不管驾驶员使驾驶席移动的位置如何，均能够抑制归一化后的脸部图像所包含的模糊，其结果，总是能够高精度地判定驾驶员状态。

附图说明

针对本公开的上述目的以及其他的目的、特征、优点通过参照附图以及下述的详细的描述会更加明确。

图1是关于安装了实施例的驾驶员状态判定装置的车辆的说明图。

图2是实施例的拍摄单元以及控制装置的大致的框图。

图3是表示车载照相机的大致的内部结构的剖视图。

图4是关于能够通过微调成像光学系统相对于图像传感器的位置来调整成像光学系统的焦点位置的原理的说明图。

图5是对为了在固定焦点式的车载照相机中设定成像光学系统的对焦范围而在以往采用的想法的说明图。

图6是例示了基于以往的想法设定了对焦范围的情况下得到的脸部图像的说明图。

图7是根据脸部图像判定驾驶员状态的驾驶员状态判定处理的流程图。

图8是例示了在驾驶员状态的判定之前将脸部图像归一化的情形的说明图。

图9是关于为了在实施例的车载照相机中设定成像光学系统的对焦范围而采用的想法的说明图。

图10是表示在以实施例的想法设定了对焦范围的情况下，与以以往的想法设定了对焦范围的情况相比，后方极限脸部位置中的弥散圆变小的说明图。

图11是表示在以实施例的想法设定了对焦范围的情况下，与以以往的想法设定了对焦范围的情况相比，前方极限脸部位置中的弥散圆变大的说明图。

图12是例示了基于实施例的想法设定了对焦范围的情况下得到的脸部图像的说明图。

图13是例示了在以实施例的想法设定了对焦范围的情况和以以往的想法设定了对焦范围的情况下比较成像光学系统的MTF得到的结果的说明图。

图14是对使用代表MTF比较以实施例的想法设定了对焦范围的情况和以以往的想法设定了对焦范围的情况的方法的说明图。

具体实施方式

以下，为了明确上述的本申请公开的内容而对实施例进行说明。

A.装置构成：

图1示出了安装有本实施例的驾驶员状态判定装置10的车辆1。驾驶员状态判定装置10具备安装于驾驶员的前方的拍摄单元100、和与拍摄单元100连接的控制装置200。拍摄单元100安装于从驾驶员方向观察方向盘2对面一侧的仪表面板3的近前侧，能够拍摄驾驶员的脸部图像。此外，在图1中，以对驾驶员标注斜线的方式进行表示。

另外，驾驶员所座的驾驶席4的座位位置能够前后调整，与此相伴，驾驶员的脸部位置也前后地移动。在图1中，使驾驶席4朝向前方(车辆1的行进方向)移动到极限时的驾驶员的头部由粗的点划线表示。另外，使驾驶席4移动到后方的极限时的驾驶员的头部由粗的虚线表示。而且，如图1中细的点划线表示那样，拍摄单元100的视角被设定为在使驾驶席4前后移动的情况下也能够拍摄驾驶员的脸部的角度。

图2中示出本实施例的拍摄单元100以及控制装置200的大致的框图。拍摄单元100具备拍摄驾驶员的脸部图像的车载照相机110、和朝向驾驶员的脸部投射红外光的投光部120。在本实施例中，作为投光部120，采用了放射从可见光的长波长侧到红外光的光的红外LED。

车载照相机110具备将驾驶员的脸部图像转换为图像数据的图像传感器112、和使脸部图像在图像传感器112的拍摄面成像的成像光学系统114。在本实施例中，作为图像传感器112，使用了CMOS图像传感器。另外，成像光学系统114通过多个透镜、光圈等一体组合而构成。此外，车载照相机110与脸部图像拍摄装置对应。

控制装置200由安装了CPU、存储器、计时器、各种电气电路等的微型计算机构成。如公知那样，微型计算机能够通过所执行的程序实现各种功能，其中，本实施例的200具备驱动投光部120向驾驶员的脸部投射红外光的功能、驱动图像传感器112来获取脸部图像的图像数据的功能、以及解析脸部图像的图像数据来判定驾驶员状态(驾驶员的清醒度、漫不经心程度、困倦度等)的功能。

此外，在图2中，在构成控制装置200的CPU、程序、电气电路等中，将实现驱动投光部120的功能的部分方便地表示为“投光驱动部201”。相同地，将实现使用图像传感器112获取图像数据的功能的部分方便地表示为“图像获取部202”，将实现解析图像数据来判定驾驶员状态的功能的部分方便地表示为“驾驶员状态判定部203”。

图3中通过取得车载照相机110的剖面而示出大致的内部结构。在车载照相机110的主体壳体111的内部收纳有图像传感器112，在主体壳体111的前面侧安装有成像光学系统114。

成像光学系统114为多枚透镜、光学系统的光圈114f等一体组装而成的结构，通过利用形成于成像光学系统114的外周侧面的螺丝螺设于主体壳体111而安装。因此，能够通过使整个成像光学系统114旋转，来微调成像光学系统114与图像传感器112的距离，能够进行所谓的焦点对准。

此外，图3所例示的成像光学系统114具备3片透镜、和光圈114f，但透镜的片数、光圈114f的片数、透镜和光圈114f的位置关系等能够为不同的。

图4中示出通过微调成像光学系统114相对于图像传感器112的位置来使焦点对准的原理。如上述那样，成像光学系统114由多个透镜构成，但能够考虑简单地置换为1片等效的透镜。这里，将该等效的透镜的焦距设为“f”。

如图4(a)所示那样，在距离图像传感器112的拍摄面距离a的位置放置成像光学系统114。于是，在图像传感器112的拍摄面上成像有处于距离成像光学系统114距离A的位置的物体的像。已知此时的距离A满足图4(b)中的等式。因此，通过使成像光学系统114的位置接近或者远离图像传感器112，能够使焦点对准根据当时的距离a规定的距离A的位置(一点)。

此外，该情况下，距离A的位置是正好焦点对准的位置，因此，与成像光学系统114的“焦点位置”对应。

在具备所谓的变焦功能的照相机中，通过变更距离a、或者等效的焦距f，能够变更焦点对准的距离A(成像光学系统的焦点位置)。因此，如使用图1所述那样，即使驾驶席4的位置前后移动，通过使焦点对准驾驶员的脸部的位置，也能够使脸部的像在图像传感器112的拍摄面上成像。

但是，本实施例的车载照相机110是所谓的固定焦点式的照相机，成像光学系统114的等效的焦距f、图像传感器112与成像光学系统114的距离a被固定。因此，即使驾驶员的脸部的位置随着驾驶席4的移动而前后移动，也无法变更焦点对准的距离A(成像光学系统114的焦点位置)。

因此，一般来说，通过在固定焦点式的车载照相机110中，减小成像光学系统114的光圈114f(增大F值)，并且，适当地设定图像传感器112与成像光学系统114的距离a(从而，将成像光学系统114的焦点位置设定在适当的位置)，由此，即使驾驶员的脸部位置前后移动，实用上也得到充分清楚的脸部图像。

图5中示出为了在固定焦点式的车载照相机110中设定成像光学系统114的F值以及焦点位置而在以往采用的想法。此外，以下，将使驾驶席4移动到前方的极限位置的状态下的驾驶员的脸部位置称为“前方极限脸部位置FP”，将使驾驶席4移动到后方的极限位置的状态下的驾驶员的脸部位置称为“后方极限脸部位置RP”。该前方极限脸部位置FP以及后方极限脸部位置RP如以下那样规定。

首先，能够使驾驶席4移动的前方或者后方的极限位置在车辆1的设计阶段预先确定。当然，驾驶员的脸部位置并不是仅通过驾驶席4的位置决定，也根据驾驶员的体格、驾驶员喜好的驾驶时的姿势等变化。

因此，积蓄了针对各种驾驶员的脸部位置的实测结果，并根据其结果现在总结出国际标准(例如，ISO4513)。在该标准中，能够计算脸部位置相对于驾驶席4的位置的概率分布，若决定驾驶席4的位置，则能够以某概率(例如90％以上的概率)确定驾驶员的脸部存在的区域。

在车载照相机110的设计时，使驾驶席4向前方或者后方移动的极限位置和在各个极限位置处的要求概率(例如，95％)作为规格被给予。于是，例如如果是使驾驶席4向前方移动的情况，则在驾驶席4处于极限位置时，能够基于国际标准确定驾驶员的脸部以要求概率以上的比例存在那样的区域。因此，能够将这样得到的区域的最前方的位置确定为前方极限脸部位置FP。

使驾驶席4向后方移动的情况也相同，在驾驶席4处于后方的极限位置时，能够基于国际标准确定驾驶员的脸部以要求概率以上的比例存在那样的区域。而且，将得到的区域的最后方的位置确定为后方极限脸部位置RP。

此外，以上，作为基于国际标准确定前方极限脸部位置FP以及后方极限脸部位置RP的情况进行了说明，但是如果能够决定脸部位置伴随驾驶席4的移动而移动的范围，则不一定需要是国际标准。例如，也可以基于按照每个国家规定的标准、按照每个车辆1的制造商规定的标准等，确定前方极限脸部位置FP以及后方极限脸部位置RP。

当然，在固定焦点式的车载照相机110中，无法与驾驶员的脸部位置的移动对应地调整焦点对准的位置(成像光学系统114的焦点位置)。但是，要求了只要驾驶员的脸部位置存在于从前方极限脸部位置FP到后方极限脸部位置RP的范围内，就能得到清楚的脸部图像。

因此，在固定焦点式的车载照相机110中，会考虑在焦点对准的位置(一点)的前后，实用上可以认为焦点对准的区域。即，考虑虽然并不是完全焦点对准(因此，得到的像稍微模糊)，但因模糊轻微而不成为实用上的问题，能够看待为焦点对准的区域。此外，以下，将“实用上能够看待为焦点对准的区域”称为“对焦区域(或者对焦范围)”。

现在，如图5(a)所示那样，若成像光学系统114的焦点位置处于前方极限脸部位置FP与后方极限脸部位置RP之间，则在其前后存在实用上能够看待为焦点对准的对焦范围。因此，前方极限脸部位置FP以及后方极限脸部位置RP包含于该对焦范围即可。另外，该对焦范围的大小能够使用以下那样的“后方景深”以及“前方景深”来决定。

首先，使用图5(b)对后方景深进行说明。假设在距离成像光学系统114距离A的位置(成像光学系统114的焦点位置)放置点光源，则如果不考虑成像光学系统114的像差，则应该在图像传感器112的拍摄面上成像有点像。接下来，若将点光源的位置向远离成像光学系统114的方向(以下，后方)移动，则在图像传感器112的拍摄面上得到的像较圆地模糊而形成为圆像。该圆像被称为“弥散圆”。另外，将点光源的位置向后方移动的移动量越大，模糊的程度也越大，且弥散圆变大。

因此，如果规定能够允许的弥散圆(允许弥散圆)的直径δc，则能够确定能够使点光源向后方移动的极限的移动量。所谓后方景深是指该极限的移动量。而且，已知该后方景深Lr能够通过图5(b)中所示的公式(1)计算。这里，公式(1)中的“δc”是允许弥散圆的直径，“f”是成像光学系统114的等效的焦距，“A”是从成像光学系统114到焦点位置的距离，“FNo”表示成像光学系统114的F值。如公式(1)所示那样，越增大F值(越减小光学系统的光圈)，后方景深Lr越大。

在将点光源向接近成像光学系统114的方向(以下，前方)移动的情况下，也适用几乎相同的情况。即，如图5(c)所示那样，越使点光源向前方移动，在图像传感器112的拍摄面上得到的像越模糊，弥散圆变大。因此，能够决定弥散圆的大小达到允许弥散圆那样的、点光源的移动量(前方景深)。而且，该前方景深Lf能够通过图5(c)中所示的公式(2)计算。此外，公式(2)中的“δc”、“f”、“A”、“FNo”所表示的意思与公式(1)相同。公式(2)也与公式(1)相同，越增大F值(越减小光学系统的光圈)，前方景深Lf越大(虽然比后方景深Lr稍小)。

根据以上的说明清楚的是，将从成像光学系统114的焦点位置向后方扩散的后方景深Lr和向前方扩散的前方景深Lf合在一起得到的范围为对焦范围(实用上可以认为焦点对准的范围)。

如上述那样，由于F值越大，后方景深Lr以及前方景深Lf越大，所以对焦范围越大。其另一方面，F值越大(图3所示的光圈114f的开口面积越小)，到达图像传感器112的拍摄面的光量变少，而难以得到较亮的脸部图像，所以需要增大投射到驾驶员的脸部的光量。根据该意思，优选F值为尽量小的值。

基于以上那样的想法，理想的是，设定成像光学系统114的F值和成像光学系统114相对于图像传感器112的距离a，以便从前方极限脸部位置FP到后方极限脸部位置RP的范围正好为对焦范围。

在以往的固定焦点式的车载照相机110中，设定了成像光学系统114的F值、以及图像传感器112与成像光学系统114的距离a，以便基于以上那样的想法得到适当的对焦范围，。

此外，如果比较图5(b)中的公式(1)和图5(c)中的公式(2)则清楚的是，后方景深Lr一定比前方景深Lf大。因此，在以往的固定焦点式的车载照相机110中，如图5(a)所示那样，成像光学系统114的焦点位置一定存在于比前方极限脸部位置FP与后方极限脸部位置RP的中间位置靠近前侧(接近成像光学系统114的一侧)。

在以上的说明中，为了容易理解，作为光源没有大小(是点光源)，并且成像光学系统114没有像差的情况进行了说明。但是，实际上光源一定具有大小、形状。因此，实际上，例如能够较亮地照明直径1厘米的白色的较小的圆板，来代替点光源使用。

另外，光学系统一定存在像差。因此，在拍摄圆形的圆板的情况下不一定也得到圆形的像，弥散圆的直径不一定能够计测。因此，实际上，能够通过测量得到的像的面积，来计算成为该面积的等效的弥散圆的直径。

图6中例示出在基于如以上所述的以往的想法设定了固定焦点式的车载照相机110的F值以及距离a的情况下得到的脸部图像。在标准的脸部位置(以下，称为标准脸部位置SP)有驾驶员的脸部的情况下当然能够拍摄清楚的脸部图像，在前方极限脸部位置FP有脸部的情况下和在后方极限脸部位置RP有脸部的情况下也都能够拍摄清楚的脸部图像。

通过对于这样的脸部图像施加规定的处理来判定驾驶员状态(驾驶员的清醒度、漫不经心程度、困倦度等)。如上述那样，因为不管驾驶员的脸部位置总是得到清楚的脸部图像，所以以往当然认为总是能够高精度地判定驾驶员状态。但是，实际上存在判定精度降低的情况。以下，作为对该理由进行说明准备，对根据脸部图像判定驾驶员状态的处理的概要进行说明，之后，对有时判定精度降低的理由进行说明。

B.驾驶员状态判定处理：

图7中示出驾驶员状态判定处理的流程图。该处理由驾驶员状态判定装置10的控制装置200执行。

在驾驶员状态判定处理中，首先拍摄包括驾驶员的脸部的图像(S100)。即，驱动投光部120来对驾驶员的脸部照射光，并且获取在图像传感器112的拍摄面上成像的图像。如上述那样，投光部120放射从可见光的长波长侧到红外光的光。驱动投光部120的动作使用投光驱动部201来进行。另外，控制图像传感器112的曝光时间、曝光时机，或者从图像传感器112读出图像数据的动作使用图像获取部202来进行。

接着，控制装置200使用驾驶员状态判定部203进行以下的处理。首先，从由车载照相机110拍摄到的图像中检测映现有脸部的图像(脸部图像)的脸部区域(S101)。脸部区域能够通过从图像中提取出脸部的特征来检测。如图6所示那样，从在前方极限脸部位置FP拍摄到的图像检测到较大的脸部区域，从在后方极限脸部位置RP拍摄到的图像检测到较小的脸部区域。

之后，通过放大或者缩小检测到的脸部区域的图像，进行使脸部图像的大小一致的被称为“归一化”的处理(S102)。图8(a)～(c)中例示出将脸部图像归一化的情形。例如，对于在前方极限脸部位置FP拍摄到的脸部图像，在计算机上缩小图像，对于在后方极限脸部位置RP拍摄到的脸部图像，在计算机上放大图像，由此，生成与在标准脸部位置SP拍摄出的脸部图像几乎相同大小的脸部图像。

从这样归一化的脸部图像检测眼睛的位置、眼睑、眼珠的部分等，开眼度(眼的睁开情况)以及眼睑举动(眼睑的位置、瞬间的速度、频度)(S103)。开眼度、眼睑举动的检测能够应用已经公知的各种方法。

接着，基于开眼度、眼睑举动判定驾驶员状态(清醒度、漫不经心程度等)(S104)。对于驾驶员状态的判定，能够应用已经公知的各种方法。控制装置200基于这样得到的判定结果进行对驾驶员的警告等。

这里，判明了尽管总是得到清楚的脸部图像，但是驾驶员状态的判定精度也会降低的理由是因为，在从包括脸部的图像中将拍摄有脸部的部分的图像(脸部图像)归一化时(图7的S102)，使图像中的模糊放大。再次参照图8对于该点进行说明。

图8中例示出针对前方极限脸部位置FP、标准脸部位置SP、后方极限脸部位置RP的各个情况由车载照相机110拍摄到的脸部图像、以及归一化后的脸部图像。

着眼于在图中左侧示出的归一化前的脸部图像，若比较前方极限脸部位置FP、标准脸部位置SP、后方极限脸部位置RP这3个情况，则最接近成像光学系统114的焦点位置的标准脸部位置SP的脸部图像为最清楚的图像。不过，对于前方极限脸部位置FP以及后方极限脸部位置RP的脸部图像而言，(虽然与标准脸部位置SP的脸部图像相比稍微模糊)也都为充分清楚的图像。这是因为，如使用图5所述那样，在前方极限脸部位置FP或者后方极限脸部位置RP，弥散圆的直径也被抑制在允许弥散圆的直径δc以下。

但是，对于后方极限脸部位置RP的脸部图像而言，通过归一化放大了脸部图像，所以此时模糊也增大(参照图8(c))。其结果，对于模糊的脸部图像检测开眼度、眼睑举动(参照图7的S103)。认为尽管在车载照相机110中得到清楚的脸部图像，但是驾驶员状态的判定精度也会降低的原因是因为在后方极限脸部位置RP的脸部图像的归一化时使模糊放大。

另外，对于前方极限脸部位置FP的脸部图像而言，通过归一化缩小了脸部图像。因此，可以认为即使由车载照相机110拍摄到的脸部图像模糊，在归一化的阶段模糊也变小。

根据这样的见解，在本实施例的车载照相机110中，基于与以往的固定焦点式的车载照相机完全不同的想法，设定成像光学系统114的对焦范围(F值以及焦点位置)。

C.在本实施例中设定成像光学系统114的对焦范围时的想法：

图9示出了设定本实施例的成像光学系统114中采用的对焦范围时的基本的想法。如图9(a)所示，在本实施例的车载照相机110中，对焦范围与驾驶员的脸部位置移动的范围(从前方极限脸部位置FP到后方极限脸部位置RP的范围)相比，被设定在向远离车载照相机110的方向(后方)偏移的位置。

另外，在图9(b)中示出基于以往的想法设定的对焦范围作为参考。此外，图9(a)所示的本实施例的焦点位置和图9(b)所示的以往例的焦点位置不同，所以使用图5(b)中的公式(1)以及图5(c)中的公式(2)计算出的对焦范围的大小严格来说不一致。但是，在任一情况下，对焦范围都为点光源所制作出的弥散圆的直径限制在允许弥散圆的直径δc以下的范围。

如图9(b)所示那样，基于以往的想法的对焦范围包含从前方极限脸部位置FP到后方极限脸部位置RP的范围，所以不管驾驶员的脸部位置都能够拍摄清楚的脸部图像。

与此相对，图9(a)所示的基于本实施例的想法的对焦范围不包含前方极限脸部位置FP附近的范围。即，在本实施例中，例如像前方极限脸部位置FP那样，在驾驶员使驾驶席4向前方移动的情况下，对焦范围被设定在无法得到清楚的脸部图像的范围。

另外，对于成像光学系统114的焦点位置而言，在以往的想法和本实施例的想法中也设定在不同的位置。即，如果比较图5(b)中的公式(1)和图5(c)中的公式(2)则清楚的是，前方景深Lf一定比后方景深Lr小。因此，成像光学系统114的焦点位置一定存在于比对焦范围的中间位置靠前方(接近成像光学系统114的一侧)。而且，在以往的想法中，对焦范围被设定为与从前方极限脸部位置FP到后方极限脸部位置RP的范围几乎相同的范围，所以焦点位置一定存在于比前方极限脸部位置FP与后方极限脸部位置RP的中间位置靠前方(接近成像光学系统114的一侧)。

与此相对，在本实施例的想法中，对焦范围被设定为比从前方极限脸部位置FP到后方极限脸部位置RP的范围靠后方(远离成像光学系统114的一侧)。因此，可能发生成像光学系统114的焦点位置存在于前方极限脸部位置FP与后方极限脸部位置RP的中间位置、或者比中间位置靠后方的情况。即，如果焦点位置存在于这样的位置(前方极限脸部位置FP与后方极限脸部位置RP的中间位置、或者比中间位置靠后方)，则可以认为基于本实施例的想法设定了对焦范围。

当然，在基于本实施例的想法设定了对焦范围的情况下，也可能发生成像光学系统114的焦点位置存在于比前方极限脸部位置FP与后方极限脸部位置RP的中间位置靠前方的情况。这样的情况下，根据焦点位置，无法识别基于哪种想法设定了对焦范围。

但是，在这样的情况下，如果着眼于前方极限脸部位置FP以及后方极限脸部位置RP处的弥散圆的大小，则也能够识别基于哪种想法设定了对焦范围。

图10示出了针对以本实施例的想法设定了对焦范围的情况和以以往的想法设定了对焦范围的情况，比较后方极限脸部位置RP处的弥散圆的大小的结果。图10(a)是以本实施例的想法设定的情况，图10(b)是以以往的想法设定的情况。

在以以往的想法设定了对焦范围的情况下，如图10(b)所示那样，对焦范围的后端(从焦点位置朝向后方相当于后方景深Lr的距离的位置)和后方极限脸部位置RP为几乎相同的位置，所以后方极限脸部位置RP处的弥散圆的直径与允许弥散圆的直径δc几乎相等。

与此相对，在以本实施例的想法设定了对焦范围的情况下，如图10(a)所示那样，后方极限脸部位置RP与图10(b)的情况相比，来到接近成像光学系统114的焦点位置的位置。因此，后方极限脸部位置RP处的弥散圆的直径δr小于允许弥散圆的直径δc。

根据该情况，如果后方极限脸部位置RP处的弥散圆的直径δr小于允许弥散圆的直径δc，则可以认为基于本实施例的想法设定了对焦范围。

图11中示出了此次在以本实施例的想法设定了对焦范围的情况和以以往的想法设定了对焦范围的情况下比较前方极限脸部位置FP处的弥散圆的大小的结果。图11(a)是以本实施例的想法设定的情况，图11(b)是以以往的想法设定的情况。

如图11(b)所示那样，在以以往的想法设定了对焦范围的情况下，前方极限脸部位置FP处的弥散圆的直径与允许弥散圆的直径δc几乎相等。

与此相对，在以本实施例的想法设定了对焦范围的情况下，如图11(a)所示那样，前方极限脸部位置FP来到对焦范围的外侧。因此，前方极限脸部位置FP处的弥散圆的直径δf大于允许弥散圆的直径δc。

根据该情况，如果前方极限脸部位置FP处的弥散圆的直径δf大于允许弥散圆的直径δc，则可以认为基于本实施例的想法设定了对焦范围。

以上，作为通过将后方极限脸部位置RP处的弥散圆的直径δr、或者前方极限脸部位置FP处的弥散圆的直径δf与允许弥散圆的直径δc比较，来判断是否基于本实施例的想法设定了对焦范围的情况进行了说明。

但是，如果比较后方极限脸部位置RP处的弥散圆的直径δr和前方极限脸部位置FP处的弥散圆的直径δf，则能够更明确地判断是否基于本实施例的想法设定了该对焦范围。即，在基于以往的想法设定了对焦范围的情况下，后方极限脸部位置RP处的弥散圆的直径和前方极限脸部位置FP处的弥散圆的直径都与允许弥散圆的直径δc几乎相等，因此，两者几乎相等(参照图10(b)以及图11(b))。

与此相对，在基于本实施例的想法设定了对焦范围的情况下，后方极限脸部位置RP处的弥散圆的直径δr比允许弥散圆的直径δc小(参照图10(a))，前方极限脸部位置FP处的弥散圆的直径δf比允许弥散圆的直径δc大(参照图11(a))。因此，前方极限脸部位置FP处的弥散圆的直径δf明显比后方极限脸部位置RP处的弥散圆的直径δr大。

根据该情况，比较后方极限脸部位置RP处的弥散圆的直径δr和前方极限脸部位置FP处的弥散圆的直径δf，如果两者的大小有明确的不同，则可以认为基于本实施例的想法设定了对焦范围。

图12中例示出在基于本实施例的想法设定了对焦范围的情况下将脸部图像归一化的情形。图12(a)表示对于前方极限脸部位置FP的脸部图像的归一化前后的图像。另外，图12(b)表示对于标准脸部位置SP的脸部图像的归一化前后的图像，图12(c)表示对于后方极限脸部位置RP的脸部图像的归一化前后的图像。

如图示那样，在归一化前的阶段，前方极限脸部位置FP的脸部图像模糊。这与若基于本实施例的想法设定对焦范围，则前方极限脸部位置FP处的弥散圆的直径δf比允许弥散圆的直径δc大的情况对应(参照图11(a))。但是，对于前方极限脸部位置FP的脸部图像而言，在归一化时缩小模糊，所以在归一化后的阶段中，与标准脸部位置SP处的脸部图像相同程度地成为清楚的图像。

另外，对于后方极限脸部位置RP的脸部图像而言，在归一化时放大了模糊。但是，若基于本实施例的想法设定对焦范围，则与基于以往的想法设定对焦范围相比，后方极限脸部位置RP处的脸部图像为更清楚的图像。这与在基于本实施例的想法设定了对焦范围的情况下，后方极限脸部位置RP处的弥散圆的直径δr比允许弥散圆的直径δc小的情况对应(参照图10(a))。因此，即使归一化后，也如图12(c)所示那样，能够与标准脸部位置SP处的脸部图像相同程度地得到清楚的图像。

另外，根据以上的情况清楚的是，若将前方极限脸部位置FP的归一化时的缩小率设为Kf，将后方极限脸部位置RP的归一化时的放大率设为Kr，则理想上如以下那样设定对焦范围即可。即，可知以前方极限脸部位置FP处的弥散圆的直径δf为允许弥散圆的直径δc的Kf倍左右(或者其以下)，并且，后方极限脸部位置RP处的弥散圆的直径δr为允许弥散圆的直径δc的1/Kr倍左右(或者其以下)的方式设定对焦范围即可。

如以上说明那样，如果以本实施例的想法设定了对焦范围，则即使由车载照相机110拍摄到的(归一化前的)脸部图像模糊，对于归一化后的脸部图像也总是能够得到清楚的图像。因此，能够不管驾驶员的脸部位置，总是高精度地判定驾驶员状态。

另外，对于前方极限脸部位置FP处的脸部图像而言，能够在归一化时缩小模糊，所以即使由车载照相机110拍摄的脸部图像模糊也没关系。因此，与以往相比能够将对焦范围缩窄，所以能够将成像光学系统114的F值设定为小于以往的值。在本实施例的成像光学系统114中，F值被设定为小于“2.0”的值(例如，F值1.8)。其结果，在车载照相机110中，能够拍摄比以往更亮的脸部图像，所以能够在车载照相机110的投光部120采用光量比以往小的光源。

并且，来自投光部120的光与距离的平方成反比例地变弱，所以后方极限脸部位置RP处的图像比标准脸部位置SP、前方极限脸部位置FP处的图像暗(亮度低)。因此，若产生将得到的图像的亮度增强的需要，并且此时图像中包含有噪声，则存在噪声也被增强的可能性。但是，在本实施例的成像光学系统114中，焦点位置被设定在靠后方极限脸部位置RP的位置，所以聚光效率变高而能够得到较亮的脸部图像，并且随着焦点对准能够得到噪声较少脸部图像。其结果，能够稳定且高精度地判定驾驶员状态。

这样，若以本实施例的想法设定对焦范围，则能够得到上述的各种优点。另外，对是否根据本实施例的想法设定了对焦范围能够着眼于成像光学系统114的焦点位置和前方极限脸部位置FP以及后方极限脸部位置RP的位置关系、在前方极限脸部位置FP以及后方极限脸部位置RP处的弥散圆的大小来判断的主旨进行了说明。

但是，对焦范围是否基于本实施例的想法设定也能够着眼于光学系统的评价所使用的MTF(ModulationTransferFunction：调制传递函数)来判断。

这里，所谓MTF简单来说能够认为是将对于时间轴的频率考虑出的传递函数(频率传递函数)应用于长度轴的频率(空间频率)的函数。即，时间轴上的频率表示在恒定时间内反复增减的次数，频率传递函数表示相对于某频率的输入，输出的振幅增减怎样的程度。

与此相对，空间频率表示在恒定距离内图像的对比度增减的次数，MTF表示相对于某空间频率的输入(该情况下为图像)，输出(该情况下为通过光学系统得到的成像)的对比度被保存到怎样的程度。例如在使画有10根较细的黑线的被拍摄体的像成像在1mm的宽度内时，如果对比度被充分地保存，则能够识别这些较细的黑线。但是，若对比度大幅减少，则成为好像模糊的图像而难以识别较细的黑线。因此，如果使用MTF，则能够客观地评价模糊的程度。

图13(a)中例示了以本实施例的想法设定了对焦范围的情况下得到的成像光学系统114的MTF的评价结果。另外，作为参考，图13(b)中例示了以以往的想法设定了对焦范围的情况下的MTF的评价结果。

首先，对图的外观进行说明。如上所述，MTF表示是否得到相对于某空间频率(例如在1mm宽度之中画有的黑线的根数)的图像，对比度以怎样的程度被保存的像(换言之，是否得到能够识别黑线的像)。当然，能够识别黑线的程度根据到放置有成为拍摄对象的图像的位置的距离而变化。与该情况对应，在图13(a)以及图13(b)的各个中，示出了对前方极限脸部位置FP、标准脸部位置SP、后方极限脸部位置RP这3个位置的MTF的评价结果。

另外，即使成为拍摄对象的图像的位置相同，如果该图像的空间频率(在1mm宽度之中画有的黑线的根数)改变，则能够识别黑线的程度也变化。对应于该情况，在图13(a)以及图13(b)中，对于3个位置的各个，示出0根/mm～60根/mm的空间频率的范围中的MTF的评价结果。

此外，空间频率0根/mm是指如纯黑色的图像一样的图像。对于这样的图像，无论像多么模糊也与原来的图像相同地得到纯黑色的图像，所以MTF为表示对比度完全被保存的值“1.0”。另外，若空间频率(在1mm宽度之中画有的黑线的根数)增加，则与黑线的识别逐渐变得困难对应地MTF也降低。

并且，在光学系统的光轴附近得到的像和在远离光轴的位置得到的像中，能够识别黑线的程度发生变化。并且，即使在黑线的方向相对于光轴为径向的情况和圆周方向的情况下，能够识别黑线的程度也发生变化。鉴于此，MTF在相对于光轴的各种位置并且在黑线的方向为径向的情况和周方向的情况这2个情况下均被评价。

在图13(a)以及图13(b)的3个位置(例如前方极限脸部位置FP)处的图中示出多根MTF是因为，相对于光轴在多个位置评价MTF。另外，图中由实线所示的MTF表示针对黑线的方向朝向径向的拍摄对象的MTF，图中由虚线所示的MTF表示针对黑线的方向朝向圆周方向的拍摄对象的MTF。

为了方便说明，首先，使用图13(b)对基于以往的想法设定了对焦范围的情况的MTF进行说明。在以往的想法中，无论前方极限脸部位置FP处的弥散圆还是后方极限脸部位置RP处的弥散圆均以它们的直径在允许弥散圆的直径δc以下的方式设定了对焦范围(参照图5)。与该情况对应，在基于以往的想法设定了对焦范围的情况下，无论前方极限脸部位置FP处的MTF还是后方极限脸部位置RP处的MTF均不会相对于标准脸部位置SP处的MTF大幅降低。

另外，若比较前方极限脸部位置FP处的MTF和后方极限脸部位置RP处的MTF，则后方极限脸部位置RP的一方的MTF的值变小。尽管无论前方极限脸部位置FP还是后方极限脸部位置RP，弥散圆的大小均与允许弥散圆几乎相等地设定，但是后方极限脸部位置RP的MTF的一方变小是由于如下的理由。因为后方极限脸部位置RP与前方极限脸部位置FP相比处于远方，所以本来就应该为较小的像。尽管如此，在前方极限脸部位置FP和后方极限脸部位置RP弥散圆的大小也几乎相同这样的情况为后方极限脸部位置RP的一方允许模糊，因此，后方极限脸部位置RP的一方的MTF变小。

与此相对，在基于本实施例的想法设定了对焦范围的情况下，成为与以往完全不同的趋势的MTF。即，如图13(a)所示，前方极限脸部位置FP处的MTF相对于标准脸部位置SP处的MTF大幅度降低。另外，后方极限脸部位置RP处的MTF停在相对于标准脸部位置SP处的MTF稍降低的程度。其结果，若比较前方极限脸部位置FP处的MTF和后方极限脸部位置RP处的MTF，则在基于本实施例的想法设定了对焦范围的情况下，与以往不同，前方极限脸部位置FP的一方变小。

根据该情况，能够认为在前方极限脸部位置FP处的MTF的一方小于后方极限脸部位置RP处的MTF的情况下，基于本实施例的想法设定了对焦范围。

此外，如图13所例示那样，对成像光学系统114的MTF而言，通过使距离光轴的位置、黑线的方向不同而得到多个MTF。因此，在研究前方极限脸部位置FP处的MTF和后方极限脸部位置RP处的MTF的大小关系时，可能发生根据比较前方极限脸部位置FP的哪个MTF和后方极限脸部位置RP的哪个MTF而得到的大小关系不同的情况。因此，对于该点，最后补充说明。

如图13所示，在无论在前方极限脸部位置FP处还是在后方极限脸部位置RP处均得到了多个MTF的情况下，比较代表各个MTF的MTF(代表MTF)彼此即可。这里，作为代表MTF，能够使用在前方极限脸部位置FP或者后方极限脸部位置RP的多个MTF中最小的MTF。或者，也可以计算将分别得到的多个MTF平均后得到的MTF，来作为代表MTF。

即使在得到多个MTF的情况下，如果使用它们的代表MTF，则也得到如图14所示那样的关系。图14中所示的实线是以本实施例的想法设定了对焦范围的情况下得到的代表MTF，图14中所示的虚线是以以往的想法设定了对焦范围的情况下得到的代表MTF。因此，如果使用这样的代表MTF来比较，则能够正确地判断是否使用本实施例的想法设定了成像光学系统114的对焦范围。

以上，对本实施例进行了说明，但本公开并不局限于上述的实施例，能够在不脱离其要旨的范围中以各种方式实施。

Claims (6)

1.一种脸部图像拍摄装置，是安装于驾驶员能够将驾驶席(4)的位置向前后方向调整的车辆(1)，从而从该驾驶员的前方拍摄该驾驶员的脸部图像的脸部图像拍摄装置(110)，具备：

图像传感器(112)，生成所述脸部图像的图像数据；以及

成像光学系统(114)，使所述脸部图像在所述图像传感器上成像，

在所述成像光学系统中，该成像光学系统的焦点位置被固定在针对前方极限脸部位置(FP)的弥散圆的一方比针对后方极限脸部位置(RP)的弥散圆大的位置，其中，所述后方极限脸部位置(RP)是使所述驾驶席的位置移动到后方的极限时的所述驾驶员的脸部的位置，所述前方极限脸部位置(FP)是使所述驾驶席的位置移动到前方的极限时的所述驾驶员的脸部的位置。

2.根据权利要求1所述的脸部图像拍摄装置，其中，

在所述成像光学系统中，所述焦点位置被固定于在所述前方极限脸部位置的调制传递函数(MTF)的值成为小于在所述后方极限脸部位置的MTF的值的位置。

3.根据权利要求1或者权利要求2所述的脸部图像拍摄装置，其中，

在所述成像光学系统中，所述焦点位置被固定在所述前方极限脸部位置与所述后方极限脸部位置的中间位置、或者比该中间位置距离所述成像光学系统更远的位置。

4.根据权利要求1至权利要求3中的任意一项所述的脸部图像拍摄装置，其中，

在所述成像光学系统中，该成像光学系统的F值被设定为2.0以下的值。

5.一种驾驶员状态判定装置，是安装于驾驶员能够将驾驶席(4)的位置向前后方向调整的车辆(1)，从而通过解析该驾驶员的脸部图像，来判定对该车辆的驾驶造成影响的驾驶员状态的驾驶员状态判定装置(10)，具备：

权利要求1至权利要求4中的任意一项所记载的脸部图像拍摄装置；以及

驾驶员状态判定部(203)，通过解析由所述脸部图像拍摄装置拍摄到的所述脸部图像，来判定所述驾驶员状态。

6.根据权利要求5所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定部通过将由所述脸部图像拍摄装置拍摄到的所述脸部图像归一化为规定的大小的图像，并解析该归一化后的脸部图像，来判定所述驾驶员状态。