CN109760689A - 驾驶员监视系统 - Google Patents

Abstract

本发明提供驾驶员监视系统，能够正确地捕捉驾驶员朝向正面时的面部朝向。驾驶员监视系统(1)具备拍摄驾驶员的面部图像的拍摄装置(11)和被发送由拍摄装置拍摄到的面部图像的控制装置(50)。控制装置具备：面部朝向识别部，基于由拍摄装置拍摄到的面部图像来识别驾驶员的面部朝向角度；零点设定部，基于在包括车辆的速度为规定速度以上这一情况的零点设定条件成立时由面部朝向识别部识别出的驾驶员的面部朝向角度，来设定驾驶员的面部的俯仰角、横摆角以及侧倾角的零点；以及状态诊断部，基于相对于由零点设定部设定的零点的当前的面部朝向角度来诊断驾驶员的状态。

Description

驾驶员监视系统

技术领域

本发明涉及驾驶员监视系统。

背景技术

以往，公知有一种具备拍摄驾驶员的面部图像的照相机的驾驶员监视系统。在这种驾驶员监视系统中，例如基于由照相机拍摄到的面部图像检测驾驶员的面部朝向，并且，基于检测到的驾驶员的面部朝向来判定驾驶员是否正在不专心驾驶(例如，专利文献1)。

专利文献1：日本特开2000－326757号公报

其中，为了基于驾驶员的面部朝向判定驾驶员是否正在不专心驾驶，将朝向正面时的驾驶员的面部朝向作为基准。而且，在当前的面部朝向相对于成为该基准的朝向的角度很大时，判定为驾驶员正在不专心驾驶。

然而，驾驶员朝向正面时的相对于驾驶员监控摄像头的面部朝向根据驾驶员监控摄像头的设置位置、驾驶员的体格、坐姿等而变化。因此，若将相对于驾驶员监控摄像头的某个预定的面部朝向判断为朝向正面时的面部朝向，则有可能不能正确地识别驾驶员朝向正面的时候。该情况下，尽管驾驶员未进行不专心驾驶等也被判定为正在不专心驾驶等，或者相反尽管驾驶员正在不专心驾驶等也被判定为没有不专心驾驶等。

发明内容

本发明是鉴于上述课题而完成的，其目的在于，提供能够正确地捕捉驾驶员朝向正面时的面部朝向的驾驶员监视系统。

本发明是为了解决上述课题而完成的，其主旨如下所述。

(1)一种驾驶员监视系统，其中，具备：拍摄驾驶员的面部图像的拍摄装置和被发送由该拍摄装置拍摄到的面部图像的控制装置，上述控制装置具备：面部朝向识别部，基于由上述拍摄装置拍摄到的面部图像来识别驾驶员的面部朝向角度；零点设定部，基于在包括车辆的速度是比0快的规定速度以上这一情况的零点设定条件成立时由上述面部朝向识别部识别出的驾驶员的面部朝向角度，来设定包括驾驶员的面部的俯仰角、横摆角以及侧倾角中的至少任意一个的面部朝向角度的零点；以及状态诊断部，基于相对于由上述零点设定部设定的零点的当前的面部朝向角度来诊断驾驶员的状态。

(2)根据上述(1)所述的驾驶员监视系统，其中，上述零点设定条件包括在车辆的点火开关接通之后尚未进行通过上述零点设定部对面部朝向角度设定零点这一情况。

(3)根据上述(1)或者(2)所述的驾驶员监视系统，其中，上述零点设定条件包括从上次通过零点设定部进行面部朝向角度的零点的设定起经过了规定的时间或者车辆行驶了规定的距离这一情况。

(4)根据上述(1)～(3)中的任一项所述的驾驶员监视系统，其中，还具备检测驾驶员的姿势或者驾驶员的替换的驾驶员检测部，上述零点设定条件包括由上述驾驶员检测部检测到驾驶员的姿势变化或者驾驶员已替换这一情况。

(5)根据上述(1)～(4)中任一项所述的驾驶员监视系统，其中，还具备检测车辆正行驶的道路的状况的道路状况检测部，上述零点设定部设定上述驾驶员的面部的俯仰角的零点，上述零点设定条件包括由上述道路状况检测部检测为上述车辆正行驶在没有倾斜的道路这一情况。

(6)根据上述(1)～(4)中任意一个所述的驾驶员监视系统，其中，还具备检测车辆正行驶的道路的状况的道路状况检测部，

上述零点设定部设定上述驾驶员的面部的横摆角的零点，

上述零点设定条件包括由上述道路状况检测部检测为上述车辆正行驶在直线道路这一情况。

根据本发明，可提供能够正确地捕捉驾驶员朝向正面时的面部朝向的驾驶员监视系统。

附图说明

图1是表示驾驶员监视系统的构成的示意性框图。

图2是局部地表示搭载有驾驶员监视系统的车辆的内部的示意性侧视图。

图3是示意性地表示驾驶员的头的图。

图4是表示为了识别驾驶员的面部朝向角度而使用的特征点的图。

图5是表示判定零点设定的执行定时的控制的控制程序的流程图。

图6是表示设定驾驶员的面部朝向角度的零点的控制的控制例程的流程图。

图7是表示第二实施方式中的设定驾驶员的面部朝向角度的零点的控制的控制例程的流程图。

具体实施方式

以下，参照附图对本发明的实施方式详细进行说明。此外，在以下的说明中，对相同的构成要素标注同一参照编号。

＜第一实施方式＞

《装置的构成》

参照图1以及图2对一个实施方式所涉及的驾驶员监视系统1的构成进行说明。图1是表示本实施方式所涉及的驾驶员监视系统1的构成的示意性框图。图2是局部地表示搭载有本实施方式所涉及的驾驶员监视系统1的车辆60的内部的示意性侧视图。

驾驶员监视系统1被搭载于车辆60，监视车辆60的驾驶员的状态。如图1所示，驾驶员监视系统1具备拍摄驾驶员的面部图像的驾驶员监控摄像头(拍摄装置)11、检测车辆60的速度的车速传感器12、以及检测施加于驾驶员用座椅的座面的压力的座面压力传感器13。

首先，参照图2对驾驶员监控摄像头11进行说明。如图2所示，车辆60具备经由转向柱61安装的方向盘62、配置在驾驶员的前方上方的后视镜(Room mirror)63、以及驾驶员就座的驾驶员用座椅64。

在本实施方式中，驾驶员监控摄像头11设置于转向柱61的上部，并朝向驾驶员配置以便能够拍摄驾驶员，具体而言，拍摄驾驶员的面部以及上半身的一部分。特别是，由于转向柱61基本上配置为位于比驾驶员的面部的位置低的位置，所以驾驶员监控摄像头11的拍摄方向比水平朝向上方规定的角度α(例如，10～20°)。

其中，驾驶员监控摄像头11只要能够拍摄车辆60的驾驶员即可，也可以设置在与转向柱61的上部不同的位置。例如，驾驶员监控摄像头11也可以设置在车辆60的方向盘62、后视镜63、仪表面板、仪表罩等。

驾驶员监控摄像头11具备照相机以及投光器。例如，照相机是CMOS(互补型金属氧化膜半导体)照相机或者CCD(电荷耦合元件)照相机，投光器是LED(发光二极管)。另外，优选投光器是近红外LED，以便在夜间等低照度时也能够不给予驾驶员不适感地拍摄驾驶员的面部，另外，优选照相机也能够检测近红外线。例如，投光器是配置在照相机的两侧的2个近红外LED。另外，对照相机也可以设置有可见光截止滤光片这样的滤光片。

驾驶员监控摄像头11通过有线或者无线与后述的ECU50连接。因此，由驾驶员监控摄像头11拍摄到的图像作为图像数据被发送到ECU50。

车速传感器12是检测车辆60的速度的传感器。车速传感器12例如被安装于车辆的驱动轴的壳体(未图示)来检测车辆的驱动轴的旋转速度，并基于检测到的驱动轴的旋转速度检测车辆60的速度。车速传感器12与ECU50连接，因此，车速传感器12的输出信号被发送到ECU50。此外，车速传感器12只要能够检测车辆60的速度即可，也可以是被安装于车辆的其他位置的其他形式的传感器。

座面压力传感器13配置在驾驶员用座椅64的座面下。座面压力传感器13是检测从驾驶员施加给驾驶员用座椅64的座面的压力的压力传感器。特别是，在本实施方式中，座面压力传感器13能够在将驾驶员用座椅64的座面分割成多个时，检测对分割后的各部位施加的压力。即，座面压力传感器13能够检测施加于驾驶员用座椅64的座面的压力的分布。座面压力传感器13与ECU50连接，因此，座面压力传感器13的输出信号被发送到ECU50。

此外，座面压力传感器13只要至少能够检测施加于驾驶员用座椅64的座面整体的压力即可，不能检测施加于驾驶员用座椅64的座面的压力的分布亦可。

另外，驾驶员监视系统1还具备周边环境检测装置20、接收来自GPS卫星的信号的GPS接收机31、以及关于地图信息的地图数据库32。它们均与ECU50连接。

周边环境检测装置20检测车辆60的周边的环境状况(以下，记为车辆周边状况)。车辆周边状况除了车辆60周围的道路的状况以外，还包含车辆60周围的障碍物、气候等。在本实施方式中，如图1所示，周边环境检测装置20具备激光雷达(LIDAR：Laser ImagingDetection and Ranging：激光成像探测和测距)21、毫米波雷达传感器22、以及外部照相机23。

激光雷达21是利用激光来检测本车辆周边的道路、障碍物的装置。激光雷达21检测车辆60整个周围的道路以及障碍物的状况、即车辆周边状况作为三维图像，并将该三维图像发送到ECU50。毫米波雷达传感器22是利用电波来检测比激光雷达21更远距离处的本车辆周边的障碍物的装置。毫米波雷达传感器22将其计测结果作为车辆周边状况发送到ECU50。外部照相机23是拍摄车辆60的前方的装置。外部照相机23通过进行拍摄到的车辆60前方的影像的图像处理来检测车辆60前方的道路信息等。外部照相机23将检测到的这些拍摄信息发送到ECU50。

GPS接收机31是用于从三个以上GPS卫星接收信号来检测车辆60的当前位置(例如，车辆60的纬度以及经度)的装置。GPS接收机31将检测到的车辆60的当前位置信息发送到ECU50。

地图数据库32是关于地图信息的数据库。地图数据库32例如被存储在搭载于车辆60的HDD(Hard Disk Drive：硬盘驱动器)内。地图信息例如包含道路的位置信息、道路形状的信息(例如，弯道和直线的种类、弯道的曲率等)、交叉路口以及分岔点的位置信息、道路种类等信息。

驾驶员监视系统1还具备人机界面(Human Machine Interface(HMI))40和电子控制单元(ECU)50。

HMI40是用于在驾驶员或者车辆乘员与驾驶员监视系统1之间进行信息的输入输出的接口。HMI40具备用于向驾驶员提供各种信息的信息提供装置，具体而言，具备用于显示文字信息、图像信息的显示器、用于输出声音的扬声器。并且，HMI40具备用于识别驾驶员的声音的麦克风、以及用于驾驶员进行输入操作的操作按钮或者触摸面板等。

HMI40通过有线或者无线与ECU50连接。因此，由驾驶员等输入的信息从HMI40发送到ECU50，另外，应该由HMI40的信息提供装置提供给驾驶员的信息从ECU50发送到HMI40。例如，在由后述的ECU50的状态诊断部53判定为驾驶员正在不专心驾驶的情况下，从状态诊断部53向HMI40发送不专心警报指令。若这样被发送了不专心警报指令，则HMI40例如通过扬声器产生警报音，并且使显示器显示应该注意不专心的主旨的警报。这样，HMI40作为在驾驶员产生不专心等异常的情况下向驾驶员警报异常的警报部发挥作用。

ECU50作为进行各种控制的控制装置发挥作用，是具备通过双向总线相互连接的中央运算装置(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、输入端口以及输出端口的微型计算机。在本实施方式中，设置有一个ECU50，但也可以按每个功能设置经由遵照CAN等的总线等而相互连接的多个ECU。如图1所示，在本实施方式中，ECU50具备面部朝向识别部51、零点设定部52、状态诊断部53、道路状况检测部54、以及驾驶员变化检测部55。

面部朝向识别部51基于由驾驶员监控摄像头11拍摄到的驾驶员的面部图像来识别驾驶员的面部朝向角度。在本实施方式中，驾驶员的面部朝向由俯仰角θx、横摆角θy以及侧倾角θz(将这些统称为“面部朝向角度”)表示。以下，简单地对这些俯仰角θx、横摆角θy以及侧倾角θz进行说明。

图3是示意性地表示驾驶员的头的图。如图3所示，驾驶员的面部朝向能够通过绕相互正交的三个轴线X、Y、Z的角度表示。图中的轴线X是将驾驶员的头沿左右方向延伸的轴线，是与车辆60的行进方向垂直并且沿水平方向延伸的轴线。绕该轴线X的驾驶员的面部的角度θx被表示为俯仰角。因此，若驾驶员向上或向下则驾驶员的俯仰角θx变化。

图中的轴线Y是将驾驶员的头沿上下方向延伸的轴线，是沿垂直方向延伸的轴线。绕该轴线Y的驾驶员的面部的角度θy被表示为横摆角。因此，若驾驶员向左或向右则驾驶员的横摆角θy变化。

图中的轴线Z是将驾驶员的头沿前后方向延伸的轴线，是沿车辆60的行进方向延伸的轴线。绕该轴线Z的驾驶员的面部的角度θz被表示为侧倾角。因此，若驾驶员使脖子侧倾则驾驶员的侧倾角θz变化。

接下来，参照图4对通过面部朝向识别部51实现的驾驶员的面部朝向角度的具体的识别方法进行说明。图4是表示用于识别驾驶员的面部朝向角度所使用的特征点的图。

面部朝向识别部51在识别驾驶员的面部朝向时，首先，从面部图像提取面部的特征点。在本实施方式中，面部朝向识别部51提取由驾驶员监控摄像头11拍摄到的驾驶员的面部图像中的眼睛的外端以及鼻子的前端作为特征点。具体而言，如图4所示，面部朝向识别部51提取左眼的外端(左侧的端)L、右眼的外端(右侧的端)R、以及鼻头N。而且，如图4所示，提取从点N(鼻头)垂直于线段LR(将左右两眼的外端彼此连结的线段)的垂线与线段LR的交点作为特征点C。

然后，面部朝向识别部51基于这样提取出的特征点来进行驾驶员的面部朝向角度的识别。首先，对于俯仰角θx而言，驾驶员的面部朝向越从朝向驾驶员监控摄像头11的状态向上下方向变化，则线段CN的长度相对于线段LR的长度之比(以下，也称为“CN/LR比”)越小。因此，在如本实施方式那样驾驶员监控摄像头11比水平朝向上方一定程度的情况下，驾驶员的面部朝向越向上，则CN/LR比越小。因此，在本实施方式中，面部朝向识别部51基于CN/LR比来计算驾驶员的面部的俯仰角θx。

另外，此时例如将驾驶员的面部在上下方向(俯仰角方向)上朝向驾驶员监控摄像头11的方向(即，CN/LR比最大的方向)作为暂定基准来暂时计算俯仰角θx。因此，当驾驶员的面部在俯仰角方向上朝向驾驶员监控摄像头11的方向时，视为驾驶员的面部的俯仰角是0°，暂时计算出俯仰角。以下，将这样基于暂定基准计算出的暂定的俯仰角称为暂定俯仰角θx’。此外，用于计算暂定俯仰角的暂定基准不一定需要为驾驶员的面部朝向驾驶员监控摄像头11的方向，能够设定为任意的朝向。

另外，对于横摆角θy而言，在驾驶员的面部的方向朝向驾驶员监控摄像头11的状态中，线段RC相对于线段LC的比(以下，也称为“RC/LC比”)约为1。由于若驾驶员从该状态朝向右方，则线段RC变短，所以RC/LC比小于1。相反，由于若驾驶员从该状态朝向左方，则线段LC变短，所以RC/LC比大于1。因此，在本实施方式中，面部朝向识别部51基于RC/LC比来计算驾驶员的横摆角θy。

另外，此时例如将RC/LC比为1的朝向作为暂定基准来暂时地计算横摆角θy。因此，当RC/LC比为1时，视为驾驶员的面部的横摆角为0°，暂时计算出横摆角。以下，将这样基于暂定基准计算出的暂定的横摆角称为暂定横摆角θy’。此外，用于计算暂定横摆角的暂定基准不一定需要是RC/LC比为1的朝向，能够设定为任意的朝向。

并且，对于侧倾角θz而言，若驾驶员的面部朝向倾斜，则线段RL相对于驾驶员监控摄像头11的水平线的角度(以下，也简单地称为“线段RL的角度”)变化。因此，在本实施方式中，面部朝向识别部51基于线段RL相对于驾驶员监控摄像头11的水平线的角度来计算驾驶员的侧倾角θz。

另外，此时例如将线段RL的角度为0°的朝向作为暂定基准来暂时计算侧倾角θz。因此，当线段RL的角度为0°时，视为驾驶员的面部的侧倾角为0°，暂时计算出侧倾角。以下，将这样基于暂定基准计算出的暂定的侧倾角称为暂定侧倾角θz’。此外，用于计算暂定侧倾角的暂定基准不一定需要是线段RL的角度为0°的朝向，能够设定为任意的朝向。

此外，在图4所示的例子中，面部朝向识别部51基于由驾驶员监控摄像头11拍摄到的面部图像提取出三个特征点，基于这些特征点来识别驾驶员的面部朝向角度。然而，面部朝向识别部51也可以构成为通过其他的方法来识别驾驶员的面部朝向角度。因此，面部朝向识别部51例如既可以构成为基于更多的特征点来识别驾驶员的面部朝向角度，也可以构成为使面部图像与3D模型拟合(匹配)，使用该3D模型来识别面部朝向角度。总之，在面部朝向识别部51中基于暂定基准来计算暂定俯仰角θx’、暂定横摆角θy’以及暂定侧倾角θz’(将这些统称为“暂定面部朝向角度θ’”)。

零点设定部52设定面部朝向角度的零点。该零点被设定为在驾驶员朝向正面时俯仰角θx、横摆角θy以及侧倾角θz均为0°。

例如，在考虑俯仰角方向的情况下，暂定俯仰角θx’不一定在驾驶员朝向正面时为0°。鉴于此，零点设定部52将俯仰角的零点设定为驾驶员朝向正面时的俯仰角θx为0°。因此，当暂定俯仰角θx’是某一角度时视为俯仰角θx是0°，来进行俯仰角的零点的设定。例如，在驾驶员朝向正面时暂定俯仰角θx’为15°的情况下，暂定俯仰角θx’为15°的状态被设定为驾驶员的面部的俯仰角θx的零点。

对于横摆角方向、侧倾角方向也可以说是相同的。因此，零点设定部52将横摆角的零点设定为驾驶员朝向正面时的横摆角θy为0°，将侧倾角的零点设定为驾驶员朝向正面时的侧倾角θz为0°。

状态诊断部53基于相对于由零点设定部52设定的零点的当前的面部朝向角度来诊断驾驶员的状态。如上述那样，零点被设定为在驾驶员朝向正面时俯仰角θx、横摆角θy以及侧倾角θz均为0°。因此，例如在车辆60的驾驶中，相对于零点的俯仰角θx、横摆角θy的绝对值在一定时间以上大于预先决定的判定基准值时，状态诊断部53判定为驾驶员正在不专心驾驶。另外，在车辆60的驾驶中相对于零点的侧倾角θz在一定时间以上大于预先决定的判定基准值时，状态诊断部53判定为驾驶员产生了异常。

道路状况检测部54检测车辆60正在行驶的道路的状况。道路状况检测部54既可以基于由周边环境检测装置20检测到的车辆周边状况来检测道路状况，也可以基于由GPS接收机31检测到的当前位置以及地图数据库32的地图信息来检测道路状况。作为由道路状况检测部54检测到的道路状况，可举出车辆60正行驶的道路是否是直线道路以及在是弯道的情况下其曲率半径是多少、和车辆60正行驶的道路的倾斜角度等。

驾驶员变化检测部55检测驾驶员的姿势的变化、驾驶员的替换等驾驶员的变化。驾驶员变化检测部55例如基于座面压力传感器13的输出来检测驾驶员的变化。具体而言，例如在由座面压力传感器13检测到的压力暂时成为零后再次成为某一程度的值的情况下，驾驶员变化检测部55判定为驾驶员已替换或者驾驶员的姿势变化。另外，在由座面压力传感器13检测到的压力不暂时为零而其分布变化了的情况下，驾驶员变化检测部55判定为驾驶员的姿势变化。

此外，驾驶员变化检测部55也可以不基于座面压力传感器13而基于其它的检测装置的输出来检测驾驶员的变化。因此，例如驾驶员变化检测部55也可以基于由驾驶员监控摄像头11拍摄到的图像来检测驾驶员的变化。

《零点的设定中的问题》

其中，上述的面部朝向角度是零的零点能够设定为预先决定的固定值。例如，能够将计算暂定俯仰角θx’时的暂定基准(固定值)预先设定为俯仰角θx的零点，将计算暂定横摆角θy’时的暂定基准(固定值)预先设定为横摆角θy的零点。

然而，若将俯仰角θx的零点、横摆角θy的零点设定为预先决定的固定值，则有可能无法正确地识别驾驶员朝向正面时。

例如，在驾驶员向前倾地驾驶时和驾驶员深深地坐在驾驶员用座椅65时，驾驶员的面部相对于驾驶员监控摄像头11的位置不同。结果，在两者之间，驾驶员朝向正面时的、驾驶员的面部相对于驾驶员监控摄像头11的朝向不同。另外，对于座高较高的驾驶员和座高较低的驾驶员，驾驶员的面部相对于驾驶员监控摄像头11的位置也不同。结果，在两者之间，驾驶员朝向正面时的、驾驶员的面部相对于驾驶员监控摄像头11的朝向不同。这样，相对于驾驶员监控摄像头的面部的朝向根据驾驶员监控摄像头的设置位置、驾驶员的体格、坐姿等而变化。另外，根据驾驶员的脸型，驾驶员朝向正面时的CN/LR比、RC/LC比、线段RL的角度不同，与此相伴，驾驶员朝向正面时的暂定俯仰角θx’、暂定横摆角θy’、暂定侧倾角θz’成为不同的值。

若如此不能正确地识别驾驶员朝向正面时，则状态诊断部53有可能以驾驶员不朝向正面时为基准来判断驾驶员的面部的俯仰角、横摆角等。结果，导致尽管未进行不专心驾驶等，状态诊断部53也判定为驾驶员正在不专心驾驶等，相反尽管正在不专心驾驶等，状态诊断部53也判定为驾驶员未进行不专心驾驶等。

《零点的设定》

鉴于此，在本实施方式中，零点设定部52在零点设定条件成立时，基于由面部朝向识别部51识别出的驾驶员的面部朝向角度来设定驾驶员的面部的俯仰角、横摆角以及侧倾角(即，面部朝向角度)的零点。

而且，在本实施方式中，零点设定条件包括车辆的速度是比0快的规定的基准速度以上。因此，零点设定部52基于在车辆的速度是比0快的规定的基准速度以上时由面部朝向识别部51识别出的驾驶员的面部来进行零点的设定。这里，优选基准速度是驾驶员不专心的频率少这样的速度，例如，是时速20km以上，优选是时速40km以上，进一步优选是时速60km以上。

另外，在本实施方式中，零点设定条件包括由道路状况检测部54检测到车辆60正行驶在没有倾斜的直线道路上。因此，零点设定部52基于在车辆60正行驶在没有倾斜的直线道路时由面部朝向识别部51识别出的驾驶员的面部朝向来进行零点的设定。

这里，没有倾斜的道路除了在驾驶员能够视觉确认的范围中对于水平完全不倾斜的道路以外，还包括在驾驶员能够视觉确认的范围中大致不倾斜的道路，例如相对于水平的倾斜角度是0.5°以下的道路。另外，直线道路是指在驾驶员能够视觉确认的范围中直线状延伸的道路。

具体而言，在本实施方式中，在零点设定条件成立时基于由面部朝向识别部51识别出的暂定俯仰角θx’、暂定横摆角θy’以及暂定侧倾角θz’，分别设定驾驶员的面部的俯仰角、横摆角以及侧倾角的零点。

特别是在本实施方式中，零点设定部52在恒定期间连续获取由面部朝向识别部51识别出的驾驶员的面部朝向、即暂定俯仰角θx’、暂定横摆角θy’以及暂定侧倾角θz’。而且，在该恒定期间获取到的暂定俯仰角θx’的平均值、暂定横摆角θy’的平均值以及暂定侧倾角θz’的平均值分别被设定为俯仰角、横摆角以及侧倾角的零点。这里，恒定期间是零点的设定不产生误差这样的足够时间，例如，是10秒以上小于5分钟，优选是30秒以上小于3分钟，进一步优选是1分钟以上小于2分钟。

另外，在本实施方式中，零点的设定在如下那样的定时进行。因此，是如下的定时也可以说是零点设定条件之一。

作为第一个定时，可举出在车辆60的点火开关从关闭变为开启后还未进行通过零点设定部52对面部朝向角度的零点的设定时。在点火开关变为开启时，驾驶员或其姿势从上次的车辆驾驶时变化的可能性较高，在驾驶员或其姿势变化时零点也随之变化的可能性高。因此，通过在这样的定时进行零点的设定，能够使零点对应于新的驾驶员或新的姿势。

作为第二个定时，可举出从上次进行零点的设定起的经过时间是恒定时间以上时、或者从上次进行零点的设定起的行驶距离是恒定距离以上时。一般来说，若进行长时间或长距离的驾驶则驾驶员的姿势变化的可能性高。因此，通过在这样的定时进行零点的设定，能够使零点对应于驾驶员的变更后的姿势。

作为第三个定时，可举出由驾驶员变化检测部55检测到驾驶员的变化(即，驾驶员的姿势的变化或驾驶员的替换等)时。如上所述，在驾驶员或其姿势变化时，零点也随之变化的可能性很高。因此，通过在这样的定时进行零点的设定，能够使零点对应于新的驾驶员或新的姿势。

《作用以及效果》

接下来，对本实施方式涉及的驾驶员监视系统1的作用以及效果进行说明。

在车辆60正停车时，驾驶员不朝向正面而往旁边看的情况较多。因此，若在车辆60正停车时进行驾驶员的面部朝向角度的零点设定，则有可能驾驶员不朝向正面时的驾驶员的面部朝向角度被设定为零点。与此相对，在本实施方式的驾驶员监视系统1中，基于在车辆的速度是基准速度以上时由面部朝向识别部51识别出的驾驶员的面部朝向角度来进行零点的设定。结果，根据本实施方式的驾驶员监视系统1，能够将驾驶员朝向正面时的驾驶员的面部朝向角度设定为零点。

另外，若在车辆60的前方有上坡或者下坡，则驾驶员朝向该上坡或下坡的倾斜方向的情况较多。因此，若车辆60正行驶在倾斜的道路上，则驾驶员的面部有时不朝向正面(特别是，俯仰角方向)。与此相对，在本实施方式的驾驶员监视系统1，基于当车辆60正行驶在没有倾斜的道路时由面部朝向识别部51识别出的驾驶员的面部朝向角度来进行零点的设定。结果，根据本实施方式的驾驶员监视系统1，能够更正确地设定驾驶员的面部朝向角度(特别是，俯仰角)的零点。

并且，若在车辆60的前方有弯曲的道路，则驾驶员朝向根据该弯道而弯曲的方向的情况较多。因此，若车辆60正行驶在弯曲的道路上，则驾驶员的面部有时不朝向正面(特别是，横摆角方向)。与此相对，在本实施方式的驾驶员监视系统1中，基于车辆60正行驶在直线道路时由面部朝向识别部51识别出的驾驶员的面部朝向角度来进行零点的设定。结果，根据本实施方式的驾驶员监视系统1，能够更正确地设定驾驶员的面部朝向角度(特别是，横摆角)的零点。

并且，在本实施方式中，不是在某一瞬间的定时获取到的暂定俯仰角θx’等，而是在恒定期间获取到的暂定俯仰角θx’等的平均值被设定为俯仰角等的零点。因此，即使在驾驶员发现路上的障碍物等而暂时不朝向正面这样的状况下，也能够比较正确地设定零点。

《第一实施方式的变形例》

此外，在本实施方式中，零点设定部52基于零点设定条件成立时的驾驶员的面部朝向角度，来针对驾驶员的面部的俯仰角、横摆角以及侧倾角的全部设定零点。然而，零点设定部52也可以不必对于驾驶员的面部的俯仰角、横摆角以及侧倾角全部设定零点，只要设定包括驾驶员的面部的俯仰角、横摆角以及侧倾角中的至少任意一个的面部朝向角度的零点即可。

另外，在上述实施方式中，作为零点设定条件，包括车辆60正行驶在没有倾斜的直线道路。然而，作为零点设定条件，也可以不必包含这样的条件。或者，零点设定条件也可以仅包含有车辆60正行驶在没有倾斜的道路以及车辆60正行驶在直线道路中的任意一方。

并且，在上述实施方式中，基于在恒定期间获取到的暂定俯仰角θx’等平均值来进行零点的设定。然而，零点的设定可以不必使用在恒定期间获取到的暂定俯仰角θx’等的平均值，例如，也可以基于某一时刻下的暂定俯仰角θx’等来进行零点的设定，还可以基于在恒定期间获取到的暂定俯仰角θx’等的度数分布中的峰值来进行零点的设定。

另外，在进行俯仰角的零点设定时，作为零点设定条件，也可以包括当前的横摆角的绝对值在预先决定的规定的角度(例如，15°)以内。即，若是驾驶员朝向旁边的状态，则有可能面部朝向识别部51不能正确地计算暂定俯仰角θx’。因此，若在驾驶员朝向旁边的状态下进行俯仰角的零点的设定，则有可能也不能正确地设定俯仰角的零点。因此，通过在当前的横摆角的绝对值在预先决定的规定的角度以内时进行俯仰角的零点设定，能够正确地设定俯仰角的零点。

《流程图》

图5是表示判定零点设定的执行定时的控制的控制例程的流程图。图示的控制例程以恒定时间间隔反复执行。

如图5所示，首先，在步骤S11中，判定车辆60的点火开关是否从关闭切换为开启。在判定为点火开关切换为开启的情况下进入步骤S14，在判定为未切换为开启的情况下进入步骤S12。

在步骤S12中，判定从上次进行零点的设定起的经过时间T是否是预先决定的基准时间Tref以上。在判定为经过时间T是基准时间Tref以上的情况下，进入步骤S14，在判定为经过时间T小于基准时间Tref的情况下进入步骤S13。

在步骤S13中，判定是否由驾驶员变化检测部55检测到驾驶员的变化、即驾驶员的姿势的变化或驾驶员的替换。在步骤S13中判定为检测到驾驶员的变化的情况下，进入步骤S14。另一方面，在判定为未检测到驾驶员的变化的情况下，控制例程结束。

在步骤S14中，零点设定的执行标志Fr有效(ON)，控制例程结束。执行标志Fr是在应该执行零点的设定时有效，在除此以外之时无效(OFF)的标志。

图6是表示设定驾驶员的面部朝向角度的零点的控制的控制例程的流程图。图示的控制例程以恒定时间间隔反复执行。

如图6所示，首先在步骤S21中，判定零点设定的执行标志Fr是否有效。若在图5的步骤S14中执行标志Fr有效，则在步骤S21中判定为执行标志Fr被设定为有效，进入步骤S22。

在步骤S22中，判定由车速传感器12检测到的车辆60的速度V是否是规定的基准速度Vref以上。在步骤S22中判定为车辆60的速度V小于基准速度Vref的情况下结束控制例程。在步骤S22中判定为车辆60的速度V是基准速度Vref以上的情况下进入步骤S23。

在步骤S23中，判定是否由道路状况检测部54检测到车辆60正行驶在没有倾斜的直线道路。在判定为车辆60未行驶在没有倾斜的直线道路的情况下结束控制例程。另一方面，在步骤S23中判定为车辆60正行驶在没有倾斜的直线道路的情况下进入步骤S24。在步骤S24中，从面部朝向识别部51获取暂定面部朝向角度θ’(即，暂定俯仰角θx’、暂定横摆角θy’以及暂定侧倾角θz’)。

接下来，在步骤S25中，对当前的计数器CT的值加1而得到的值被设为计数器CT的新的值。计数器CT是表示开始获取暂定面部朝向角度θ’起的经过时间的计数器。接下来，在步骤S26中，判定计数器CT是否是基准值CTref以上。在步骤S26中判定为计数器CT小于基准值CTref的情况下控制例程结束。另一方面，在步骤S26中判定为计数器CT是基准值CTref以上的情况下进入步骤S27。

在步骤S27中，基于在步骤S24中多次获取到的暂定面部朝向角度θ’来设定(更新)驾驶员的面部朝向角度的零点。具体而言，暂定面部朝向角度θ’的平均值被设定为面部朝向角度θ的零点。接下来，在步骤S28中，执行标志Fr被重置为无效，结束控制例程。

另一方面，在步骤S21中判定为执行标志Fr变为无效的情况下，进入步骤S29。在步骤S29中，计数器CT被重置为零，控制例程结束。

＜第二实施方式＞

接下来，参照图7对第二实施方式所涉及的驾驶员监视系统1进行说明。第二实施方式所涉及的驾驶员监视系统的构成以及控制基本上与第一实施方式所涉及的驾驶员监视系统的构成以及控制相同。以下，以与第一实施方式的驾驶员监视系统不同的点为中心来进行说明。

需要说明的是，在驾驶员正操作车辆60的开关类时，驾驶员观看该开关的情况较多。因此，即便是满足上述的零点设定条件的情况，例如当驾驶员正操作车辆60的开关类时，驾驶员不朝向正面的可能性也高。

鉴于此，在本实施方式中，当检测到驾驶员周围的开关类的操作等禁止条件成立时，即便是上述的零点设定条件成立时，也禁止零点的设定。特别是在本实施方式中，在这样的时候，使通过零点设定部52获取来自面部朝向识别部51的暂定面部朝向角度θ’停止。

另外，驾驶员朝向正面时的暂定面部朝向角度θ’基本上在一定程度的范围(基准角度范围)内。例如，驾驶员朝向正面时的暂定横摆角θy’基本上在－10°左右到10°左右之间。因此，为了零点设定而计算出的暂定横摆角θy’的平均值(即，上述的恒定期间中的暂定横摆角θy’的平均值)应该在该范围内。

鉴于此，在本实施方式中，在为了零点设定而计算出的暂定横摆角θy’的平均值不在基准角度范围内的情况下，禁止零点的设定。同样，在为了零点设定而计算出的暂定俯仰角θx’的平均值不在其基准角度范围内的情况、以及为了零点设定而计算出的暂定侧倾角θz’的平均值不在其基准角度范围内的情况下，禁止零点的设定。即，在本实施方式中，在为了零点设定而计算出的暂定面部朝向角度θ’不在预先设定的基准角度范围内的情况下，禁止面部朝向角度的零点的设定。这里，基准角度范围被设定为当驾驶员朝向正面时面部朝向角度通常能够采取的范围。

图7是表示第二实施方式中的设定驾驶员的面部朝向角度的零点的控制的控制例程的流程图。图示的控制例程以恒定时间间隔反复执行。此外，图7中的步骤S31～S33、S35～S37、S39～S41分别与图6中的步骤S21～S29相同，因此，以下省略对于这些步骤的说明。

在步骤S34中，判定禁止条件是否成立。禁止条件例如在驾驶员正操作车辆60的开关类时成立。在步骤S34中判定为禁止条件不成立的情况下进入步骤S35，并且，在判定为禁止条件成立的情况下控制例程结束。

另外，在步骤S38中，判定在步骤S35中多次获取到的暂定面部朝向角度(即，暂定俯仰角θx’、暂定横摆角θy’以及暂定侧倾角θz’)的平均值θ’ave是否分别在预先设定的基准角度范围(θ’₁～θ’₂)内。具体而言，例如判定暂定俯仰角θx’的平均值是否在第一暂定俯仰角θx’₁到第二暂定俯仰角θx’₂的基准角度范围内。在步骤S38中判定为暂定面部朝向角度的平均值θ’ave不在预先设定的基准角度范围内的情况下控制例程结束。另一方面，在暂定面部朝向角度的平均值θ’ave在预先设定的基准角度范围内的情况下进入步骤S39，进行零点的设定。

附图标记说明

1...驾驶员监视系统；11...驾驶员监控摄像头；12...车速传感器；13...座面压力传感器；20...周边环境检测装置；31...GPS接收机；32...地图数据库；40...HMI；50...ECU；51...面部朝向识别部；52...零点设定部；53...状态诊断部；54...道路状况检测部；55...驾驶员变化检测部；60...车辆。

Claims (6)

1.一种驾驶员监视系统，具备拍摄驾驶员的面部图像的拍摄装置和被发送由该拍摄装置拍摄到的面部图像的控制装置，其中，

上述控制装置具备：

面部朝向识别部，基于由上述拍摄装置拍摄到的面部图像来识别驾驶员的面部朝向角度；

零点设定部，基于当包括车辆的速度是比0快的规定速度以上这一情况的零点设定条件成立时由上述面部朝向识别部识别出的驾驶员的面部朝向角度，来设定包括驾驶员的面部的俯仰角、横摆角以及侧倾角中的至少任意一个的面部朝向角度的零点；以及

状态诊断部，基于相对于由上述零点设定部设定的零点的当前的面部朝向角度来诊断驾驶员的状态。

2.根据权利要求1所述的驾驶员监视系统，其中，

上述零点设定条件包括在车辆的点火开关接通之后尚未进行通过上述零点设定部对面部朝向角度的零点的设定这一情况。

3.根据权利要求1或者2所述的驾驶员监视系统，其中，

上述零点设定条件包括从上次通过零点设定部进行面部朝向角度的零点的设定起经过了规定的时间或者车辆行驶了规定的距离这一情况。

4.根据权利要求1～3中的任一项所述的驾驶员监视系统，其中，

上述驾驶员监视系统还具备检测驾驶员的姿势或者驾驶员的替换的驾驶员检测部，

上述零点设定条件包括由上述驾驶员检测部检测为驾驶员的姿势变化或者驾驶员已替换这一情况。

5.根据权利要求1～4中的任一项所述的驾驶员监视系统，其中，

上述驾驶员监视系统还具备检测车辆正行驶的道路的状况的道路状况检测部，

上述零点设定部设定上述驾驶员的面部的俯仰角的零点，

上述零点设定条件包括由上述道路状况检测部检测为上述车辆正行驶在没有倾斜的道路这一情况。

6.根据权利要求1～4中的任一项所述的驾驶员监视系统，其中，

上述驾驶员监视系统还具备检测车辆正行驶的道路的状况的道路状况检测部，

上述零点设定部设定上述驾驶员的面部的横摆角的零点，

上述零点设定条件包括由上述道路状况检测部检测为上述车辆正行驶在直线道路这一情况。