CN106716515A - 驾驶员状态判定装置 - Google Patents

Abstract

本发明所涉及的驾驶员状态判定装置(Driver state determination apparatus)具备：远红外相机(11)，该远红外相机(11)对车辆的驾驶员的脸部图像且为表示驾驶员的脸部表面的温度分布的远红外图像进行拍摄；以及状态判定部(47)，该状态判定部(47)基于由远红外相机(11)在规定期间内拍摄到的远红外图像，判定驾驶员的异常状态。

Description

驾驶员状态判定装置

本申请是基于2014年9月11日提出的日本申请号2014－184906号的申请，并在此引用其记载内容。

技术领域

本公开涉及对驾驶员的异常状态进行判定的驾驶员状态判定装置。

背景技术

在车辆的行驶中，若驾驶员的状态处于漫不经心、瞌睡、病发等异常状态，则引起事故的可能性升高。因此，为了将事故防患于未然，提出了对驾驶员的状态进行监视的装置。

例如，专利文献1所记载的睡意检测装置从由相机拍摄的驾驶员的脸部图像中，检测眼睛、嘴等脸部部分，并基于脸部部分的形状等来检测驾驶员的睡意。另外，也提出了利用生物体传感器来测定驾驶员的脉搏，从而对驾驶员的状态进行监视的装置。

专利文献1：JP 2007－264785A

当使用从脸部图像中检测到的脸部部分的形状的情况下，由于太阳照射、对面的车的前灯等的干扰光的影响，存在驾驶员的脸部部分的检测精度降低，从而导致驾驶员的异常状态的判定精度降低这样的问题。另外，在使用生物体传感器的情况下，需要约束驾驶员，这不适合稳定地进行驾驶员的异常状态的判定。并且，生物体传感器使用微弱电信号，因此存在对车辆噪声敏感的趋势。

发明内容

本公开的目的在于提供一种能够高精度且稳定地判定驾驶员的异常状态的驾驶员状态判定装置。

根据本公开的一个方式，提供一种驾驶员状态判定装置，具备：远红外相机，该远红外相机对车辆的驾驶员的脸部图像且为表示上述驾驶员的脸部表面的温度分布的远红外图像进行拍摄；以及状态判定部，该状态判定部基于由上述远红外相机在规定期间内依次拍摄的上述远红外图像，判定上述驾驶员的异常状态。

根据本方式，利用远红外相机对表示驾驶员的脸部表面的温度分布的远红外图像进行拍摄。若驾驶员处于漫不经心状态、突发疾病状态等异常状态，则驾驶员的呼吸、眨眼的状态变化为与正常时不同的状态。若驾驶员的呼吸、眨眼的状态变化为与正常时不同的状态，则驾驶员的脸部表面的温度分布的变动成为与正常时不同的变动。由此，基于在规定期间内依次拍摄的远红外图像所表示的温度分布，能够判定驾驶员的异常状态。另外，远红外相机不易受到干扰光的影响。并且，由于远红外相机为非接触传感器，所以能够稳定地拍摄驾驶员的脸部图像。因此，能够根据驾驶员的脸部的远红外图像中高精度且稳定地判定驾驶员的异常状态。

附图说明

关于本公开的上述目的以及其它目的、特征、优点，通过参照附图而进行的下述详细的记述，变得更加明确。

图1是表示本实施方式所涉及的驾驶员状态判定装置的结构的图。

图2是表示近红外相机以及远红外相机的搭载位置的图。

图3是表示吸气或者屏住呼吸的状态下的远红外图像的示意图。

图4是表示呼气的状态下的远红外图像的示意图。

图5是表示戴着口罩的状态下的远红外图像的示意图。

图6是表示戴着眼镜的状态下的远红外图像的示意图。

图7是表示戴着眼镜的状态下的近红外图像的示意图。

图8是表示正常时以及异常时的呼吸状态的图。

图9是表示正常时以及异常时的眨眼状态的图。

图10是表示对驾驶员的异常状态进行检测的处理顺序的流程图。

图11是表示对呼吸状态进行检测的处理顺序的子流程。

图12是表示对眨眼状态进行检测的处理顺序的子流程。

具体实施方式

以下，参照附图对实现驾驶员状态判定装置的实施方式进行说明。

首先，参照图1及2对本实施方式所涉及的驾驶员状态判定装置10的结构进行说明。驾驶员状态判定装置10具备ECU20、远红外相机11、以及近红外相机12，并对驾驶员的异常状态进行判定。在本实施方式中，驾驶员的异常状态是指驾驶员无法实施行驶所需的适当的识别、判断以及操作的状态，例如是漫不经心状态、瞌睡状态，身体状况异常状态、意识分散状态等。

远红外相机11是对远红外线区域具有灵敏度的相机，其将拍摄范围内的物质所发出的远红外线的强度转换为像素值而生成远红外图像。由此，远红外图像表示拍摄对象的温度分布，像素值越大，温度越高。近红外相机12是对近红外线区域具有灵敏度的相机，其对包含由投影仪14照明的区域在内的拍摄对象进行拍摄而生成近红外图像。投影仪14是照射近红外光的照明装置，其由驱动器13驱动。驱动器13由后述的ECU20的图像处理电路30控制。需要说明的是，对于投影仪14，除了LED(发光二极管)之外，还可以是具有灯丝等的其它的光源，但这里，以LED为代表例进行说明。

远红外相机11以及近红外相机12在1秒钟的时间拍摄数张～数百张包含就座于驾驶座椅时的驾驶员的脸部区域在内的区域的图像。如图2所示，远红外相机11以及近红外相机12以朝向斜上方具有仰角的方式搭载于仪表板15上的较近的位置。远红外相机11以及近红外相机12被设定为在视场角中包含将驾驶员的视场范围(eyellipse)部分包含在内的区域，近红外相机12具有比远红外相机11所拍摄的视场范围更宽的视场。视场范围是按照每个车种决定的区域，并且是通常行驶时的体格不同的各种驾驶员的眼睛位置所分布的椭圆的区域。

需要说明的是，远红外相机11以及近红外相机12的搭载位置并不限定于仪表板15上，例如也可以是转向柱上。远红外相机11以及近红外相机12的搭载位置只要是在驾驶员就座于座椅而朝向正面时能够拍摄驾驶员的鼻腔部的位置即可。

ECU20也被称为控制器，在本实施方式中，作为一个例子，ECU20是具备CPU、ROM、RAM以及I/O的微型计算机。CPU执行存储于ROM的各种程序，由此实现图像处理电路30、状态判定电路40以及致动判定电路50的多个功能。另外，ECU20针对其所实现的多个功能中的每一个，也能够不依赖于程序而将一部分或者全部以硬件的结构来实现。

图像处理电路30设定近红外相机12的曝光时机或曝光时间、投影仪14的发光时机或发光时间、光量等，并向近红外相机12以及投影仪14的驱动器13发送控制指令。另外，图像处理电路30获取由远红外相机11拍摄到的远红外图像以及由近红外相机12拍摄到的近红外图像。

状态判定电路40具备位置获取部41、区域提取部42、口罩检测部43、眼镜检测部44、呼吸检测部45(也被称为呼吸状态检测部)、眨眼检测部46(也被称为眨眼状态检测部)、状态判定部47、以及脸部朝向检测部48，并对驾驶员的异常状态进行判定。在后面对各部进行详细描述。各部也被称为设备。

致动判定电路50在通过状态判定电路40判定为驾驶员处于异常状态的情况下，向致动器组60的各装置61～63发送控制信号，以促使驾驶员清醒或唤起驾驶员的注意。在异常状态持续的情况下，向紧急车辆停止装置64发送控制信号。详细而言，致动判定电路50向扬声器61发送控制指令，以输出警告音、警告消息。另外，致动判定电路50向设置于驾驶座的座椅的座椅振动装置62发送控制指令，以使驾驶座的座椅振动。另外，致动判定电路50向空调装置63发送控制指令，以向驾驶员吹冷风。致动判定电路50在驾驶员的状态未从异常状态恢复至正常状态的情况下，向车辆紧急停止装置64发送控制指令，以使车辆紧急停止。

致动判定电路50也可以对扬声器61、座椅振动装置62以及空调装置63中的2个以上进行驱动。另外，致动判定电路50也可以随着异常状态的持续而使依次驱动的装置改变或增加。另外，促使驾驶员清醒的装置并不限定于扬声器61、座椅振动装置62、空调装置63，也可以是其它装置。致动器组60只要包含促使驾驶员清醒的至少一个装置与车辆紧急停止装置64即可。

接下来，参照图3～图9对状态判定电路40的各部进行说明。位置获取部41从近红外图像中识别脸部部分，并获取识别出的脸部部分的位置信息。所识别的脸部部分为眼睛、鼻子、嘴等。详细而言，位置获取部41通过模板匹配等公知的方法在近红外图像中对眼睛、鼻子、嘴进行处理并进行识别。然后，位置获取部41获取识别出的眼睛、鼻子、嘴的位置信息即图像的坐标信息。此外，在本说明书中，“信息”不仅作为不可数名词，也被用作可数名词。也可以说信息等同于信息项。

区域提取部42使用由位置获取部41获取到的位置信息以及近红外图像与远红外图像的坐标的对应关系，如图3的(a)以及图4的(a)所示，在远红外图像中，提取眼睛区域Er、El、鼻子区域N以及嘴区域M。为了便于说明，在图中一体地记载了眼睛区域Er、El，但实际上眼睛区域Er、El为2个区域。眼睛区域Er、El是对存在眼球的部分亦即眼部进行搜索的搜索区域。鼻子区域N是对鼻腔部进行搜索的搜索区域，嘴区域M是对口腔部进行搜索的搜索区域。区域提取部42将以眼睛、鼻子、嘴的位置信息为中心的一定区域分别提取为眼睛区域Er、El、鼻子区域N、以及嘴区域M。需要说明的是，在驾驶员用鼻子进行呼吸的情况下，鼻腔部成为呼吸部，在驾驶员用嘴进行呼吸的情况下，口腔部成为呼吸部。

远红外图像与通常的可见光图像不同，其形状的边缘部分不清楚，因此难以使用远红外图像从面部整体识别脸部部分。因此，区域提取部42使用根据近红外图像获取到的位置信息，进行搜索区域的提取。通过像这样进行搜索区域的提取，在远红外图像中，能够减轻眼部、鼻腔部以及口腔部的搜索处理的负担，并能够高精度地检测眼部、鼻腔部以及口腔部。

呼吸检测部45根据鼻腔部或者口腔部的温度变动信息来检测呼吸状态。若从鼻子或者嘴吸气，则温度比较低的空气流入鼻腔部或者口腔部。因此，在驾驶员从鼻子吸气的状态或者屏住呼吸的状态下，如图3的(a)所示，远红外图像的鼻腔部的亮度变低而映出得较暗。在驾驶员的鼻子堵塞的情况下，流入堵塞的鼻腔部的空气变少，因此如图3的(b)所示，在远红外图像中，堵塞那一方的鼻腔部与未堵塞那一方的鼻腔部相比亮度较高。另外，在驾驶员从嘴吸气的状态或者屏住呼吸的状态下，如图3的(c)所示，远红外图像的口腔部的亮度变低而映出得较暗。

另一方面，若从鼻子或者嘴呼气，则温度比较高的空气从鼻腔部或者口腔部流出。因此，在驾驶员从鼻子呼气的状态下，如图4的(a)所示，远红外图像的鼻腔部的亮度变高而映出得较亮。在驾驶员的鼻子堵塞的情况下，如图4的(b)所示，在远红外图像中，堵塞那一方的鼻腔部与未堵塞那一方的鼻腔部相比亮度较低。另外，在驾驶员从嘴吸气的状态或者屏住呼吸的状态下，如图4的(c)所示，远红外图像的口腔部的亮度变高而映出得较亮。

由此，在规定期间(例如数十秒)拍摄的远红外图像中的呼吸部的温度随着呼吸而变动。呼吸检测部45根据呼吸部的温度变动信息即远红外图像中的呼吸部的亮度变动信息，检测驾驶员的呼吸周期、呼吸的深度、呼吸速度等呼吸状态。呼吸周期在图8所示的呼吸部的亮度的变化曲线中，例如是峰与峰的间隔或者谷与谷的间隔。另外，呼吸的深度在图8所示的呼吸部的亮度的变化曲线中，例如是峰与谷的亮度的差量D。

其中，在由口罩检测部43检测到覆盖驾驶员的鼻子以及嘴的口罩的情况下，呼吸检测部45将检测到的口罩作为呼吸部，根据口罩的温度变动信息来检测呼吸状态。

口罩检测部43从在规定期间内拍摄到的远红外图像中检测口罩。在近红外图像中，难以提取口罩与皮肤的分界线来检测口罩。与此相对，在远红外图像中，如图5所示，在口罩中覆盖鼻子、嘴的部分的温度随着呼吸而在整体上产生变动，因此能够从规定期间内的远红外图像中检测口罩。当在脸部的下部且在比通常的鼻子区域N、嘴区域M宽的区域中产生了温度变动的情况下，口罩检测部43将温度的变动区域作为口罩来进行检测。

并且，在由脸部朝向检测部48检测到的驾驶员的脸部朝向为使鼻腔部相对于远红外相机11不可见的朝向的情况下，呼吸检测部45为了防止误检测而停止呼吸状态的检测。例如，在脸部较大程度地向下或者向上倾斜的情况下鼻腔部不可见，因此呼吸检测部45在这样的情况下停止呼吸状态的检测。脸部朝向检测部48从近红外图像中检测驾驶员的脸部朝向。详细而言，脸部朝向检测部48基于在近红外图像中识别出的脸部部分的配置来检测脸部朝向。

眨眼检测部46根据眼部的温度变动信息来检测眨眼状态。眼球的表面温度低于眼睑的表面温度。因此，在驾驶员睁开眼睛的情况下，远红外图像的眼球部的亮度变低而映出得较暗。另外，在驾驶员闭上眼睛的情况下，远红外图像的眼球部的亮度变高而映出得较亮。

由此，在规定期间内拍摄到的远红外图像中的眼睛区域Er、El的温度随着眨眼而变动。眨眼检测部46根据眼睛区域Er、El的温度变动信息即远红外图像中的眼睛区域Er、El的亮度变动信息，检测驾驶员的眨眼周期、持续闭眼时间等眨眼状态。眨眼周期在眼睛区域Er、El的亮度的变化曲线中，例如是峰与峰的间隔或者谷与谷的间隔。

其中，在由眼镜检测部44检测到驾驶员的眼镜的情况下，如图7的(a)与(b)所示，眨眼检测部46从近红外图像中检测作为驾驶员的眼睛的睁开度的睁眼度，并根据检测到的睁眼度的变动来检测眨眼状态。详细而言，眨眼检测部46从近红外图像中提取上下眼睑的轮廓，并根据提取到的上眼睑的轮廓与下眼睑的轮廓的间隔、轮廓的形状来检测睁眼度。

眼镜检测部44从远红外图像中检测驾驶员的眼镜。在远红外图像中，如图6所示，眼镜部分与其它的脸部部分相比始终映出得较暗。由此，在远红外图像中的脸部的上部始终存在低温部分的情况下，眼镜检测部44将低温部分检测为眼镜。

状态判定部47基于由远红外相机11在规定期间内拍摄到的远红外图像，对驾驶员的异常状态进行判定。详细而言，状态判定部47基于驾驶员的呼吸状态以及眨眼状态，对驾驶员的异常状态进行判定。

如图8所示，在驾驶员处于正常状态的情况下，呼吸的周期、深度为稳定的大致固定值。另一方面，在驾驶员处于异常状态的情况下，呼吸的周期、深度从正常状态发生改变而不稳定地变动。状态判定部47基于呼吸周期的变动、呼吸的深度的变动，对驾驶员的异常状态进行判定。

另外，如图9所示，在驾驶员处于正常状态的情况下，眨眼的周期、平均闭眼时间为稳定的大致固定值。另一方面，在驾驶员处于异常状态的情况下，眨眼周期、平均闭眼时间从正常状态发生改变而不稳定地变动。状态判定部47基于眨眼周期的变动、平均闭眼时间的变动、半睁状态的持续等睁眼度的变动，对驾驶员的异常状态进行判定。根据眼睛搜索区域内的明暗中的较暗部分的区域的面积变动来求得半睁的检测。

接下来，参照图10的流程图对判定驾驶员的异常状态的处理顺序进行说明。ECU20反复执行本处理顺序。

首先，获取由近红外相机12拍摄到的近红外图像(S10)，并获取由远红外相机11拍摄到的远红外图像(S11)。S10与S11只要为几乎相同的时机即可，即使顺序颠倒也没问题。另外，虽然不是每次拍摄都需要，但有时远红外相机11在其特性上需要借助快门进行复位，因此有可能产生丢帧，但对此进行适当的处理。需要说明的是，S是表示部分或者步骤的意思。

接着，从在S10中获取到的近红外图像中，检测脸部部分即眼睛、鼻子、嘴。详细而言，在近红外图像中识别脸部部分，并获取脸部部分的位置信息(S12)。接着，基于在S12中检测到的脸部部分的配置，检测脸部的位置以及脸部朝向(S13)。在检测到的脸部的位置为不在远红外图像内的位置的情况下，不执行基于远红外图像的处理(S14～S17)。

接着，判定在S13中检测到的脸部朝向是否是使鼻腔部可见的脸部朝向(S14)。在为使鼻腔部可见的脸部朝向的情况下(S14：是)，基于在S11中获取到的远红外图像来进行呼吸状态检测(S15)。在后面对呼吸状态检测的处理顺序进行详细描述。另一方面，在为使鼻腔部不可见的脸部朝向的情况下(S14：否)，不进行呼吸状态检测而进入眼镜检测。

接着，判定是否从在S11中获取到的远红外线图像中检测到眼镜(S16)。在未检测到眼镜的情况下(S16：否)，基于在S11中获取到的远红外图像来进行眨眼状态检测(S17)。在后面对眨眼状态检测的处理顺序进行详细描述。在S17的处理之后，根据在S10中获取到的近红外图像对驾驶员的眼睛的睁眼度进行检测(S18)。另一方面，在检测到眼镜的情况下(S16：是)，不进行基于S11中获取到的远红外图像的眨眼状态检测，而根据在S10中获取到的近红外图像进行驾驶员的眼睛的睁眼度的检测(S18)。

在根据S10中获取的近红外图像对驾驶员的眼睛的睁眼度进行检测时，在S16中检测到眼镜的情况下，使用在S16中检测到的眼镜的有无以及位置信息，由此防止将眼镜框误检测为眼睛的轮廓。接着，使用睁眼度的历史以及在S18中检测到的睁眼度，计算规定期间内的睁眼度的变动，并根据计算出的睁眼度的变动来检测眨眼周期(S19)。

接着，基于在S15中检测到的呼吸周期、及/或在S17及/或S19中检测到的眨眼周期，判定驾驶员是否处于异常状态(S20)。例如，学习检测到的呼吸周期以及眨眼周期，在检测到的呼吸周期与呼吸周期的学习值之差比呼吸阈值大的情况下或者在检测到的眨眼周期与眨眼周期的学习值之差比眨眼阈值大的情况下，判定为驾驶员处于异常状态。或者，在检测到的呼吸周期的方差值比呼吸方差阈值大的情况下或在检测到的眨眼周期的方差值比眨眼方差阈值大的情况下，也可以判定为驾驶员处于异常状态。另外，也可以根据检测到的呼吸周期以及眨眼周期来分别计算异常程度，并对分别计算出的异常程度进行统和，然后对进行了统和的异常程度与异常阈值进行比较，判定驾驶员的异常状态。此外，当未在S15中对呼吸状态进行检测的情况下，仅基于眨眼状态来判定驾驶员的异常状态。

并且，基于在S13中检测到的脸部朝向，判定驾驶员是否处于异常状态(S20)。在驾驶员的脸部朝向为意识分散的朝向的情况下，判定为驾驶员处于异常状态。

在S20中判定为驾驶员处于正常状态的情况下(S20：否)，结束本处理。在S20中判定为驾驶员处于异常状态的情况下(S20：是)，向致动器组60的各装置61～63发送控制信号而驱动各装置61～63(S21)。

接着，反复进行S11～S20的处理，判定驾驶员是否恢复至正常状态(S22)。在驾驶员恢复至正常状态的情况下(S22：是)，结束本处理。在驾驶员保持异常状态不变的情况下(S22：否)，向车辆紧急停止装置64发送控制信号，使车辆紧急停止(S23)。通过以上步骤，结束本处理。

接下来，参照图11的子流程对呼吸状态检测的处理顺序进行说明。首先，判定是否从在S11中获取到的远红外图像中检测到口罩(S151)。

在未检测到口罩的情况下(S151：否)，使用在S12中获取到的鼻子的位置信息，从在S11中获取到的远红外图像提取作为鼻腔部的搜索区域的鼻子区域N(S152)。接着，对在S152中提取出的鼻子区域N进行搜索而对鼻腔部的轮廓进行检测(S153)。由于也存在2个鼻腔部中的一方堵塞的情况，所以分别检测左右的鼻腔部。接着，将在S153中检测到的左右的鼻腔部的轮廓内的鼻腔部的像素值平均化，分别计算左右的像素值的平均值(S154)。接着，使用左右的像素平均值的历史以及在S154中计算出的左右的像素平均值，计算规定期间内的左右的像素平均值的变动，并对呼吸周期进行检测。由于对左右的鼻腔部分别检测呼吸周期，所以即使一方的鼻腔部堵塞，也能够检测呼吸周期。此后，进入S16的处理。

此外，在规定期间内的左右的像素平均值几乎不变动的情况下，判断为驾驶员不用鼻子呼吸而用嘴呼吸。该情况下，从在S11中获取到的远红外图像提取嘴区域M，并对嘴区域M进行搜索而检测嘴的轮廓。然后，计算口腔部的像素平均值，并计算规定期间内的口腔部的像素平均值的变动而对呼吸周期进行检测。

另外，在检测到口罩的情况下(S151：是)，针对检测到的口罩的覆盖鼻子、嘴的部分，计算像素值的平均值(S155)。接着，使用口罩的亮度平均值的历史、以及在S155中计算出的口罩整体的像素值的平均值或者在口罩内被推定出存在鼻子、嘴的区域内的像素值的平均值，计算规定时间内的像素平均值的变动，并对呼吸周期进行检测。此后，进入S16的处理。

接下来，参照图12的子流程对眨眼状态检测的处理顺序进行说明。首先，使用在S12中获取到的眼睛的位置信息，从在S11中获取到的远红外图像中提取作为眼部的搜索区域的眼睛区域El、Er(S171)。接着，对在S171中提取出的眼睛区域El、Er进行搜索，对左右的眼睛的轮廓进行检测(S172)。接着，分别计算在S172中检测出的左右的眼睛的轮廓内的左右的眼部的像素值的平均值(S173)。接着，使用眼部的像素平均值的历史以及在S173中计算出的眼部的像素平均值，计算规定期间内的眼部的像素平均值的变动，并对眨眼周期进行检测(S174)。此后，进入S18的处理。

根据以上说明的本实施方式，起到以下的效果。

·利用远红外相机11，对表示驾驶员的脸部表面的温度分布的远红外图像进行拍摄。若驾驶员处于异常状态，则驾驶员的脸部的温度分布相对于驾驶员处于正常状态时产生局部不同的变动。由此，基于在规定期间内依次拍摄到的远红外图像，能够判定驾驶员的异常状态。另外，远红外相机11不易受到干扰光的影响。并且，由于远红外相机11是非接触传感器，所以能够稳定地拍摄驾驶员的脸部图像。因此，能够根据规定期间内的驾驶员的脸部的远红外图像，高精度且稳定地判定驾驶员的异常状态。

·鼻腔部或者口腔部的温度与呼吸的周期对应地变动。由此，能够根据驾驶员的鼻腔部或者口腔部的温度变动信息来检测驾驶员的呼吸状态。而且，能够根据检测到的驾驶员的呼吸状态来判定驾驶员的异常状态。

·眼部的温度与眨眼周期对应地变动。由此，能够根据驾驶员的眼部的温度变动信息来检测驾驶员的眨眼状态。而且，能够根据检测到的驾驶员的眨眼状态来判定驾驶员的异常状态。

·若驾驶员处于异常状态，则呼吸周期从正常时的周期发生改变、或者呼吸周期产生差异。由此，基于呼吸周期的变动，能够判定驾驶员的异常状态。

·若驾驶员处于异常状态，则眨眼周期从正常时的周期发生改变、或者眨眼周期产生差异。由此，基于眨眼周期的变动，能够判定驾驶员的异常状态。

·远红外图像作为图像并不清楚，因此通过通常的图像处理难以识别脸部部分。另一方面，在近红外图像中，提取脸部部分的边缘点来容易识别脸部部分。因此，从由近红外相机12拍摄到的近红外图像中识别脸部部分，获取脸部部分的位置信息。而且，使用从近红外图像中获取的脸部部分的位置信息，提取远红外图像中的眼睛区域El、Er、鼻子区域N、以及嘴区域M。这样，通过使用将远红外相机11与近红外相机12组合的多模态检测方法，与仅使用远红外相机11的情况相比，能够高精度地检测驾驶员的呼吸状态以及眨眼状态。

·一般而言，难以从近红外图像中检测口罩，但在远红外图像中，口罩的覆盖鼻子、嘴的部分的温度随着呼吸在整体上变动，因此能够高精度地检测口罩。

·在远红外图像中，眼镜与其它的脸部部分相比始终较暗。因此，能够从远红外图像中高精度地检测眼镜。

·在驾驶员戴着口罩的情况下，无法提取鼻子区域N或者嘴区域M，但口罩随着呼吸在整体上产生温度变动。因此，在检测到口罩的情况下，将口罩作为呼吸部，由此能够根据口罩的温度变动来检测呼吸状态。

·在驾驶员戴着眼镜的情况下，无法使用远红外图像而根据眼部的温度变动来检测眨眼状态。因此，该情况下，通过根据近红外图像对睁眼度进行检测，能够根据睁眼度的变动来检测眨眼状态。

·使用从远红外图像中检测到的眼镜的位置信息，从近红外图像中对驾驶员的眼睛的睁眼度进行检测，由此能够防止将眼镜框误检测为眼睛的轮廓。

(其它实施方式)

·作为用于驾驶员的异常判定的指标，呼吸检测部45也可以对呼吸的深度、呼吸速度等呼吸周期以外的呼吸状态进行检测。

·作为用于驾驶员的异常判定的指标，眨眼检测部46也可以对持续闭眼时间、平均睁眼时间等眨眼状态进行检测。

·也可以仅对呼吸状态以及眨眼状态的任意一方进行检测，并且仅基于任意一方来判定驾驶员的异常状态。

·ECU20的状态判定电路40也可以具备变动区域检测部，该变动区域检测部在远红外图像中，检测规定期间内的温度的变动量大于阈值的温度变动区域。而且，位置获取部41也可以在近红外图像中，使用由变动区域检测部检测到的温度变动区域来提取识别区域，并在提取出的识别区域中进行脸部部分的识别处理。这样一来，能够减轻识别处理的负担。

·驾驶员状态判定装置10也可以不具备近红外相机12。也可以仅使用由远红外相机11拍摄到的远红外图像，判定驾驶员的异常状态。该情况下，对远红外图像的时间变化进行观察，将温度反复进行高低变化的左右一对的部分检测为眼部以及鼻腔部。另外，在驾驶员用嘴呼吸时，将在比眼睛靠下处温度反复进行高低变化的部分检测为口腔部。

本公开以实施例为基准进行了描述，但应理解的是本公开并不限定于该实施例、构造。本公开也包含各种变形例、等同范围内的变形。除此之外，各种组合、方式、甚至是在其中仅包含一个要素、或更多或更少的其它组合、方式也落在本公开的范围、思想范围内。

Claims (15)

1.一种驾驶员状态判定装置，具备：

远红外相机(11)，该远红外相机对车辆的驾驶员的脸部图像且为表示所述驾驶员的脸部表面的温度分布的远红外图像进行拍摄；以及

状态判定部(47)，该状态判定部基于由所述远红外相机在规定期间内依次拍摄到的所述远红外图像，判定所述驾驶员的异常状态。

2.根据权利要求1所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备呼吸检测部(45)，所述呼吸检测部将所述远红外图像中的所述驾驶员的鼻腔部或者口腔部作为呼吸部，根据所述呼吸部的温度变动信息来检测所述驾驶员的呼吸状态，

所述状态判定部基于由所述呼吸检测部检测到的所述呼吸状态，判定所述驾驶员的异常状态。

3.根据权利要求2所述的驾驶员状态判定装置，其中，

所述呼吸检测部检测呼吸周期作为所述呼吸状态，

所述状态判定部基于所述呼吸周期的变动，判定所述驾驶员的异常状态。

4.根据权利要求2或3所述的驾驶员状态判定装置，具备：

近红外相机(12)，该近红外相机对所述驾驶员的脸部的近红外图像进行拍摄；

位置获取部(41)，该位置获取部从由所述近红外相机拍摄到的所述近红外图像中识别所述驾驶员的鼻子或者嘴，并获取所识别的所述鼻子或者嘴的位置信息；以及

区域提取部(42)，该区域提取部使用由所述位置获取部获取的所述位置信息，在所述远红外图像中提取对所述呼吸部进行搜索的搜索区域(N、M)。

5.根据权利要求4所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备变动区域检测部(49)，该变动区域检测部在所述远红外图像中，对所述规定期间内的温度的变动量大于阈值的温度变动区域进行检测，

所述位置获取部使用由所述变动区域检测部检测到的所述温度变动区域来进行识别处理。

6.根据权利要求2或3所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备口罩检测部(43)，该口罩检测部从所述远红外图像中对覆盖所述驾驶员的鼻子以及嘴的口罩进行检测。

7.根据权利要求6所述的驾驶员状态判定装置，其中，

在由所述口罩检测部检测到所述口罩的情况下，将检测到的所述口罩作为所述呼吸部。

8.根据权利要求2～7中任一项所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备：

近红外相机(12)，该近红外相机对所述驾驶员的脸部的近红外图像进行拍摄；以及

脸部朝向检测部(48)，该脸部朝向检测部从由所述近红外相机拍摄到的所述近红外图像中对所述驾驶员的脸部朝向进行检测，

在由所述脸部朝向检测部检测到的所述驾驶员的脸部朝向为所述鼻腔部相对于所述远红外相机不可见的朝向的情况下，所述呼吸检测部停止所述呼吸状态的检测。

9.根据权利要求1～8中任一项所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备眨眼检测部(46)，该眨眼检测部根据所述远红外图像中的所述驾驶员的眼部的温度变动信息来检测所述驾驶员的眨眼状态，

所述状态判定部基于由所述眨眼检测部检测到的所述眨眼状态，判定所述驾驶员的异常状态。

10.根据权利要求9所述的驾驶员状态判定装置，其中，

所述眨眼检测部检测眨眼周期作为所述眨眼状态，

所述状态判定部基于所述眨眼周期的变动，判定所述驾驶员的异常状态。

11.根据权利要求9或10所述的驾驶员状态判定装置，具备：

近红外相机(12)，该近红外相机对所述驾驶员的脸部的近红外图像进行拍摄；

位置获取部(41)，该位置获取部从由所述近红外相机拍摄到的所述近红外图像中识别所述驾驶员的眼睛，并获取所识别的所述眼睛的位置信息；以及

区域提取部，该区域提取部基于由所述位置获取部获取的所述位置信息，在所述远红外图像中提取对所述眼部进行搜索的搜索区域(El、Er)。

12.根据权利要求11所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备变动区域检测部(49)，该变动区域检测部在所述远红外图像中，对所述规定期间内的温度的变动量大于阈值的温度变动区域进行检测，

所述位置获取部使用由所述变动区域检测部检测到的所述温度变动区域来进行识别处理。

13.根据权利要求9或10所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备眼镜检测部(44)，该眼镜检测部从所述远红外图像中检测所述驾驶员的眼镜。

14.根据权利要求13所述的驾驶员状态判定装置，其中，

所述驾驶员状态判定装置具备近红外相机(12)，该近红外相机对所述驾驶员的脸部的近红外图像进行拍摄，

所述眨眼检测部在由所述眼镜检测部检测到所述眼镜的情况下，根据所述近红外图像检测所述驾驶员的睁眼度，并基于检测到的所述睁眼度的变动来检测所述眨眼状态。

15.根据权利要求14所述的驾驶员状态判定装置，其中，

所述眨眼检测部使用由所述眼镜检测部检测到的所述眼镜的位置信息，对所述驾驶员的睁眼度进行检测。