CN101153798A - 乘员检测系统、警报系统、制动系统和车辆 - Google Patents

Abstract

一种乘员检测系统、警报系统、制动系统和车辆，在车载乘员检测系统中提供对高精度地检测驾驶员的注意力是否下降有效的技术。该乘员检测系统包括：3D照相机；根据由3D照相机拍摄的三维图像提取与驾驶员头部和手有关的信息；检测处理部，根据由信息提取处理部所提取的信息检测驾驶员的头部和手的位置或动作是否处于预先规定的规定状态；累计处理部，根据检测处理部中的检测结果，在驾驶员的头部和手脱离规定状态的情况下，累计该部位脱离规定状态时间；判断处理部，根据由累计处理部累计的累计时间，在该累计时间超过预先设定的设定值时，判断为驾驶员的注意力下降；在该累计时间在预先设定的设定值以下时，判断为驾驶员的注意力没有下降。

Description

乘员检测系统、警报系统、制动系统和车辆

技术领域

本发明涉及车载乘员检测技术，特别涉及对与车辆座椅上的驾驶员有关的信息进行检测的乘员检测系统的构筑技术。

背景技术

以往，公知有使用照相机等拍摄单元对与车辆座椅上的就座物有关的信息进行检测的各种技术。例如在下述专利文献1中公开了一种检测装置的结构：将可拍摄对象物的二维图象的照相机设在车辆乘员的前方，通过该照相机检测就座于车辆座椅上的乘员的位置。

专利文献1：特开2003-294855号公报

然而，在驾驶员从车辆座椅上的常规位置离开、打瞌睡或注意力不集中的情况下，可以设想会因驾驶员的注意力下降而在随后的方向盘操作等操作中产生迟钝。从而存在确立一种高精度地检测驾驶员注意力是否下降的技术并将该技术应用于各种驾驶支援系统的需求。如专利文献1中记载的检测装置那样，通过照相机拍摄车辆乘员的二维图像的结构中，因下述原因难以高精度地检测出驾驶员的注意力是否下降。即，在背景和驾驶员之间的色差、皮肤和服装之间的色差小时，产生难以可靠地对驾驶员的头部和手的部位进行检测的问题。此外，在从车辆前方拍摄驾驶员而对头部和手进行检测的情况下，产生难以确定该部位的前后位置的问题。例如在对驾驶员的头部位置进行检测时，难以确定处于前倾状态的驾驶员的头部位置和处于常规就座状态的驾驶员的头部位置之间的前后关系。

发明内容

本发明是鉴于上述问题提出的，其目的在于，在车载乘员检测系统中提供对高精度地检测驾驶员的注意力是否下降有效的技术。

为了解决上述问题，构成本发明。本发明可典型地应用于汽车中的、对与车辆座椅上的驾驶员有关的信息进行检测的乘员检测系统，对于汽车之外的车辆也同样能够应用本发明。

本发明的乘员检测系统至少包括拍摄部、信息提取处理部、检测处理部、累计处理部和判断处理部。

拍摄部构成用于取得车辆座椅上的驾驶员在规定动作范围内的三维图像的拍摄单元。作为该拍摄部可使用单眼CMOS 3D照相机或复眼立体3D照相机、激光扫描器等。这里所说的“规定动作范围”，典型地有就座于车辆座椅上的驾驶员的头部及上半身所及的区域、驾驶员的手所及的区域(例如方向盘、仪表板、变速杆、侧面制动杆、扶手、车辆座椅等)。根据需要，可以设置1个或多个该拍摄部。

信息提取处理部具有下述功能，根据由拍摄部所拍摄的三维图像，提取与驾驶员头部位置或头部动作有关的信息以及与驾驶员的手的位置或手的动作有关的信息中的至少一种信息。此时，在本发明中，由于使用由拍摄部所拍摄的三维图像，因而能够高精度地提取与驾驶员头部、手有关的信息。与驾驶员头部、手有关的信息，能够有效地用于判断出驾驶员是否脱离车辆座椅上的常规位置、打瞌睡或注意力不集中而导致注意力下降。

检测处理部具有下述功能，根据由信息提取处理部所提取的信息，检测驾驶员头部和手中的至少一个部位的位置或动作是否处于预先规定的规定状态。具体而言，关于驾驶员头部的位置或手的位置，由该检测处理部检测该位置是否处于规定位置；关于驾驶员头部的动作或手的动作，由该检测处理部检测该动作是否为规定的动作。

累计处理部具有下述功能，根据检测处理部中的检测结果，在驾驶员头部和手中的至少一个部位脱离上述规定状态的情况下，累计该部位脱离规定状态的时间。具体而言，关于驾驶员头部的位置或手的位置，在该位置脱离规定位置的情况下，由该累计处理部累计该脱离时间；并且关于驾驶员头部的动作或手的动作，在该动作脱离规定动作的情况下，由该累计处理部累计该脱离时间。

判断处理部具有下述功能：根据由累计处理部累计的累计时间，在该累计时间超过预先设定的设定值的情况下，判断为驾驶员的注意力下降；另一方面，在该累计时间在预先设定的设定值以下的情况下，判断为驾驶员的注意力没有下降。即，基于下述情况进行判断：在驾驶员的头部和手中的至少一个部位脱离规定位置或规定动作的时间相对较长的情况下，驾驶员的注意力下降，处于容易对随后的方向盘操作等产生反应时间延迟的状态。

根据本发明的乘员检测系统的这种结构，通过基于拍摄部所拍摄的三维图像进行的各种处理，能够高精度地检测出驾驶员的注意力是否下降。而且，由该乘员检测系统的判断处理部判断出的驾驶员的注意力是否下降的相关结果，可以在报知车辆碰撞可能性的警报装置、对车辆产生制动作用的制动装置、对卷收器的安全带卷绕动作进行控制的安全带装置、在发生事故时通过从下向上顶起座垫而防止乘员沿座椅面从安全带滑出的动作的装置、利用气囊约束驾驶员的装置、根据驾驶员的姿势进行调节的装置(例如调节座椅头枕的高度的装置)等中，用于对驾驶支援系统进行控制。

本发明的另一方式的乘员检测系统，还包括动作信号输出部。该动作信号输出部，当预测到车辆的碰撞时，向对驾驶员发出警报的1个或多个警报装置输出动作信号。此外，该动作信号输出部，在判断处理部判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向1个或多个警报装置输出的动作信号的输出方式不同。关于使动作信号输出方式不同的具体方式的具体示例，可适当采用在判断为驾驶员的注意力下降的情况下，使对于规定警报装置的动作信号输出时间提前的方式、使对于规定警报装置的动作信号输出强度提高的方式、关于多个警报装置改变对于各个警报装置的动作信号输出时间的方式等。而且动作信号输出部只要能够向警报装置输出控制信号即可，其可以是在与警报装置之间设置ECU等控制部的结构，或者也可以是直接向警报装置输出控制信号的结构。

本发明的乘员检测系统的这种结构，对构筑如下乘员检测系统有效：对应于所设想的驾驶员注意力下降、反应迟钝、发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶。

本发明的另一方式的乘员检测系统，还包括控制信号输出部。该控制信号输出部，向通过驾驶员的踩踏力对车辆产生制动作用的制动装置输出用于控制制动开始时间的控制信号。而且，该控制信号输出部，在判断处理部判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向制动装置输出的控制信号的输出方式不同。关于使控制信号的输出方式不同的具体方式的具体例，可适当采用：在判断为驾驶员的注意力下降的情况下，为了使制动开始时间提前而缩小制动块和制动盘或制动鼓之间的间隙的方式；提高制动块的动作速度的方式等。

本发明的乘员检测系统的这种结构，对构筑如下乘员检测系统有效：对应于所设想的驾驶员的注意力下降、反应迟钝的情况，防止车辆的制动操作延迟。

本发明的警报系统至少包括上述乘员检测系统、向驾驶员进行警报的1个或多个警报装置和动作信号输出部。动作信号输出部，当预测到车辆碰撞时，向1个或多个警报装置输出动作信号。而且，该动作信号输出部，在判断处理部判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向1个或多个警报装置输出动作信号的输出方式不同。

本发明的乘员检测系统的这种结构，对构筑如下乘员检测系统有效：对应于所设想的驾驶员注意力下降、反应迟钝、发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶。

本发明的制动系统至少包括上述乘员检测系统、通过驾驶员的踩踏力对车辆产生制动作用的制动装置和控制信号输出部。

控制信号输出部向控制装置输出用于控制制动开始时间的控制信号。而且，控制信号输出部，在判断处理部判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向制动装置输出控制信号的输出方式不同的结构。

本发明的制动系统的这种结构，对构筑如下制动系统有效：对应于所设想的驾驶员的注意力下降、反应迟钝的情况，防止车辆的制动操作延迟。

本发明的车辆至少包括发动机行驶系统、电装系统、驱动控制装置和乘员检测装置。

发动机行驶系统构成与发动机和车辆行驶有关的系统。电装系统构成与车辆所使用的电器元件有关的系统。驱动控制装置构成具有对发动机行驶系统和电装系统进行驱动控制的功能的装置。乘员检测装置构成检测与车辆座椅上的驾驶员有关的信息的结构。该乘员检测装置使用上述乘员检测系统构成。

根据本发明的车辆的这种结构，提供了装载有如下乘员检测系统的车辆，该乘员检测系统通过基于拍摄部所拍摄的三维图像进行的各种处理，能够高精度地检测驾驶员的注意力是否下降。

本发明的车辆至少包括发动机行驶系统、电装系统、驱动控制装置、上述警报装置和制动系统中的至少一种装置。

发动机行驶系统构成与发动机和车辆行驶有关的系统。电装系统构成与车辆所使用的电器元件有关的系统。驱动控制装置构成具有对发动机行驶系统和电装系统进行驱动控制的功能的装置。

根据本发明的车辆的这种结构，可提供装载有如下警报系统和制动系统的车辆：上述警报系统，对应于所设想的驾驶员的注意力下降、反应迟钝、发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶；上述制动系统，对应于所设想的驾驶员的注意力下降、反应迟钝的情况，防止车辆的制动操作延迟。

发明效果

如上所述，根据本发明，在车载乘员检测系统中能够高精度地检测驾驶员的注意力是否下降。

附图说明

图1是表示本实施方式的车载乘员检测系统100的系统结构的图。

图2是用于对作为本实施方式的动作装置210的警报装置进行控制的“警报控制”的流程图。

图3是图2中的“头部和手位置检测处理”的流程图。

图4是图2中的“与头部有关的状态判断处理”的流程图。

图5是图2中的“与手有关的状态判断处理”的流程图。

图6是图2中的“与握持方向盘的手有关的状态判断处理”的流程图。

图7是在本实施方式中，表示以常规姿势就座于车辆座椅10上的驾驶员的头部存在的区域S1的图。

图8是在本实施方式中，表示方向盘12的下部区域S2的平面图。

具体实施方式

下面参考附图对本发明实施方式进行详细说明。首先参考图1，对本发明中的“乘员检测系统”和“乘员检测装置”的一个实施方式即乘员检测系统100的结构进行说明。

在图1表示了本实施方式的车载乘员检测系统100的系统结构。如图1所示，本实施方式的乘员检测系统100为了检测与驾驶员有关的信息而装载在作为本发明的“车辆”的汽车上，主要由拍摄单元110和控制单元120构成。此外，该乘员检测系统100与作为车辆侧驱动控制装置的ECU200和动作装置210一起构成规定的车辆支援系统(对应于本发明中的“警报系统”和“制动系统”的系统)。该车辆至少还包括未特别图示的、与发动机和车辆的行驶有关的系统即发动机行驶系统、与车辆使用的电器元件有关的系统即电装系统、对发动机行驶系统和电装系统进行驱动控制的驱动控制系统(ECU200)。

本实施方式的拍摄单元110包括作为拍摄设备的3D照相机112以及数据传送电路。3D照相机112构成在使用CMOS或CCD(电荷耦合器件)的同时，还将光传感器配置为阵列(格子状)的3D(三维图像)式的照相机(也称作“监视器”)。由该照相机取得单一视点下的三维图像，通过多次测量距驾驶员的距离而检测出立体表面形状，从而能够确认驾驶员的有无、尺寸、位置、姿势等。作为该3D照相机112，可以使用单眼CMOS 3D照相机或复眼立体3D照相机。该拍摄单元110(3D照相机112)相当于本发明中的“取得三维图像的拍摄部”。除了该3D照相机112之外，也可以使用能够取得三维图像的激光扫描器。

而且，本实施方式的照相机112朝向驾驶员的规定动作范围地配置在汽车的内后视镜周边部、外后视镜周边部、仪表板的左右中心部分等内。作为在此所称的“驾驶员的规定的动作范围”，典型地可列举就座于车辆座椅上的驾驶员的头部和上半身所及的区域、驾驶员的手所及的区域(例如方向盘、仪表板、变速杆、侧面制动杆、扶手、车辆座椅等)。从而使用3D照相机112，能够周期性地多次测量与就座于车辆座椅上的驾驶员的规定动作范围有关的信息。而且虽然没有特别图示，在本实施方式的乘员检测系统100中装载了将车辆蓄电池的电力供给到3D照相机112的电源装置。设定成例如在点火开关处于接通状态时或在安装在驾驶座内的就座传感器(省略图示)检测到就座于该驾驶座上的车辆乘员时，开始利用该3D照相机112进行拍摄。

本实施方式的控制单元120还至少包括图像处理部130、运算部(MPU)150、存储部170、输入输出部190以及没有特别图示的各种外围设备。该控制单元120构成根据由3D照相机112取得的图像对与车辆驾驶座上的驾驶员有关的信息进行导出处理的单元。

图像处理部130构成进行用于取得高品质图像的照相机控制、用于对由3D照相机112拍摄的图像进行加工分析的图像处理控制的单元。具体而言，在照相机控制中，可进行帧频、快门时间、灵敏度调整、精度校正，并可调整动态范围、亮度、白平衡等。而且在图像处理控制中，进行图像的旋转校正、透镜失真校正、过滤运算、差分运算等图像前期处理运算、形状判断或追踪等图像识别处理运算。

本实施方式的运算部150至少包括信息提取处理部152、检测处理部154、累计处理部156以及判断处理部158。该运算部150也可以是适当组合信息提取处理部152、检测处理部154、累计处理部156以及判断处理部158中的多个处理部而形成的结构。

构成运算部150的信息提取处理部152，根据来自图像处理部130的信息，进行提取与驾驶员有关的信息的处理。具体而言，通过该信息提取处理部152提取(导出)与驾驶员的头部位置或头部动作有关的信息、与驾驶员的手的位置或手的动作有关的信息中的至少一种信息。该信息提取处理部152相当于本发明中的“信息提取处理部”。

构成运算部150的检测处理部154具有如下功能：根据来自信息提取处理部152的信息，检测驾驶员的头部和手中的至少一个部位的位置或动作是否处于预先规定的规定状态。具体而言，关于驾驶员的头部位置或手的位置，通过该检测处理部154检测该位置是否处于规定位置；并且关于驾驶员的头部动作或手的动作，通过该检测处理部154检测该动作是否为规定的动作。该检测处理部154相当于本发明中的“检测处理部”。

构成运算部150的累计处理部156具有如下功能：根据检测处理部154中的检测结果，在驾驶员的头部和手中的至少一个部位脱离规定状态的情况下，累计该部位脱离规定状态的时间。具体而言，关于驾驶员的头部位置或手的位置，在该位置脱离规定位置的情况下，通过该累计处理部156累计该脱离时间；并且关于驾驶员的头部动作或手的动作，在该动作脱离规定动作的情况下，通过该累计处理部156累计该脱离时间。该累计处理部156相当于本发明中的“累计处理部”。

构成运算部150的判断处理部158具有如下功能：根据累计处理部156所累计的累计时间，判断驾驶员的注意力是否下降。具体而言，在由累计处理部156所累计的累计时间超过预先设定的设定值的情况下，判断为驾驶员的注意力下降；另一方面在由累计处理部156所累计的累计时间小于预先设定的设定值的情况下，判断为驾驶员的注意力没有下降。该判断处理部158相当于本发明中的“判断处理部”。

本实施方式的存储部170，除了运算控制软件以外，还记录(存储)校正用数据、前期处理用的缓冲帧存储器数据、用于识别运算的定义数据、基准模型、运算部150中的各种处理结果。

本实施方式的输入输出单元190，在与对车辆整体进行相关控制的ECU200之间，输入以判断处理部158中的判断结果为首的与车辆有关的信息、与周边的交通状况有关的信息、与天气或时区有关的信息等，并输出识别结果。作为与车辆有关的信息的具体示例，有利用雷达或照相机得到的车辆的碰撞预测信息、车门的开关，安全带的佩戴或解开、制动器的动作、车速、方向盘操舵角度等。在本实施方式中，根据从该输入输出单元190输出的信息，ECU200向动作装置210输出驱动控制信号。

作为本实施方式的动作装置210，例如有：根据雷达或照相机的信息，报知车辆碰撞可能性的警报装置；通过驾驶员的踩踏力对车辆产生制动作用的制动装置、对卷收器的安全带卷绕动作进行控制的安全带装置、在发生事故时通过从下向上顶起座垫而防止乘员沿座椅面从安全带滑出的装置(以下也称作“支撑装置”)、利用气囊约束驾驶员的装置、根据驾驶员的姿势进行调节的装置(例如调节座椅头枕的高度的装置)等。而且，输入输出部190只要能够向动作装置210输出控制信号即可，如图1所示，可以是在与动作装置210之间设置ECU200的结构，或者也可以是直接向动作装置210输出控制信号的结构。

作为动作装置210，在使用根据雷达或照相机的信息报知车辆碰撞可能性的警报装置的情况下，该警报装置相当于本发明中的“警报装置”。而且在这种情况下，向警报装置输出动作信号的输入输出部190相当于本发明中的“动作信号输出部”。而且作为动作装置210，在使用通过驾驶员的踩踏力对车辆产生制动作用的制动装置的情况下，该制动装置相当于本发明中的“制动装置”。在这种情况下，向制动装置输出控制信号的输入输出部190相当于本发明中的“控制信号输出部”。

接着，除了图1之外，还参考图2至图8对上述结构的乘员检测系统100的动作进行说明。其中，在图2至图6中表示了与该乘员检测系统100的动作有关的控制，上述各项控制中都是由ECU200根据图1中的乘员检测系统100的检测结果而执行的。

在图2中表示用于对作为本实施方式的动作装置210的警报装置进行控制的“警报控制”的流程图。在图2所示的该警报控制中，首先，通过图2中的步骤S10执行“头部和手的位置检测处理”。详细情况在下文中说明，通过执行该处理，可导出与驾驶员的头部和手的位置有关的信息。接着，通过步骤S30、步骤S50、步骤S70，执行对与驾驶员的头部、手有关的状态进行判断的处理。在步骤S30中判断与驾驶员的头部有关的状态，在步骤S50中判断与驾驶员的手有关的状态，在步骤S70中判断与驾驶员握持方向盘的手有关的状态。根据需要，可适当省略步骤S30、步骤S50、步骤S70中的至少一个步骤。然后在步骤S90判断是否正确执行了步骤S10至S70的一系列处理，在判断为没有正确地执行上述一系列处理即判断为错误的情况下(步骤S90的“否”的情况)，返回步骤S10，在判断为正确执行了上述一系列处理的情况下(步骤S90的“是”的情况)，直接结束警报控制。可以是在步骤S90的基础上或代替步骤S90，在步骤S10至S70的各步骤分别执行这种错误判断的结构。

参考图3详细说明图2中的步骤S10。在图3中表示图2的“头部和手的位置检测处理”的流程图。在该检测处理中，依次执行图3中的步骤S11至S13。首先在步骤S11中，在图像处理部130对由图1中的3D照相机112所拍摄的三维图像进行图像处理。接着在步骤S12，由图1中的信息处理部152从在步骤S11取得的三维图像中提取与驾驶员的头部和手有关的特征，紧接着在步骤S13中输出该提取信息。将在步骤S13中输出的信息暂时存储在图1中的存储部170中。

参考图4详细说明图2中的步骤S30。在图4中表示图2的“与头部有关的状态判断处理”的流程图，在该判断处理中，依次执行图4中的步骤S31至S40。

首先在步骤S31中，从存储部170读取与驾驶员的头部有关的特征；在步骤S32中，由图1中的检测处理部154检测驾驶员的头部是否处于规定位置。具体而言，预先规定驾驶员的头部在正常驾驶时所处的范围，当在该范围内检测出驾驶员的头部时，则检测为驾驶员的头部位于规定位置上，当在该范围内没有检测出驾驶员的头部的情况下，则检测为驾驶员的头部不在规定位置上。如图7所示，将该规定位置规定为以常规姿势就座于车辆座椅10上的驾驶员的头部存在的区域S1内的位置。作为驾驶员的头部不在规定位置上的情况，例如有驾驶员的头部向左右或前后倾斜的情况等。在检测出驾驶员的头部不在规定位置上的情况下(步骤S32中的“是”)，进入步骤S33；在检测出驾驶员的头部在规定位置上的情况下(步骤S32中的“否”)，进入步骤S34。在步骤S33中，图1中的累计处理部156累计驾驶员的头部不在规定位置的时间(也称作“头部的位置时间”)Ta；另一方面在步骤S34中，使头部的位置时间复位。

接着在步骤S35中，由图1中的检测处理部154根据在步骤S31中读取的与驾驶员的头部有关的特征来检测驾驶员的头部是否移动(头部是否处于规定的动作状态)。具体而言，检测驾驶员的头部随时间的变化，该时间变化相对较大时，则检测为驾驶员的头部移动；该时间变化相对较小时，则检测为驾驶员的头部不移动或头部移动少。在检测出驾驶员的头部移动的情况下(步骤S35中的“是”)，进入步骤S36；在检测出驾驶员的头部不移动或头部移动少的情况下(步骤S35中的“否”)，进入步骤S37。在步骤S36中，由图1中的累计处理部156累计驾驶员头部移动的时间(也称作“头部的移动时间”)Tb；另一方面在步骤S37中，使头部的移动时间复位。

接着在步骤S38中，图1中的累计处理部156进一步累计由步骤S33累计的头部的位置时间Ta和由步骤S36累计的头部的移动时间Tb。然后在步骤S39中，图1中的判断处理部158将该累计时间与预先设定的规定时间进行比较。在该累计时间超过规定值的情况下(步骤S39中的“是”)，在步骤S40进行提前警报输出，否则(步骤S39中的“否”)，即在该累计时间小于规定值的情况下，直接结束判断处理。在步骤S40的该提前警报输出中，以预测到车辆碰撞为条件，作为动作装置210的警报装置输出警报，并且执行使输出该警报的输出时间比驾驶员头部处于常规状态的通常情况提前的控制。此时，作为由警报装置所输出的警报的输出方式，可使用蜂鸣或声音输出、方向盘或仪表板中的亮灯显示或图面显示输出、方向盘或杆类的振动输出或将上述多种输出方式进行组合而形成的输出等。而且，本说明书中所称的“常规状态”是指，在车辆座椅上的常规位置(标准就座位置)上，车辆乘员的背紧贴座椅靠背并且车辆乘员的头部靠近头枕的前面部分的状态。脱离该常规位置的区域被称作车辆乘员的常规外位置、即所谓的OOP(非正常位置)。

在本实施方式中，驾驶员的头部不在规定位置的状态和驾驶员头部移动的状态均是驾驶员的注意力下降的状态，由于其是容易对随后的方向盘操作等操作产生反应时间延迟的状态，因而通过在这种情况下进行步骤S40的提前警报输出，能够有效地补偿驾驶员的反应时间的延迟。而且，除了使警报装置中的警报的输出时间比驾驶员的头部处于常规状态的通常情况提前的控制以外，还可以进行使向警报装置输出的动作信号的输出强度比驾驶员的头部处于常规状态的通常情况提高的控制。通过使用这种控制，对应于所设想的发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶。而且在驾驶员的头部移动的情况下，优选的是，根据头部的移动的大小(位移量)，缩短步骤S36以后的处理所需的时间，由此提前进行检测驾驶员的注意力是否处于下降的状态的处理。

参考图5详细说明图2中的步骤S50。在图5中表示图2的“与手有关的状态判断处理”的流程图。在该判断处理中，依次执行图5中的步骤S51至S60。

首先在步骤S51中，从存储部170读取与驾驶员的手有关的特征，在步骤S52中，由图1中的检测处理部154判断驾驶员的手是否在规定位置上。具体而言，预先规定驾驶员的手在正常驾驶时所处的范围，当在该范围内检测出驾驶员的手时，则检测为驾驶员的手位于规定位置上，而在该范围内没有检测出驾驶员的手时，则检测为驾驶员的手不在规定位置上。作为驾驶员的手不在规定位置的情况，例如有：驾驶员的手在变速杆、侧面制动杆、座椅、扶手、仪表板、驾驶员自己的身体上的情况等。在检测出驾驶员的手不在规定位置上的情况下(步骤S52中的“是”)，进入步骤S53；在检测出驾驶员的手位于规定位置上的情况下(步骤S52中的“否”)，进入步骤S54。在步骤S53中，由图1中的累计处理部156累计驾驶员的手不在规定位置的时间(也称作“手的位置时间”)Tc；另一方面在步骤S54中，使手的位置时间复位。

接着，在步骤S55中，由图1中的检测处理部154根据在步骤S51中读取的与驾驶员的手有关的特征来判断驾驶员的手是否移动(手是否处于规定的动作状态)。具体而言，检测驾驶员的手随时间的变化，该时间变化相对较大时，则检测为驾驶员的手移动；该时间变化相对较小时，则检测为驾驶员的手不移动或手的移动少。当检测出驾驶员的手移动的情况下(步骤S55中的“是”)，进入步骤S56；在检测出驾驶员的手不移动或手的移动少的情况下(步骤S55中的“否”)，进入步骤S57。在步骤S56中，图1中的累计处理部156累计驾驶员的手移动的时间(也称作“手的移动时间”)Td；另一方面在步骤S57中，使手的移动时间复位。

接着在步骤S58中，由图1中的累计处理部156进一步累计由步骤S53累计的手的位置时间Tc和由步骤S56累计的手的移动时间Td。然后在步骤S59中，图1中的判断处理部158将该累计时间与预先设定的规定值进行比较。在该累计时间超过规定值的情况下(步骤S59中的“是”)，在步骤S60进行提前警报输出；否则(步骤S59中的“否”)即在该累计时间小于规定值的情况下，直接结束判断处理。在步骤S60的该提前警报输出中，与上述步骤S40中的提前警报输出同样，以预测到车辆碰撞为条件，由作为动作装置210的警报装置输出警报，并且执行使输出该警报的时间比驾驶员的手处于常规状态的通常情况提前的控制。

在本实施方式中，驾驶员的手不在规定位置的状态和驾驶员的手移动的状态均是驾驶员的注意力下降的状态，由于其是容易对随后的方向盘操作等操作产生反应时间延迟的状态，因而通过在这种情况下进行步骤S60的提前警报输出，能够有效地补偿驾驶员的反应时间的延迟。而且，除了警报装置中的警报输出时间比驾驶员的手处于常规状态的通常情况提前的控制以外，还可以进行使向警报装置输出的动作信号的输出强度比驾驶员的手处于常规状态的通常情况提高的控制。通过使用这种控制，对应于所设想的发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶。而且在驾驶员的手移动的情况下，优选的是，根据手的移动的大小(位移量)，缩短步骤S56以后的处理所需的时间，由此提前进行检测驾驶员的注意力是否处于下降的状态的处理。

参考图6详细说明图2中的步骤S70，在图6中表示图2的“与握持方向盘的手有关的状态判断处理”的流程图。在该判断处理中，依次执行图6中的步骤S71至S74。

首先在步骤S71中，从存储部170读取与驾驶员的手有关的特征，在步骤S72中，由图1中的检测处理部154检测驾驶员的双手中是否至少一只手位于方向盘上。具体而言，预先设定方向盘附近的规定范围，当在该范围内检测到驾驶员的手时，检测为驾驶员的双手中至少一只手位于方向盘上；在该范围没有检测到驾驶员的手时，检测为驾驶员的双手都不在规定位置上。在检测到驾驶员的手位于规定位置上的情况下(步骤S72中的“是”)，进入步骤S73；在检测到驾驶员的手不在规定位置的情况下(步骤S72中的“否”)，进入步骤S74，进行提前警报输出。

在步骤S73中，图1中的检测处理部154检测驾驶员的手是否握住方向盘的下部区域。具体而言，预先设定握持方向盘下部区域的手所存在的规定范围，当在该范围内检测到驾驶员的手时，检测为驾驶员的手正握住方向盘的下部区域；当在该范围没有检测到驾驶员的手时，检测为驾驶员的手没有握住方向盘的下部区域。如图8所示，将该范围规定为由驾驶员所握持的方向盘(转向盘)12的下部区域S2。在方向盘为3辐条式方向盘的情况下，下部区域S2是以从方向盘中央的衬垫部分向下方延伸的辐条和转向盘之间的边界部分为中心的周边区域；在方向盘为4辐条式方向盘的情况下，下部区域S2是由从方向盘中央的衬垫部分向斜下方延伸的2个辐条和转向盘所划分成的区域。在检测出驾驶员的手握住方向盘的下部区域的情况下(步骤S73中的“是”)，进入步骤S74，进行提前警报输出。另一方面，在检测出驾驶员的手没有握住方向盘的下部区域的情况下(步骤S73中的“否”)，直接结束该处理。在步骤S74的该提前警报输出中，与上述步骤S40的提前警报输出同样地，以预测到车辆碰撞为条件，由作为动作装置210的警报装置输出警报，并且执行使输出该警报的输出时间比驾驶员的头部处于常规状态的通常情况提前的控制。

在本实施方式中，由于驾驶员的手握住方向盘下部区域的状态是很可能对随后的方向盘操作等操作产生延迟的状态，因而通过在该情况下实施步骤S74的提前警报输出，能够有效地补偿驾驶员的操作迟钝。而且，除了使警报装置中的警报输出时间比驾驶员的手处于常规状态的通常情况提前的控制之外，还可以进行使向警报装置输出动作信号的输出强度比驾驶员的手处于常规状态的通常情况提高的控制。通过使用这种控制，对应于所设想的发生与警报有关的习惯行为的情况，能够提醒驾驶员集中精力驾驶。

如上所述，根据本实施方式的乘员检测系统100，通过基于由3D照相机112拍摄的三维图像进行的各种处理，能够高精度地检测出驾驶员的注意力是否下降。即，在使用三维图像的情况下，与检测二维图像的结构相比，即使在背景和驾驶员之间的色差、皮肤和服装之间的色差较小时、或在对处于前倾状态的驾驶员头部位置进行检测的情况下，也能够确保较高的检测精度。

而且，根据本实施方式，由于能够以与乘员检测系统100中的高精度检测结果相应的适当方式对动作装置210进行控制，因而能够对动作装置210进行更精细的控制。

而且，根据本实施方式，提供了一种能够以与乘员检测系统100中的高精度检测结果相应的适当方式对动作装置210进行控制的车辆。

其他实施方式

本发明并不仅限于上述实施方式，也可以考虑进行各种应用和变形。例如也可以实施应用了上述实施方式的以下各种方式。

在上述图2至图6所示的实施方式中，虽然对使用根据雷达和照相机的信息报知车辆碰撞可能性的警报装置作为动作装置210的情况进行了说明，但在本发明中，作为动作装置210，也可以使用通过驾驶员的踩踏力对车辆产生制动作用的制动装置、装载在发生事故时通过从下向上顶起座垫而防止乘员沿座椅面从安全带滑出动作的支撑装置中的振动装置。

在使用制动装置作为动作装置210的情况下，输入输出部190构成向制动装置输出用于对制动块和制动盘或制动鼓之间的间隙进行控制的控制信号，并且在判断处理部158判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向制动装置输出控制信号的输出方式不同的结构。具体而言，为了使制动开始时间提前，可适当采用使制动块和制动盘或制动鼓之间的间隙比通常情况小的方式、制动块的动作速度比通常情况提高的方式等。

此外，在使用装载在支撑装置上的振动装置作为动作装置210的情况下，输入输出部190构成在判断处理部158判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使振动装置的动作方式不同的结构。具体而言，为了提醒驾驶员注意，在驾驶员向右侧倾斜的情况下，由于重心位于右侧，因而可以采用使振动装置中的振动发生部位比通常情况向右侧移动的方式。

此外，在上述实施方式中，虽然对使用单个警报装置作为动作装置210的情况进行了说明，但在本发明中也可以采用由多个装置组合成动作装置210的结构。

例如可以将仪表板上的灯装置、装载在支撑装置上的第1振动装置、装载在方向盘上的第2振动装置组合成动作装置210。在这种情况下，输入输出部190，在判断处理部158判断为驾驶员的注意力下降的情况下和判断驾驶员的注意力没有下降的情况下，使向3个装置(灯装置、第1振动装置和第2振动装置)输出的控制信号的输出方式不同。具体而言，在通常情况下，当预测到车辆碰撞时，使灯装置、第1振动装置和第2振动装置依次动作，相对于此，当驾驶员的一只手离开方向盘而对仪表板上的开关等进行操作，因而导致驾驶员的注意力下降时，可以使灯装置和第1振动装置先于第2振动装置而同时进行动作。根据这种结构，可通过改变各个装置的动作顺序来防止与警报有关的习惯行为。特别是，由于灯装置和第1振动装置的动作能够高效地提醒驾驶员集中注意力，因而使灯装置和第1振动装置先于第2振动装置而进行动作的本结构，对提高提醒驾驶员集中注意力的作用特别有效。并且，考虑到在高速驾驶时由第2振动装置产生的振动难以传递给驾驶员，所以还可以根据车辆速度来设定3个装置的动作方式。

并且，可以将仪表板上的灯装置、装载在支撑装置上的第1振动装置组合成动作装置210。在这种情况下，输入输出部190，在判断处理部158判断为驾驶员的注意力下降的情况下和判断为驾驶员的注意力没有下降的情况下，使向2个装置(灯装置和第1振动装置)输出控制信号的输出方式不同。具体而言，在通常情况下，当预测到车辆碰撞时，按照使灯装置和第1振动装置轻微振动、使第1振动装置强烈振动的顺序进行动作，相对于此，当驾驶员的一只手离开方向盘而对仪表板上的开关等进行操作，因而导致驾驶员注意力下降时，可以使灯装置和第1振动装置同时强烈振动地进行动作。根据这种结构，可通过改变各个装置的动作顺序来防止发生与警报有关的习惯。

并且，在上述实施方式中，虽然对车载乘员检测系统100的结构进行了说明，但本发明也适用于安装在以汽车为首的飞机、船舶、公共汽车、电车等各种车辆上的乘员检测系统的结构。

Claims (7)

1.一种乘员检测系统，其特征在于，包括：

拍摄部，取得车辆座椅上的驾驶员在规定动作范围内的三维图像；

信息提取处理部，根据由所述拍摄部拍摄的三维图像，提取与所述驾驶员的头部的位置或头部的动作有关的信息以及与所述驾驶员的手的位置或手的动作有关的信息中的至少一种信息；

检测处理部，根据由所述信息提取处理部提取的信息，检测所述驾驶员的头部和手中的至少一个部位的位置或动作是否处于预先规定的规定状态；

累计处理部，根据所述检测处理部的检测结果，在所述驾驶员的头部和手中的至少一个部位脱离所述规定状态的情况下，累计该部位脱离所述规定状态的时间；和

判断处理部，根据由所述累计处理部累计的累计时间，在该累计时间超过预先设定的设定值的情况下，判断为所述驾驶员的注意力下降，而在该累计时间处于预先设定的设定值以下的情况下，判断为所述驾驶员的注意力没有下降。

2.根据权利要求1所述的乘员检测系统，其特征在于，

还包括动作信号输出部；

该动作信号输出部，在预测到所述车辆的碰撞时向对所述驾驶员进行警报的1个或多个警报装置输出动作信号，并且在所述判断处理部判断为所述驾驶员的注意力下降的情况下和判断为所述驾驶员的注意力没有下降的情况下，使向所述1个或多个警报装置输出的动作信号的输出方式不同。

3.根据权利要求1所述的乘员检测系统，其特征在于，

还包括控制信号输出部；

该控制信号输出部，向通过所述驾驶员的踩踏力对车辆产生制动作用的制动装置输出用于控制制动开始时间的控制信号，并且在所述判断处理部判断为所述驾驶员的注意力下降的情况下和判断为所述驾驶员的注意力没有下降的情况下，使向所述制动装置输出的控制信号的输出方式不同。

4.一种警报系统，其特征在于，包括：

权利要求1所述的乘员检测系统；

对所述驾驶员进行警报的1个或多个警报装置；和

动作信号输出部，在预测到所述车辆的碰撞时，向所述1个或多个警报装置输出动作信号，并且在所述判断处理部判断为所述驾驶员的注意力下降的情况下和判断为所述驾驶员的注意力没有下降的情况下，使向所述1个或多个警报装置输出的动作信号的输出方式不同。

5.一种制动系统，其特征在于，包括：

权利要求1所述的乘员检测系统；

通过所述驾驶员的踩踏力对车辆产生制动作用的制动装置；和

控制信号输出部，向所述制动装置输出用于控制制动开始时间的控制信号，并且在所述判断处理部判断为所述驾驶员的注意力下降的情况下和判断为所述驾驶员的注意力没有下降的情况下，使向所述制动装置输出的控制信号的输出方式不同。

6.一种车辆，其特征在于，包括：

发动机行驶系统；

电装系统；

对所述发动机行驶系统和电装系统进行驱动控制的驱动控制装置；和

对与车辆座椅上的驾驶员有关的信息进行检测的乘员检测装置；

所述乘员检测装置使用权利要求1或2所述的乘员检测系统构成。

7.一种车辆，其特征在于，包括：

发动机行驶系统；

电装系统；

对所述发动机行驶系统和电装系统进行驱动控制的驱动控制装置；和

权利要求4所述的警报系统和权利要求5所述的制动系统中的至少一种装置。

Images