CN110949303B - 车辆的乘员监视装置以及乘员保护系统 - Google Patents

Abstract

在车辆中，利用乘员监视装置的拍摄图像进一步改善碰撞时的乘员保护控制。对就坐于车辆(1)中设置的座椅(5)的乘员进行监视的车辆的乘员监视装置(50)具有：投光设备(54)，其朝向就坐于座椅(5)的乘员投光；拍摄设备(53)，其对就坐于座椅(5)的乘员进行拍摄；以及处理部(31)，其对投光设备(54)以及拍摄设备(53)进行控制，对就坐于座椅(5)的乘员进行拍摄。在预测出车辆(1)的碰撞的情况下，与未预测出车辆(1)的碰撞的正常时的情况相比，拍摄设备(53)更高速地进行拍摄。

Description

车辆的乘员监视装置以及乘员保护系统

技术领域

本发明涉及车辆的乘员监视装置以及乘员保护系统。

背景技术

专利文献1、2公开了对乘坐于车辆的乘员进行监视的乘员监视装置。

专利文献1：日本特开平11-043009号公报

专利文献2：日本特开2015-140146号公报

考虑在碰撞时对乘员进行拍摄并灵活运用于乘员保护控制。

然而，车辆的乘员监视装置通常为了对就坐于座椅的乘员的疲劳度、瞌睡、斜视等进行检测并发出警告而设置。

因此，车辆的乘员监视装置对就坐于座椅的乘员整个上体进行拍摄，根据其上体的动作等而判断乘员的状态。

另外，可以认为，如果车辆的乘员监视装置以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄，则能够充分获得实用性。

然而，通过以几十毫秒至几百毫秒1次左右的频率对乘员的整个上体进行拍摄，在碰撞时，有可能无法充分灵活运用于乘员保护控制。在碰撞时的乘员保护控制中，从检测出碰撞起直至进行控制为止的时间较短，要求即时性以使得能够在该短时间内进行处理。

这样，在车辆中，期望基于乘员监视装置的拍摄图像而进一步改善碰撞时的乘员保护控制。

发明内容

本发明所涉及的车辆的乘员监视装置对就坐于车辆中设置的座椅的乘员进行监视，具有：投光设备，其朝向就坐于所述座椅的乘员投光；拍摄设备，其对就坐于所述座椅的乘员进行拍摄；以及处理部，其对所述投光设备以及所述拍摄设备进行控制，对就坐于所述座椅的乘员进行拍摄，在预测出所述车辆的碰撞的情况下，与未预测出所述车辆的碰撞的正常时的情况相比，所述拍摄设备更高速地进行拍摄。

优选地，可以构成为，在预测出所述车辆的碰撞的情况下，所述处理部停止在未预测出所述车辆的碰撞的正常的情况下执行的处理，针对所述拍摄设备的拍摄图像，执行针对就坐于座椅的乘员的头部的处理。

优选地，可以构成为，所述拍摄设备能够在对就坐于座椅的乘员的上体进行拍摄的广域拍摄状态、和对就坐于座椅的乘员的头部进行拍摄的窄域拍摄状态之间进行切换，在未预测出所述车辆的碰撞的正常的情况下，所述处理部将所述拍摄设备的拍摄设为广域拍摄状态，在预测出所述车辆的碰撞的情况下，所述处理部将所述拍摄设备的拍摄切换为窄域拍摄状态。

优选地，可以构成为，所述投光设备朝向就坐于所述座椅的乘员的头部投射非可见光。

本发明所涉及的车辆的乘员保护系统具有：上述任意的车辆的乘员监视装置；以及乘员保护装置，其基于由所述乘员监视装置拍摄的乘员的拍摄图像而执行乘员保护控制。

优选地，可以构成为，所述乘员保护装置基于以由所述乘员监视装置拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对乘员保护控制进行变更，在检测出碰撞的情况下，执行变更后的乘员保护控制。

优选地，可以构成为，所述乘员保护装置基于以由所述乘员监视装置拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对气囊的展开开始定时、展开位置、展开方向、展开尺寸、展开速度、以及展开时的硬度中的至少一者进行变更。

发明的效果

在本发明中，车辆的乘员监视装置对就坐于车辆中设置的座椅的乘员进行监视。而且，在预测出车辆的碰撞的情况下，与未预测出车辆的碰撞的正常时的情况相比，对就坐于座椅的乘员进行拍摄的拍摄设备更高速地进行拍摄。因而，例如处理部能够基于每隔比正常时更短的时间间隔拍摄的图像，迅速且实时地确定就坐于座椅的乘员的头部的位置、动作。

其结果，在本发明中，能够高速且实时地确定在拍摄图像中就坐于座椅的乘员的头部的位置、动作，能够即时地推定乘员的头部的位置、动作。在预测出车辆的碰撞的情况下，乘员保护装置能够基于根据以能用于碰撞时的控制的程度获得即时性的高速下的时间分辨率而实时地拍摄的图像，良好地预测碰撞时的乘员的头部的位置、动作，能够以与该位置、动作对应的方式执行乘员保护控制。能够执行利用乘员监视装置而能期待的良好的乘员保护控制。这样，在本发明中，能够基于乘员监视装置的拍摄图像而进一步改善碰撞时的乘员保护控制。

附图说明

图1是本发明的实施方式所涉及的汽车的乘员保护的说明图。

图2是关于图1的汽车中的乘员的左右方向上的动作的说明图。

图3是关于图1的汽车中的乘员的朝向斜前方向的动作的说明图。

图4是设置于图1的汽车的作为乘员保护系统的车辆控制系统的说明图。

图5是设置于图1的汽车的乘员监视装置的说明图。

图6是设置于图1的汽车的乘员保护装置的说明图。

图7是表示第一实施方式的基于图5的监视控制部的正常时的处理的流程图。

图8是表示图3的行驶辅助装置的辅助控制部的处理的流程图。

图9是表示基于图5的监视控制部的碰撞预测时的处理的流程图。

图10是表示投光设备的点亮控制、和车内拍摄设备的拍摄控制的关系的说明图。

图11是表示基于图6的保护控制部的处理的流程图。

图12是基于本发明的第二实施方式所涉及的车内拍摄设备的乘员的拍摄状态的说明图。

图13是表示第二实施方式中的基于图5的监视控制部的正常时的处理的流程图。

标号的说明

1…汽车(车辆)、4…乘员室、5…座椅、6…仪表盘、7…方向盘、10…车辆控制系统(乘员保护系统)、12…加速度传感器、16…车外拍摄设备、20…ECU、31…监视控制部、32…辅助控制部、33…保护控制部、40…行驶辅助装置、50…乘员监视装置、52…光学单元、53…车内拍摄设备、54…投光设备、55…受光元件、56…透镜、57…透镜致动器、58…设定数据、60…乘员保护装置、69…设定数据、70…气囊部件、71…座椅安全带部件。

具体实施方式

下面，基于附图对本发明的实施方式进行说明。

[第一实施方式]

图1是本发明的实施方式所涉及的汽车1的乘员保护的说明图。图1中示出了对车内进行拍摄的车内拍摄设备53。

汽车1是供人乘坐而移动的汽车1的一个例子。对于汽车1，例如还存在大型车、摩托车、个人移动体、自行车、铁道车辆、飞机、轮船等。

图1的汽车1具有如下部件等：车身2；车轮3，其设置于车身2的前后；座椅5，其设置于车身2的乘员室4；仪表盘6，其设置于座椅5的前方；以及方向盘7，其设置为从仪表盘6向后方凸出。

在这种汽车1中，乘坐于车身2的乘员室4的乘员就坐于座椅5。另外，乘员对方向盘7等进行操作。汽车1利用未图示的发动机、电机的驱动力，根据乘员的操作而行驶。

另外，汽车1例如通过设定目的地而对直至目的地为止的路径进行引导、或者沿着路径自动行驶至目的地。

图2是关于图1的汽车1中的乘员的左右方向上的动作的说明图。

图2是从前方观察图1的汽车1的图，两名乘员乘坐于左右排列的一对座椅5。就坐于座椅5的乘员的上体在汽车1的例如左右转弯时有时会在座椅5上向左右倾斜。

图3是关于图1的汽车1中的乘员的朝向斜前方向的动作的说明图。

图3是从上方观察图1的汽车1的图，两名乘员乘坐于左右排列的一对座椅5。就坐于座椅5的乘员的上体在汽车1的例如制动时等有时会向斜前方倾斜。

另外，如图1所示，就坐于座椅5的乘员的上体在汽车1的例如制动时等有时会向前方倾斜。

在未作用有过大的加速度的情况下，上述乘员的上体的动作未成为问题。

然而，例如在碰撞时，乘员的上体因碰撞时的过大的冲击而以从座椅5向外侧露出的方式大幅倾斜。

因此，在汽车1中，为了对就坐于座椅5的乘员的上体进行支撑，如图1所示，使用气囊部件70、座椅安全带部件71之类的乘员保护装置60。

座椅安全带部件71具有佩戴于就坐于座椅5的乘员的前方的安全带。座椅安全带部件71在碰撞时使安全带致动器63进行动作而对安全带施加张力。由此，在碰撞时，就坐于座椅5的乘员的上体由安全带支撑，难以以进一步从座椅5露出的方式移动。

气囊部件70在碰撞时利用由充气机产生的气体而使气囊64展开。在图1中，气囊64在方向盘7的后侧、即就坐于座椅5的乘员的上体的前方正面展开。由此，要从座椅5向前方倾倒的乘员的上体与气囊64接触。气囊64因乘员的载荷而变形，将作用于乘员的上体的动能吸收。

汽车1能够利用上述乘员保护装置60而在碰撞时也对乘员加以保护。

但是，可以认为，在汽车1的碰撞时，对乘员进行拍摄而灵活运用于乘员保护控制。

然而，汽车1的乘员监视装置50通常为了检测就坐于座椅5的乘员的疲劳度、瞌睡、斜视等并发出警告而设置。

因此，汽车1的乘员监视装置50对就坐于座椅5的乘员的整个上体进行拍摄，根据该上体的动作等而判断乘员的状态。

另外，可以认为，如果汽车1的乘员监视装置50与通常的动画同样地以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄，则能够充分获得实用性。

然而，以几十毫秒至几百毫秒1次左右的频率对乘员的整个上体进行拍摄，在碰撞时，有可能无法充分灵活运用于乘员保护控制。在碰撞时的乘员保护控制中，从检测出碰撞起直至进行控制为止的时间较短，要求即时性以使得在该短时间内能够完成处理。

这样，在汽车1中，期望基于乘员监视装置50的拍摄图像而进一步改善碰撞时的乘员保护控制。

图4是设置于图1的汽车1的作为乘员保护系统的车辆控制系统10的说明图。

图4的车辆控制系统10具有车速传感器11、加速度传感器12、显示设备13、操作设备14、扬声器设备15、车外拍摄设备16、无线通信设备17、系统计时器18、存储设备19、ECU(Electronic ControlUnit)20、以及对上述部件进行连接的车内网络21。

车内网络21例如是基于CAN(Controller Area Network)、LIN(LocalInterconnect Network)的有线的通信网络。与车内网络21连接的仪器分散配置于车身2的各部分，通过车内网络21而收发数据。此外，与车内网络21连接的仪器分别具有用于通过车内网络21而收发数据的CPU(CentralProcessing Unit)，可以分别构成为装置。

车速传感器11对汽车1的车身2的移动等的速度进行检测并向车内网络21输出。

加速度传感器12对作用于汽车1的车身2的加速度进行检测并向车内网络21输出。此外，在要检测出针对车身2的来自多个方向的冲击输入的情况下，加速度传感器12在汽车1设置有多个，可以在车身2的外周面的附近分散设置。

显示设备13从车内网络21获取显示数据，对基于显示数据的图像进行显示。

操作设备14设置于乘员室4等以供乘员操作。操作设备14例如具有方向盘7、换挡杆、制动器踏板。

扬声器设备15从车内网络21获取语音数据，将基于语音数据的语音输出。

车外拍摄设备16设置于汽车1的乘员室4等，对汽车1的周围进行拍摄并将图像数据向车内网络21输出。车外拍摄设备16例如图1所示那样在乘员室4的顶棚附近设置为朝向前方。在该情况下，车外拍摄设备16对汽车1的前方进行拍摄。

无线通信设备17与未连接于车内网络21的例如存在于汽车1的外部的其他车辆、基站、信标装置等之间进行无线通信并收发数据。

系统计时器18对时间、时刻进行测量。系统计时器18通过车内网络21而将测量的时间、时刻向与车内网络21连接的仪器输出。由此，与车内网络21连接的多个仪器能够根据系统计时器18的例如测量时刻而同步地进行动作。

存储设备19对ECU20在车辆的控制中使用的程序以及数据进行记录。存储设备19例如可以是半导体存储器、硬盘设备。

ECU20例如是单片机装置等具有CPU的计算机装置。单片机装置可以和CPU一起内置有系统计时器18、存储设备19。ECU20读取并执行存储设备19中记录的程序。由此，对于ECU20而实现了对汽车1整体的动作进行控制的控制部。此外，ECU20可以在汽车1设置有多个。在该情况下，多个ECU20相互协同地进行动作而作为控制部起作用。

图4中作为针对ECU20而实现的控制部的功能而示出了乘员的监视控制部31、行驶的辅助控制部32、乘员等的保护控制部33、通信控制部34、空调控制部35。

通信控制部34对无线通信设备17的数据通信进行管理，与无线通信设备17一起构成汽车1的无线通信设备。通信控制部34利用无线通信设备17例如与未图示的交通系统的服务器装置、以及与交通系统对应的其他车辆之间收发用于对汽车1的行驶等进行控制的数据。

空调控制部35对汽车1的乘员室4等的空调进行控制。

行驶的辅助控制部32与图3的车外拍摄设备16以及辅助存储器41一起构成汽车1的行驶辅助装置40。辅助存储器41例如可以设置于存储设备19的一部分。辅助控制部32基于辅助存储器41的设定并根据车外拍摄设备16的车外的拍摄图像而提取出存在于汽车1的周围的其他车辆、行人、自行车、外壁等构造物，生成与提取出的各物体之间的距离以及方向的信息。辅助控制部32以不与提取出的物体以及物体的行进路线相交叉或接近的方式生成本车辆的行进路线，使得本车辆沿着该行进路线行驶的方式对汽车1的移动进行控制。在由乘员在该期间例如对方向盘7等操作设备14进行操作的情况下，以根据对基于该操作设备14的操作的行进路线进行补充的行进路线而行驶的方式对汽车1的移动进行辅助。

另外，辅助控制部32根据后述的图9的处理，判断避免与其他车辆等碰撞的可能性，在该可能性较高的情况下，对碰撞进行预测。

图5是设置于图1的汽车1的乘员监视装置50的说明图。

图5的乘员监视装置50与图4的乘员的监视控制部31一起具有监视存储器51、光学单元52。乘员监视装置50对就坐于汽车1中设置的座椅5的乘员进行监视。

如图5以及图2所示，光学单元52在乘员室4的仪表盘6的中央部分设置为朝向后方。光学单元52具有车内拍摄设备53、一对投光设备54。

车内拍摄设备53在乘员室4的仪表盘6的中央部分设置为朝向后方。如图2的点划线框所示，车内拍摄设备53对乘员室4中就坐于在车宽方向上排列且针对每名乘员而设置的左右一对座椅5的两名乘员的整个上体进行拍摄。车内拍摄设备53在正常时与通常的动画同样地例如以每秒30帧进行拍摄。车内拍摄设备53在正常时以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄。另外，车内拍摄设备53可以以最大时高于正常时的例如每秒120帧进行拍摄。

各投光设备54在乘员室4的仪表盘6的中央部分设置为朝向后方。如图2的双点划线框所示，各投光设备54对就坐于各座椅5并由车内拍摄设备53拍摄的乘员的整个上体，例如投射红外线等非可见光。投光设备54为了对乘员的头部的脸部进行拍摄而设置为比座椅5的就坐位置靠前。

监视存储器51例如可以设置于存储设备19的一部分。监视存储器51对用于监视乘员的设定数据58等进行记录。

如后述的图7所示，监视控制部31在正常行驶中基于监视存储器51的设定数据58，对投光设备54以及车内拍摄设备53进行控制，根据车内拍摄设备53的车内的拍摄图像，判断就坐于座椅5乘员的上体的位置以及动作，根据该上体的位置以及动作，判断乘员的瞌睡、斜视等。在乘员瞌睡、斜视等的情况下，监视控制部31利用显示设备13以及扬声器设备15将警告输出。监视控制部31可以根据拍摄图像而判断乘员的脸部的朝向、眼球的动作，与此相应地将瞌睡、斜视等警告输出。

另外，在预测出碰撞的情况下，监视控制部31通过后述的图9的处理，执行预测出碰撞时用于对乘员进行保护的乘员监视控制。

图6是设置于图1的汽车1的乘员保护装置60的说明图。

图6的乘员保护装置60与图4的乘员等的保护控制部33一起具有保护存储器61、多个座椅安全带62、多个安全带致动器63、多个气囊64、多个基座部件65、多个气囊致动器(AB致动器)66、多个充气机67、68。

一组座椅安全带62、以及安全带致动器63构成一个座椅安全带部件71。

一组气囊64、基座部件65、气囊致动器66、第一充气机67、以及第二充气机68构成一个气囊部件70。

即，图6中以与左右一对座椅5对应的方式示出了两组座椅安全带部件71、以及两组气囊部件70。

座椅安全带62是佩戴于就坐于座椅5的乘员的腰部以及上体的前方的安全带。

安全带致动器63对座椅安全带62施加可变的张力。施加有张力的座椅安全带62能够以将乘员的腰部以及上体按压至座椅5的方式起作用。

气囊64是利用高压气体而瞬时展开的袋体。

第一充气机67以及第二充气机68产生注入至气囊64的高压气体。在使第一充气机67以及第二充气机68一起进行动作的情况下，气囊64能够以较高的压力而展开。在使第一充气机67或者第二充气机68进行动作的情况下，气囊64能够以较低的压力而展开。通过使第一充气机67的动作开始定时和第二充气机68的动作开始定时错开，能够以与它们一致的情况不同的压力变化而使气囊64展开。

在基座部件65安装有气囊64，折叠并收纳气囊64。此外，第一充气机67以及第二充气机68也可以设置于基座部件65。

气囊致动器66对基座部件65进行驱动，对基座部件65的位置或者朝向进行调整。在基座部件65例如以能够在车宽方向、前后方向、上下方向移动的方式安装于车身2的情况下，气囊致动器66对基座部件65进行滑动驱动而调整其位置。

在基座部件65以能够旋转的方式设置于安装位置的情况下，气囊致动器66对基座部件65进行旋转驱动而调整其朝向。

保护存储器61例如可以设置于存储设备19的一部分。保护存储器61对用于保护乘员的设定数据69等进行记录。

乘员等的保护控制部33和加速度传感器12、如图1所示的气囊部件70以及座椅安全带部件71一起构成汽车1的乘员保护装置60。如果保护控制部33基于存储设备19的设定而判断为加速度传感器12检测出超过与碰撞的冲击对应的阈值的加速度，则执行乘员等的保护控制。保护控制部33为了保护乘员而将气囊部件70的气囊64展开，将张力施加于座椅安全带部件71的座椅安全带62。

另外，在预测出汽车1的碰撞的情况下，保护控制部33基于由乘员监视装置50拍摄的乘员的拍摄图像而执行乘员保护控制。

图7是表示第一实施方式的基于图5的监视控制部31的正常时的处理的流程图。

监视控制部31在乘员乘坐于汽车1而将图4的车辆控制系统10的电源接通的情况下反复执行图7的处理。

在图7的通常的监视控制的步骤ST1中，监视控制部31判断乘员是否已乘车。直至判断为乘员已乘车为止，监视控制部31反复执行步骤ST1的乘车判断。

如果乘员乘车并就坐于座椅5，则车内拍摄设备53通过周期性地反复拍摄而开始对就坐于座椅5的乘员进行拍摄。

在步骤ST2中，监视控制部31例如利用存储于监视存储器51的乘员的设定数据58对由车内拍摄设备53拍摄的图像中映射的乘员的脸部进行识别。

在步骤ST3中，监视控制部31例如利用存储于监视存储器51的乘员的设定数据58而执行与识别出的乘员对应的设定处理。监视控制部31将识别出的乘员的识别编号或者设定数据向车内网络21输出。由此，例如由操作设备14识别出的乘员将方向盘7等调整为以往的设定位置，或者进行与辅助控制部32识别出的乘员的以往的驾驶履历对应的驾驶辅助用的设定，或者进行与保护控制部33识别出的乘员对应的保护控制用的设定，或者通过空调装置识别出的乘员的以往的设定，由此开始进行空调动作。

在以上乘车时的设定处理之后，辅助控制部32开始乘员的监视。

在步骤ST4中，监视控制部31通过正常的投光控制而将投光设备54点亮。通过正常的投光，监视控制部31以能够长时间连续点亮的恒定输出的亮度间歇地使投光设备54点亮。投光设备54通过间歇的点亮而开始以广角对乘员的整个上体投射红外线。

在步骤ST5中，监视控制部31利用车内拍摄设备53对就坐于座椅5的乘员进行拍摄。车内拍摄设备53以正常的拍摄速度对就坐于座椅5的乘员进行拍摄。

在步骤ST6中，监视控制部31基于拍摄图像中映射的乘员的状态，判断是否需要警告。监视控制部31确定拍摄图像中的乘员的上体的位置以及动作等，通过确定的上体的位置以及动作等而判断乘员的瞌睡、斜视等。而且，在乘员未进行瞌睡、斜视等的情况下，监视控制部31判断为不需要警告，使处理进入步骤ST8。在乘员进行瞌睡、斜视等的情况下，监视控制部31判断为需要警告，使处理进入步骤ST7。

在步骤ST7中，监视控制部31执行用于对乘员唤起注意的警告处理。监视控制部31例如在显示设备13对警告进行显示，并且从扬声器设备15将警告语音输出。

在步骤ST8中，监视控制部31判断乘员是否已下车。如果由车内拍摄设备53拍摄的图像中未映射出乘员，则监视控制部31判断为乘员已下车。在乘员未下车的情况下，监视控制部31使处理向步骤ST5返回。监视控制部31基于接下来的车内拍摄设备53的拍摄图像而反复执行对未下车的乘员的上述监视。在乘员已下车的情况下，监视控制部31结束图7的处理。

图8是表示图3的行驶辅助装置的辅助控制部32的处理的流程图。

辅助控制部32在汽车1行驶或者停车的期间反复执行图8的处理。

在图8的驾驶辅助控制的步骤ST11中，辅助控制部32获取本车辆以及周围信息。辅助控制部32例如获取车外拍摄设备16的拍摄图像、通信控制部34从交通系统获取其他车辆的移动数据、车速传感器11的速度、加速度传感器12的加速度、辅助控制部32的行进路线、路径信息等。

在步骤ST12中，辅助控制部32基于关于本车辆的行驶而获取的信息生成本车辆的行进路线。辅助控制部32例如基于本车辆的路径信息而生成最近的行进路线。

在步骤ST13中，辅助控制部32判断其他车辆等其他移动体和本车辆的碰撞可能性。辅助控制部32例如根据拍摄图像或者移动数据而生成其他移动体的行进路线，判断与本车辆的最近的行进路线的交叉或者接近的情况。而且，在本车辆的最近的行进路线和其他移动体的行进路线相交叉或者接近的情况下，辅助控制部32判断为存在碰撞的可能性，使处理进入步骤ST14。在本车辆的最近的行进路线和其他移动体的行进路线未交叉或者未接近的情况下，辅助控制部32判断不存在碰撞可能性，使处理进入步骤ST15。

在步骤ST14中，辅助控制部32将步骤ST12中生成的行进路线更新为难以与其他移动体的行进路线相交叉或接近。辅助控制部32例如以在行进路线的中途实施加减速、或停车的方式对生成的行进路线进行更新。

在步骤ST15中，辅助控制部32根据生成或者更新的行进路线，对本车辆的行驶进行控制。辅助控制部32根据生成的行进路线，使得更新后的行进路线优先。在通过自动驾驶而行驶的情况下，辅助控制部32以根据生成或者更新的行进路线进行行驶的方式使本车辆行驶。在乘员对方向盘7等操作设备14进行操作的情况下，辅助控制部32根据生成或者更新的行进路线对操作量进行调整，并使本车辆行驶。

在步骤ST16中，辅助控制部32判断关于控制的行驶中的碰撞的避免可能性。辅助控制部32获取车外拍摄设备16的最新的拍摄图像等由本车辆传感器得到的信息，判断与其他移动体的碰撞的避免可能性。本车辆通常根据通过步骤ST14以避免的方式更新的行进路线使本车辆移动，因此能够避免与其他移动体的碰撞。但是，例如在其他移动体进行超出预想的动作的情况下，即使根据更新的行进路线使本车辆移动，也存在发生碰撞的可能性。辅助控制部32例如根据拍摄图像中映射的其他移动体的相对的移动而判断避免可能性。这样，步骤ST16的避免可能性的判断是比步骤ST14的碰撞可能性的预测判断更严密的判断，判断是否实际上产生碰撞的可能性。在不存在避免可能性的情况下，辅助控制部32使处理进入步骤ST17。在存在避免可能性的情况下，辅助控制部32使处理进入步骤ST18。

在步骤ST17中，辅助控制部32将碰撞预测向车内网络21输出。然后，辅助控制部32结束图8的驾驶辅助控制。

在步骤ST18中，辅助控制部32将碰撞预测解除向车内网络21输出。然后，辅助控制部32结束图8的驾驶辅助控制。

通过以上处理，在判断为实际上发生了碰撞的情况下，辅助控制部32在步骤ST17中将碰撞预测输出。在未判断为实际上发生了碰撞的情况下，辅助控制部32在步骤ST18中将碰撞预测解除输出。

图9是表示图5的监视控制部31的碰撞预测时的处理的流程图。

在接收到步骤ST17的碰撞预测的情况下，监视控制部31执行图9的处理。在每次新接收到步骤ST17的碰撞预测时，监视控制部31反复执行图9的处理。

监视控制部31通过图9的处理从车内拍摄设备53的拍摄图像提取出对就坐于座椅5乘员的头部进行拍摄的部分，执行对于提取出的局部图像的图像处理。

在图9的碰撞预测时的处理的步骤ST21中，监视控制部31获取步骤ST17中输出的碰撞预测。

如果获取到碰撞预测，则监视控制部31开始用于保护碰撞时的乘员的乘员监视控制。

在步骤ST22中，监视控制部31停止在未预测到汽车1的碰撞的通常的情况下执行的其他正常处理。监视控制部31停止例如图7的处理等。由此，监视控制部31以仅执行图9的碰撞预测时的处理的单独模式执行动作。

在步骤ST23中，监视控制部31对投光设备54的投光进行切换。

具体而言，监视控制部31将投光设备54从正常输出下的间歇点亮向最大输出下的连续点亮切换。最大输出的点亮是指投光设备54的最大能力下的点亮，因发热等影响而无法长期连续地点亮，但可以以如果例如在几分钟左右的短期内则能够连续地点亮的程度实现高输出下的点亮。投光设备比正常时的闪烁的最大亮度更亮地连续地点亮。

另外，监视控制部31可以为了增大向乘员的头部照射的光量而执行进一步的投光的切换控制。

例如，监视控制部31可以使投光设备54以缩小其投光区域的方式从对就坐于座椅5的乘员的整个上体以广角投光的状态切换为向乘员的头部的周围以夹角投光的状态。

通过用于增大向上述乘员的头部照射的光量的切换控制，在预测出汽车1的碰撞的情况下，投光设备54能够朝向由车内拍摄设备53拍摄的乘员的头部而照射与正常时相比缩小了投光区域的较强的光。

另外，投光设备54连续地点亮，因此为了实现与车内拍摄设备53的拍摄的同步而未限制投光设备54的光量。

在步骤ST24中，监视控制部31对车内拍摄设备53的拍摄动作进行切换而使车内拍摄设备53以与正常时相比更高的例如最大的帧速率进行动作。在预测出汽车1的碰撞的情况下，与未预测出汽车1的碰撞的正常时的情况相比，车内拍摄设备53更高速地进行拍摄。

在步骤ST25中，监视控制部31从车内拍摄设备53的拍摄图像裁切提取出与连续的强光照射的乘员的头部的拍摄范围相当的局部图像。头部的拍摄范围可以是以例如座椅5的上部为基准而预先规定的范围。

在步骤ST26中，监视控制部31利用裁切的局部图像而确定头部的位置以及动作。

例如，监视控制部31根据裁切的局部图像的头部的拍摄位置而确定乘员室4的头部的位置。监视控制部31根据多个局部图像的头部的拍摄位置的变化而确定乘员室4的头部的动作。监视控制部31从确定的头部的位置朝向确定的头部的动作方向以与确定的头部的动作量相应的速度进行线性移动，由此预测乘员室4中的头部的动作。

在步骤ST27中，监视控制部31将基于确定的头部的动作的头部的动作信息向车内网络21输出。监视控制部31将预测出的乘员室4的头部的动作的数据作为动作信息而向车内网络21输出。

在步骤ST28中，监视控制部31判断碰撞预测是否已解除。

在未获取到步骤ST18中输出的碰撞预测解除的情况下，监视控制部31判断为碰撞预测未被解除，使处理向步骤ST25返回。直至碰撞预测被解除为止，反复执行步骤ST25至步骤ST28的处理，反复将基于最新的头部的局部图像的动作信息输出。

如果获取到步骤ST18中输出的碰撞预测解除，则监视控制部31使处理进入步骤ST29。

在步骤ST29中，监视控制部31重新开始步骤ST22中停止的正常处理。

在步骤ST30中，监视控制部31使步骤ST23中切换的投光设备54的投光状态向正常的投光状态恢复。投光设备54开始进行正常输出下的间歇点亮。

在步骤ST31中，监视控制部31使步骤ST24中切换的车内拍摄设备53的拍摄动作向正常状态恢复。车内拍摄设备53开始进行正常时的帧速率的动作。

然后，监视控制部31结束图9的碰撞预测时的处理。由此，监视控制部31以执行图7的处理等的正常模式进行动作。

图10是表示投光设备54的点亮控制、和车内拍摄设备53的拍摄控制的关系的说明图。

图10(A)表示正常时的对应关系。在图10(A)中，车内拍摄设备53在每个正常的拍摄周期中在拍摄期间对图像进行拍摄。投光设备54在每个拍摄周期在拍摄期间的一部分间歇地点亮。在该情况下，投光设备54的点亮期间包含于车内拍摄设备53的拍摄期间，因此能够有效地用于清晰地对乘员进行拍摄。

图10(B)是为了车内拍摄设备53的高速拍摄而缩短拍摄周期，并且以与此对应的方式缩短投光设备54的间歇的点亮周期的对比例。在这样与车内拍摄设备53的拍摄周期以及拍摄期间成正比的方式使投光设备54的点亮周期以及点亮期间变化的情况下，车内拍摄设备53能够以高速进行拍摄，但拍摄期间中的点亮期间缩短，难以清晰地对乘员进行拍摄。与正常时的情况相比，乘员被灰暗地拍摄的可能性较高。

图10(C)是如本实施方式那样为了车内拍摄设备53中的高速拍摄而缩短拍摄周期，并且使投光设备54连续点亮的情况下的例子。通过这样使投光设备54连续点亮，投光设备54能够在车内拍摄设备53的较短的拍摄期间的整个期间对乘员进行投光。即使缩短拍摄期间，车内拍摄设备53也能够清晰地对乘员进行拍摄。

图11是表示基于图6的保护控制部33的处理的流程图。

在接收到步骤ST17的碰撞预测的情况下，乘员的保护控制部33执行图11的处理。在每次新接收到步骤ST17的碰撞预测时，保护控制部33反复执行图11的处理。

在图11的乘员保护处理的步骤ST41中，保护控制部33判断是否获取到步骤ST17中输出的碰撞预测。

在未获取到碰撞预测的情况下，保护控制部33结束图11的乘员保护处理。

在获取到碰撞预测的情况下，保护控制部33使处理进入步骤ST42。

在步骤ST42中，保护控制部33获取步骤ST24中输出的最新的动作信息。

在步骤ST43中，保护控制部33基于获取到的最新的动作信息，对保护存储器61的设定数据69进行变更。

保护控制部33例如基于动作信息中包含的乘员的头部的动作预测，对关于安全带致动器63的工作开始定时、第一充气机67的动作的有无的设定、第一充气机67的工作开始定时、第二充气机68的有无的设定、第二充气机68的工作开始定时等的设定数据69进行更新。

另外，保护控制部33基于动作信息中包含的乘员的头部的位置以及动作预测，以因碰撞的冲击使气囊在乘员的头部倾倒的方向上展开的方式利用气囊致动器66对基座部件65进行驱动。

由此，保护控制部33能够基于以由乘员监视装置50拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对乘员保护控制的设定进行变更。保护控制部33能够基于以由乘员监视装置50拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对关于气囊64的展开开始定时、展开位置、展开方向、展开尺寸、展开速度、以及展开时的硬度的设定进行变更。

在步骤ST44中，保护控制部33执行基于预测到碰撞的情况的检测出碰撞前的事前控制。

在事前控制中，保护控制部33例如使安全带致动器63工作而将座椅安全带62拉出，使座椅安全带62与乘员紧贴。

在步骤ST45中，保护控制部33判断是否检测出碰撞。保护控制部33例如基于是否由加速度传感器12检测出与碰撞的冲击对应的过大的加速度而判断是否检测出碰撞。

在未检测出碰撞的情况下，保护控制部33在步骤ST46中判断是否解除了步骤ST18的碰撞预测。在解除了碰撞预测的情况下，保护控制部33结束图11的乘员保护处理。在未解除碰撞预测的情况下，保护控制部33使处理返回至步骤ST42。直至判断检测出碰撞或者碰撞预测的解除的任一者为止，保护控制部33反复执行步骤ST42至步骤ST46的处理。例如直至即将碰撞之前，保护控制部33根据乘员的头部的动作而对设定进行变更，执行事前控制。

在检测出碰撞的情况下，保护控制部33在步骤ST47中在变更后的设定中执行乘员保护控制。

在碰撞时控制中，保护控制部33根据设定例如利用安全带致动器63将张力施加于座椅安全带62。保护控制部33根据设定而使第一充气机67以及第二充气机68工作。由此，气囊64展开。在碰撞时，乘员的动能能够被座椅安全带62以及气囊64吸收。

如上，在本实施方式中，汽车1的乘员监视装置50在正常的行驶中监视就坐于汽车1中设置的座椅5的乘员。而且，对就坐于座椅5的乘员进行拍摄的车内拍摄设备53在预测出汽车1的碰撞的情况下，为了乘员保护控制而与未预测出汽车1的碰撞的正常时的情况相比更高速地进行拍摄。因而，在本实施方式中，基于每个比正常时短的时间间隔拍摄的图像，能够迅速且实时地确定就坐于座椅5的乘员的头部的位置、动作。

其结果，在本实施方式中，能够高速且实时地确定拍摄图像中就坐于座椅5的乘员的头部的位置、动作，能够即时地推定出乘员的头部的位置、动作。在预测出汽车1的碰撞的情况下，乘员保护装置60基于以能够用于碰撞时的控制的程度能够实现即时性的高速的时间分辨率实时地拍摄的图像，能够良好地预测碰撞时的乘员的头部的位置、动作，能够以与该位置、动作对应的方式执行乘员保护控制。能够执行利用乘员监视装置50而能期待的良好的乘员保护控制。

这样，在本实施方式中，基于乘员监视装置50的拍摄图像能够进一步改善碰撞时的乘员保护控制。

在本实施方式中，在预测出汽车1的碰撞的情况下，停止在未预测出汽车1的碰撞的正常情况下执行的处理，对于车内拍摄设备53的拍摄图像，仅执行关于对就坐于座椅5的乘员的头部进行拍摄的部分的处理。因而，在本实施方式中，在碰撞预测时，不会受到其他处理的阻碍，能够对基于比正常时更高速的拍摄得到的多张拍摄图像执行处理。在本实施方式中，在预测出汽车1的碰撞的情况下以比通常更多的张数拍摄的图像，能够不使实时性受损地适当地进行处理。

在本实施方式中，投光设备54朝向就坐于座椅5的乘员的头部投射由红外线构成的非可见光。因而，即使针对头部照射汇聚的强光，也能够难以妨碍乘员的目视确认。

在本实施方式中，乘员保护装置60基于以由乘员监视装置50拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对乘员保护控制的设定进行变更，在检测出碰撞的情况下，在变更后的设定中执行乘员保护控制。

乘员保护装置60例如对关于气囊64的展开开始定时、展开位置、展开方向、展开尺寸、展开速度、以及展开时的硬度的设定进行变更。

由此，在本实施方式中，能够基于乘员监视装置50的拍摄图像而进一步改善碰撞时的乘员保护控制。

[第二实施方式]

下面，对本发明的第二实施方式所涉及的汽车1以及车辆控制系统10进行说明。在下面的说明中，主要对与上述实施方式的不同点进行说明，对与上述实施方式具有共通性的结构标注相同的标号并省略其说明。

图12是本发明的第二实施方式所涉及的车内拍摄设备的乘员的拍摄状态的说明图。

图12是图5的车内拍摄设备53的针对乘员的投光状态的说明图。

如图12所示，车内拍摄设备53具有受光元件55、作为光学部件的透镜56、透镜致动器57。

受光元件55例如是能够接收红外线的CCD传感器、CMOS传感器。

透镜56在受光元件55的光轴方向上设置为能够沿光轴方向移动。透镜56使得来自就坐于座椅5的作为被拍摄体的乘员的光汇聚并在受光元件55成像。

透镜致动器57通过监视控制部31的控制而在受光元件55的光轴方向上对透镜56进行驱动。

而且，如图12(A)所示，在透镜56处于受光元件55的附近的正常控制范围内的位置的情况下，利用透镜56使就坐于座椅5的乘员的整个上体的光汇聚并在受光元件55上成像。

另外，如图12(B)所示，在透镜56处于远离発光元件55的正常控制范围外的位置的情况下，利用透镜56使就坐于座椅5的乘员的头部的光汇聚并在受光元件55成像。

这样，车内拍摄设备53具有可变式的聚光透镜，能够在图12(A)的广域的拍摄状态、以及图12(B)的窄域的拍摄状态之间进行切换。

图13是表示第二实施方式中的基于图5的监视控制部31的正常时的处理的流程图。

在图13中，对实施与图9相同的处理的步骤标注与图9相同的标号并省略说明。

在步骤ST51中，监视控制部31对车内拍摄设备53的拍摄动作进行切换。

例如，监视控制部31将车内拍摄设备53从正常时的图12(A)的广域的拍摄状态切换为图12(B)的窄域的拍摄状态。

另外，监视控制部31使车内拍摄设备53以高于正常时的例如最大的帧速率进行动作。

由此，在预测出汽车1的碰撞的情况下，与未预测出汽车1的碰撞的正常时的情况相比，车内拍摄设备53更高速地对乘员的头部进行拍摄。

然后，监视控制部31在步骤ST26中利用裁切的局部图像而确定头部的位置以及动作。

这样，在预测出汽车1的碰撞的情况下，基于车内拍摄设备53的拍摄切换为窄域拍摄状态。监视控制部31在拍摄图像中将乘员的头部放大而进行拍摄，因此不进行图9的步骤ST25中的局部图像的裁切处理而能够在步骤ST51之后实施步骤ST26。

在未预测出汽车1的碰撞之后的步骤ST31中，监视控制部31使步骤ST51中切换后的车内拍摄设备53的拍摄动作向正常状态恢复。车内拍摄设备53以正常时的帧速率开始广域的拍摄动作。

然后，监视控制部31结束图13的碰撞预测时的处理。由此，监视控制部31以执行图7的处理等的正常模式进行动作。

如上，在本实施方式中，在预测出汽车1的碰撞的情况下，将利用车内拍摄设备53拍摄的范围从对就坐于座椅5的乘员的上体进行拍摄的广域拍摄状态切换为对乘员的头部进行拍摄的窄域拍摄状态。由此，车内拍摄设备53不对乘员的例如整个上体，而是仅对头部进行放大拍摄。因而，在本实施方式中，能够根据拍摄图像中较大地映射的乘员的头部而高精度地确定头部的位置、动作。

以上实施方式是本发明的优选实施方式的例子，但本发明并不限定于此，在未脱离发明的主旨的范围内能够进行各种变形或者变更。

例如在上述实施方式中，乘员监视装置50与车内网络21连接。除此之外，例如乘员监视装置50能够与无线通信设备17进行通信，可以与乘员保护装置60等之间收发数据。乘员监视装置50和无线通信设备17例如可以根据基于IEEE802.1X的标准的较短距离的通信方式而收发数据。在该情况下，乘员监视装置50可以以能够拆卸的方式设置于汽车1。相对于汽车1能够拆卸的乘员监视装置50可以利用支架定位并固定设置于乘员室4。

Claims (9)

1.一种车辆的乘员监视装置，其对就坐于车辆中设置的座椅的乘员进行监视，其中，

所述车辆的乘员监视装置具有：

投光设备，其朝向就坐于所述座椅的乘员投光；

拍摄设备，其对就坐于所述座椅的乘员进行拍摄；以及

处理部，其对所述投光设备以及所述拍摄设备进行控制，对就坐于所述座椅的乘员进行拍摄，

所述拍摄设备具有：

受光元件，其在预测出所述车辆的碰撞的情况下，以与未预测出所述车辆的碰撞的正常时的情况相比更高速地进行拍摄；

光学部件，其以从所述受光元件远离和接近的方式设置为可动式；以及

致动器，其在所述受光元件的光轴方向上对所述光学部件进行驱动，

在预测出所述车辆的碰撞的情况下，通过所述致动器对所述光学部件进行驱动，使所述光学部件从所述受光元件远离，使就座于所述座椅的乘员的头部的光在所述受光元件上成像。

2.根据权利要求1所述的车辆的乘员监视装置，其中，

所述处理部还构成为：

基于预测出的所述车辆的碰撞，停止在未预测出所述车辆的碰撞的正常的情况下执行的处理；

基于预测出的所述车辆的碰撞，针对所述拍摄设备的拍摄图像执行处理，该处理包括针对所述拍摄设备的拍摄图像中的就坐于座椅的乘员的头部的处理。

3.根据权利要求1所述的车辆的乘员监视装置，其中，

所述处理部还构成为：

控制所述拍摄设备的拍摄在对就坐于座椅的乘员的上体进行拍摄的广域拍摄状态、和对就坐于座椅的乘员的头部进行拍摄的窄域拍摄状态之间进行切换，

在未预测出所述车辆的碰撞的正常的情况下，将所述拍摄设备的拍摄切换为广域拍摄状态，

基于预测出的所述车辆的碰撞，将所述拍摄设备的拍摄切换为窄域拍摄状态。

4.根据权利要求1至3中任一项所述的车辆的乘员监视装置，其中，

所述投光设备还构成为朝向就坐于所述座椅的乘员的头部投射非可见光。

5.一种车辆的乘员保护系统，其中，

所述车辆的乘员保护系统具有：

权利要求1至4中任一项所述的车辆的乘员监视装置；以及

乘员保护装置，其基于由所述乘员监视装置拍摄的乘员的拍摄图像而执行乘员保护控制。

6.根据权利要求5所述的车辆的乘员保护系统，其中，

所述乘员保护装置基于以由所述乘员监视装置拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对乘员保护控制进行变更，

在检测出碰撞的情况下，执行变更后的乘员保护控制。

7.根据权利要求5所述的车辆的乘员保护系统，其中，

所述乘员保护装置基于以由所述乘员监视装置拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对气囊的展开开始定时、展开位置、展开方向、展开尺寸、展开速度、以及展开时的硬度中的至少一者进行变更。

8.根据权利要求6所述的车辆的乘员保护系统，其中，

所述乘员保护装置基于以由所述乘员监视装置拍摄的乘员的拍摄图像为基础的头部的位置或者动作，对气囊的展开开始定时、展开位置、展开方向、展开尺寸、展开速度、以及展开时的硬度中的至少一者进行变更。

9.一种车辆的乘员监视装置，其对就坐于车辆中设置的座椅的乘员进行监视，其中，

所述车辆的乘员监视装置具有：

拍摄设备，其对就坐于所述座椅的乘员进行拍摄；以及

处理部，其连接到通信网络并构成为控制所述拍摄设备，

所述处理部构成为：

确定是否经由所述通信网络获取了关于所述车辆的碰撞预测的信息，

所述拍摄设备具有：

受光元件，其当获取了所述信息时，以与未获取所述信息的正常情况下拍摄的帧速率相比更高的帧速率进行拍摄；

光学部件，其以从所述受光元件远离和接近的方式设置为可动式；以及

致动器，其在所述受光元件的光轴方向上对所述光学部件进行驱动，

当获取了所述信息时，通过所述致动器对所述光学部件进行驱动，使所述光学部件从所述受光元件远离，使就座于所述座椅的乘员的头部的光在所述受光元件上成像。

Images