CN109774722A - 信息处理装置、方法和程序、驾驶员监控系统及保存媒体 - Google Patents

Abstract

本发明的目的在提供一种信息处理装置、方法和程序、驾驶员监控系统及保存媒体，能够提高驾驶员的视线方向的检测精度，该信息处理装置具备取得车辆驾驶员的包括脸部的图像的图像取得部、由该图像取得部取得的所述图像检测所述驾驶员的视线方向的检测部、储存该检测部的检测结果的储存部、利用该储存部所储存的所述检测结果确定对于所述驾驶员的视线方向的基准的基准确定部。

Description

信息处理装置、方法和程序、驾驶员监控系统及保存媒体

技术领域

本发明涉及一种信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体。

背景技术

近年来，有从相机拍摄的驾驶员的脸部图像检测驾驶员的脸部朝向和视线方向，并基于该检测的驾驶员的脸部朝向和视线方向等，判定车辆行驶时驾驶员状态的技术的提案。

例如在专利文件1中，公开了根据由相机拍摄的驾驶员的脸部图像求出的眼球中心位置和瞳孔中心位置，检测驾驶员的视线方向的技术。另外，专利文件2中，公开了由相机拍摄的驾驶员的脸部图像决定脸部的中央线，根据从该中央线到脸部轮廓位置的距离，检测以正面方向为0度时脸部向左右方向的朝向度数的技术。

上述专利文件1、2中所公开的检测驾驶员的脸部朝向和视线方向的技术，是以在装置一侧事先设定的正面方向为基准，推定驾驶员的脸部朝向和视线方向的。但即使在驾驶员注视车辆行进方向的正面的情形下，驾驶员的视线方向，比如纵深方向(上下方向)的视线等也因人而异。另外，即使是同一个驾驶员，也会由于驾驶环境等不同使得在注视车辆行进方向正面时的状态下，视线方向有所变化的情况。

上述专利文件1、2中所公开的以往技术中，由于没有考虑相对于车辆行进方向的正面时的驾驶员视线方向的个体差异，所以存在不能精度良好地检测所述驾驶员的视线方向的课题。

专利文献

专利文件1：特开2007-68917号公报

专利文件2:特开2009-232945号公报

发明内容

本发明是基于上述课题而完成的，目的在于提供一种能够提高驾驶员的视线方向的检测精度的信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体。

为了实现上述目的，本发明涉及的信息处理装置(1)，其特征在于，所述信息处理装置具备取得车辆驾驶员的包括脸部的图像的图像取得部、由该图像取得部所取得的所述图像检测所述驾驶员的视线方向的检测部、储存所述检测部的检测结果的储存部以及通过利用该储存部所储存的所述检测结果，确定对于所述驾驶员的视线方向的基准的基准决定部。

根据上述信息处理装置(1)，通过所述检测部从所述图像检测所述驾驶员的视线方向，该检测结果储存到所述储存部，所述基准确定部通过利用所述检测结果，确定对于所述驾驶员的视线方向的基准。因此能够以与所述驾驶员的视线方向的个人差异相对应的形式，确定所述基准，通过利用所述基准，从而可以提高所述驾驶员的视线方向的检测精度。

另外，本发明涉及的信息处理装置(2)，其特征在于，在上述信息处理装置(1)中，所述基准确定部将由所述储存部储存的所述检测结果求出的视线方向的最频值确定为所述基准。

根据上述信息处理装置(2)，所述基准确定部将由所述检测结果所求出的视线方向的最频值确定为所述基准。所以能够将对于所述驾驶员来说推定为最经常注视的方向确定为所述基准，从而能够提高所述驾驶员的视线方向的检测精度。

另外，本发明涉及的信息处理装置(3)，其特征在于，在上述信息处理装置(1)或者(2)中，具备算出部，用来利用所述基准确定部确定的所述基准，由所述图像算出相对于所述基准的所述驾驶员的视线方向。

根据上述信息处理装置(3)，能够通过利用所述基准确定部所确定的所述基准，算出所述驾驶员的视线方向，比如能够算出从所述基准的偏离，从而能够提高所述驾驶员的视线方向的检测精度。

另外，本发明涉及的信息处理装置(4)，其特征在于，在上述信息处理装置(3)中，具备处理部，用来根据所述算出部算出的、相对于所述基准的所述驾驶员的视线方向，进行指定的处理。

根据上述信息处理装置(4)，能够根据所述算出部算出的相对于所述基准的所述驾驶员的视线方向，通过所述处理部进行指定的处理。所述指定的处理，比如可以是判定所述驾驶员是否往旁边看的处理，还可以是判定所述驾驶员的集中程度和疲劳程度等意识状态的处理。另外在所述车辆搭载有自动驾驶系统时，所述指定的处理，还可以是许可从自动驾驶向手动驾驶转换的判定处理等。

另外，本发明涉及的信息处理装置(5)，其特征在于，在上述信息处理装置(4)中，具备通知部，用来将由所述处理部处理的结果通知给所述驾驶员。

根据上述信息处理装置(5)，通过所述通知部能够将所述处理部的处理结果通知到所述驾驶员。

另外，本发明涉及的信息处理装置(6)，其特征在于，在上述信息处理装置(3)～(5)的任一项中，具备基准保存部，用来保存由所述基准确定部确定的所述基准；

所述算出部通过利用从所述基准保存部读出的所述基准，由所述图像算出相对于所述基准的所述驾驶员的视线方向。

根据上述信息处理装置(6)，由于能够从所述基准保存部读出所述基准，算出所述驾驶员的视线方向，所以能够减少所述基准确定部为确定所述基准的处理负担。

另外，本发明涉及的信息处理装置(7)，其特征在于，在上述信息处理装置(3)～(6)的任一项中，具备基准变更部，用来变更由所述基准确定部确定的所述基准。

根据上述信息处理装置(7)，由于能够通过基准变更部变更所述基准，所以能够适当地维持所述基准，能够持续进行精度高的视线方向的检测。

另外，本发明涉及的信息处理装置(8)，其特征在于，在上述信息处理装置(7)中，在所述算出部算出的、相对于所述基准的所述驾驶员的视线方向与所述基准之间的差，以在指定范围内的状态持续时，所述基准变更部为了缩小所述差而补正所述基准。

根据上述信息处理装置(8)，即使由于长时间的驾驶或者驾驶环境的变化等使所述驾驶员的视线方向在无意识中发生慢慢地变化的情形下，由于能够适当地补正所述基准，所以能够持续地进行精度高的视线方向的检测。

另外，本发明涉及的信息处理装置(9)，其特征在于，在所述信息处理装置(1)～(8)的任一项中，具备取得关于所述车辆行驶状态信息的信息取得部和根据所述信息取得部取得的所述信息，判定所述车辆是否处于特定的行驶状态的判定部；

所述基准确定部根据所述判定部判定的处于所述特定的行驶状态时的所述视线方向，确定所述基准。

根据上述信息处理装置(9)，根据处于所述特定的行驶状态时的所述驾驶员的视线方向，确定所述基准。因此能够以与所述特定的行驶状态相对应的形式，确定所述基准，从而能够针对所述车辆的驾驶，确定合适的所述基准。

另外，本发明涉及的信息处理装置(10)，其特征在于，在上述信息处理装置(9)中，所述特定的行驶状态是所述车辆直行前进的行驶状态。

根据上述信息处理装置(10)，由于根据所述车辆直行前进的行驶状态下的所述驾驶员的视线方向，确定所述基准。所以能够将推定所述驾驶员正在注视所述车辆的直行前进的状态时的所述驾驶员的视线方向作为所述基准。

另外，本发明涉及的信息处理装置(11)其特征在于，在上述信息处理装置(9)中，所述信息取得部至少取得所述车辆的车速信息以及所述车辆的操纵信息；

当所述车辆的车速在指定的速度范围内，且所述车辆处于指定的非操纵状态时，所述判定部判定所述车辆处于特定的行驶状态。

根据上述信息处理装置(11)，当所述车辆的车速在指定的速度范围内，且所述车辆处于指定的非操纵状态时，判定所述车辆处于特定的行驶状态。因此能够基于推定所述驾驶员正在注视所述车辆的直行前进方向的状态时的所述驾驶员的视线方向，确定所述基准。

另外，本阿明涉及的信息处理装置(12)，其特征在于，在上述信息处理装置(9)中，所述信息取得部至少取得所述车辆的加减速信息以及所述车辆的倾斜信息中的任一种；

所述判定部将所述车辆处于指定的加速或者减速状态的情形、或者所述车辆处于指定的倾斜姿势的情形，从所述车辆处于特定的行驶状态中除去。

根据上述信息处理装置(12)，由于所述车辆处在指定的加速或者减速状态的情形时，或者所述车辆处于指定的倾斜姿势的情形时，所述驾驶员的视线有很大的波动、使视线方向有发生变化的可能，所以能够防止在这种情况下确定所述基准。

另外，本发明涉及的信息处理装置(13)，其特征在于，在上述信息处理装置(9)中，所述信息取得部取得所述车辆的位置信息和所述车辆的周边地图信息；

在所述车辆沿直线道路移动时，所述判定部判定所述车辆处于特定的行驶状态。

根据上述信息处理装置(13)，由于根据所述车辆的位置信息和所述车辆的周边地图信息，判定所述车辆沿直线移动时，判定所述车辆处于特定的行驶状态。因此能够基于推定所述驾驶员正在注视所述车辆的直行前进方向状态时的所述驾驶员的视线方向，确定所述基准。

另外，本发明涉及的信息处理装置(14)，其特征在于，在上述信息处理装置(1)～(13)的任一项中，所述信息处理装置具备识别部,用于识别所述驾驶员；所述基准确定部针对所述识别部识别的每位驾驶员，确定所述基准。

根据上述信息处理装置(14)，由于是由所述识别部识别所述驾驶员，对于所识别的每位驾驶员，确定所述基准，所以即使所述驾驶员不同，也能够针对每位驾驶员进行精度高的视线方向的检测。

另外，本发明涉及的驾驶员监控系统，其特征在于，所述驾驶员监控系统包括权利要求(1)～(14)中任一项所述的信息处理装置和至少一个相机，所述相机用来拍摄所述图像取得部取得的所述驾驶员的包括脸部的图像。

根据上述驾驶员监控系统，能够廉价实现可以获得上述信息处理装置中任一种效果的驾驶员监控系统。

另外，本发明涉及的信息处理方法，其特征在于，所述信息处理方法实行包括图像取得步骤、检测步骤、储存步骤和基准确定步骤的步骤；其中所述图像取得步骤用来取得车辆驾驶员的包含脸部的图像；

所述检测步骤从所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向；

所述储存步骤将所述检测步骤的检测结果储存在储存部；

所述基准确定步骤通过利用储存在所述储存部的所述检测结果，确定针对所述驾驶员的视线方向的基准。

根据上述信息处理方法，通过所述检测步骤从所述图像检测所述驾驶员的视线方向，通过所述储存步骤将所述检测结果储存在所述储存部，利用所述检测结果，通过所述基准确定步骤确定针对所述驾驶员的视线方向的基准。因此，能够以与所述驾驶员的视线方向的个人差异所对应的形式确定所述基准，通过利用所述基准，能够提高所述驾驶员的视线方向的检测精度。

另外，本发明涉及的信息处理程序，其特征在于，所述信息处理程序是在至少一台计算机上实行取得车辆驾驶员的包含脸部图像的图像取得步骤，

由所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向的检测步骤，

将所述检测步骤的检测结果储存在储存部的储存步骤以及，

利用储存在所述储存部的所述检测结果，确定针对所述驾驶员的视线方向的基准的基准确定步骤的程序。

根据上述信息处理程序，通过至少在一台计算机上实行上述各步骤，确定与所述驾驶员的视线方向的个人差异相对应的所述基准，所以通过利用所述基准，能够实现可以提高所述驾驶员的视线方向的检测精度的信息处理装置。

另外，本发明涉及的计算机可读取的保存媒体，是储存有计算机程序的计算机可读取的保存媒体，其特征在于，所述计算机可读取的保存媒体保存用来在至少一台计算机上实行取得车辆驾驶员的包含脸部图像的图像取得步骤、

由所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向的检测步骤、

将所述检测步骤的检测结果储存到储存部的储存步骤以及利用储存在所述储存部的所述检测结果，确定针对所述驾驶员的视线方向的基准的基准确定步骤的程序。

根据上述计算机可读取的储存媒体，通过在上述至少一台计算机上读取所述程序，实行上述各步骤，能够确定与所述驾驶员的视线方向的个人差异相对应的所述基准，通过利用所述基准，能够实现可以提高所述驾驶员的视线方向的检测精度的信息处理装置。

附图说明

图1是显示包括实施方式涉及的信息处理装置的驾驶员监控系统对车辆的应用实例的概略图。

图2是显示具有实施方式(1)涉及的驾驶员监控系统的车载系统的构成实例的方框图。

图3是显示实施方式(1)涉及的信息处理装置的硬件构成的一个实例的方框图。

图4是显示实施方式(1)涉及的信息处理装置中控制单元进行基准确定处理动作的一个实例的流程图。

图5是显示实施方式(1)涉及的信息处理装置中控制单元进行视线方向检测处理动作的一个实例的流程图。

图6是显示实施方式(1)涉及的信息处理装置中控制单元进行监控处理动作的一个实例的流程图。

图7是显示实施方式(2)涉及的信息处理装置的硬件构成的一个实例的方框图。

图8是显示实施方式(2)涉及的信息处理装置中控制单元进行基准确定处理动作的一个实例的流程图。

图9是显示实施方式(2)涉及的信息处理装置中控制单元进行监控处理动作的一个实例的流程图.

图10显示实施方式(2)涉及的信息处理装置中控制单元进行基准变更处理动作的一个实例的流程图。

符号说明

1、1A...驾驶员监控系统；2...车辆；3...车载设备；4...车载系统；10、10A...信息处理装置；11...输入输出I/F；12、12A...控制单元；12a...图像取得部；12b...检测部；12c...基准确定部；12d...算出部；12e...处理部；12f...信息取得部；12g...判定部；12h...基准变更部；13、13A...保存单元；13a...图像保存部；13b、13e...储存部；13c...基准保存部；13d、13f...程序保存部；20...相机；30...自动驾驶控制装置；31...操纵传感器；32...加速踏板传感器；33...刹车踏板传感器；34...操纵制动装置；35...动力源控制装置；36...制动控制装置；37...通知装置；38...起动开关；39...周边监视传感器；40...GPS接受机；41...陀螺仪传感器；42...车速传感器；43...导航装置；44...通信装置；50...通信线；51...动力单元；52...方向盘；53...操纵装置。

具体实施方式

以下基于附图说明本发明涉及的信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体的实施方式。

应用例

图1是显示包括实施方式涉及的信息处理装置的驾驶员监控系统对车辆的应用实例的概略图。

驾驶员监控系统1包括为了掌握车辆2驾驶员D的状态而进行信息处理的信息处理装置10以及拍摄驾驶员D的包括脸部的图像的相机20而构成。

信息处理装置10与搭载在车辆2的车载设备3连接，能够从车载设备3取得有关车辆2的行驶状态的各种信息，同时能够对车载设备3输出控制信号等。信息处理装置10与控制单元、保存单元、输入输出接口等电连接而构成。

在车载设备3上除了对车辆2的动力源、操纵机构、制动机构等进行控制的各种控制装置外，还可以具有提示车辆2的各种信息的提示装置、与车外进行通信的通信装置、检测车辆2的状态以及车外状态的各种传感器等。另外车载设备3还可以通过车载网络，比如CAN(Controller Area Network控制器区域网络)以相互可以通信的方式构成。

所述控制装置可以包括自动控制车辆2的加减速、操纵以及制动中的任一项驾驶操作，支援驾驶员的驾驶操作的驾驶支援控制装置。另外，所述控制装置中还可以包括自动控制车辆2的加减速、操纵以及制动中的多个或者全部驾驶操作的自动驾驶控制装置。所述提示装置中可以包括导航装置、通知装置、各种用户接口。另外，信息处理装置10可以纳入车载设备3的一部分中。

相机20是拍摄驾驶员D的装置，例如包括未图示的镜头部、拍摄元件部、光照射部、接口部、控制这些各部件的控制部等而构成。所述拍摄元件部包括CCD(Charge CoupledDevice电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物半导体)等拍摄元件、滤光片、微透镜等而构成。所述拍像元件部除了包括接受可视领域的光，形成拍摄图像的元件之外，还可以包括接受紫外线或者红外线，形成拍摄图像的CCD、CMOS、或者光敏二极管等的红外线传感器。所述光照射部包括LED(Light Emitting Diode发光二极管)等发光元件，另外，还可以使用不分昼夜都可以拍摄驾驶员状态的红外线LED等。所述控制部包括如CPU(Central Processing Unit中央处理器)、储存器、图像处理回路等而构成。所述控制部控制所述拍摄元件部和所述光照射部，从该光照射部照射光(比如近红外线等)，在所述拍摄元件部进行对该反射光进行拍摄的控制等。相机20以一定的帧滞后(比如每秒30～60帧)拍摄图像，相机20所拍摄的图像数据被输出至信息处理装置10。

相机20的数量可以是1台，也可以是2台以上。另外，相机20可以是与信息处理装置10非一体(以另外的框体)构成，也可以是与信息处理装置10一体(同一个框体)而构成。相机20可以是单目相机，也可以是立体相机。

相机20在车内的设置位置只要是在至少能够拍摄驾驶员D的包含脸部的视野的位置，就没有特殊限定。比如可以除了在车辆2的控制板中央附近之外、还可以设置在方向盘部分、方向盘柱部分、仪表盘部分、后视镜附近位置、A柱部分或者导航装置上等。另外，包括相机20的式样(画角或者图像素(横x竖)等)以及位置姿势(安装角度或者从指定的原点(方向盘中央位置等)起的距离等)的信息也可以保存在相机20或者信息处理装置10中。

作为为了把握车辆2驾驶员D的状态的信息处理之一，信息处理装置10进行把握驾驶员D的视线方向的处理。另外信息处理装置10的特征之一在于在进行把握驾驶员D的视线方向的处理时所利用的、确定对于驾驶员D的视线方向的基准的处理。

如背景技术中所记载的那样，即使是驾驶员正在注视车辆前进方向的正面的状态下，驾驶员的视线方向，比如纵深方向的视线的方向等也会有个人差异。另外即使是同一个驾驶员，也会由于驾驶环境等不同使在注视车辆前进方向正面的状态时的视线方向有所变化。

因此在信息处理装置10中，在进行把握驾驶员的视线方向的处理时，为了即使所述视线方向有个人差异，也能够以高的精度检测视线方向而确定对于驾驶员D的视线方向的基准。信息处理装置10是通过利用对于驾驶员D的视线方向的基准来提高驾驶员的视线方向的检测精度的装置。

具体地，信息处理装置10取得相机20所拍摄的图像，由该取得的图像检测驾驶员D的视线方向，储存检测结果。

另外在其他实施方式中，信息处理装置10进行取得相机20拍摄的图像的处理，另外，还可以从车载设备3取得关于车辆2的行驶状态的信息，判定车辆2是否处于特定的行驶状态，检测处于所述特定的行驶状态时的驾驶员D的视线方向，储存(保存)该检测结果。作为关于车辆2的行驶状态的信息，比如可以取得车辆2的车速信息或者操纵信息。这些信息是后述“车辆信息”的一个实例。该车辆信息还可以是如从以CAN所连接的车载设备3中取得的数据。所述特定的行驶状态，比如可以是车辆2的车速在指定的车速范围内，且处于非操纵状态时的行驶状态，即，可以是车辆2处于直行前进的行驶状态。

接着，利用储存的检测结果，进行确定对于驾驶员的视线方向的基准的处理。比如分析所储存的检测结果，将显示了检测频度最高的视线方向的最频值作为视线方向的基准予以确定。

驾驶员D的视线方向可以包括驾驶员的脸部朝向以及从与眼睛区域的信息(大眼角、眼梢以及瞳孔的位置等)的关系推定的视线方向。驾驶员D的视线方向如图像示例21所示，比如可以是以三维坐标上的视线矢量V(三维矢量)等表示。视线矢量V比如可以是从围绕驾驶员D的脸部的X轴(左右轴)的角度(上下朝向)的俯仰角(Pitch)、围绕脸部的Y轴(上下轴)的角度(左右朝向)的偏航角(Yaw)以及围绕脸部的Z轴(前后轴)的角度(左右倾向)的滚转角(Roll)中至少一个和所述眼睛区域的信息推断出。另外视线矢量V可以将该三维矢量的一部分值与脸部朝向的矢量值共通显示(比如三维坐标原点共通)，也可以以脸部朝向的矢量作为基准的相对角度(脸部朝向的矢量的相对值)显示。

在本实施方式中，信息处理装置10从相机20取得驾驶员D的图像，从取得的图像检测驾驶员D的视线方向，储存检测结果。然后信息处理装置10利用储存的视线方向的检测结果，确定对于驾驶员D的视线方向的基准。因此可以以与相对于驾驶员D的正面的视线方向的个人差异相对应的方式确定所述视线方向的基准，通过利用所确定的所述视线方向的基准，能够在不受因驾驶员不同而导致的不同视线方向的个人差异的影响下，提高对于驾驶员D的视线方向的检测精度。

另外以往所进行的一般的相机校准方法是使驾驶员注视指定的开关等，取得所述开关与驾驶员的位置关系，由取得的位置关系进行校准的方法。因此驾驶员必须有意识地进行某种操作或者注视，费工夫又麻烦，而本实施方式中，不需要驾驶员有这种意识，就可以确定视线方向的基准，所以使用上的便利性得到提高。

(构成例1)

图2是显示搭载有实施方式(1)所涉及的驾驶员监控系统的车载系统的一个实例的方框图。

车载系统4包括驾驶员监控系统1和自动驾驶控制装置30而构成。驾驶员监控系统1包括上述信息处理装置10和相机20而构成。关于信息处理装置10的硬件构成后述。另外本实施方式中，关于在车载系统4上应用自动驾驶系统的一个实例进行说明，但可以应用的系统不限于此。

自动驾驶控制装置30具备切换自动驾驶模式和驾驶员进行驾驶操作的手动驾驶模式而构成，其中自动驾驶模式是包括车辆2的加减速、操纵以及制动的行驶控制中至少一部分或者全部的驾驶操作以系统为主体自动进行的驾驶模式。自动驾驶是指，比如驾驶员不进行驾驶操作，通过自动驾驶控制装置30所进行的控制，使车辆2自动行驶的驾驶。所述自动驾驶可以是美国汽车技术会(SAE)所提出的自动驾驶水平的水平1(支援驾驶员)，水平2(部分自动驾驶)、水平3(带条件自动驾驶)、水平4(高度自动驾驶)以及水平5(完全自动驾驶)中的任意一种水平。另外，手动驾驶是指驾驶员作为进行驾驶操作的主体，使车辆2行驶的驾驶。

车载系统4中除了驾驶员监控系统1以及自动驾驶控制装置30外，还包括自动驾驶和手动驾驶的各种控制所必要的传感器和控制装置等。例如包括操纵传感器31、加速踏板传感器32、刹车踏板传感器33、操纵控制装置34、动力源控制装置35、制动控制装置36、通知装置37、起动开关38、周边监视传感器39、GPS接受机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等。这些各种传感器或者控制装置通过通信线50电连接。

另外车辆2上还装备有作为引擎和马达等的动力源的动力单元51、具有驾驶员操纵的方向盘52的操纵装置53。

自动驾驶控制装置30是实行关于车辆2的自动驾驶的各种控制的装置，由包括未图示的控制部、保存部、输入输出部等的电子控制单元构成。所述控制部包括一个以上的硬件处理器、读出所述保存部中保存的程序，进行各种车辆控制。

自动驾驶控制装置30除了信息处理装置10之外，还与操纵传感器31、加速踏板传感器32、刹车踏板传感器33、操纵控制装置34、动力源控制装置35、制动控制装置36、周边监视传感器39、GPS(Global Positioning System)接受机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等连接。自动驾驶控制装置30根据从这些各部件所取得的信息，将进行自动驾驶的控制信号输出到各控制装置，进行车辆2的自动操纵、自动速度调整、自动制动等的自动驾驶控制。

另外自动驾驶控制装置30还可以在满足预先设定的条件时，终止自动驾驶。比如自动驾驶控制装置30在判定自动驾驶中的车辆2到达了预先设定的自动驾驶的终点地点时，在判断驾驶员的姿势为可进行手动驾驶的姿势时，结束自动驾驶。另外自动驾驶控制装置30还可以在驾驶员进行自动驾驶解除操作(比如自动驾驶解除按键的操作、驾驶员对方向盘52、油门或者刹车的操作等)时，进行控制，结束自动驾驶。

操纵传感器31是用来检测对方向盘52的操纵量的传感器，比如检测设置在车辆2的操纵轴的、由驾驶员施给方向盘52的操纵扭矩或者方向盘52的操纵角。操纵传感器31所检测的与驾驶员的方向盘操作相对应的信号被输出到自动驾驶控制装置30和操纵控制装置34中的至少一方。

加速踏板传感器32是检测对加速踏板的踩压量(加速踏板的位置)的传感器，比如设置在加速踏板的传动轴部分。加速踏板传感器32检测出的与加速踏板的踩压量相对应的信号被输出到自动驾驶控制装置30和动力源控制装置35中的至少一方。

刹车踏板传感器33是检测刹车踏板的踩压量(刹车踏板的位置)或者操作力(踩压力等)的传感器。与刹车踏板传感器33所检测出的对刹车踏板的踩压量和操作力相对应的信号被输出到自动驾驶控制装置30和制动控制装置36中的至少一方。

操纵控制装置34是控制车辆2的操纵装置(如电动动力转向装置)53的电子控制单元。操纵控制装置34通过驱动控制车辆2的操纵扭矩的马达而控制车辆2的操纵扭矩。另外，在自动驾驶模式下，操纵控制装置34根据自动驾驶控制装置30的控制信号，控制操纵扭矩。

动力源控制装置35是控制动力单元51的电子控制单元。动力源控制装置35通过控制对引擎的燃料供给量以及空气供给量或者对于马达的电供给量而控制车辆2的驱动力。另外，在自动驾驶模式下，动力源控制装置35根据自动驾驶控制装置30的控制信号，控制车辆2的驱动力。

制动控制装置36是控制车辆2的刹车系统的电子控制单元。制动控制装置36通过调整施加给液压刹车系统的液压而控制施加给车辆2的车轮的制动力。另外，在自动驾驶模式下，制动控制装置36根据自动驾驶控制装置30的控制信号，控制对车轮的制动力。

通知装置37是用来将指定的信息传递、通知给驾驶员的装置。通知装置37包括将各种指引或者警告等以声或声音的方式输出的声音输出部、将各种指引或者警告以文字或者图形形式表示、以亮灯形式表示的表示输出部、或者使驾驶员坐席或方向盘等震动的震动通知部(任一种都未图示)等而构成。通知装置37根据信息处理装置10或者自动驾驶控制装置30等输出的控制信号进行动作。

起动开关38是使动力单元51起动以及停止的开关，由使引擎起动的点火开关和使驾驶用马达起动的动力开关等构成。起动开关38的操作信号可以输入到信息处理装置10或者自动驾驶控制装置30。

周边监视传感器39是用来检测车辆2周边所存在的对象物的传感器。所述对象物可以包括汽车、自行车、人等移动物体，路面标识(白线等)、护栏、中央分离带、其他对车辆行驶有影响的构造物等。周边监视传感器39可以包括前方监视相机、后方监视相机、雷达(Radar)、激光雷达，即Light Detection and Ranging或者Laser Imaging Detection andRanging(LIDER、激光成像雷达)以及超声波传感器中的至少一种。周边监视传感器39所检测出的对象物的检测数据输出到自动驾驶控制装置30等。前方监视相机和后方监视相机可以采用立体相机或者单目相机等。雷达将毫米波等电波发送给到车辆周围，通过接受车辆周围所存在的对象物反射的电波来检测对象物的位置、方向、距离等。激光雷达将激光发送到车辆周围，通过接受车辆周围存在的对象物所反射的光来检测对象物的位置、方向、距离等。

GPS接收机40是通过未图示的天线接受自人工卫星的GPS信号，根据接受的GPS信号，进行推断本车位置的处理(GPS航法)的装置。在GPS接受机40，显示所推测的本车位置的位置信息被输出到自动驾驶控制装置30和导航装置43中的至少一方。另外，检测车辆2的本车位置的装置不限定为GPS接受机40，比如除GPS之外，还可以是与日本的准天顶卫星、俄罗斯的格洛纳斯(GLONASS)、欧洲的伽利略(Galileo)、中国的康帕斯(Compass)等其他卫星测位系统相对应的装置。

陀螺仪传感器41是用来检测车辆2的旋转角速度(偏航角速度)的传感器。陀螺仪传感器41检测出的旋转角速度信号被输出到自动驾驶控制装置30和导航装置43中的至少一方。

车速传感器42是检测车辆2的速度的传感器，比如以设置在车轮或者传动轴等上的用来检测车轮的旋转速度的车轮速度传感器等构成。显示车速传感器42所检测出的速度的车速信息，比如用来推测车速的脉冲信号被输出到自动驾驶控制装置30和导航装置43中的至少一方。

导航装置43根据GPS接受机40等所测量的车辆2的位置信息和地图数据库(未图示)的地图信息，推测车辆2的行驶道路和路线，演算出从车辆2的现在位置到目的地的路径等，将该路径显示在显示部(未图示)，从音声输出部(未图示)进行路径指引等的声音输出。导航装置43所求得的车辆2的位置信息、行驶道路的信息以及行驶预定路径的信息等还可以输出到自动驾驶控制装置30。行驶预定路径的信息可以包括自动驾驶区间的开始地点和结束地点、自动驾驶的开始预告地点和结束预告地点等与自动驾驶的切换控制相关联的信息。导航装置43包括未图示的控制部、显示部、声音输出部、操作部、地图数据保存部等而构成。

通信装置44是通过无线通信网，比如手机网、VICS(Vehicle Information andCommunication System道路交通情报通信系统)(注册商标)、DSRC(Dedicated ShortRange Communications专用短程通信技术)(注册商标)等的通信网，取得各种信息的装置。通信装置44还可以具有车辆之间的通信功能以及道路与车辆之间的通信功能。比如在道路旁边设置的道路一侧发送接收机，如通过光信标、与ITS(Intelligent Transport Systems智能交通系统)地点(注册商标)等的道路与车辆之间的通信，取得车辆2行进道路上的道路环境信息(车辆线路规制路线等)。另外还可以通过车辆之间的通信，取得其他车辆的相关信息(位置信息、行驶控制等相关信息)和由其他车辆检测出的道路环境信息等。

图3是显示实施方式(1)涉及的信息处理装置10的硬件构成的一个实例的图。

信息处理装置10包括输入输出接口(I/F)11、控制单元12以及保存单元13而构成。

输入输出I/F11与相机20、自动驾驶控制装置30、通知装置37等相连接，包括与这些外部设备之间进行信号接受的接口回路和连接器等而构成。

控制单元12包括图像取得部12a、检测部12b以及基准确定部12c而构成，进而还可以包括算出部12d、处理部12e而构成。控制单元12包括Central Processing Unit(中央处理单元CPU)、Graphics processing unit(图形处理单元GPU)等的一个以上的硬件处理器而构成。

保存单元13包括图像保存部13a、储存部13b、基准保存部13c以及程序保存部13d而构成。保存单元13由Random Access Memory随机存取存储器(RAM)、只读存储器ReadOnly Memory(ROM)、硬盘驱动(HDD)、固体电路驱动(SSD)、闪速存储器、其他不挥发性储存器或者挥发性储存器等，通过半导体元件能够保存数据的一个以上的保存装置构成。另外，控制单元12中还可以包括RAM以及ROM而构成。

在图像保存部13a中，保存有图像取得部12a自相机20取得的驾驶员的图像。由检测部12b所检测的各图像的驾驶员视线方向的相关信息，被与保存在图像保存部13a的各图像相对应地保存在储存部13b。在基准保存部13c中储存有基准确定部12c所确定的关于驾驶员的视线方向的基准的信息，比如显示所述基准的值(基准值)等。在程序储存部13d中储存有控制单元12的各部件所进行的信息处理程序和实行该程序所必要的数据等。

控制单元12进行将各种数据保存到保存单元13的处理。另外，控制单元12读出保存在保存单元13中的各种数据和各种程序，并实行这些程序。控制单元12与保存单元13一起配合以实现图像取得部12a、检测部12b以及基准确定部12c的动作，还有算出部12d和处理部12e的动作。

图像取得部12a进行从相机20取得以指定的帧滞后所拍摄的驾驶员的图像的处理，并进行将由相机20所取得的图像保存到图像保存部13a的处理等。

检测部12b将图像保存部13a中保存的图像按照每个帧或者每指定间隔的帧读出，进行从该图像检测驾驶员的视线方向的处理，将检测出的驾驶员视线方向的相关信息，与该图像相对应，进行保存到储存部13b的处理。

在关于驾驶员的视线方向的信息中，还可以包括显示由图像处理所检测出的驾驶员的视线方向的三维坐标上的矢量信息和角度信息。另外，关于驾驶员的视线方向的信息中，还可以包括关于脸部朝向和大眼角、眼梢、瞳孔等的眼睛区域的位置信息，比如显示眼睛区域的代表性或者特征性位置的特征点的相关信息。

基准确定部12c利用储存部13b所储存的、视线方向的检测结果，确定对于驾驶员的视线方向的基准，进行将关于所确定的视线方向的基准的信息保存到基准保存部13c的处理。

具体地，在储存部13b，判断指定帧数的图像的视线方向的检测结果是否被储存，如果判断为被储存，接着根据这些图像的视线方向的检测结果，确定视线方向的基准。视线方向基准的确定方法，可以是利用统计处理等，将被检出的频率最高的视线方向作为基准值的方法。另外，在这种情形下，还可以除去从显示正面方向的指定的范围偏离的检测结果，确定基准值。基准值可以以三维坐标上的矢量或者角度表示。

上述检测部12b、基准确定部12c以及储存部13b一起配合，实行确定对于驾驶员来说的视线方向的基准的处理。

另外，算出部12d、处理部12e以及基准保存部13c一起配合，实行把握驾驶员状态(监控)的处理。

算出部12d从基准保存部13c读出基准确定部12c所确定的视线方向的基准，利用读出的视线方向的基准，进行由图像取得部12a取得的图像，算出相对于视线方向的基准的驾驶员的视线方向(比如从基准值的偏离量)的处理，将算出结果输出到处理部12e。从所述基准值的偏离量比如可以作为三维坐标上的矢量或者角度的变化量显示。

处理部12e根据算出部12d算出的相对于视线方向的基准的驾驶员的视线方向(比如自基准值的偏离量)，进行指定的处理。指定的处理是比如进行是否处于往旁边看的状态的判定处理，当处于往旁边看的状态时(例如左右方向的视线从基准值起偏离指定值以上的情形)，也可以是对通知装置37指示通知的处理，还可以是不进行通知处理，将处在往旁边看状态的视线方向的信息保存到保存单元13的处理或者输出到自动驾驶控制装置30的处理。

另外，处理部12e还可以进行集中程度和疲劳程度(包括困倦等)的判定处理，在集中程度低下或者疲劳程度高时(比如下面方向的视线从基准值偏离指定值以上的情形)，进行向通知装置37通知的指示处理。另外，处理部12e还可以取代通知处理，或者与通知处理同时进行将集中程度低下或者疲劳程度高的状态时的视线方向的信息保存到保存单元13的处理。另外，处理部12e还可以是不进行往旁边看的状态的判定等，而进行将算出部12d所算出的视线方向的信息保存到保存单元13的处理。

另外，在进行从自动驾驶模式向手动驾驶模式转换时，驾驶员是否处于可以向手动驾驶交接的状态的判定处理，当判断为处于可以交接的状态时(比如视线方向自基准值的偏离在手动驾驶的合适的指定范围内)，指定的处理可以是向自动驾驶控制装置30输出许可向手动驾驶转换的信号的处理。

动作例1

图4是显示实施方式(1)涉及的信息处理装置10的控制单元12进行基准确定处理动作的一个实例的流程图。本处理动作可以在车辆2的起动开关38打开后，仅实行一定的期间，也可以在相机20起动期间随时实行。

首先在步骤S1，控制单元12进行检测驾驶员的视线方向的处理。相机20拍摄每秒指定帧数的图像。控制单元12按照时间数列取得这些拍摄的图像，按照每个帧或者每指定间隔的帧进行本处理。

图5是显示控制单元12实行的、步骤S1的驾驶员的视线方向的检测处理动作的一个实例的流程图。首先在步骤S11，控制单元12取得相机20所拍摄的图像，接着在下一个步骤S12，控制单元12进行由取得的图像检测驾驶员的脸部(比如脸部区域)的处理，然后进行步骤S13。

控制单元12实行的、从图像检测脸部的方法没有特殊限定，优选采用高速高精度检测脸部的方法。比如脸的局部区域的明暗差(亮度差)和边缘强度、将这些局部区域间的关联性(共起性)作为特征量，将能够大致拍到脸部的识别器配置到分层构造的最开始地方，将能够拍取脸的细节的识别器配置到分层构造的深层位置，通过利用这样的分层检测器，能够高速实行从图像探索脸部区域的处理。

在步骤S13，控制单元12进行从步骤S12所检测的脸部区域，检测眼睛、鼻子、嘴、眉毛等脸部器官的位置和形状的处理。从图像中的脸部区域检测脸部器官的方法没有特别限定，优选采用高速高精度检测脸部器官的方法。比如可以采用制作三维脸部形状模型，使其适用到二维图像上的脸部区域，检测脸部各器官的位置和形状的方法。三维脸部形状模型，由与脸部各器官的特征点相对应的节点构成。根据该方法，能够与相机20的设置位置和图像中的脸部朝向等不相关地，准确地检测出脸部各器官的位置和形状。作为使三维脸部形状模型与图像中的人脸相适用的技术，比如可以使用特开2007-249280号公报所记载的技术，但是不限定于此。

就控制单元12将三维脸部形状模型与图像中的驾驶员的脸部相配合的处理实例进行说明。三维脸部形状模型具有将从正面观察脸部时的左右水平方向的轴作为X轴，将上下垂直方向的轴作为Y轴，将纵深(前后)方向的轴作为Z轴时，沿X轴的旋转(俯仰角)、沿Y轴的旋转(偏航角)、沿Z轴的旋转(滚转角)，扩大缩小等多个参数，通过利用这些参数，可以使三维脸部形状模型的形状变形。

另外，通过事先进行的误差相关学习，取得误差推定行列(变换行列)。所述误差推定行列是三维脸部形状模型的各器官的特征点配置到错误位置(与应该检测出各器官的特征点不同的位置)时应该向哪个方向修正的相关关系的学习结果，利用多变量回归，用来从特征点的特征量向上述参数的变化部分变换的行列。

首先，控制单元12根据脸部检测结果，在相对于脸部位置、朝向、大小的合适的位置上初期配置三维脸部形状模型。接着求出初期位置上各特征点的位置，计算各特征点的特征量。然后将各特征点的特定量输入误差推定行列，求出对于正解位置附近的形状变化参数的变化部分(误差推定量)。接着在现在位置的三维脸部形状模型的形状变化参数中加算上述误差推定量，取得正解模型参数的推定値。然后判断取得的正解模型参数是否在正常范围内，处理是否完结。如果判断处理尚未完结，则获取根据所取得的正解模型参数作成的新的三维脸部形状模型的各特征点的特征量，重复处理。另一方面，如果判断处理已经完结，则结束向正解位置附近的三维脸部形状模型的配置。根据控制单元12所进行的这些处理，三维脸部形状模型快速地配合到图像上的正解位置附近，由配合到正解位置的三维脸部形状模型算出脸部各器官的位置和形状。

在接下来的步骤S14，控制单元12根据步骤S13所求出的脸部各器官的位置和形状数据，检测驾驶员的脸部朝向。例如检测在上述正解位置附近所配置的三维脸部形状模型参数的中包含的、上下旋转(围绕X轴旋转)的俯仰角、左右旋转(围绕Y轴旋转)的偏航角以及整体旋转(围绕Z轴旋转)的滚转角中的至少一个作为驾驶员脸部朝向的相关信息。

在步骤S15，控制单元12根据步骤S14所求得的驾驶员脸部朝向以及步骤S13所求得的驾驶员的脸部器官的位置和形状、特别是眼睛的特征点(大眼角，眼梢、瞳孔)的位置与形状，检测视线方向，然后进行步骤S16。

视线方向可以通过利用学习器，事先学习各种脸部朝向和视线方向的图像的特征量(大眼角、眼梢、瞳孔的相对位置或者白眼珠与黑眼珠的相对位置、浓淡、质感等)，评价与这些所学习的特征量数据的类似程度，检测视线方向。或者，利用三维脸部形状模型的配合结果等，从脸部大小或者朝向以及眼睛位置等推定眼球的大小和中心位置的同时检测瞳孔(黑眼珠)的位置，也可以检测连接眼球中心与瞳孔中心的矢量作为视线方向。

在步骤S16，控制单元12进行将步骤S15所检测的关于驾驶员的视线方向的信息与该图像相对应地保存到储存部13b的处理，然后进行步骤S17。在步骤S17，控制单元12在用来计数检测视线方向的图像的计数器K中加算1，然后结束处理，重复进行对于下一个图像的视线方向的检测处理。

在进行步骤S1的驾驶员的视线方向的检测处理后，进行图4所示的步骤S2。在步骤S2，控制单元12判断计数器K是否达到指定值N，即指定帧数的图像的视线方向的检测结果是否被储存，如果判定计数器K为指定值N以下(没有被储存)，则结束处理；另一方面，如果判断计数器K达到指定值N以上(被储存)，则进行步骤S3。

在步骤S3，控制单元12进行确定驾驶员的视线方向的基准的处理，然后进行步骤S4。具体地，由储存部13b读出指定帧数的图像的视线方向的检测结果，利用关于所述各图像的驾驶员的视线方向的信息，确定视线方向的基准。在指定帧数的图像的视线方向中，被检出频率最高的视线方向，即视线方向的最频值作为基准值。视线方向的基准可以以三维坐标上的矢量表示，也可以以角度表示。另外还可以包括关于脸部朝向和眼睛(大眼角、眼梢、瞳孔等特征点)的位置的信息。

在步骤S4，控制单元12进行将步骤S3所确定的关于视线方向的基准的信息保存到基准保存部13c的处理，然后结束处理。在基准保存部13c中可以与视线方向的基准(基准值)一并，保存日期时间数据、驾驶环境数据(比如车外照明度数据)等的附加信息。

另外，在其他实施方式中，在控制单元12上设置识别驾驶员的识别部(未图示)，按照识别部所识别的每个驾驶员，确定视线方向的基准。所述识别部可以通过利用图像的脸部认证处理识别驾驶员，也可以通过开关等的操作部设置或者选择驾驶员。

例如，在上述步骤S1的视线方向的检测处理中，控制单元12在从图像检测驾驶员的脸部之后(步骤S12)，进行驾驶员的脸部认证的处理，判定是新的驾驶员还是已经注册的驾驶员。脸部认证处理的方法没有特别限定。可以使用已知的脸部认证处理方式。如果脸部认证处理的结果是判定为新驾驶员，则进行随后的步骤S2、S3的处理，在步骤S4，与驾驶员的脸部认证信息(脸部的特征量等)一并进行将有关视线方向的基准的信息保存到基准保存部13c的处理。另一方面，如果是已经注册的驾驶员时，由于已经在基准保存部13c中保存了与该驾驶员相对应的视线方向的基准，所以可以接受随后的处理。

接着就信息处理装置10的控制单元12所进行的驾驶员状态的把握(监控)的处理进行说明。

图6是实施方式(1)涉及的信息处理装置10的控制单元12所进行的驾驶员的监控处理动作的一个实例的流程图。相机20可以按照每秒指定的帧数拍摄图像，控制单元12以时间数列获取这些拍摄的图像，按照每个帧、或者每指定间隔的帧进行本处理。

首先在步骤S21，控制单元12进行检测驾驶员的视线方向的处理。该驾驶员的视线方向的检测处理可以是与图5所述的步骤S11～S16同样的处理，这里省略对其说明。

在步骤S21，在进行对驾驶员的视线方向的检测处理后，进行步骤S22。在步骤S22，控制单元12从基准保存部13c读取视线方向的基准，进行算出步骤S21检测出的驾驶员的视线方向与所述视线方向基准的偏差(比如自基准值的偏离)的处理，进行步骤S23。

视线方向的基准中包括如显示三维坐标上的视线方向的基准矢量和基准角度的信息作为基准值。计算这些基准值与步骤S21所检测出的驾驶员的视线方向的角度差，将该计算的角度差作为从上述基准值的偏离。

在步骤S23，控制单元12判定步骤S22所算出的从基准值的偏离(比如上下方向、左右方向中的至少一个角度差)是否是超过第1范围(比如指定的角度差)的状态。

所述第1范围可以根据监控的目的设定为各种范围。比如进行判定是否处于往旁边看的状态时，可以设定至少包括左右方向的指定的角度范围，作为第1范围(往旁边看判定角度)。

在判定驾驶的集中程度和疲劳程度(包括困意等)时，可以设定至少包括上下方向的指定的角度范围作为第1范围(集中·疲劳程度判定角度)。

在进行判定是否处于可以从自动驾驶模式向手动驾驶模式转换的驾驶姿势时，可以设定至少包括左右方向和上下方向的指定的角度范围作为第1范围(交接判定角度)。

在步骤S23，如果判定从所述基准值的偏离没有超过第1范围，即驾驶员的视线方向在合适范围内，则结束随后处理。另一方面，如果判定为超过第1范围，即驾驶员的视线方向在合适的范围之外，则进行步骤S24。在步骤S24，控制单元12判定超过第1范围的状态是否持续指定期间。指定期间可以与监控目的相对应，设定合适的时间(可以计算时间也可以计算图像的帧数)。

在步骤S24，如果判定超过第1范围的状态没有持续指定期间，则结束随后的处理。另一方面如果判定为持续指定期间，则进行步骤S25。

在步骤S25，控制单元12将通知信号输出到通知装置37，结束随后的处理。通知信号是用来在通知装置37实施与监测目的相对应的通知处理的信号。

在通知装置37，根据来自信息处理装置10的通知信号，进行指定的通知处理。通知处理可以是通过声或者声音的通知，也可以是通过光的通知，还可以是通过显示的通知或者通过方向盘52或者座位的震动的通知，可以适用各种各样的通知形式。

监控的目的是判定是否处于往旁边看状态时，将处于往旁边看状态通知给驾驶员，或者进行督促其停止往旁边看，使其转向正面的通知。另外，监控的目的是判定驾驶的集中程度或者疲劳程度时，比如可以是将集中程度低下或者疲劳程高的状态的信息通知给驾驶员。另外，监视的目的是判定是否许可从自动驾驶模式向手动驾驶模式转换时，比如可以进行督促采取合适的驾驶姿势的通知。

另外，步骤S23、S24、S25的处理不是必须的，可以替换为将步骤S22所算出的关于从基准值的偏离的信息保存到保存单元13的处理。

另外，代替步骤S25的处理，还可以进行将S23、S24的判定信息(偏离到第1范围外，且显示为持续指定期间的信息和关于当时的视线方向的信息)保存到保存单元13的处理。或者代替步骤S25的处理，还可以进行步骤S23、S24的判定信息输出到自动驾驶控制装置30的处理。

(作用·效果)

根据上述实施方式(1)涉及的信息处理装置10，通过检测部12b从图像取得部12a所取得的图像检测驾驶员的视线方向，将该检测结果储存到储存部13b，利用所述检测结果，通过基准确定部12c确定对于该驾驶员的视线方向的基准。另外，利用视线方向的基准，通过算出部12d算出对于驾驶员的相对于正面的视线方向。因此能够以与驾驶员的视线方向的个人差异相对应的形式确定视线方向的基准，通过利用视线方向的基准，能够不给控制单元12施加处理负担，提高对于驾驶员的视线方向的检测精度。

另外，由于能够从基准保存部13c读出视线方向的基准，算出对于驾驶员的相对于正面的视线方向，所以能够减轻基准确定部12c进行确定视线方向的基准的处理负担。

另外，处理部12e能够根据算出部12d算出的相对于驾驶员正面的视线方向，精度良好地实行对驾驶员的通知处理等各种处理，所以能够提高车辆行驶时的安全性等。

另外，根据述实施方式(1)涉及的驾驶员监控系统1，由于具备信息处理装置10和相机20，所以能够廉价地实现可以获得信息处理装置10的各种效果的驾驶员监控系统。

(构成例2)

图7是显示了实施方式(2)涉及的信息处理装置10A的硬件构成的一个实例的方框图。另外，对于具有与图3所示的信息处理装置10相同功能的构成部件，附以同一符号，这里省略对其说明。

在实施方式(2)涉及的信息处理装置10A中，在控制单元12A上还具有取得关于车辆2的行驶状态信息的信息取得部12f和根据信息取得部12f所取得的所述信息，判定车辆2是否处于特定的行驶状态的判定部12g，检测部12b以能够检测处于特定的行驶状态时的驾驶员的视线方向的方式而构成。

另外，在实施方式(2)涉及的信息处理装置10A中，控制单元12A上还具备变更基准确定部12c所确定的视线方向的基准的基准变更部12h。

保存单元13A包括图像保存部13a、储存部13e、基准保存部13c以及程序保存部13f而构成。程序保存部13f中保存有在控制单元12A的各部所实行的信息处理程序和实行该程序所必要的其他数据等。

上述构成是与实施方式(1)涉及的信息处理装置10的主要不同之处。另外，驾驶员监控系统1A包括信息处理装置10A和相机20而构成。

信息取得部12f通过自动驾驶控制装置30进行取得关于车辆2的行驶状态的信息的处理，取得的所述信息输出到判定部12g。信息取得部12f的处理与图像取得部12a的处理不分先后，可以将这些处理并列进行。另外，信息取得部12f还可以不通过自动驾驶控制装置30，从车载系统4的各部分取得上述信息。

关于行驶状态的信息中至少包括车辆2的车速信息和车辆2的操纵信息。车速信息包括车速传感器42所检测的车速信息等。操纵信息包括操纵传感器31所检测的操纵角和操纵扭矩或者陀螺仪传感器41所检测的旋转角速度等。

另外，信息取得部12f可以取得车辆2的加减速信息和车辆2的倾斜信息。加减速信息包括如加速踏板传感器32和刹车踏板传感器33检测的加速踩压量、从动力源控制装置35输出的驱动控制信号或者从制动控制装置36输出的制动控制信号等的信息。显示车辆2的倾斜信息的信息有在车辆2上设置的倾斜传感器(未图示)所检测的倾斜信息或者导航装置43所推断的本车位置的道路倾斜信息等。

另外，信息取得部12f可以取得车辆2的位置信息和车辆2的周边地图信息。这些信息中包括导航装置43所推断的本车位置和该本车位置的周边地图信息等。

进而，信息取得部12f还可以取得车辆2的周边，特别是在行进方向上存在的其他车辆或者人等的监视对象物的相关信息。这些信息中包括如周边监视传感器39所检测的有关对象物的种类和到达对象物为止的距离的信息等。

判定部12g根据信息取得部12f所取得的、关于行驶状态的信息，进行判定车辆2是否处于特定的行驶状态的处理，将判定结果输出到检测部12b。所述特定的行驶状态包括驾驶员的脸部朝向的变化少、即脸部姿势稳定的行驶状态，比如车辆2的直线前进的行驶状态。

更具体地，车辆2处于特定的行驶状态的情形包括车辆2的车速在指定的速度范围内、且处于非操纵状态的情形。非操纵状态是指方向盘52实质上不被操纵的状态。比如操纵传感器31检测的操纵角接近0°、在比较窄的范围内或者操纵扭矩接近ON·m，在比较窄的范围内的情形等。另外所述指定的速度范围没有特别限定，但优选中速以上(40km/h)。这是由于设想在低速时，车间距离窄或者道路窄时等，驾驶员的脸部姿势不稳定的状况。

另外，判定部12g可以根据车辆2的位置信息与车辆2周边的地图信息判定车辆2沿直线道路移动时，车辆2处于特定的行驶状态。所述直线道路，比如是平坦的直线道路。是否为所述平坦，可以根据所述地图信息中包含的道路的坡度信息进行判断。

另外，判断部12g将车辆2处在指定的加速或者减速状态的情形或者车辆2处于指定的倾斜姿势的情形从特定的行驶状态中除去。指定的加速或者减速的状态包括急加速或者急减速的状态。指定的倾斜姿势包括在指定坡度以上的坡路上行驶时的倾斜姿势。将这些情形从特定的行驶状态除去的理由是设想驾驶员的脸部姿势不稳定，容易发生脸部朝向变化的状况。

另外判定部12g在周边监视传感器39所检测的与其他车辆的距离在显示车间距变窄的指定值以下时，判定车辆2处于非特定的行驶状态。理由是在车间距离变窄的状态时，设想驾驶员的脸部姿势不稳定的状况。

检测部12b进行从判定部12g取得处于特定的行驶状态的判定结果和从处于特定的行驶状态时取得的图像，检测驾驶员的视线方向的处理。然后进行将检测的关于驾驶员的视线方向的信息与该图像相关联，保存到储存部13e的处理。此时最好相对应地保存关于特定的行驶状态的信息。

基准变更部12h进行基准确定部12c所确定的视线方向的基准，比如显示所述基准的基准值的变更处理，将变更的基准值保存到基准保存部13c的处理。

比如，在特定的行驶状态(如直行前进的行驶状态)时，在算出部12d算出的驾驶员的视线方向与视线方向的基准的差在指定范围内的状态(比如视线方向从基准值向指定方向偏离，但未达到往旁边看程度的状态)持续一定时间或者断续地持续时，为了使所述差变小而变更视线方向的基准，比如可以是补正。另外基准变更部12h所进行的处理包括驾驶员变化时的变更视线方向的基准的处理。

上述信息取得部12f、判定部12g、检测部12b、基准确定部12c以及储存部13e相配合，实行确定处于特定的行驶状态时的对于驾驶员的视线方向的基准的处理。

另外，算出部12d、处理部12e、以及基准保存部13c相配合，实行把握驾驶员的状态(监控)的处理，算出部12d、基准变更部12h以及基准保存部13c相配合，实行变更视线方向的基准的处理。

动作例2

图8是显示实施方式(2)涉及的信息处理装置10A的控制单元12A进行基准确定处理动作的一个实例的流程图。本处理动作可以在车辆2的起动开关38开启后，仅实行一定时间，也可以在相机20起动期间，随时实行。

首先在步骤S31，控制单元12A进行取得有关车辆2的行驶状态的信息(以下称为车辆信息)的处理。另外还可以与步骤S31的处理一并，进行从相机20取得图像的处理。

车辆信息至少包括如车辆2的车速信息和操纵信息。另外，可以取得车辆2的加减速信息或者车辆2的倾斜信息作为车辆信息。另外，还可以取得车辆2的位置信息和车辆2的周边地图信息。进而，也可以取得关于车辆2的周边，特别是在行进方向上存在的其他车辆或者人等监视对象的信息。并且车辆信息可以通过自动驾驶控制装置30而取得也可以从车载系统4的各部件直接取得。

在接下来的步骤S32，控制单元12A根据步骤S31所取得的车辆信息，进行判定车辆2是否处于特定的行驶状态的处理。特定的行驶状态包括如车辆2直行前进的行驶状态。

在步骤S32，控制单元12A判定处于特定的行驶状态时，比如根据车辆2的车速信息以及操纵信息，判定车辆2的车速在指定的速度范围内(比如中速以上)，且处于非操纵状态(实质上没有被操纵的状态)时，或者基于车辆2的位置信息和车辆2的周边的地图信息，判定车辆2在平坦的直线道路上移动(直线前进)时，进行步骤S33。

另一方面在步骤S32，控制单元12A判断处于非特定的行驶状态时，比如判断车辆2的车速在指定的速度范围(比如在低速度范围内)或者处于操纵状态时，判断处于急加速或者急减速的状态时，在指定坡度以上的坡路上行驶时，或者与其他车辆的距离在指定值以下、车间距离变窄时，结束随后的处理。

在步骤S33，控制单元12A进行检测车辆2处于特定的行驶状态时的驾驶员的视线方向的处理，然后进行步骤S34。该驾驶员的视线方向的检测处理可以与图5所示的步骤S11～S17相同的处理，这里省略对其说明。

在步骤S34，控制单元12A判断计数机K是否达到指定值N，即处于特定的行驶状态时的指定帧数的图像的视线方向的检测结果是否被储存，如果判断为计数机K未达到指定值N(没有被储存)，在结束随后的处理；另一方面，如果判断为计数机K达到指定值以上(被储存)，则进行步骤S35。

在步骤S35，控制单元12A进行确定处于特定的行驶状态时的驾驶员的视线方向的基准的处理，然后进行步骤S36。具体地，从储存部13e读出处于特定的行驶状态的指定帧数的图像的视线方向的检测结果，利用所述关于各图像的驾驶员的视线方向的信息，确定视线方向的基准,比如显示该基准的基准值。在指定帧数的图像的视线方向中，将检出频率最高的视线方向，即视线方向的最频值作为基准值。基准值可以以三维坐标上的矢量表示，也可以用角度表示。

在步骤S36，进行将步骤S35确定的视线方向的基准(基准值)保存到基准保存部13c的处理，然后结束处理。在基准保存部13c中，与视线方向的基准(基准值)一并，还可以保存关于特定的行驶状态的信息、日期时间数据、驾驶环境数据(比如车外照明度数据)等附加信息。

另外，在基准保存部13c，对于每位驾驶员可以是保存一个视线方向的基准，还可以保存多个视线方向的基准。比如可以与车辆2的行驶速度范围(中速范围、高速范围)相对应地，确定各速度范围的视线方向的基准并保存。另外，还可以与车辆2的车头灯的开/关(昼/夜)相对应地，确定各自的视线方向的基准并保存。由此可以与推定驾驶员朝向正面时的视线方向发生微妙变化时的车辆2的行驶状态相对应，分别确定各自的视线方向的基准。

接着关于信息处理装置10A的控制单元12A所进行的把握驾驶员状态的处理(监控)和基准(基准值)变更处理进行说明。

图9是显示实施方式(2)涉及的信息处理装置10A的控制单元12A所进行的把握驾驶员状态(监控)的处理动作的一个实例的流程图。相机20拍摄每秒指定帧数的图像。控制单元12A以时间数列取得这些拍摄的图像，按照每个帧或者每指定间隔的帧进行本处理。

步骤S21到步骤S25所进行的处理，与图6所说明的从步骤S21到步骤S25的处理相同，所以这里省略对其说明。另外，在基准保存部13c中保存有与车辆2的行驶状态相对应的多个视线方向的基准时，在步骤S21进行视线方向的检测处理后，在步骤S22，可以进行下一个处理。即进行取得车辆信息，判定车辆2的行驶状态，从基准保存部13c读出与该判定的行驶状态相对应的视线方向的基准，算出从所述视线方向的基准的偏离的处理。

在步骤S23，如果控制单元12A判断为从所述基准的偏离没有超过第1范围，则进行步骤S26的基准变更处理。关于步骤S26的基准变更处理，利用图10所示的流程图进行说明。

图10是显示实施方式(2)涉及的信息处理装置10A的控制单元12A进行的基准变更处理动作的一个实例的流程图。

首先在步骤S41，控制单元12A判断步骤S22算出的、从视线方向的基准(基准值)的偏离，是否超过被视为注视显示该基准值方向(正面)的第2范围(视线的角度范围)(是否是第2范围外)。另外第2范围是比第1范围更狭小的角度范围，比如可以设定为从视线方向的基准起向上下或者左右±5度左右的角度范围。

在步骤S41，如果判断从视线方向的基准(基准值)的偏离没有超过第2范围，换言之如果判断驾驶员的脸部朝向所述基准值的显示方向(被视为正面的方向)，则结束处理。另一方面，在步骤S41，如果判断为从视线方向的基准(基准值)的偏离超过第2范围(从被视为视线方向正面的方向偏离少许的状态)，则进行步骤S42。

在步骤S42，控制单元12A将步骤S23算出的从基准值的偏离信息(即在第1范围内，且超过第2范围的状态的偏离信息)与该图像的视线方向的检测信息相关联，保存到储存部13e，进行步骤S43。另外，在其他实施方式中，在步骤S42之前，判定车辆2是否处于特定的行驶状态(进行与图8的步骤S32同样的处理)，当处于特定的行驶状态时，进行步骤S42的处理。通过所涉及的构成能够将变更基准值时的条件设为一定。

在步骤S43，控制单元12A从储存部13e读出与所述偏离信息相关联的图像的视线方向的检测信息，判断从基准值的偏离显示为指定方向(大致同一方向)的图像是否以指定的频率(或者比率)被检测。即判断驾驶员的视线方向从基准值的正面方向向指定方向偏离少许的状态(没达到往旁边看的程度的状态)是否为频繁发生。

在步骤S43，如果判断显示从基准值的偏离为指定方向的图像没有被以指定频率检测出时，结束其后的处理，如果判断为以指定的频率被检出时，进行步骤S44。

在步骤S44，控制单元12A进行变更视线方向的基准的处理。比如为了使所述偏向指定方向的视线方向的状态易于被判断为驾驶员的视线方向的正面，而进行变更基准值的处理，然后进行步骤S45。具体地，比如视线方向从基准值的偏离为发生向下3°左右时，将基准值向下补正3°，或者变更使其接近3°(为了使偏离变小)。

在步骤S45，将步骤S44所变更的基准值保存到基准保存部13c，然后结束处理。通过这样进行基准值变更，比如即使由于长时间的驾驶或者驾驶环境的变化(天气变化或者时间带)等导致姿势变化，驾驶员的视线方向在不经意间慢慢发生变化时，也能够设定对于该变化状态下的驾驶员的正面的视线方向为视线方向的基准，能够提高视线方向的检测精度。

(作用·效果)

根据上述实施方式(2)涉及的信息处理装置10A，判定部12g判定车辆2是否处于特定的行驶状态，检测部12b检测处于所述特定的行驶状态时的驾驶员的视线方向，将该检测的驾驶员的视线方向信息储存到储存部13e。然后根据储存的处于所述特定的行驶状态时的驾驶员的视线方向，由基准确定部12c确定对于该驾驶员来说的视线方向的基准，利用视线方向的基准，由算出部12d算出对于该驾驶员的视线方向。

因此能够确定与特定的行驶状态以及驾驶员的视线方向的个人差异所对应的视线方向基准，通过利用该视线方向的基准，能够在不给控制单元12A增加处理负担的情况下，提高对于所述驾驶员来说的视线方向的检测精度。另外，由于通过基准变更部12h能够变更基准确定部12c所确定的视线方向的基准，所以能够总是进行精度高的视线方向的检测。

另外，根据上述实施方式(2)涉及的驾驶员监控系统1A，由于具备信息处理装置10A和相机20，所以能够廉价地实现可以获得信息处理装置10A的各种效果的驾驶员监控系统。另外在上述实施方式中，关于将驾驶员监控系统1、1A应用于车辆2的情形进行了说明，还可以应用于车辆以外的其他的交通工具。

以上详细说明了本发明的实施方式，但是上述说明在所有方面只不过是本发明的一个实例。在不脱离本发明的范围内，还可以进行各种改良和变更。

例如，在上述实施方式中，是能够检测驾驶员的视线方向的构成，还可以是替代驾驶员的视线方向，信息处理装置检测视线方向的同时检测驾驶员的脸部朝向，确定该脸部朝向的基准，利用该基准，算出驾驶员的脸部朝向的构成。

附注

本发明的实施方式还可以是如下附注所述，但并不限于此。

(附注1)

一种信息处理装置(10)，其特征在于，所述信息处理装置(10)具备取得车辆(2)的驾驶员(D)的包括脸部图像(21)的图像取得部(12a)、由图像取得部(12a)取得的图像(21)检测驾驶员(D)的视线方向(V)的检测部(12b)、储存检测部(12b)的检测结果的储存部(13b)、利用储存部(13b)储存的所述检测结果，确定对于驾驶员(D)的视线方向的基准的基准确定部(12c)。

(附注2)

一种驾驶员监控系统(1)，其特征在于，所述驾驶员监控系统(1)具备信息处理装置(10)以及至少一个拍摄图像取得部(12a)所取得的驾驶员(D)的包含脸部图像(21)的相机(20)。

(附注3)

一种信息处理方法，其特征在于，所述信息处理方法实行包括取得车辆(2)驾驶员(D)的包含脸部图像(21)的图像取得步骤(S11)、

由通过图像取得步骤(S11)取得的图像(21)检测驾驶员(D)的视线方向(V)的检测步骤(S15)、

将检测步骤(S15)的检测结果储存到储存部(13b)的储存步骤(S16)、

通过利用储存部(13b)储存的所述检测结果，确定对于驾驶员(D)的视线方向的基准的基准确定步骤(S3)的步骤。

(附注4)

一种信息处理程序，其特征在于，所述信息处理程序在至少一台计算机(12)上实行取得车辆(2)驾驶员(D)的包含脸部图像(21)的图像取得步骤(S11)、

由通过图像取得步骤(S11)取得的图像(21)检测驾驶员(D)的视线方向的检测步骤(S15)、

将检测步骤(S15)的检测结果储存到储存部(13b)的储存步骤(S16)、

通过利用储存部(13b)储存的所述检测结果，确定对于驾驶员(D)的视线方向的基准的基准确定步骤(S3)。

Claims (18)

1.一种信息处理装置，其特征在于，所述信息处理装置具备：

图像取得部、用以取得车辆驾驶员的包含脸部的图像；

检测部、用以由所述图像取得部取得的所述图像检测所述驾驶员的视线方向；

储存部、用以储存所述检测部的检测结果；

基准确定部、用以通过利用所述储存部储存的所述检测结果，确定对于所述驾驶员的视线方向的基准。

2.根据权利要求1所述的信息处理装置，其特征在于，所述基准确定部将由所述储存部储存的所述检测结果所求出的视线方向的最频值确定为所述基准。

3.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具备算出部，用以利用所述基准确定部确定的所述基准，从所述图像算出相对于所述基准的所述驾驶员的视线方向。

4.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具备处理部，用以基于所述算出部算出的相对于所述基准的所述驾驶员的视线方向，进行指定的处理。

5.根据权利要求4所述的信息处理装置，其特征在于，所述信息处理装置具备通知部，用以将由所述处理部处理的结果通知给所述驾驶员。

6.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具备用以保存由所述基准确定部确定的所述基准的基准保存部；

所述算出部利用从所述基准保存部读出的所述基准，由所述图像算出相对于所述基准的所述驾驶员的视线方向。

7.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具备基准变更部，用以变更由所述基准确定部确定的所述基准。

8.根据权利要求7所述的信息处理装置，其特征在于，在所述算出部算出的、相对于所述基准的所述驾驶员的视线方向与所述基准之间的差，以在指定范围内的状态持续时，所述基准变更部为了缩小所述差而补正所述基准。

9.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具备信息取得部和判定部；

所述信息取得部用以取得关于所述车辆行驶状态信息；

所述判定部用于根据所述信息取得部取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定部根据所述判定部判定的处于所述特定的行驶状态时的所述视线方向，确定所述基准。

10.根据权利要求9所述的信息处理装置，其特征在于，所述特定的行驶状态是所述车辆直行前进的行驶状态。

11.根据权利要求9所述的信息处理装置，其特征在于，所述信息取得部至少取得所述车辆的车速信息以及所述车辆的操纵信息；

当所述车辆的车速在指定的速度范围内，且所述车辆处于指定的非操纵状态时，所述判定部判定所述车辆处于特定的行驶状态。

12.根据权利要求9所述的信息处理装置，其特征在于，所述信息取得部至少取得所述车辆的加减速信息以及所述车辆的倾斜信息中的任一项；

所述判定部将所述车辆处于指定的加速或者减速状态的情形、或者所述车辆处于指定的倾斜姿势的情形，从所述车辆处于特定的行驶状态中除去。

13.根据权利要求9所述的信息处理装置，其特征在于，所述信息取得部取得所述车辆的位置信息和所述车辆的周边地图信息；

在所述车辆沿直线道路移动时，所述判定部判定所述车辆处于特定的行驶状态。

14.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具备识别部，用以识别所述驾驶员；

所述基准确定部按照所述识别部识别的每位驾驶员，确定所述基准。

15.一种驾驶员监控系统，其特征在于，所述驾驶员监控系统包括权利要求1～14中任一项所述的信息处理装置和至少一个相机，所述相机用以拍摄所述图像取得部取得的所述驾驶员的包括脸部的图像。

16.一种信息处理方法，其特征在于，所述信息处理方法实行包括图像取得步骤、检测步骤、储存步骤和基准确定步骤的步骤；其中，

所述图像取得步骤用来取得车辆驾驶员的包含脸部的图像；

所述检测步骤用来从所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向；

所述储存步骤用来将所述检测步骤的检测结果储存在储存部；

所述基准确定步骤用来通过利用储存在所述储存部的所述检测结果，确定对于所述驾驶员的视线方向的基准。

17.一种信息处理程序，其特征在于，所述信息处理程序在至少一台计算机上实行图像取得步骤、检测步骤、储存步骤以及基准确定步骤；其中，

所述图像取得步骤用来取得车辆驾驶员的包含脸部的图像；

所述检测步骤用来从所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向；

所述储存步骤用来将所述检测步骤的检测结果储存在储存部；

所述基准确定步骤用来通过利用储存在所述储存部的所述检测结果，确定对于所述驾驶员的视线方向的基准。

18.一种计算机可读取的保存媒体，是保存有计算机程序的计算机可读取的保存媒体，其特征在于，所述计算机可读取的保存媒体保存有用来在至少一台计算机上实行图像取得步骤、检测步骤、储存步骤以及基准确定步骤的程序，其中，

所述图像取得步骤用以取得车辆驾驶员的包含脸部的图像；

所述检测步骤用来从所述图像取得步骤取得的所述图像检测所述驾驶员的视线方向；

所述储存步骤用来将所述检测步骤的检测结果储存到储存部；

所述基准确定步骤用来通过利用储存在所述储存部的所述检测结果，确定对于所述驾驶员的视线方向的基准。