CN109774723A - 信息处理装置、方法和程序、驾驶员监控系统及保存媒体 - Google Patents

Abstract

本发明的目的在提供一种信息处理装置、方法和程序、驾驶员监控系统及保存媒体，能够提高车辆驾驶员的脸部朝向的检测精度，该信息处理装置具有取得车辆驾驶员的包含脸部图像的图像取得部、由该图像取得部所取得的所述图像检测所述驾驶员的脸部朝向的检测部、获取关于所述车辆行驶状态的信息的信息取得部、根据该信息取得部取得的所述信息，判定所述车辆是否处于特定行驶状态的第1判定部、基于该第1判定部判定的处于所述特定行驶状态时的所述驾驶员的脸部朝向，确定所述驾驶员的脸部朝向基准的基准确定部。

Description

信息处理装置、方法和程序、驾驶员监控系统及保存媒体

技术领域

本发明涉及一种信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体。

背景技术

近年来，有提案通过相机拍摄驾驶员的脸部图像来检测驾驶员的脸部朝向和视线方向，并基于该检测出的驾驶员的脸部朝向和视线方向等，判定车辆行驶时驾驶员状态的技术。

例如在专利文件1中，公开了根据相机拍摄的驾驶员的脸部图像求出的眼球中心位置和瞳孔中心位置，检测驾驶员的视线方向的技术。另外，专利文件2中，公开了由相机拍摄的驾驶员的脸部图像确定脸部的中央线，根据自该中央线到脸部轮廓位置的距离，检测以正面方向为0度时脸部向左右方向的朝向度数的技术。

上述专利文件1、2中所公开的检测驾驶员的脸部朝向和视线方向的技术，是以装置中事先设定的正面方向为基准来推定驾驶员的脸部朝向和视线方向的。但即使是驾驶员在注视车辆行进方向的正面的情形下，驾驶员的脸部朝向，比如上下朝向、左右朝向、向左右的倾斜程度等也会因人而异。另外，即使是同一个驾驶员，也会由于驾驶环境等不同使得在注视车辆行进方向正面时的状态下，脸部的朝向有所变化的情况。

上述专利文件1、2所公开的以往技术中，由于没有考虑相对于车辆行进方向的正面时的驾驶员脸部朝向的个人差异，所以存在不能精度良好地检测所述驾驶员的脸部朝向的课题。

专利文献

专利文件1:特开2007-68917号公报

专利文件2:特开2009-232945号公报

发明内容

本发明是基于上述课题而完成的，目的在于提供一种能够提高车辆驾驶员的脸部朝向的检测精度的信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体。

为了实现上述目的，本发明涉及的信息处理装置(1)，其特征在于，所述信息处理装置具备：

图像取得部、用以取得车辆驾驶员的包括脸部的图像；

检测部、用以从所述图像取得部取得的所述图像检测所述驾驶员的脸部朝向；

信息取得部、用以取得关于所述车辆的行驶状态的信息；

第1判定部、用以根据所述信息取得部取得的所述信息，判定所述车辆是否处于的特定行驶状态；

基准确定部、用以根据所述第1判定部判定的处于所述特定的行驶状态时的所述驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

根据上述信息处理装置(1)，由所述第1判定部判定是否处于所述特定的行驶状态，由所述基准确定部根据判定为处于所述特定的行驶状态时的所述驾驶员的脸部朝向确定对于所述驾驶员的脸部朝向的基准。因此能够确定与所述驾驶员的脸部朝向的个人差异相对应的所述基准，通过利用该基准，能够提高所述驾驶员的脸部朝向的检测精度。

另外，本发明涉及的信息处理装置(2)，其特征在于，在上述信息处理装置(1)中，还具备第2判定部，用以判定当所述第1判定部判定为处于所述特定的行驶状态时的所述驾驶员的脸部朝向的变化；

所述基准确定部根据所述第2判定部判定的所述驾驶员的脸部朝向没有变化时的所述驾驶员的脸部朝向，确定所述基准。

根据上述信息处理装置(2)，由于是根据判定为处于所述特定的行驶状态、且所述驾驶员的脸部朝向没有变化时的所述驾驶员的脸部朝向来确定所述基准的，所以能够提高所述基准的精度。

另外，本发明涉及的信息处理装置(3)，其特征在于，在上述信息处理装置(1)或者(2)中，还具有算出部，所述算出部利用所述基准确定部确定的所述基准、由所述图像算出相对于所述基准的所述驾驶员的脸部朝向。

根据上述信息处理装置(3)，由于是利用所述基准确定部确定的所述基准，算出所述驾驶员的脸部朝向，比如从所述基准的偏离，所以能够提高所述驾驶员脸部朝向的检测精度。

另外本发明涉及的信息处理装置(4)，其特征在于，在上述信息处理装置(3)中，还具有处理部，所述处理部根据所述算出部算出的相对于所述基准的所述驾驶员的脸部的朝向，进行指定的处理。

根据上述信息处理装置(4)，所述处理部能够根据所述算出部算出的相对于所述基准的所述驾驶员的脸部朝向，进行指定的处理。所述指定的处理，比如可以是判定所述驾驶员是否往别处看的处理，还可以是判定所述驾驶员的集中程度和疲劳程度等意识状态的处理。另外，也可以是将所述算出部算出的所述驾驶员的脸部朝向的相关信息发送到车载设备的处理等。

另外本发明涉及的信息处理装置(5)，其特征在于，在上述信息处理装置(4)中还具有通知部，所述通知部用以将所述处理部的处理结果通知给所述驾驶员。

根据上述信息处理装置(5)，通过所述通知部，能够将所述处理部的处理结果通知给所述驾驶员。

另外，本发明涉及的信息处理装置(6)，其特征在于，在上述信息处理装置(3)～(5)的任一项中，还具有基准保存部、用以保存由所述基准确定部确定的所述基准；

所述算出部通过利用从所述基准保存部读出的所述基准，由所述图像算出相对于所述基准的所述驾驶员的脸部朝向。

根据上述信息处理装置(6)，由于能够从所述基准保存部读出所述基准，算出所述驾驶员的脸部朝向，所以能够减少所述基准确定部确定所述基准的处理负担。

另外本发明涉及的信息处理装置(7)，其特征在于，在上述信息处理装置(3)～(6)的任一项中还具有基准变更部、用以变更所述基准确定部确定的所述基准。

根据上述信息处理装置(7)，由于所述基准变更部能够变更所述基准，所以能够合适地维持所述基准，能够持续进行精度高的脸部朝向的检测。

另外，本发明涉及的信息处理装置(8)，其特征在于，在上述信息处理装置(7)中，在所述算出部算出的相对于所述基准的所述驾驶员的脸部朝向与所述基准之间的差以在一定范围内的状态持续时，所述基准变更部为缩小所述差而补正所述基准。

根据上述信息处理装置(8)，即使是由于长时间驾驶或者驾驶环境的变化等原因，所述驾驶员的脸部朝向在不经意间有些许变化的情况下，因为能够适当地补正所述基准，所以能够持续地进行精度高的脸部朝向的检测。

另外本发明涉及的信息处理装置(9)，其特征在于，在上述信息处理装置(1)～(8)的任一项中，所述特定的行驶状态是指所述车辆直行前进的行驶状态。

根据上述信息处理装置(9)，根据所述车辆的直行前进的行驶状态下所述驾驶员的脸部朝向，确定所述基准，所以能够将推断所述驾驶员正在注视所述车辆的直行前进方向的状态下的所述驾驶员的脸部朝向作为所述基准。

另外，本发明涉及的信息处理装置(10)，其特征在于，在上述信息处理装置(1)～(8)的任一项中，所述信息取得部至少取得所述车辆的车速信息和所述车辆的操纵信息；

当所述车辆的车速在指定速度范围内、且所述车辆处于指定的非操纵状态时，所述第1判定部判定所述车辆处于特定的行驶状态。

根据上述信息处理装置(10)，在所述车辆的车速处于指定的速度范围内、且所述车辆处于指定的非操作状态时，判定所述车辆处于特定的行驶状态。因此能够根据推定所述驾驶员正在注视所述车辆的直行前进方向的状态时的所述驾驶员的脸部朝向，确定所述标准。

另外本发明涉及的信息处理装置(11)，其特征在于，在上述信息处理装置(1)～(8)的任一项中，所述信息取得部至少取得所述车辆的加减速信息以及所述车辆的倾斜信息中的任一种；

所述第1判定部将所述车辆处于指定的加速或者减速状态的情形，或者所述车辆处于指定的倾斜姿势的情形，从所述特定的行驶状态中除去。

根据上述信息处理装置(11)，因为在所述车辆处于指定的加速或者减速状态时，或者所述车辆处于指定的倾斜姿势时，所述驾驶员的脸部会摇动，脸部朝向会有可能变化，所以能够防止在这种状态下确定所述基准。

另外本发明涉及的信息处理装置(12)，其特征在于，在上述信息处理装置(1)～(8)的任一项中，所述信息取得部取得所述车辆的位置信息和所述车辆周边的地图信息；

当所述车辆沿直线道路移动时，所述第1判定部判定所述车辆处于特定的行驶状态。

根据上述信息处理装置(12)，根据所述车辆的位置信息和所述车辆周边的地图信息，在所述车辆沿直线道路移动时，判定所述车辆处于特定的行驶状态。因此可以根据推定所述驾驶员正在注视所述车辆的直行前进方向的状态时的所述驾驶员的脸部朝向，确定所述基准。

另外本发明涉及的信息处理装置(13)，其特征在于，在上述信息处理装置(1)～(12)的任一项中还具有识别部，所述识别部用以识别所述驾驶员，所述基准确定部按照所述识别部所识别的每个驾驶员，确定所述基准。

根据上述信息处理装置(13)，由所述识别部识别所述驾驶员，按照该识别的每个驾驶员，来确定所述基准，所以即使所述驾驶员不同，也能够按照每个驾驶员进行精度高的脸部朝向的检测。

另外本发明涉及的驾驶员监控系统，其特征在于，所述驾驶员监控系统具有上述(1)～(13)中的任一项信息处理装置以及至少一个相机，所述相机用来拍摄在所述图像取得部取得的所述驾驶员的包含脸部的图像。

根据上述驾驶员监控系统，能够低价实现可得到上述信息处理装置的任一项效果的驾驶员监控系统。

另外本发明涉及的信息处理方法，其特征在于，所述信息处理方法实行包括图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤的步骤；其中，

所述图像取得步骤用以取得车辆驾驶员的包含脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤用以根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤用以根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

根据上述信息处理方法，由所述判定步骤判定是否处于所述特定的行驶状态，根据所述基准确定步骤判定处于所述特定的行驶状态时的所述驾驶员的脸部朝向，确定对于所述驾驶员的脸部朝向基准。因此能够以与所述驾驶员的脸部朝向的个人差异相对应的形式，确定所述基准，通过利用所述基准，能够提高所述驾驶员的脸部朝向的检测精度。

另外本发明涉及的信息处理程序，其特征在于，所述信息处理程序在是至少在一台计算机上实行图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤的程序；

所述图像取得步骤用以取得车辆驾驶员的包括脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

根据上述信息处理程序，通过至少在一个计算机中实施上述各步骤，能够确定与所述驾驶员的脸部朝向的个人差异相对应的所述基准，通过利用所述基准，能够实现可以提高所述驾驶员的脸部朝向的检测精度的信息处理装置。

另外本发明涉及的计算机可读取的保存媒体，是保存有计算机程序的计算机可读取的保存媒体，其特征在于，所述计算机可读取的保存媒体保存有用来至少在一台计算机上实行图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤的程序；

所述所述图像取得步骤用以取得车辆驾驶员的包括脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

根据上述计算机可读取的保存媒体，通过在至少一台计算机上，读取所述程序并实施上述各步骤，能够确定与所述驾驶员的脸部朝向的个人差异相对应的所述基准，通过利用所述基准，能够实现可提高所述驾驶员的脸部朝向的检测精度的信息处理装置。

附图说明

图1是显示包括实施方式涉及的信息处理装置的驾驶员监控系统在车辆上应用的实例的概略图。

图2是显示具有实施方式涉及的驾驶员监控系统的车载系统的构成实例的方框图。

图3是显示实施方式涉及的信息处理装置的硬件构成的一个实例的方框图。

图4是显示实施方式涉及的信息处理装置中控制单元进行基准确定处理动作的一个实例的流程图。

图5是显示实施方式涉及的信息处理装置中控制单元进行脸部朝向检测处理动作的一个实例的流程图。

图6是显示实施方式涉及的信息处理装置中控制单元进行监控处理动作的一个实例的流程图。

图7是显示实施方式涉及的信息处理装置中控制单元进行基准变更处理动作的一个实例的流程图。

符号说明

1...驾驶员监控系统；2...车辆；3...车载设备；4...车载系统；10...信息处理装置；11...输入输出I/F；12...控制单元；12a...图像取得部；12b...检测部；12c...信息取得部；12d...第1判定部；12e...第2判定部；12f...基准确定部；12g...算出部；12h...处理部；12i...基准变更部；13...保存单元；13a...图像保存部；13b...脸部朝向保存部；13c...参数保存部；13d...基准保存部；13e...程序保存部；20...相机；30...自动驾驶控制装置；31...操纵传感器；32...加速踏板传感器；33...刹车踏板传感器；34...操纵控制装置；35...动力源控制装置；36...制动控制装置；37...通知装置；38...起动开关；39...周边监视传感器；40...GPS接受机；41...陀螺仪传感器；42...车速传感器；43...导航装置；44...通信装置；50...通信线；51...动力单元；52...方向盘；53...操纵装置。

具体实施方式

以下基于附图说明本发明涉及的信息处理装置、驾驶员监控系统、信息处理方法、信息处理程序以及保存媒体的实施方式。

应用例

图1是显示包括实施方式涉及的信息处理装置的驾驶员监控系统在车辆上应用实例的概略图。

驾驶员监控系统1包括为掌握车辆2驾驶员D的状态而进行信息处理的信息处理装置10以及拍摄驾驶员D的包括脸部的图像的相机20而构成。

信息处理装置10与搭载在车辆2的车载设备3连接，从车载设备3可以取得有关车辆2的行驶状态的各种信息，同时能够向车载设备3输出控制信号等。信息处理装置10与控制单元、保存单元、输入输出接口等电连接而构成。

在车载设备3上除了对车辆2的动力源、操纵机构、控制机构等进行控制的各种控制装置外，还可以具有提示车辆2的各种信息的提示装置、与车外进行通信的通信装置、检测车辆2状态以及车外状态的各种传感器等。另外车载设备3还可以通过车载网络，比如CAN(Controller Area Network控制器区域网络)以可以相互通信的方式构成。

所述控制装置可以包括自动控制车辆2的加减速、操纵以及制动中的任一项驾驶操作，支援驾驶员的驾驶操作的驾驶支援控制装置。另外，所述控制装置中还可以包括自动控制车辆2的加减速、操纵以及制动中的多个或者全部驾驶操作的自动驾驶控制装置。所述提示装置中可以包括导航装置、通知装置、各种用户接口。另外，信息处理装置10可以纳入车载设备3的一部分中。

相机20是拍摄驾驶员D的装置，例如包括未图示的镜头部、拍摄元件部、光照射部、接口部、控制这些各部件的控制部等而构成。所述拍摄元件部包括CCD(Charge CoupledDevice电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物半导体)等拍摄元件、滤光片、微透镜等而构成。所述拍像元件部包括接受可视领域的光，形成拍摄图像的元件之外，还可以包括接受紫外线或者红外线，形成拍摄图像的CCD、CMOS、或者光敏二极管等的红外线传感器。所述光照射部包括LED(Light Emitting Diode发光二极管)等发光元件，另外，还可以使用不分昼夜都可以拍摄驾驶员状态的红外线LED等。所述控制部包括如CPU((Central Processing Unit中央处理单元)、保存器、图像处理回路等而构成。所述控制部控制所述拍摄元件部和所述光照射部，从该光照射部照射光(比如近红外线等)，在所述拍摄元件部进行对该反射光进行拍摄的控制等。相机20以一定的帧滞后(比如每秒30～60帧)拍摄图像，相机20所拍摄的图像数据被输出至信息处理装置10。

相机20的数量可以是1台，也可以是2台以上。另外，相机20可以是与信息处理装置10非一体(以另外的框体)构成，还可以是与信息处理装置10一体(同一个框体)而构成。相机20可以是单目相机，也可以是立体相机。

相机20在车内的设置位置只要是在至少能够拍摄驾驶员D的包含脸部的视野的位置，就没有特殊限定。比如可以除了在车辆2的控制板中央附近之外、还可以设置在方向盘部分、方向盘柱部分、仪表盘部分、后视镜附近位置、A柱部分或者导航装置上等。另外，包括相机20的式样(画角或者图像素(横x竖)等)以及位置姿势(安装角度或者自指定的原点(方向盘中央位置等)起的距离等)的信息也可以保存在相机20或者信息处理装置10中。

作为为了把握车辆2驾驶员D的状态的信息处理之一，信息处理装置10进行把握驾驶员D的脸部朝向的处理。另外信息处理装置10的特征之一在于在进行把握驾驶员D的脸部朝向处理时所利用的、确定对于驾驶员D的脸部朝向的基准的处理。

如背景技术中所记载的那样，即使驾驶员正在注视车辆前进方向的正面的状态下，驾驶员的脸部朝向，比如上下朝向，左右朝向，左右的偏斜程度也会有个人差异。另外即使是同一个驾驶员，也会由于驾驶环境等不同使在注视车辆前进方向正面的状态时脸部的朝向有所变化。

因此在信息处理装置10中，在进行把握驾驶员的脸部朝向的处理时，为了即使所述脸部的朝向有个人差异，也能够以高的精度检测脸部朝向而确定对于驾驶员D的脸部朝向的基准。信息处理装置10是通过利用驾驶员D的脸部朝向的基准来提高驾驶员的脸部朝向的检测精度的装置。

具体地，信息处理装置10取得相机20所拍摄的图像，由该图像检测驾驶员的脸部朝向。另外，信息处理装置10由车载设备3取得关于车辆2的行驶状态的信息，进行判断车辆2是否处于特定的行驶状态的处理。

驾驶员D的脸部朝向中，比如如图像示例21所示，包括围绕驾驶员D的脸部的X轴(左右轴)的角度(上下朝向)的俯仰角(Pitch)、围绕脸部的Y轴(上下轴)的角度(左右朝向)的偏航角(Yaw)以及围绕脸部的Z轴(前后轴)的角度(左右倾向)的滚转角(Roll)角中的至少一个。

关于车辆2的行驶状态的信息包括如从车载设备3取得的车辆2的速度信息和操纵信息。这些信息是后述“车辆信息”的一个例子。该车辆信息还可以是从以CAN所连接的车载设备3中取得的数据。另外，所述特定的行驶状态，比如是车辆2的车速在指定的车速范围内，且处于非操纵状态时的行驶状态，换言之，可以是车辆2处于直行前进的行驶状态。

接着，信息处理装置10根据判定车辆2处于特定的行驶状态时的驾驶员D的脸部朝向，进行处理，确定对于驾驶员D的脸部朝向的基准。作为具体实例，比如信息处理装置10判断车辆2处于特定的行驶状态时的驾驶员D的脸部朝向的变化，根据判断为驾驶员D的脸部朝向处在没有变化的状态时的驾驶员的脸部朝向，进行确定驾驶员D的脸部朝向的基准处理。

所述脸部朝向的基准可以是判断车辆2处于特定的行驶状态，且驾驶员处于脸部朝向没有变化的状态时，由一个以上的图像检测出的显示驾驶员的脸部朝向的上述俯仰角、偏航角、滚转角中的至少一个值、这些值的平均值或者被检测出的频率最多的值(最频值)等的数值作为显示所述基准的值(基准值)使用。

在本实施方式中，信息处理装置10从相机20取得驾驶员D的图像，在由取得的图像检测驾驶员D的脸部朝向的同时，取得关于车辆2的行驶状态的信息，根据取得的所述信息，判断车辆2是否处在特定的行驶状态。

进而信息处理装置10判断车辆2处于特定的行驶状态时的驾驶员的脸部朝向的变化，根据判断为驾驶员的脸部朝向没有变化时的所述驾驶员的脸部朝向，确定该驾驶员的脸部朝向的基准。因此可以确定与驾驶员D的脸部朝向的个人差异相对应的所述脸部朝向的基准，通过利用确定的所述脸部朝向的基准，在不受因驾驶员不同而导致的不同脸部朝向的个人差异的影响下，提高驾驶员D的脸部朝向的检测精度。

另外以往实行的一般的相机校准方法是使驾驶员注视指定的开关等，取得所述开关与驾驶员的位置关系，由取得的位置关系进行校准的方法。因此驾驶员必须有意识地进行某种操作或者注视，费工夫又麻烦，而本实施方式中，不需要驾驶员有这种意识，就可以确定脸部朝向的基准，所以使用上的便利性得到提高。

(构成例)

图2是显示搭载有实施方式涉及的驾驶员监控系统的车载系统的一个实例的方框图。

车载系统4包括驾驶员监控系统1和自动驾驶控制装置30而构成。驾驶员监控系统1包括上述信息处理装置10和相机20而构成。关于信息处理装置10的硬件构成后述。另外本实施方式中，关于在车载系统4上应用自动驾驶系统的一个实例进行说明，但可以应用的系统不限于此。

自动驾驶控制装置30可以具备切换自动驾驶模式和驾驶员进行驾驶操作的手动驾驶模式而构成，其中自动驾驶模式是包括车辆2的加减速、操纵以及制动的行驶控制中至少一部分或者全部的驾驶操作以系统为主体自动进行的驾驶模式。

自动驾驶是指驾驶员不进行驾驶操作，通过自动驾驶控制装置30所进行的控制，使车辆2自动行驶的驾驶。所述自动驾驶可以是美国汽车技术会(SAE)所提出的自动驾驶水平的水平1(支援驾驶员)，水平2(部分自动驾驶)、水平3(带条件自动驾驶)、水平4(高度自动驾驶)以及水平5(完全自动驾驶)中的任意一种水平。另外，手动驾驶是指驾驶员作为进行驾驶操作的主体，使车辆2行驶的驾驶。

车载系统4中除了驾驶员监控系统1以及自动驾驶控制装置30外，还包括自动驾驶和手动驾驶的各种控制所必须的传感器和控制装置等。例如包括操纵传感器31、加速踏板传感器32、刹车踏板传感器33、操纵控制装置34、动力源控制装置35、制动控制装置36、通知装置37、起动开关38、周边监视传感器39、GPS接受机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等而构成。这些各种传感器或者控制装置通过通信线50电连接。

另外车辆2上还具备作为引擎和马达等的动力源的动力单元51、包括驾驶员操纵的方向盘52的操纵装置53。

自动驾驶控制装置30是实行有关车辆2的自动驾驶的各种控制的装置，由具有未图示的控制部、保存部、输入输出部等的电子控制单元而构成。所述控制部包括一个以上的硬件处理器、读出所述保存部保存的程序，实行各种车辆控制。

自动驾驶控制装置30除了信息处理装置10之外，还与操纵传感器31、加速踏板传感器32、刹车踏板传感器33、操纵控制装置34、动力源控制装置35、制动控制装置36、周边监视传感器39、GPS(Global Positioning System)接受机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等连接。自动驾驶控制装置30根据从这些各部件所取得的信息，将用来进行自动驾驶的控制信号输出到各控制装置，进行车辆2的自动操纵、自动速度调整、自动制动等的自动驾驶控制。

另外自动驾驶控制装置30还可以在满足预先确定的条件时，结束自动驾驶。比如自动驾驶控制装置30在判断自动驾驶中的车辆2到达了预先确定的自动驾驶的终点地点时、在判断驾驶员的姿势为可进行手动驾驶的姿势时、结束自动驾驶。另外自动驾驶控制装置30还可以在驾驶员进行自动驾驶解除操作(比如自动驾驶解除按键的操作、驾驶员对方向盘52、加速或者刹车的操作等)时，进行结束自动驾驶的控制。

操纵传感器31是用来检测对方向盘52的操纵量的传感器，比如对设置在车辆2的操纵轴的、由驾驶员施给方向盘52的操纵扭矩或者对方向盘52的操纵角进行检测。操纵传感器31所检测的与驾驶员的方向盘操作相对应的信号被输出到自动驾驶控制装置30和操纵控制装置34中的至少一方。

加速踏板传感器32是检测对加速踏板的踩压量(加速踏板的位置)的传感器，比如设置在加速踏板的传动轴部分。加速踏板传感器32检测出的与加速踏板的踩压量相对应的信号被输出到自动驾驶控制装置30和动力源控制装置35中的至少一方。

刹车踏板传感器33是检测刹车踏板的踩压量(刹车踏板的位置)或者操作力(踩踏力等)的传感器。与刹车踏板传感器33所检测出的对刹车踏板的踩踏量和操作力相对应的信号被输出到自动驾驶控制装置30和制动控制装置36的至少一方。

操纵控制装置34是控制车辆2的操纵装置(如电动动力转向装置)53的电子控制单元。操纵控制装置34通过驱动控制车辆2的操纵扭矩的马达而控制车辆2的操纵扭矩。另外，在自动驾驶模式下，操纵控制装置34根据自动驾驶控制装置30的控制信号，控制操纵扭矩。

动力源控制装置35是控制动力单元51的电子控制单元。动力源控制装置35通过控制对引擎的燃料供给量以及空气供给量或者对于马达的电供给量而控制车辆2的驱动力。另外，在自动驾驶模式下，动力源控制装置35根据自动驾驶控制装置30的控制信号，控制车辆2的驱动力。

制动控制装置36是控制车辆2的刹车系统的电子控制单元。制动控制装置36通过调整施加给液压刹车系统的液压而控制施以车辆2的车轮的制动力。另外，在自动驾驶模式下，制动控制装置36根据自动驾驶控制装置30的控制信号，控制对车轮的制动力。

通知装置37是用来将指定的信息传递、通知给驾驶员的装置。通知装置37包括将各种指引或者警告等以声或声音的方式输出的声音输出部、将各种指引或者警告以文字或者图形形式表示、以亮灯形式表示的表示输出部、或者使驾驶员坐席或方向盘等震动的震动通知部(任一种都未图示)等而构成。通知装置37根据信息处理装置10或者自动驾驶控制装置30等输出的控制信号进行动作。

起动开关38是使动力单元51起动以及停止的开关，由使引擎起动的点火开关和使行驶用马达起动的动力开关等构成。起动开关38的操作信号可以输入到信息处理装置10或者自动驾驶控制装置30。

周边监视传感器39是用来检测车辆2周边所存在的对象物的传感器。所述对象物可以包括汽车、自行车、人等移动物体，路面标识(白线等)、护栏、中央分离带、其他对车辆行驶有影响的构造物等。周边监视传感器39可以包括前方监视相机、后方监视相机、雷达(Radar)、激光雷达，即Light Detection and Ranging或者Laser Imaging Detection andRanging(LIDER、激光成像雷达)以及超声波传感器中的至少一种。周边监视传感器39所检测出的对象物的检测数据输出到自动驾驶控制装置30等。前方监视相机和后方监视相机可以采用立体相机或者单目相机等。雷达将毫米波等电波发送给到车辆周边，通过接受车辆周边所存在的对象物反射的电波来检测对象物的位置、方向、距离等。激光雷达将激光发送到车辆周边，通过接受车辆周边存在的对象物所反射的光来检测对象物的位置、方向、距离等。

GPS接收机40是通过未图示的天线接受自人工卫星的GPS信号，根据接受的GPS信号，进行推断本车位置的处理(GPS航法)的装置。在GPS接受机40，显示所推测的本车位置的位置信息被输出到自动驾驶控制装置30和导航装置43中的至少一方。另外，检测车辆2的本车位置的装置不限定为GPS接受机40，比如除GPS之外，还可以是与日本的准天顶卫星、俄罗斯的格洛纳斯(GLONASS)、欧洲的伽利略(Galileo)、中国的康帕斯(Compass)等其他卫星测位系统相对应的装置。

陀螺仪传感器41是用来检测车辆2的旋转角速度(偏航角速度)的传感器。陀螺仪传感器41检测出的旋转角速度信号被输出到自动驾驶控制装置30和导航装置43中的至少一方。

车速传感器42是检测车辆2的速度的传感器，比如以设置在车轮或者传动轴等上的用来检测车轮的旋转速度的车轮速度传感器等构成。显示车速传感器42所检测出的速度的车速信息，比如用来推测车速的脉冲信号被输出到自动驾驶控制装置30和导航装置43中的至少一方。

导航装置43根据GPS接受机40等所测量的车辆2的位置信息和地图数据库(未图示)的地图信息，推测车辆2的行驶道路和路线，演算出从车辆2的现在位置到目的地的路径等，将该路径显示在显示部(未图示)，从音声输出部(未图示)进行路径指引等的声音输出。导航装置43所求得的车辆2的位置信息、行驶道路的信息以及行驶预定路线的信息等还可以输出到自动驾驶控制装置30。行驶预定路线的信息可以包括自动驾驶区间的开始地点和结束地点、自动驾驶的开始预告地点和结束预告地点等与自动驾驶的切换控制相关联的信息。导航装置43包括未图示的控制部、表示部、声音输出部、操作部、地图数据保存部等而构成。

通信装置44是通过无线通信网，比如手机网、VICS(Vehicle Information andCommunication System道路交通情报通信系统)(注册商标)、DSRC(Dedicated ShortRange Communications专用短程通信技术)(注册商标)等的通信网，取得各种信息的装置。通信装置44还可以具有车辆之间的通信功能以及道路与车辆之间的通信功能。比如在道路旁边设置的道路一侧发送接收机，如通过光信标、ITS(Intelligent Transport Systems智能交通系统)地点(注册商标)等的道路与车辆之间的通信，取得车辆2行进道路上的道路环境信息(车辆线路规制等)。另外还可以通过车辆之间的通信，取得其他车辆的相关信息(位置信息、行驶控制等相关信息)和由其他车辆检测出的道路环境信息等。

图3是显示实施方式涉及的信息处理装置10的硬件构成的一个实例的图。

信息处理装置10包括输入输出接口(I/F)11、控制单元12以及保存单元13而构成。

输入输出I/F11与相机20、自动驾驶控制装置30、通知装置37等相连接，包括与这些外部设备间进行信号接受的接口回路和连接器等而构成。

控制单元12包括图像取得部12a、检测部12b、信息取得部12c、第1判定部12d、第2判定部12e以及基准确定部12f而构成。进而还可以包括算出部12g、处理部12h、基准变更部12i而构成。控制单元12包括Central Processing Unit(中央处理单元CPU)、Graphicsprocessing unit(图形处理单元GPU)等一个以上的硬件处理器而构成。

保存单元13包括图像保存部13a、脸部朝向保存部13b、参数保存部13c、基准保存部13d以及程序保存部13e而构成。保存单元13由Random Access Memory随机存取存储器(RAM)、Read Only Memory只读存储器(ROM)、硬盘驱动(HDD)、固体电路驱动(SSD)、闪速存储器、其他不挥发性保存器或者挥发性保存器等，通过半导体元件能够保存数据的一个以上的保存装置构成。另外，控制单元12中还可以包括RAM以及ROM而构成。

在图像保存部13a中，保存有图像取得部12a自相机20取得的驾驶员的图像。由检测部12b检测出的各图像的驾驶员脸部朝向的相关信息，被与保存在图像保存部13a的各图像相对应地保存在脸部朝向保存部13b。参数保存部13c中保存有第2判定部12e的判定所使用的、脸部朝向的界限值等各种参数。在基准保存部13d中保存有基准确定部12f所确定的驾驶员的脸部朝向基准的相关信息，比如显示基准的值(基准值)等。在程序保存部13e中保存有控制单元12的各部件所进行的信息处理程序和进行该程序所必要的数据等。

控制单元12进行将各种数据保存到保存单元13的处理。另外，控制单元12读出保存在保存单元13中的各种数据和各种程序，并实行这些程序。控制单元12与保存单元13一起配合，实行图像取得部12a、检测部12b、信息取得部12c、第1判定部12d、第2判定部12e以及基准确定部12f的动作，还有算出部12g、处理部12h和基准变更部12i的动作。

图像取得部12a进行从相机20取得以指定的帧滞后所拍摄的驾驶员的图像的处理，并进行将由相机20所取得的图像保存到图像保存部13a的处理等。

检测部12b将图像保存部13a中保存的图像按照每个帧或者每指定间隔的帧读出，进行从该图像检测驾驶员的脸部朝向的处理，将检测出的驾驶员脸部朝向的相关信息，与该图像相对应，进行保存到脸部朝向保存部13b的处理。

在关于驾驶员的脸部朝向的信息中，还可以包括显示由图像处理所检测出的驾驶员的脸部朝向的角度，比如上述偏航角、俯仰角以及滚转角中至少一个角度的信息。另外，在驾驶员脸部朝向相关信息中，还可以包括关于眼睛、鼻子、嘴、眉毛等脸部各器官的位置信息，比如显示脸部各器官的代表性或者特征性位置的特征点的相关信息。

信息取得部12c进行通过自动驾驶控制装置30取得关于车辆2的行驶状态的信息的处理，将取得的所述信息输出到第1判定部12d。信息取得部12c的处理与图像取得部12a的处理不分先后，这些处理可以同步进行。另外，信息取得部12c还可以不通过自动驾驶控制装置30，而由车载系统4的各部件取得所述信息。

在关于行驶状态的信息中，至少包括车辆2的车速信息和车辆2的操纵信息。在车速信息中包括车速传感器42所检测出的车速信息等。操纵信息中包括操纵传感器31检测出的操纵角和操纵扭矩或者陀螺仪传感器41所检测的旋转角速度等。

另外，信息取得部12c还可以取得车辆2的加减速信息以及车辆2的倾斜信息。加减速信息中包括如加速踏板传感器32以及刹车踏板传感器33所检测出的踏板的踩压量、动力源控制装置35所输出的驱动控制信号或者制动控制装置36所输出的制动控制信号等。车辆2的倾斜信息包括设置在车辆2上的倾斜传感器(未图示)所检测出的倾斜信息或者导航装置43所推断的本车位置的道路的倾斜信息等。

另外，信息取得部12c还可以取得车辆2的位置信息和车辆2的周边的地图信息。这些信息包括比如导航装置43所推断的本车位置和该本车位置的周边的地图信息等。

进而，信息取得部12c还可以取得车辆2的周边，特别是存在于行进方向上的其他车辆或者人等监视对象物的相关信息。这些信息包括比如周边监视传感器39所检测出的关于对象物的种类和到对象物的距离的相关信息等。

第1判定部12d根据信息取得部12c所取得的关于行驶状态的信息，进行判定车辆2是否处于特定的行驶状态的处理，将判定结果输出到第2判定部12e。所述特定的行驶状态包括推定驾驶员的脸部朝向的变化少，即脸部姿势稳定的行驶状态，比如车辆2直行的行驶状态。

更具体地，车辆2处于特定的行驶状态中，包括车辆2的车速在指定的速度范围内、且处在非操纵状态的情形。非操纵状态是指实质上没有进行方向盘52的操纵的状态。比如操纵传感器31所检测出的操纵角接近0°的窄的范围内时，或者操纵扭矩接近ON·m的窄范围内时等。另外，所述指定的速度范围没有特定限定，优选中速(40km/h)以上。因为可以设想出低速度时是车辆之间的距离窄或者道路狭窄时等驾驶员的脸部姿势为不稳定的状况。

另外，第1判定部12d可以由车辆2的位置信息和车辆2的周边地图信息判定车辆2处于直线道路移动情形为车辆2处于特定的行驶状态。所述直线道路例如是平坦的直线道路。是否为所述平坦，可以根据所述地图信息中包含的道路的坡度信息进行判断。

另外，第1判定部12d可以将车辆2处在指定的加速或者减速状态时的情形或者车辆2处在指定的倾斜姿势时的情形从特定的行驶状态中排除。指定的加速或者减速状态包括突然加速或者突然减速。指定的倾斜姿势包括在指定的坡度以上的坡路上行驶时的倾斜姿势。将这些情形从指定的行驶状态中除去的理由是驾驶员的脸部姿势不稳定，脸部朝向容易发生变化。

另外第1判定部12d还可以在周边监视传感器39所检测出的与其他车辆的距离处于显示车辆之间距离变窄的指定值以下的情形时，判定车辆2处在非特定的行驶状态。理由是可以设想出在车辆间距离窄的状态时，驾驶员的脸部姿势处于不稳定的状况。

第2判定部12e进行第1判定部12d判定为处在指定的行驶状态时，驾驶员的脸部朝向变化的判定处理，将判定结果输出到基准确定部12f。例如进行是否处于能够推定驾驶员的脸部朝向没有变化的状态的判定处理。具体地，由脸部朝向保存部13b读出对应于该图像的驾驶员的脸部朝向信息，所读出的驾驶员的脸部朝向在指定的范围内(比如相对于车辆的行进方向被视为正面方向的范围)，而且进行与前一个图像的驾驶员的脸部朝向的差是否在指定的界限值内(可以推定驾驶员的脸部朝向没有变化的范围)的判定处理。从参数保存部13c读出所述指定范围或者所述指定界限值等、进行判定所必需的参数。

基准确定部12f根据判定为驾驶员的脸部朝向没有变化时的驾驶员的脸部朝向，进行确定驾驶员脸部朝向基准的处理，进行将确定的所述脸部朝向基准的相关信息保存到基准保存部13d的处理。

具体地，首先判定第2判定部12e判定的能够推断驾驶员脸部朝向没有变化的状态是否持续指定时间以上。即由第2判定部12e判定是否可以持续指定时间(也可以是指定帧数以上)以上地取得显示处于能够推定驾驶员的脸部朝向没有变化的状态的判定结果(即每个图像的判定结果)。

如果判断为能够持续指定期间取得，则接着由脸部朝向保存部13b读取与所述指定期间所取得的图像相对应的驾驶员的脸部朝向的信息，利用读取的驾驶员的脸部朝向信息确定基准值。

显示驾驶员脸部朝向基准的基准值可以是显示驾驶员的脸部朝向的角度信息，比如上述偏航角、俯仰角以及滚转角中的至少一个角度的平均值，也可以是最频值。另外，还可以包括显示脸部各器官的位置的特征点的位置的平均值或最频值。

上述检测部12b、信息取得部12c、第1判定部12d、第2判定部12e、基准确定部12f以及脸部朝向保存部13b一起配合，进行确定驾驶员的脸部朝向的基准的处理。另一方面，算出部12g、处理部12h、以及基准保存部13d一起配合，进行把握(监控)驾驶员状态的处理。

算出部12g从基准保存部13d读出基准确定部12f所确定的脸部朝向的基准，利用脸部朝向基准，进行由图像取得部12a所取得的图像，算出相对于脸部朝向基准的驾驶员的脸部朝向(比如自基准值的偏离等)的处理，将算出结果输出到处理部12h。

处理部12h根据算出部12g算出的相对于脸部朝向的基准的驾驶员的脸部朝向(比如自基准值的偏离等)，进行指定的处理。指定的处理是比如进行判定是否处于往旁边看的状态，当处于往旁边看的状态时(例如左右方向的脸部朝向由基准值偏离一定值以上的情形)，可以是向通知装置37指示通知的处理，也可以是不进行通知处理，将往旁边看的脸部朝向的信息保存到保存单元13，输出到自动驾驶控制装置30的处理。

另外，处理部12h还可以进行集中程度和疲劳程度(包括困倦等)的判定处理，在集中程度低下或者疲劳程度高(比如下方的脸部朝向从基准值偏离指定值以上的情形)，进行指示向通知装置37通知的处理。另外，处理部12h也可以是取代通知处理，或者与通知处理同时地将集中程度低下或者疲劳程度高状态时的脸部朝向的信息保存到保存单元13的处理。另外，处理部12h还可以是不进行往旁边看的状态的判定等，进行将算出部12g所算出的脸部朝向的信息保存到保存单元13的处理。

另外，在由自动驾驶模式向手动驾驶模式转换时，进行驾驶员是否处于可以向手动驾驶交接的状态的判定处理，当判断为可以交接的状态时(比如脸部朝向自基准值的偏离在手动驾驶的合适的指定范围内)，指定的处理可以是向自动驾驶控制装置30输出许可向手动驾驶转换的信号的处理。

基准变更部12i进行对基准确定部12f所确定的脸部朝向的基准，比如进行变更基准值的处理，将变更的基准值保存到基准保存部13d的处理。比如在特定的行驶状态(如直行前进的行驶状态)时，算出部12g算出的所述驾驶员的脸部朝向与所述脸部朝向的基准之间的差在指定范围内的状态(比如脸部朝向从基准值偏离一定的方向，但是没达到往旁边看的状态)持续一定时间或者断断续续地持续时，为使所述差变小而变更所述脸部朝向的基准，比如可以是进行补正。另外，基准变更部12i所进行的处理中包括更换驾驶员时对脸部朝向基准的变更处理。

动作例

图4是显示实施方式涉及的信息处理装置10的控制单元12进行基准确定处理动作的一个实例的流程图。本处理动作可以在车辆2的起动开关38打开后，仅实行一定的期间，也可以在相机20起动期间随时实行。

首先在步骤S1，控制单元12进行检测驾驶员脸部朝向的处理。相机20拍摄每秒指定帧数的图像。控制单元12以时间数列取得这些拍摄的图像，按照每个帧或者每指定间隔的帧实施本处理。

图5是显示控制单元12实行的步骤S1的检测处理动作的一个实例的流程图。首先在步骤S11，控制单元12取得相机20所拍摄的图像，接着在步骤S12，控制单元12进行由取得的图像检测驾驶员脸部(比如脸部区域)的处理，然后进行步骤S13。

控制单元12实行的由图像检测脸部的方法没有特殊限定，优选使用高速高精度检测脸部的方法。比如脸的局部区域的明暗差(亮度差)和边缘强度、将这些局部区域间的关联性(共起性)作为特征量，将能够大致拍到脸部的识别器配置到分层构造的最开始地方，将能够拍取脸的细节的识别器配置到分层构造的深层位置，通过利用这样的分层检测器，能够高速实行从图像探索脸部区域的处理。

在步骤S13，控制单元12进行从步骤S12检测到的脸部区域，检测眼睛、鼻子、嘴、眉毛等脸部器官的位置和形状的处理。从图像中的脸部区域检测脸部器官的方法没有特别限定，优选采用高速高精度检测脸部器官的方法。比如可以采用制作三维脸部形状模型，使其适用到二维图像上的脸部区域，检测脸部各器官的位置和形状的方法。三维脸部形状模型，由与脸部各器官的特征点相对应的节点构成。根据该方法，能够与相机20的设置位置和图像中的脸部朝向等不相关地，准确地检测出脸部各器官的位置和形状。作为使三维脸部形状模型与图像中的人脸相适用的技术，比如可以使用特开2007-249280号公报所记载的技术，但是不限定于此。

就控制单元12将三维脸部形状模型与图像中的驾驶员的脸部相配合的处理实例进行说明。三维脸部形状模型具有将从正面观察脸部时的左右水平方向的轴作为X轴，将上下垂直方向的轴作为Y轴，把纵深(前后)方向的轴作为Z轴时沿X轴的旋转(俯仰角)、绕Y轴的旋转(偏航角)、绕Z轴的旋转(滚转角)，扩大缩小等的多个参数，通过利用这些参数，可以使三维脸部形状模型的形状变形。

另外，通过事先进行的误差相关学习，取得误差推定行列(变换行列)。所述误差推定行列是三维脸部形状模型的各器官的特征点配置到错误位置(与应该检测到各器官的特征点不同的位置)时应该向哪个方向修正的相关关系的学习结果，利用多变量回归，用来从特征点的特征量向上述参数的变化部分变换的行列。

首先，控制单元12根据脸部检测结果，在针对脸部位置、朝向、大小合适的位置上初期配置三维脸部形状模型。接着求出初期位置的各特征点的位置，计算各特征点的特征量。然后将在各特征点的特征量输入误差推定行列，求出对于正解位置附近的形状变化参数的变化程度(误差推定量)。然后在现在位置的三维脸部形状模型的形状变化参数中加算上述误差推定量，取得正解模型参数的推定値。然后判断取得的正解模型参数是否在正常范围内，处理是否完结。如果判断处理尚未完结，则获取根据取得的正解模型参数作成的新的三维脸部形状模型的各特征点的特征量，重复处理。另一方面，如果判断处理已经完结，则结束向正解位置附近的三维脸部形状模型的配置。根据控制单元12所进行的这些处理，三维脸部形状模型快速地配合到图像上的正解位置附近，由配合到正解位置的三维脸部形状模型算出脸部各器官的位置和形状。

在接下来的步骤S14，控制单元12根据步骤S13所求出的脸部各器官的位置和形状数据，检测驾驶员的脸部朝向。例如检测在上述正解位置附近所配置的三维脸部形状模型的参数中包含的、上下旋转(绕X轴旋转)的俯仰角、左右旋转(围绕Y轴旋转)的偏航角以及整体旋转(绕Z轴旋转)的滚转角中的至少一个作为驾驶员脸部朝向的相关信息。

在步骤S15，控制单元12将步骤S14检测的驾驶员脸部朝向的相关信息与该图像相对应，保存到脸部朝向保存部13b，然后结束处理，重复对下一个图像的脸部朝向的检测处理。

在图4所示的步骤S2中，控制单元12进行取得车辆2的行驶状态的相关信息(以下称为车辆信息)的处理。另外，步骤S1的处理和步骤S2的处理不分先后顺序。另外，步骤S1的处理与步骤S2的处理还可以同时进行。

车辆信息至少包括车辆2的速度信息和操纵信息。另外，作为车辆信息，可以取得车辆2的加减速信息和车辆2的倾斜信息。另外，还可以取得车辆2的位置信息和车辆2周边的地图信息。进而还可以取得车辆2的周边特别是前进方向上存在的其他车辆和人等监视对象物的相关信息。另外，车辆信息可以通过自动驾驶控制装置30取得，可以从车载系统4的各部分直接取得。

在下个步骤S3，控制单元12根据步骤S2所取得的车辆信息，进行判定车辆2是否处于特定的行驶状态的处理。特定行驶状态包括如车辆2直行前进的行驶状态。

在步骤S3，控制单元12判定处于特定的行驶状态时，比如根据车辆2的速度信息以及操纵信息，判定为车辆2的车速为指定的速度范围内(比如中速以上)，且判定为非操纵状态(实质上没有操纵的状态)时，或者根据车辆2的位置信息和车辆2的周边地图信息，判定车辆2在沿直线道路移动时，进行步骤S4。

另一方面，在步骤S3，控制单元12判定为处于非特定的行驶状态时，比如判定为车辆2的车速不在指定的速度范围(比如在低速范围)或者判定为处于操纵状态时，判定为进行急加速或者急减速的状态时，在指定坡度以上的坡路行驶时，或者判定为与其他车辆的距离在指定值以下、车辆之间的距离变窄的状态时，结束其之后的处理。

在步骤S4，控制单元12进行判定车辆2处于特定的行驶状态时的驾驶员的脸部朝向(也可以是头部)的变化的处理。例如利用步骤S1检测的驾驶员的脸部朝向的信息，进行是否处在可以推定驾驶员的脸部朝向没有变化的状态的判定处理。具体地，从脸部朝向保存部13b读取与该图像相对应的驾驶员的脸部朝向的信息，进行判定读取的驾驶员的脸部朝向是否在指定的范围内(比如相对于车辆2的前进方向被视为正面的范围)、且与前一个图像中的驾驶员的脸部朝向之间的差是否在指定的界限值(能够推定脸部朝向几乎没有变化的范围)内的处理。

在步骤S4，当控制单元12判定为不处在能够推定驾驶员的脸部朝向没有变化的状态，即脸部有一定程度以上的活动时，结束随后的处理；另一方面判定为处在能够推定驾驶员的脸部朝向没有变化的状态时，进行步骤S5。

在步骤S5，控制单元12判定车辆2处于特定的行驶状态且能够推定驾驶员的脸部朝向没有变化的状态是否持续指定时间。在步骤S5，在判定为持续指定时间时，进行步骤6；另一方面判定为没有持续指定时间时，结束随后的处理。是否持续指定时间，比如计算从能够推定驾驶员的脸部朝向没有变化的状态的图像被检测出开始的时间，判定所述能够推定的状态是否经过指定时间(比如10秒左右的时间)。或者计算能够推定驾驶员的脸部朝向没有变化的状态的图像的帧数，判定所述能够推定的状态的图像是否达到指定帧数(比如10秒左右的时间所能够取得的帧数)。

在步骤S6，控制单元12进行确定驾驶员的脸部朝向的基准的处理，然后进行步骤S7。具体地，从脸部朝向保存部13b读取所述指定期间所取得的各图像的驾驶员的脸部朝向的相关信息，利用所述各图像的驾驶员的脸部朝向的相关信息，确定基准。脸部朝向基准的判定方法可以将所述各图像的驾驶员的脸部朝向的平均值作为基准值，也可以将所述各图像的驾驶员的脸部朝向的最频值(被检测出的频率最多的值)作为基准值。驾驶员的脸部朝向的基准可以是显示驾驶员的脸部朝向的角度信息，比如可以是上述俯仰角、偏航角、滚转角中的至少一个角度信息的平均值，也可以是最频值。另外，还可以包括关于脸部各器官的位置的平均值或者最频值。

在步骤S7，控制单元12进行将步骤S6确定的脸部朝向的基准的相关信息保存到信息保存部13d的处理，然后结束处理。在基准保存部13d，还可以与脸部朝向基准(基准值)一并，同时保存日期时间数据、驾驶环境数据(比如车外光亮度数据)等的附加信息。

另外，在其他实施方式中，还可以在控制单元12上设置识别驾驶员的识别部(未图示)，按照每个识别部所识别的驾驶员，确定脸部朝向的基准。所述识别部可以通过利用图像的脸部认证处理识别驾驶员，也可以通过开关等的操作部设置或者选择驾驶员。

例如，在上述步骤S1的脸部朝向检测处理中，控制单元12在由图像检测驾驶员的脸部之后(步骤S12)，进行驾驶员的脸部认证处理，判定是否是新的驾驶员还是已经注册的驾驶员，当是新驾驶员时，进行随后的步骤S2到S6的处理，在步骤S7，与驾驶员的脸部认证信息一起进行将脸部朝向基准的相关信息保存到基准保存部13d的处理。另一方面，如果是已经注册的驾驶员时，由于已经在基准保存部13d中保存了脸部朝向的基准，所以可以结束随后的处理。

另外，在基准保存部13d，可以针对每一位驾驶员，保存一个脸部朝向的基准，也可以保存多个脸部朝向基准。比如与车辆2的行驶速度范围(中速区域，高速区域)相对应地，确定各速度范围的脸部朝向的基准，进行保存。另外，还可以与车辆2的车头灯的开/关(白天和夜晚)相对应地，确定各种情况下的脸部朝向的基准，进行保存。从而可以推定驾驶员朝向正面时的脸部朝向的微妙变化，与车辆2的行驶状态相对应地，确定各种情况下脸部朝向的基准，进行保存。

接着就信息处理装置10的控制单元12所进行的驾驶员状态的把握处理(监控)进行说明。

图6是实施方式涉及的信息处理装置10的控制单元12所进行的驾驶员的监控处理动作的一个实例的流程图。相机20按照每秒指定的帧数拍摄图像，控制单元12以时间数列获取这些拍摄的图像，按照每个帧或者每指定间隔的帧进行本处理。

首先在步骤S21，控制单元12进行检测驾驶员的脸部朝向的处理。该驾驶员的脸部朝向的检测处理可以是与图5所述的步骤S11～S15同样的处理，这里省略对其说明。

在步骤S21进行对驾驶员的脸部朝向的检测处理后，进行步骤S22。在步骤S22，控制单元12从基准保存部13d读取脸部朝向的基准，进行计算步骤S21检测出的驾驶员的脸部朝向与所述脸部朝向基准的偏差(比如从基准值的偏离)的处理，进行步骤S23。

脸部朝向基准中包括如偏航角、俯仰角以及滚转角中至少一个角度作为基准值。计算这些基准值与步骤S21所检测出的驾驶员的脸部朝向(偏航角、俯仰角以及滚转角中至少一个角度)的角度差，将该计算的角度差作为与上述基准值的偏离。

另外，在基准保存部13d保存有与车辆2的行驶状态相对应的多个脸部朝向的基准时，在步骤S21进行脸部朝向的检测处理后，代替步骤S22，取得车辆信息，判定车辆2的行驶状态，由基准保存部13d读取与该判定的行驶状态相对应的脸部朝向的基准，进行计算从所述脸部朝向基准的偏离的处理。

在步骤S23，控制单元12判定步骤S22所算出的自基准值的偏离(比如偏航角、俯仰角以及滚转角中的至少一个角度差)是否是超过第1范围(比如指定的角度差)的状态。

所述第1范围可以根据监控的目的设定为各种范围。比如进行判定是否处于往旁边看的状态时，可以设定至少包括左右方向(偏航角)的指定的角度范围作为第1范围(往旁边看判定角度)。

在判定驾驶的集中度和疲劳度(包括困意等)时，可以设定至少包括上下方向(俯仰角)的指定的角度范围作为第1范围(集中·疲劳度判定角度)。

在进行判定是否处于可以从自动驾驶模式向手动驾驶模式转换的姿势时，可以设定至少包括左右方向(偏航角)和上下方向(俯仰角)的指定的角度范围作为第1范围(交接判定角度)。

在步骤S23，如果判定从所述基准值的偏离超过了第1范围，则进行步骤S24。在步骤S24，控制单元12判定超过第1范围的状态是否持续指定期间。指定期间可以根据监控目来设定合适的时间(可以计算时间也可以计数图像的帧数)。

在步骤S24，如果判定超过第1范围的状态没有持续指定期间，则结束随后的处理。另一方面如果判定为持续指定期间，则进行步骤S25。

在步骤S25，控制单元12将通知信号输出到通知装置37，结束随后的处理。通知信号是用来在通知装置37实施与监测目的相对应的通知处理的信号。

在通知装置37，根据来自信息处理装置10的通知信号，进行指定的通知处理。通知处理可以是通过声或者声音的通知，也可以是通过光的通知，还可以是通过显示的通知或者通过方向盘52或者座位的震动的通知，可以适用各种各样的通知形态。

监视的目的是判定是否处于往旁边看的状态时，将处于往旁边看的状态通知给驾驶员或者进行督促其停止往旁边看，使其转向正面的通知。另外，监视的目的是判定驾驶的集中程度或者疲劳程度时，可以是将集中程度低下或者疲劳程度高的状态的信息通知给驾驶员。另外，监视的目的是判定许可从自动驾驶模式向手动驾驶模式转换时，比如可以进行督促采取合适的驾驶姿势的通知。

另外，步骤S23、S24、S25的处理不是必须的，可以替换为将步骤S22所算出的关于自基准值的偏离的信息保存到保存单元13的处理。

另外，代替步骤S25的处理，还可以进行将S23、S24的判定信息(偏离到第1范围外、且显示为持续指定时间的信息和关于当时脸部朝向的信息)保存到保存单元13的处理。另外代替步骤S25的处理，还可以进行将步骤S23、S24的判定信息输出到自动驾驶控制装置30的处理。

另外，在步骤S23，如果判定从所述基准值的偏离没有超过第1范围，则进行步骤S26的基准值变更处理。关于步骤S26的基准值变更处理，通过图7所述的流程图进行说明。另外，步骤S26的基准值变更处理不是必须的，在其他实施方式中，也可以不进行基准值变更处理，结束随后的处理。

图7是显示实施方式涉及的信息处理装置10的控制单元12所进行的基准值变更处理动作的一个实例的流程图。

首先在步骤S31，控制单元12判断步骤S22所算出的脸部朝向从基准(基准值)的偏离，是否超过了被视为正在注视显示该基准值的方向(正面)的第2范围(是否处于第2范围外)。而且第2范围还可以包括显示脸部朝向的偏航角、俯仰角以及滚转角中的至少一个角度范围的信息。另外第2范围是比第1范围窄的角度范围，比如可以设定为从脸部朝向基准偏离±5度的角度范围。

在步骤S31，如果从脸部朝向的基准(基准值)的偏离没有超过第2范围，换言之，如果判断驾驶员的脸部正在面向显示所述基准值的方向(被视为正面的方向)，则结束随后的处理。另一方面，在步骤S31，如果判断自脸部朝向的基准(基准值)的偏离超过第2范围(脸部朝向从被视为是正面的方向偏离少许的状态)，则进行步骤S32。

在步骤S32，控制单元12将显示了从步骤S23所算出的基准值的偏离的信息(即，在第1范围内且超过第2范围的状态的偏离信息)，与该图像的脸部朝向的检测信息相关联，保存到脸部朝向保存部13b，进行步骤S33。另外，在其他实施方式中，在步骤S32前，判断车辆2是否处于特定的行驶状态(进行与图4的步骤S3相同的处理)，当处于特定的行驶状态时，进行步骤S32的处理。通过所涉及的构成，可以将变更基准值的条件设为一定。

在步骤S33，控制单元12从脸部朝向保存部13b读取与所述偏离信息相关联的图像的脸部朝向的检测信息，判断自基准值的偏离显示为一定方向(大致相同方向)的图像是否以指定的频率(或者比率)被检测出。即判断驾驶员的脸部朝向从显示基准值的正面起向指定方向偏离少许的状态(没有达到向旁边看的状态)是否是频繁发生的。

在步骤S33，如果判断自基准值的偏离显示为一定方向的图像没有被以指定的频率检测出，则结束随后的处理。另一方面如果判断为以指定的频率被检测出，则进行步骤S34。

在步骤S34，控制单元12进行改变脸部朝向的基准的处理。比如，为了使所述偏向指定方向的脸部朝向的状态易于被判断为驾驶员的脸部朝向的正面，而进行改变基准值的处理，然后进行步骤S35。具体地，比如脸部朝向从基准值的偏离为发生向下偏离3°左右时，将脸部朝向的基准值向下调3°，或者使其接近3°而变更(以使偏移缩小)。

在步骤S35，控制单元12将步骤S34所变更的基准值保存到基准保存部13d，然后结束处理。通过这样进行基准值变更，比如即使是由于长时间驾驶或者驾驶环境变化(天气变化或者时间段)等引起姿势改变，驾驶员的脸部正面朝向在无意识中改变的情形下，也能够将该状态下的驾驶员的脸部的正面设定为脸部朝向的基准，能够提高脸部朝向的检测精度。

(作用·效果)

根据上述实施方式涉及的信息处理装置10，第1判定部12d判定车辆2是否处于特定的行驶状态，第2判定部12e判定处于所述特定的行驶状态时的驾驶员的脸部朝向的变化。接着基准确定部12f根据判定为驾驶员的脸部朝向没有变化时的驾驶员的脸部朝向，确定驾驶员的脸部朝向的基准，算出部12g通过利用所述脸部朝向的基准，算出驾驶员的脸部朝向。

因此能够确定与驾驶员的脸部朝向的个人差异相对应的所述脸部朝向的基准。通过利用该脸部朝向的基准，能够在不给控制单元12增加处理负担的情况下，提高所述驾驶员的脸部朝向的检测精度。

另外，由于能够由基准保存部13d读出脸部朝向的基准、算出驾驶员的脸部朝向，所以能够减轻为了由基准确定部12f确定脸部朝向的基准的处理负担。另外，处理部12h能够根据算出部12g算出的驾驶员的脸部朝向进行各种处理。此外由于基准变更部12i能够变更基准确定部12f所确定的脸部朝向的基准，所以能够准确地维持所述基准，总是进行精度高的脸部朝向的检测。

根据上述实施方式涉及的驾驶员监控系统1，由于包括信息处理装置10和相机20，所以能够低价实现获得信息处理装置10的各种效果的驾驶员监控系统。另外在上述实施方式中，关于将驾驶员监控系统1应用于车辆2的情形进行了说明，还可以应用在车辆以外的其他交通工具上。

以上详细说明了本发明的实施方式，但是上述说明在所有方面只不过是本发明的一个实例。在不脱离本发明的范围内，还可以进行各种改良和变更。

例如，在上述实施方式中，是能够检测驾驶员的脸部朝向的构成，还可以是替代驾驶员的脸部朝向，信息处理装置检测脸部朝向的同时检测驾驶员的视线方向，确定该视线方向的基准，利用该基准，计算出驾驶员的视线方向的构成。

附注

本发明的实施方式还可以是如以下附注所记载的那样，但并不限于此。

(附注1)

一种信息处理装置(10)，其特征在于，所述信息处理装置(10)具备取得车辆(2)的驾驶员(D)的包括脸部的图像(21)的图像取得部(12a)、由图像取得部(12a)所取得的图像(21)检测驾驶员(D)的脸部朝向的检测部(12b)、取得关于车辆(2)的行驶状态信息的信息取得部(12c)、根据信息取得部(12c)取得的所述信息，判定车辆(2)是否处于特定的行驶状态的第1判定部(12d)、根据第1判定部(12d)判定为处于所述特定的行驶状态时的驾驶员(D)的脸部朝向，确定驾驶员(D)的脸部朝向基准的基准确定部12f。

(附注2)

一种驾驶员监控系统(1)，其特征在于，所述驾驶员监控系统(1)具备信息处理装置(10)和至少一个相机(20)，所述相机用以拍摄图像取得部(12a)所取得的包含驾驶员(D)的脸部的图像(21)。

(附注3)

一种信息处理方法，其特征在于，所述信息处理方法实行包括取得车辆(2)的驾驶员(D)的包含脸部图像(21)的图像取得步骤(S11)、通过图像取得步骤(S11)取得的图像(21)检测驾驶员(D)的脸部朝向的检测步骤(S14)、取得关于车辆(2)行驶状态信息的信息取得步骤(S2)、根据信息取得步骤(S2)取得的所述信息，判定车辆(2)是否处于特定行驶状态的判定步骤(S3)、根据判定步骤(S3)判定的处于所述特定行驶状态时的驾驶员(D)的脸部朝向，确定驾驶员(D)的脸部朝向基准的基准确定步骤(S6)的步骤。

(附注4)

一种信息处理程序，其特征在于，所述信息处理程序在至少一台计算机(12)上实行取得包括车辆(2)的驾驶员(D)的包含脸部图像(21)的图像取得步骤(S11)、由图像取得步骤(S11)取得的图像(21)检测驾驶员(D)的脸部朝向的检测步骤(S14)、取得关于车辆(2)的行驶状态信息的信息取得步骤(S2)、根据信息取得步骤(S2)取得的所述信息，判定车辆(2)是否处于特定行驶状态的判定步骤(S3)、根据判定步骤(S3)判定的处于所述特定的行驶状态时的驾驶员(D)的脸部朝向，确定驾驶员(D)的脸部朝向基准的基准确定步骤(S6)。

Claims (17)

1.一种信息处理装置，其特征在于，所述信息处理装置具有：

图像取得部、用以取得车辆驾驶员的包括脸部的图像；

检测部、用以从所述图像取得部取得的所述图像检测所述驾驶员的脸部朝向；

信息取得部、用以取得关于所述车辆的行驶状态的信息；

第1判定部、用以根据所述信息取得部取得的所述信息，判定所述车辆是否处于的特定行驶状态；

基准确定部、用以根据所述第1判定部判定的处于所述特定的行驶状态时的所述驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

2.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具有第2判定部，用以判定当所述第1判定部判定为处于所述特定的行驶状态时的所述驾驶员的脸部朝向的变化；

所述基准确定部根据所述第2判定部判定的所述驾驶员的脸部朝向没有变化时的所述驾驶员的脸部朝向，确定所述基准。

3.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具有算出部，所述算出部利用所述基准确定部确定的所述基准，由所述图像算出相对于所述基准的所述驾驶员的脸部朝向。

4.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具有处理部，所述处理部根据所述算出部算出的相对于所述基准的所述驾驶员的脸部朝向，进行指定的处理。

5.根据权利要求4所述的信息处理装置，其特征在于，所述信息处理装置具有通知部、用以将所述处理部处理的结果通知给所述驾驶员。

6.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具有基准保存部、用以保存由所述基准确定部确定的所述基准；

所述算出部通过利用从所述基准保存部读出的所述基准，由所述图像算出相对于所述基准的所述驾驶员的脸部朝向。

7.根据权利要求3所述的信息处理装置，其特征在于，所述信息处理装置具有基准变更部、用以变更由所述基准确定部确定的所述基准。

8.根据权利要求7所述的信息处理装置，其特征在于，所述算出部算出的相对于所述基准的所述驾驶员的脸部朝向与所述基准的差，以在指定范围内的状态持续时，所述基准变更部为了缩小所述差而补正所述基准。

9.根据权利要求1所述的信息处理装置，其特征在于，所述特定的行驶状态是所述车辆直行前进的行驶状态。

10.根据权利要求1所述的信息处理装置，其特征在于，所述信息取得部至少取得所述车辆的车速信息和所述车辆的操纵信息；

当所述车辆的车速在指定速度范围内、且所述车辆处于指定的非操纵状态的情形时，所述第1判定部判定所述车辆处于特定的行驶状态。

11.根据权利要求1所述的信息处理装置，其特征在于，所述信息取得部至少取得所述车辆的加减速信息以及所述车辆的倾斜信息中的任一项；

所述第1判定部将所述车辆处于指定的加速或者减速状态时的情形或者所述车辆处于指定的倾斜姿势时的情形从所述特定的行驶状态中除去。

12.根据权利要求1所述的信息处理装置，其特征在于，所述信息取得部取得所述车辆的位置信息和所述车辆周边的地图信息；

当所述车辆沿直线道路移动时，所述第1判定部判定所述车辆处于特定的行驶状态。

13.根据权利要求1所述的信息处理装置，其特征在于，所述信息处理装置具有识别部、用以识别所述驾驶员；

所述基准确定部按照所述识别部识别的每个驾驶员，确定所述基准。

14.一种驾驶员监控系统，其特征在于，所述驾驶员监控系统包括权利要求1～13中任一项所述的信息处理装置和至少一个相机，所述相机用以拍摄所述图像取得部取得的所述驾驶员的包括脸部的图像。

15.一种信息处理方法，其特征在于，所述信息处理方法实行包括图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤的步骤；其中，

所述图像取得步骤用以取得车辆驾驶员的包含脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤用以根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤用以根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

16.一种信息处理程序，其特征在于，所述信息处理程序在至少一台计算机上实行图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤；

所述图像取得步骤用以取得车辆驾驶员的包括脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。

17.一种计算机可读取的保存媒体，是保存有计算机程序的计算机可读取的保存媒体，其特征在于，所述计算机可读取的保存媒体保存有用以在至少一台计算机上实行图像取得步骤、检测步骤、信息取得步骤、判定步骤以及基准确定步骤的程序；

所述所述图像取得步骤用以取得车辆驾驶员的包括脸部的图像；

所述检测步骤用以从所述图像取得步骤取得的所述图像检测所述驾驶员的脸部朝向；

所述信息取得步骤用以取得关于所述车辆的行驶状态的信息；

所述判定步骤根据所述信息取得步骤取得的所述信息，判定所述车辆是否处于特定的行驶状态；

所述基准确定步骤根据所述判定步骤判定的处于所述特定的行驶状态时的驾驶员的脸部朝向，确定所述驾驶员的脸部朝向的基准。