CN108860154A - 驾驶员监视装置以及驾驶员监视方法 - Google Patents

驾驶员监视装置以及驾驶员监视方法 Download PDF

Info

Publication number
CN108860154A
CN108860154A CN201810324438.3A CN201810324438A CN108860154A CN 108860154 A CN108860154 A CN 108860154A CN 201810324438 A CN201810324438 A CN 201810324438A CN 108860154 A CN108860154 A CN 108860154A
Authority
CN
China
Prior art keywords
driver
image
steering wheel
mentioned
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810324438.3A
Other languages
English (en)
Other versions
CN108860154B (zh
Inventor
青位初美
冈地喜
冈地一喜
菅原启
鹈野充惠
滝沢光司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108860154A publication Critical patent/CN108860154A/zh
Application granted granted Critical
Publication of CN108860154B publication Critical patent/CN108860154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

一种驾驶员监视装置以及驾驶员监视方法，在从自动驾驶模式向手动驾驶模式切换时，能高精度地检测出落座于驾驶席的原本的驾驶员是否把持方向盘。对落座于包括自动驾驶模式与手动驾驶模式的车辆的驾驶席的驾驶员进行监视的驾驶员监视装置(10)包括：图像获取部(12a)，获取由驾驶员拍摄相机(54)拍摄到的驾驶员图像；图像存储部(13a)，对由图像获取部(12a)获取的驾驶员图像进行存储；判定处理部(12c)，在从自动驾驶模式向手动驾驶模式切换的情况下，对从图像存储部读出的驾驶员图像进行处理，判定驾驶员的手是否把持着车辆的方向盘(52)；信号输出部(12g)，输出基于判定处理部(12c)的判定结果的规定的信号。

Description

驾驶员监视装置以及驾驶员监视方法
技术领域
本发明涉及驾驶员监视装置以及驾驶员监视方法，更详细地说，涉及对包括自动驾驶模式与手动驾驶模式的车辆的驾驶员进行监视的驾驶员监视装置以及驾驶员监视方法。
背景技术
近年来，面向自动进行车辆的行驶控制的自动驾驶的实现的研究开发正在盛行。自动驾驶的技术等级被分类为，从使包括加减速、转向、制动在内的行驶控制中的至少一部分自动化的等级至完全自动化的等级的几个等级。
在由自动驾驶系统承担车辆的操作以及周边监视的主体的自动化等级(例如，加速、转向、制动全部由自动驾驶系统进行，在请求了自动驾驶系统时由驾驶员应对的等级3)中，由于交通环境等主要因素，设想了产生从自动驾驶模式向驾驶员的手动驾驶模式切换的状况。例如虽然能够在高速公路中进行自动驾驶，但在道路立体枢纽附近，自动驾驶系统对驾驶员请求手动驾驶那样的状况。
在上述等级3的自动驾驶模式中，基本上驾驶员从驾驶操作中被解放，因此在自动驾驶中存在驾驶员进行除驾驶以外的作业的可能性、驾驶员的警惕性降低的可能性。因此，在从自动驾驶模式向手动驾驶模式切换时，为了确保车辆的安全，需要使车辆的方向盘操作、踏板操作处于驾驶员能够从自动驾驶系统接替的状态。能够驾驶员从自动驾驶系统接替的状态例如是驾驶员把持着方向盘的状态。
例如，关于检测由驾驶员进行方向盘操作的构成，认为通过使用下述的专利文献1所公开的把持检测装置等，在从自动驾驶模式向手动驾驶模式切换时，能够检测方向盘的把持状态。
然而，在上述专利文献1记载的把持检测装置中，不能准确地判定接触方向盘的手是否真的是驾驶员的手。例如，即使在驾驶员以外的同乘者(副驾驶席、后排座席的人)握着方向盘的情况下，也会判定为驾驶员把持着方向盘。
在使用了上述把持检测装置的情况下，在从自动驾驶模式向手动驾驶模式切换时，即使在驾驶员以外的同乘者把持方向盘的情况下，也存在向手动驾驶切换的隐患，存在产生不能确保车辆的安全的情况这一课题。
现有技术文献
专利文献
专利文献1：日本特开2016－203660号公报
发明内容
本发明鉴于上述课题而完成，目的在于提供一种在从自动驾驶模式向手动驾驶模式切换的情况下能够高精度地检测出落座于驾驶席的原本的驾驶员是否把持着方向盘的驾驶员监视装置以及驾驶员监视方法。
为了实现上述目的，本发明的驾驶员监视装置(1)对落座于包括自动驾驶模式与手动驾驶模式的车辆的驾驶席上的驾驶员进行监视，其特征在于，上述驾驶员监视装置包括：图像获取部，获取由拍摄上述驾驶员的拍摄部拍摄到的驾驶员图像；图像存储部，对由该图像获取部获取的上述驾驶员图像进行存储；判定处理部，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，对从上述图像存储部读出的上述驾驶员图像进行处理，判定上述驾驶员的手是否把持着上述车辆的方向盘；以及信号输出部，输出基于该判定处理部的判定结果的规定的信号。
根据上述驾驶员监视装置(1)，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，处理上述驾驶员图像而判定上述驾驶员的手是否把持着上述方向盘，输出基于该判定结果的规定的信号。通过在上述判定处理部中的判定处理中使用上述驾驶员图像，能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态进行区别，能够高精度地检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
此外，本发明的驾驶员监视装置(2)的特征在于，在上述驾驶员监视装置(1)中，上述驾驶员图像是在至少包括从上述驾驶员的肩至上臂的一部分和上述方向盘的一部分在内的视场内进行拍摄而得的图像，上述判定处理部包括：把持位置检测部，处理上述驾驶员图像而检测上述方向盘的把持位置；姿势检测部，处理上述驾驶员图像而检测上述驾驶员的肩臂部的姿势；以及把持判定部，基于由上述把持位置检测部检测出的把持位置和由上述姿势检测部检测出的上述驾驶员的肩臂部的姿势，判定上述驾驶员的手是否把持着上述方向盘。
根据上述驾驶员监视装置(2)，基于处理上述驾驶员图像而检测出的上述方向盘的把持位置与上述驾驶员的肩臂部的姿势，判定上述驾驶员的手是否把持着上述方向盘。因此，能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态明确地区别，能够以更高的精度检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
此外，本发明的驾驶员监视装置(3)的特征在于，在上述驾驶员监视装置(1)中，上述驾驶员图像是在至少包括从上述驾驶员的肩至上臂的一部分的视场内进行拍摄而得的图像，驾驶员监视装置包括接触信号获取部，该接触信号获取部获取来自设于上述方向盘的检测手的接触的接触检测部的信号，上述判定处理部包括：把持位置检测部，基于由上述接触信号获取部获取的接触信号，检测上述方向盘的把持位置；姿势检测部，处理上述驾驶员图像而检测上述驾驶员的肩臂部的姿势；以及把持判定部，基于由上述把持位置检测部检测出的把持位置和由上述姿势检测部检测出的上述驾驶员的肩臂部的姿势，判定上述驾驶员的手是否把持着上述方向盘。
根据上述驾驶员监视装置(3)，根据基于来自上述接触检测部的接触信号检测出的上述方向盘的把持位置、以及处理上述驾驶员图像而检测出的上述驾驶员的肩臂部的姿势，判定上述驾驶员的手是否把持着上述方向盘。因此，即使在上述驾驶员图像中未拍到上述方向盘的情况下，也能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态进行区别，能够高精度地检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
此外，本发明的驾驶员监视装置(4)的特征在于，在上述驾驶员监视装置(2)或者(3)中，上述信号输出部在上述把持位置检测部未检测出上述把持位置的情况下，向设于上述车辆的警报部输出用于执行警告处理的信号，该警告处理用于使上述驾驶员把持上述方向盘。
根据上述驾驶员监视装置(4)，在通过上述把持位置检测部未检测出上述把持位置的情况下，由于执行用于使上述驾驶员把持上述方向盘的警告处理，因此能够催促上述驾驶员把持上述方向盘。
此外，本发明的驾驶员监视装置(5)的特征在于，在上述驾驶员监视装置(1)中，包括分类器存储部，该分类器存储部存储学习完毕分类器，该学习完毕分类器是将把持着上述方向盘的上述驾驶员的图像和未把持上述方向盘的上述驾驶员的图像作为教学数据预先进行学习处理从而创建出的，上述学习完毕分类器包括输入层以及输出层，从上述图像存储部读出的上述驾驶员图像的数据输入该输入层，该输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据，上述判定处理部在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，进行以下处理：向从上述分类器存储部读出的上述学习完毕分类器的上述输入层输入上述驾驶员图像的数据，并从上述输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据。
根据上述驾驶员监视装置(5)，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，通过向上述学习完毕分类器的上述输入层输入上述驾驶员图像的数据，从上述输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据。因此，通过在上述判定处理部的处理中使用上述学习完毕分类器，能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态进行区别，能够高精度地检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
此外，本发明的驾驶员监视装置(6)的特征在于，在上述驾驶员监视装置(1)中，包括：分类器信息存储部，存储定义信息以及常数数据，该定义信息与包括神经网络的分层数、各层的神经元数及传递函数在内的未学习的分类器相关，该常数数据包括预先通过学习处理求出的各层的神经元间的权重系数以及阈值；以及学习完毕分类器创建部，从该分类器信息存储部读出上述定义信息与上述常数数据，创建学习完毕分类器，上述学习完毕分类器包括输入层以及输出层，该输入层输入有从上述图像存储部读出的上述驾驶员图像的数据，该输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据，上述判定处理部在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，进行以下处理：向通过上述学习完毕分类器创建部创建出的上述学习完毕分类器的上述输入层输入上述驾驶员图像的数据，并从上述输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据。
根据上述驾驶员监视装置(6)，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，通过创建上述学习完毕分类器，并向其上述输入层输入上述驾驶员图像的数据，从上述输出层输出上述驾驶员的手是否把持着上述方向盘的判定数据。因此，通过在上述判定处理部的处理中使用上述学习完毕分类器，能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态进行区别，能够高精度地检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
此外，本发明的驾驶员监视装置(7)的特征在于，在上述驾驶员监视装置(1)～(6)中任一项中，上述信号输出部在上述判定处理部判定为上述驾驶员的手把持着上述方向盘的情况下，输出允许从上述自动驾驶模式向上述手动驾驶模式切换的信号。
根据上述驾驶员监视装置(7)，在判定为上述方向盘被上述驾驶员的手把持的情况下，输出允许从上述自动驾驶模式向上述手动驾驶模式的切换的信号。因此，能够在上述驾驶员接替了方向盘操作的状态下，进行从上述自动驾驶模式向上述手动驾驶模式的切换，能够确保该切换时的上述车辆的安全。
此外，本发明的驾驶员监视装置(8)的特征在于，在上述驾驶员监视装置(1)～(6)的任一项中，上述信号输出部在上述判定处理部判定为上述驾驶员的手未把持着上述方向盘的情况下，输出不允许从上述自动驾驶模式向上述手动驾驶模式的切换的信号。
根据上述驾驶员监视装置(8)，在判定为上述驾驶员的手未把持着上述方向盘的情况下，输出不允许从上述自动驾驶模式向上述手动驾驶模式切换的信号。因此，能够防止在上述方向盘的操作未被上述驾驶员接替的状态下切换到上述手动驾驶模式。
此外，本发明的驾驶员监视方法使用具备存储部以及连接于该存储部的硬件处理器的装置对落座于车辆的驾驶席上的驾驶员进行监视，上述车辆包括自动驾驶模式与手动驾驶模式，上述驾驶员监视方法的特征在于，上述存储部包括图像存储部，该图像存储部对由拍摄上述驾驶员的拍摄部拍摄到的驾驶员图像进行存储，上述驾驶员监视方法包括以下步骤：上述硬件处理器在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，获取由上述拍摄部拍摄到的驾驶员图像；上述硬件处理器使该获取到的上述驾驶员图像存储到上述图像存储部；上述硬件处理器从上述图像存储部读出上述驾驶员图像；上述硬件处理器对该读出的上述驾驶员图像进行处理，判定上述驾驶员的手是否把持着上述车辆的方向盘；以及上述硬件处理器输出基于该判定的结果的规定的信号。
根据上述驾驶员监视方法，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，获取由上述拍摄部拍摄到的驾驶员图像，存储于上述图像存储部，从上述图像存储部读出上述驾驶员图像，处理该驾驶员图像而判定上述驾驶员的手是否把持着上述方向盘，输出基于该判定结果的规定的信号。因此，通过在上述判定的步骤中使用上述驾驶员图像，能够与上述驾驶员以外的同乘者把持上述方向盘那样的状态进行区别，能够高精度地检测出落座于上述驾驶席的原本的驾驶员是否把持着上述方向盘。
附图说明
图1是表示包括本发明的实施方式(1)的驾驶员监视装置的自动驾驶系统的主要部分构成的框图。
图2是表示实施方式(1)的驾驶员监视装置的硬件构成的框图。
图3的(a)是表示被驾驶员拍摄相机拍摄到的驾驶员图像的一个例子，图3的(b)是表示存储于把持判定方法存储部的判定表的一个例子的图。
图4是表示实施方式(1)的驾驶员监视装置中的控制单元所进行的处理动作的流程图。
图5是表示实施方式(1)的驾驶员监视装置中的控制单元所进行的把持判定处理动作的流程图。
图6是表示包括实施方式(2)的驾驶员监视装置的自动驾驶系统的主要部分构成的框图。
图7是表示实施方式(2)的驾驶员监视装置的硬件构成的框图。
图8是表示实施方式(2)的驾驶员监视装置中的控制单元所进行的把持判定处理动作的流程图。
图9是表示实施方式(3)的驾驶员监视装置的硬件构成的框图。
图10是表示创建存储于实施方式(3)的驾驶员监视装置的分类器存储部的分类器的学习装置的硬件构成的框图。
图11是表示学习装置的学习控制单元所进行的学习处理动作的流程图。
图12是表示实施方式(3)的驾驶员监视装置中的控制单元所进行的把持判定处理动作的流程图。
图13是表示实施方式(4)的驾驶员监视装置的硬件构成的框图。
附图标记说明
1、1A、1B、1C 自动驾驶系统
10、10A、10B、10C 驾驶员监视装置
11 输入输出I/F
12、12A、12B、12C 控制单元
12a 图像获取部
12b 驾驶模式判定部
12c、12i、12n、12r 判定处理部
12d、12j 把持位置检测部
12e、12k 姿势检测部
12f、12m 把持判定部
12g 信号输出部
12h 接触信号获取部
12p 学习完毕分类器创建部
13、13A、13B、13C 存储单元
13a 图像存储部
13b 把持位置检测方法存储部
13c、13e 姿势检测方法存储部
13d、13f 把持判定方法存储部
13g 分类器存储部
13h 分类器信息存储部
20 自动驾驶控制装置
37 警报装置
52 方向盘
54 驾驶员拍摄相机
55 接触检测传感器。
具体实施方式
以下，基于附图说明本发明的驾驶员监视装置以及驾驶员监视方法的实施方式。此外，以下所述的实施方式是本发明的优选的具体例，虽然在技术上被加以各种限定，但本发明的范围只要在以下的说明中没有特别地进行限定本发明的主旨的记载，就不限于这些方式。
图1是表示包括实施方式(1)的驾驶员监视装置的自动驾驶系统的主要部分构成的框图。
自动驾驶系统1包括驾驶员监视装置10与自动驾驶控制装置20，自动驾驶控制装置20包括如下构成：在自动驾驶模式和由驾驶员进行驾驶操作的手动驾驶模式之间切换，在自动驾驶模式中，由系统成为主体而自动地进行包括车辆的加减速、转向、制动在内的行驶控制中的至少一部分。在本实施方式中，驾驶员表示落座于车辆的驾驶席的人。
自动驾驶系统1除了驾驶员监视装置10以及自动驾驶控制装置20之外，还包括转向传感器31、加速踏板传感器32、制动踏板传感器33、转向控制装置34、动力源控制装置35、制动控制装置36、警报装置37、启动开关38、周边监视传感器39、GPS接收机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等、自动驾驶以及手动驾驶的各种控制所需的传感器、控制装置等。这些各种传感器、控制装置经由通信线50而连接。
另外，在车辆中装备有作为发动机、马达等的动力源的动力单元51、包括供驾驶员转向的方向盘(转向车轮)52的转向装置53。之后叙述驾驶员监视装置10的硬件构成。
自动驾驶控制装置20是执行关于车辆的自动驾驶的各种控制的装置，由包括未图示的控制部、存储部、输入部、输出部等的电子控制单元构成。上述控制部包括一个以上的硬件处理器，读出存储于上述存储部的程序而执行各种车辆控制。
自动驾驶控制装置20除了驾驶员监视装置10之外，还连接于转向传感器31、加速踏板传感器32、制动踏板传感器33、转向控制装置34、动力源控制装置35、制动控制装置36、周边监视传感器39、GPS接收机40、陀螺仪传感器41、车速传感器42、导航装置43、通信装置44等。自动驾驶控制装置20基于从这些各部获取的信息，向各控制装置输出进行自动驾驶的控制信号，进行车辆的自动行驶控制(自动转向控制、自动速度调整控制、自动制动控制等)。
自动驾驶指的是处于驾驶席的驾驶员不进行驾驶操作，而是通过自动驾驶控制装置20所进行的控制使车辆沿道路自动地行驶。例如包括根据直至预先设定的目的地的道路、基于车外的状况、地图信息自动地生成的行驶道路等，自动地使车辆行驶的驾驶状态。而且，自动驾驶控制装置20在满足预先决定的自动驾驶的解除条件的情况下，结束(解除)自动驾驶。例如，自动驾驶控制装置20在判定为自动驾驶中的车辆已到达预先决定的自动驾驶的结束地点的情况下，结束自动驾驶。另外，自动驾驶控制装置20也可以在驾驶员进行了自动驾驶解除操作(例如自动驾驶解除按钮的操作、驾驶员对方向盘、加速器或者制动器的操作等)的情况下，进行结束自动驾驶的控制。手动驾驶指的是驾驶员成为进行驾驶操作的主体而使车辆行驶的驾驶。
转向传感器31是检测对于方向盘52的转向量的传感器，例如设于车辆的转向轴，检测驾驶员对方向盘52赋予的转向转矩或者方向盘52的转向角。由转向传感器31检测出的、与驾驶员的方向盘操作相应的信号向自动驾驶控制装置20、转向控制装置34输出。
加速踏板传感器32是检测加速踏板的踩踏量(加速踏板的位置)的传感器，例如设于加速踏板的轴部分。由加速踏板传感器32检测出的、与加速踏板的踩踏量相应的信号向自动驾驶控制装置20、动力源控制装置35输出。
制动踏板传感器33是检测制动踏板的踩踏量(制动踏板的位置)或者操作力(踩踏力等)的传感器。由制动踏板传感器33检测出的、与制动踏板的踩踏量、操作力相应的信号向自动驾驶控制装置20、制动控制装置36输出。
转向控制装置34是控制车辆的转向装置(例如，电动动力转向装置)53的电子控制单元。转向控制装置34通过使控制车辆的转向转矩的马达驱动，控制车辆的转向转矩。在自动驾驶模式下，根据来自自动驾驶控制装置20的控制信号控制转向转矩。
动力源控制装置35是控制动力单元51的电子控制单元。动力源控制装置35例如通过控制燃料对发动机的供给量以及空气的供给量、或者对马达供电量，从而控制车辆的驱动力。在自动驾驶模式下，根据来自自动驾驶控制装置20的控制信号控制车辆的驱动力。
制动控制装置36是控制车辆的制动器系统的电子控制单元。制动控制装置36例如通过调整对液压制动器系统赋予的液压，从而控制向车辆的车轮赋予的制动力。在自动驾驶模式下，根据来自自动驾驶控制装置20的控制信号控制向车轮的制动力。
警报装置37包括以声音或语音输出各种警告或引导的声音输出部、以文字或图形显示各种警告或引导或者点亮显示灯的显示输出部(均未图示)等而构成，并基于从驾驶员监视装置10、自动驾驶控制装置20输出的警告指示信号动作。
启动开关38是用于使动力单元51启动或停止的开关，由使发动机启动的点火开关、使行驶用马达启动的动力开关等构成。启动开关38的操作信号被输入到驾驶员监视装置10、自动驾驶控制装置20。
周边监视传感器39是检测存在于车辆的周边的对象物的传感器。上述对象物中包括车、自行车、人等移动物体、路面标识(白线等)、护栏、中央隔离带、其他对车辆的行驶带来影响的构造物等。周边监视传感器39包括前方监视相机、后方监视相机、雷达(Radar)、激光雷达即光雷达(Light Detection and Ranging)、或者光学雷达(Laser ImagingDetection and Ranging(LIDER))、以及超声波传感器中的至少一个。由周边监视传感器39检测出的对象物的检测数据向自动驾驶控制装置20等输出。前方监视相机、后方监视相机中可采用立体相机、单眼相机等。雷达向车辆周围发送毫米波等电波，并接收由存在于车辆周围的对象物反射的电波，从而检测出对象物的位置、方向、距离等。激光雷达向车辆周围发送激光光，并接收由存在于车辆周围的对象物反射的光，从而检测出对象物的位置、方向、距离等。
GPS接收机40是经由未图示的天线接收来自人工卫星的GPS信号、并基于接收到的GPS信号进行推断自车位置的处理(GPS导航)的装置。以GPS接收机40推断出的自车位置信息向自动驾驶控制装置20、导航装置43等输出。
陀螺仪传感器41是检测车辆的旋转角速度(横摆角速度)的传感器。由陀螺仪传感器41检测出的旋转角速度信号向自动驾驶控制装置20、导航装置43等输出。
车速传感器42是检测车辆的速度的传感器，例如，由设于车轮、驱动轴等来检测车轮的旋转速度的车轮速传感器等构成。由车速传感器42检测出的车速信号向自动驾驶控制装置20、导航装置43等输出。
导航装置43基于由GPS接收机40等测量的车辆的位置信息与地图数据库(未图示)的地图信息，推断车辆所行驶的道路、车道，对从车辆的当前位置至目的地的路径等进行运算，向显示部(未图示)显示该路径，并从声音输出部(未图示)进行路径引导等的声音输出。由导航装置43求出的车辆的位置信息、行驶道路的信息、以及行驶预定路径的信息等向自动驾驶控制装置20输出。行驶预定路径的信息中也包括自动驾驶区间的开始地点、结束地点、自动驾驶的开始预告地点、结束(解除)预告地点等与自动驾驶的切换控制相关的信息。导航装置43包括未图示的控制部、显示部、声音输出部、操作部、地图数据存储部等而构成。
通信装置44是经由无线通信网(例如，移动电话网、VICS(注册商标)、DSRC(注册商标)等通信网)获取各种信息的装置。通信装置44也可以包括车车间通信功能、车与道路间通信功能。例如通过与设于道路路边的路侧收发机(例如光信标，ITS SPOT(注册商标))等之间的车与道路间通信，能够获取车辆的进路上的道路环境信息(车道限制信息等)。另外，通过车车间通信，能够获取与其他车辆相关的信息(与位置信息、行驶控制相关的信息等)、由其他车辆检测出的道路环境信息等。
驾驶员拍摄相机(拍摄部)54是拍摄落座于驾驶席的驾驶员的装置，包括为图示的透镜部、拍摄元件部、光照射部、接口部、控制这些各部的控制部等而构成。上述拍摄元件部包括CCD、CMOS等拍摄元件、滤波器、微透镜等而构成。上述光照射部包括LED等发光元件，另外，也可以使用红外线LED等，以便不论昼夜都能够拍摄驾驶员的状态。上述控制部例如包括CPU、存储器、图像处理电路等而构成。上述控制部控制上述拍摄元件部、上述光照射部，从该光照射部照射光(例如，近红外线等)，利用上述拍摄元件部进行拍摄其反射光的控制。
驾驶员拍摄相机54的数量可以是1台，也可以是2台以上。另外，驾驶员拍摄相机54可以与驾驶员监视装置10独立(另一壳体)构成，也可以与驾驶员监视装置10一体(同一壳体)地构成。驾驶员拍摄相机54可以是单眼相机，也可以是立体相机。
驾驶员拍摄相机54在车室内的设置位置只要是能够拍摄到至少包括驾驶员的面部、肩至上臂的一部分以及设于驾驶席前方的方向盘52的一部分(例如，上部)的视场的位置，就没有特别限定。例如能够设置于方向盘52、方向盘52的柱部分、仪表盘部分、仪表板之上、内部后视镜附近位置、A柱部分、导航装置43等。由驾驶员拍摄相机54拍摄到的驾驶员图像数据向驾驶员监视装置10输出。
图2是表示实施方式(1)的驾驶员监视装置10的硬件构成的框图。
驾驶员监视装置10包括输入输出接口(I/F)11、控制单元12、以及存储单元13而构成。
输入输出I/F11连接于驾驶员拍摄相机54、自动驾驶控制装置20、警报装置37、启动开关38等，包括用于在与这些外部设备之间进行信号的收发的电路、连接器等而构成。
控制单元12包括图像获取部12a、驾驶模式判定部12b、判定处理部12c、以及信号输出部12g而构成。控制单元12包括中央处理器(Central Processing Unit(CPU))、图形处理器(Graphics processing unit(GPU))等一个以上的硬件处理器而构成。
存储单元13包括图像存储部13a、把持位置检测方法存储部13b、姿势检测方法存储部13c、以及把持判定方法存储部13d而构成。存储单元13包括只读存储器(Read OnlyMemory(ROM))、随机存取存储器(Random Access Memory(RAM))、固态硬盘(SSD)、硬盘驱动器(HDD)、闪存、其他非易失性存储器、易失性存储器等利用半导体元件存储数据的一个以上的存储器装置而构成。
图像存储部13a中存储由图像获取部12a的驾驶员图像。
把持位置检测方法存储部13b中存储有由控制单元12的把持位置检测部12d执行的把持位置检测程序、该程序的执行所需的数据等。
姿势检测方法存储部13c中存储有由控制单元12的姿势检测部12e检测出所执行的驾驶员的肩臂部的姿势的姿势检测程序、该程序的执行所需的数据等。
把持判定方法存储部13d中存储有由控制单元12的把持判定部12f执行的把持判定程序、程序的执行所需的数据等。例如，也可以存储有表示方向盘52的把持位置和驾驶员的肩臂部的姿势(朝向与角度)的对应关系的把持判定表等。
控制单元12是与存储单元13配合地进行向存储单元13存储各种数据的处理、读出存储于存储单元13的各种数据、程序并执行该程序的处理等的装置。
构成控制单元12的图像获取部12a执行获取由驾驶员拍摄相机54拍摄到的驾驶员图像的处理，并进行将获取的驾驶员图像向图像存储部13a存储的处理。驾驶员图像可以是静止画面，也可以是动态画面。获取驾驶员图像的定时例如在启动开关38接通之后以规定的间隔获取。另外，在驾驶模式判定部12b中，在检测出预告自动驾驶模式的解除的解除预告信号的情况下也获取驾驶员图像。
驾驶模式判定部12b例如检测出从自动驾驶控制装置20获取的自动驾驶模式的设定信号、自动驾驶模式的解除预告信号、自动驾驶模式的解除信号等，并基于这些信号，执行对包括自动驾驶模式、手动驾驶模式的驾驶模式进行判定的处理。自动驾驶模式的设定信号是向自动驾驶模式的设定(切换)结束后输出的信号。自动驾驶模式的解除预告信号是在从自动驾驶模式向手动驾驶模式切换前(进入手动驾驶操作的接替区间的情况)输出的信号。自动驾驶模式的解除信号是自动驾驶模式被解除、切换到手动驾驶模式后输出的信号。
判定处理部12c包括把持位置检测部12d、姿势检测部12e、把持判定部12f，在驾驶模式判定部12b中检测出自动驾驶模式的解除预告信号的情况下，执行这些各部的处理。
把持位置检测部12d在检测出自动驾驶模式的解除预告信号的情况下，从图像存储部13a读出驾驶员图像(例如，检测出自动驾驶模式的解除预告信号之后，由驾驶员拍摄相机54拍摄并存储于图像存储部13a的图像)，处理驾驶员图像，检测是否把持着方向盘52，在把持着的情况下，执行检测方向盘52的把持位置的处理。
上述驾驶员图像的处理例如包括如下这种图像处理。首先，利用边缘检测等的图像处理提取方向盘52的边缘(轮廓)。接下来，提取与提取出的方向盘52的边缘交叉的形状的边缘，在检测出该交叉的形状的边缘的情况下，根据该边缘的长度、间隔判定是否相当于手指。在判定为相当于手指的边缘的情况下，将该相当于手指的边缘位置检测为方向盘52的把持位置。
姿势检测部12e紧接着把持位置检测部12d中的处理，处理驾驶员图像，执行检测驾驶员的肩臂部的姿势的处理。
上述驾驶员图像的处理例如为，通过边缘检测等图像处理检测出驾驶员的肩臂部的边缘(轮廓)、即肩至上臂部的边缘、以及前臂部的边缘，并进行推断检测出的各边缘的方向(朝向)、角度(例如相对于铅垂方向的角度)的处理。驾驶员的肩臂部的姿势至少包括左右某个上臂部、以及前臂部的方向、角度中的某个。
把持判定部12f紧接着姿势检测部12e的处理，基于由把持位置检测部12d检测出的方向盘52的把持位置、以及由姿势检测部12e检测出的驾驶员的肩臂部的姿势，执行判定拍摄到的驾驶员是否把持着方向盘52的处理。
例如，读出存储于把持判定方法存储部13d的、表示方向盘52的把持位置和驾驶员的肩臂部的姿势(朝向与角度)的关系的判定表，在该判定表中适用上述检测出的方向盘52的把持位置和驾驶员的肩臂部的姿势，判定是否适用于把持着方向盘52的条件。
图3的(a)是表示由驾驶员拍摄相机54拍摄到的驾驶员图像的一个例子的图，图3的(b)是表示存储于把持判定方法存储部13d的上述判定表的一个例子的图。
图3的(a)所示的驾驶员图像示出了驾驶员把持方向盘52的左右上部两个部位的状态(适当的把持状态)。图3的(b)所示的判定表中设定有与方向盘52的把持位置对应的、包括右臂或者左臂的朝向与角度的姿势条件。在图3的(b)所示的一个例子中，设定了在方向盘52的把持位置为正面观察左侧上部的情况下、驾驶员的左臂的上臂部的朝向在前方的角度θL处于40度～70度的范围这一条件，在方向盘52的把持位置为正面观察右侧上部的情况下、驾驶员的右臂的上臂部的朝向在前方的角度θR处于40度～70度的范围这一条件。此外，设定于上述判定表的上臂部的角度(θL、θR)只要被设定为能够根据驾驶员拍摄相机54的设置位置、拍摄视场、驾驶员的图像中的位置等的条件适当的判定即可。
信号输出部12g在未由把持位置检测部12d检测出方向盘52的把持位置的情况下，向警报装置(警报部)37输出用于执行用来使方向盘52把持驾驶员的警告处理的信号。
另外，信号输出部12g基于把持判定部12f中的判定结果输出规定的信号。例如，在把持判定部12f中的判定结果是驾驶员把持着方向盘52的结果的情况下，向自动驾驶控制装置20输出允许从自动驾驶模式向手动驾驶模式的切换的信号。另一方面，在判定结果是驾驶员未把持方向盘52的结果的情况下，执行以下处理：向警报装置37输出指示警告处理的信号，或向自动驾驶控制装置20输出指示通过自动驾驶强制地使车辆避让(停车或者减速)的强制避让的信号。
图4是表示实施方式(1)的驾驶员监视装置10中的控制单元12所进行的处理动作的流程图。
首先，在步骤S1中，判断是否获取了启动开关38的接通信号，如果判断为获取了启动开关38的接通信号，则进入步骤S2。在步骤S2中，使驾驶员拍摄相机54起动，开始驾驶员图像的拍摄处理，在接下来的步骤S3中，获取由驾驶员拍摄相机54拍摄到的驾驶员图像，进行存储于图像存储部13a的处理，之后进入步骤S4。
在步骤S4中，判断是否从自动驾驶控制装置20获取了自动驾驶模式的设定信号，如果判断为获取了自动驾驶模式的设定信号，则进入步骤S5。在步骤S5中，进行自动驾驶模式下的驾驶员监视处理。例如，进行由驾驶员拍摄相机54拍摄自动驾驶中的驾驶员，分析该拍摄到的驾驶员图像，并监视驾驶员的状态的处理，之后进入步骤S6。
在步骤S6中，判断是否获取了自动驾驶模式的解除预告信号(向手动驾驶模式的切换预告信号)，如果判断为未获取上述自动驾驶模式的解除预告信号(自动驾驶模式中)，则返回步骤S5，继续自动驾驶模式下的驾驶员监视处理。另一方面，在步骤S6中，如果判断为获取了自动驾驶模式的解除预告信号，则进入步骤S7。
在步骤S7中，基于由驾驶员拍摄相机54拍摄到驾驶员图像，进行拍摄到的驾驶员是否把持着方向盘52的判定处理，之后进入步骤S8。之后详细叙述步骤S7的把持判定处理。
在步骤S8中，判断是否获取了自动驾驶模式的解除信号，如果判断为获取了自动驾驶模式的解除信号，则进入步骤S9。在步骤S9中，进行手动驾驶模式下的驾驶员监视处理。例如，进行由驾驶员拍摄相机54拍摄手动驾驶中的驾驶员，分析该拍摄到的驾驶员图像，进而监视驾驶员的状态的处理，之后进入步骤S10。
在步骤S10中，判断是否获取了启动开关38的断开信号，如果判断为获取了断开信号，则之后结束处理，另一方面，如果判断为未获取断开信号，则返回步骤S3。
另外，在步骤S4中，如果判断为未获取自动驾驶模式的设定信号，则进入步骤S11，进行手动驾驶模式下的驾驶员监视处理。
另外，在步骤S8中，如果判断为未获取自动驾驶模式的解除信号，则进入步骤S12。在步骤S12中，判断是否获取了基于自动驾驶的强制避让的结束信号，如果判断为获取了强制避让的结束信号，则之后结束处理，另一方面，如果判断为未获取强制避让的结束信号，则返回步骤S8。
图5是表示实施方式(1)的驾驶员监视装置10中的控制单元12所进行的把持判定处理动作的流程图。此外，本处理动作是图4所示的步骤S7所对应的处理，在步骤S6中，在检测出自动驾驶模式的解除预告的情况下被执行。
在图4的步骤S6中，若检测出自动驾驶模式的解除预告信号，则进入把持判定处理的步骤S21。
在步骤S21中，读出存储于图像存储部13a的驾驶员图像，进入步骤S22。从图像存储部13a读出的驾驶员图像例如是在获取自动驾驶模式的解除预告信号后、被驾驶员拍摄相机54拍摄并存储于图像存储部13a的驾驶员图像。这里，将驾驶员图像作为拍摄到包括至少驾驶员的肩至上臂的一部分、和方向盘52的一部分(例如，大致上半部分)的视场的图像进行说明。
在步骤S22中，开始对于读出的驾驶员图像的图像处理，进行从驾驶员图像中检测方向盘52的处理，进入步骤S23。例如，通过边缘检测等的图像处理提取方向盘的边缘(轮廓)。
在步骤S23中，判断是否把持着方向盘52。例如，提取与上述提取的方向盘52的边缘交叉的形状的边缘，检测该交叉的形状的边缘的长度、间隔等，根据该边缘的形状判断是否是人的手。方向盘52被把持的状态除了包括用手握着方向盘52的状态之外，也包括手放在方向盘52的状态。
在步骤S23中，如果判断为把持着方向盘52，则进入步骤S24。在步骤S24中，判断方向盘52的把持位置是否适当。
方向盘52的把持位置适当的情况下例如是在从驾驶员图像提取的方向盘部分检测处两个部位把持位置的情况，但并不限定于此。另外，也可以省略步骤S24的处理。
在步骤S24中，如果判断为方向盘52的把持位置适当，则进入步骤S25。在步骤S25中，进行从驾驶员图像中检测驾驶员的肩臂部的姿势的处理。例如，通过边缘检测等的图像处理检测驾驶员的肩臂部的边缘(轮廓)、即从至少左右某个的肩至上臂部的边缘、以及前臂部的边缘，并进行推断检测到的各边缘的方向、角度的处理。
在接下来的步骤S26中，判断是否检测出驾驶员的至少左右某个肩、上臂部、以及前臂部(驾驶员的肩至手)，如果判断为检测出，则进入步骤S27。在步骤S27中，基于图像处理的结果，判断上述检测出的肩、上臂部、以及前臂部是否与方向盘52的把持位置(手的位置)相连。
在步骤S27中，如果判断为相连，则进入步骤S28。在步骤S28中，进行向自动驾驶控制装置20输出允许从自动驾驶模式向手动驾驶模式的切换的信号的处理，之后，结束本处理动作，进入图4的步骤S8。
另一方面，在步骤S26中，如果判断为未检测出驾驶员的肩、上臂部、以及前臂部，即，从驾驶员的至少左右某个的肩检测出上臂部，则进入步骤S29。在步骤S29中，将方向盘52的把持位置和驾驶员的肩上臂部的姿势适用于从把持判定方法存储部13d读出的把持判定表，进行驾驶员推断方向盘52的把持状态的处理，之后进入步骤S30。在步骤S30中，判断驾驶员是否把持着方向盘52，如果判断为把持着，则进入步骤S28。
另一方面，在步骤S23中判断为方向盘52未被把持的情况下，在步骤S24中判断为方向盘52的把持位置不适当、例如把持位置只有一个部位的情况下，在步骤S27中判断为驾驶员的肩、上臂部、以及前臂部与方向盘52的把持位置不相连的情况下，或者在步骤S30中判断为驾驶员未把持方向盘52的情况下，进入步骤S31。
在步骤S31中，判断是否已进行了用于使驾驶员以适当的姿势握住方向盘52的警告，如果判断为警告完毕则进入步骤S32。在步骤S32中进行向自动驾驶控制装置20输出强制避让指示信号的处理，之后结束处理，进入图4的步骤S8。
另一方面，在步骤S31中，如果判断为未警告完毕(未警告)，则进入步骤S33。在步骤S33中，对于警报装置37输出用来执行用于使驾驶员以适当的姿势握住方向盘52的警告处理的信号，之后返回步骤S21。
根据上述实施方式(1)的驾驶员监视装置10，在从由自动驾驶控制装置20控制独立行驶的自动驾驶模式切换到由驾驶员进行转向的手动驾驶模式的情况下，处理由驾驶员拍摄相机54拍摄到的驾驶员图像，检测方向盘52的把持位置和驾驶员的肩臂部的姿势。然后，基于该检测出的方向盘52的把持位置和驾驶员的肩臂部的姿势的关系，判定驾驶员的手是否把持着方向盘52。因此，能够明确地与除驾驶员以外的同乘者把持方向盘52那样的状态进行区别，能够高精度地检测出落座于驾驶席的原本的驾驶员是否把持着方向盘52。
另外，在未利用把持位置检测部12d检测出方向盘52的把持位置的情况下、把持位置不适当的情况下，执行用于使驾驶员以适当的姿势(例如，把持方向盘的上部两个部位的姿势)把持方向盘52的警告处理，因此能够促使驾驶员以适当的姿势接替方向盘操作。
另外，在基于方向盘52的把持位置与驾驶员的肩臂部的姿势的关系判定为驾驶员的手把持着方向盘52的情况下，输出允许从自动驾驶模式向上述手动驾驶模式的切换的信号，因此能够在驾驶员接替了方向盘操作的状态下，进行从自动驾驶模式向手动驾驶模式的切换，能够确保该切换时的车辆的安全。
另外，在判定为方向盘52未被驾驶员的手把持的情况下，输出不允许从自动驾驶模式向手动驾驶模式的切换的信号，因此能够防止在方向盘52的操作未被驾驶员接替的状态下切换到手动驾驶模式。
图6是表示包括实施方式(2)的驾驶员监视装置10A的自动驾驶系统1A的主要部分构成的框图。此外，对具有与图1所示的自动驾驶系统1的主要部分构成相同功能的构成部件标注相同附图标记，在这里省略其说明。
在实施方式(2)的驾驶员监视装置10A中，还包括获取来自设于方向盘52的接触检测传感器(接触检测部)55的信号的接触信号获取部12h，并执行使用了从接触检测传感器55获取的信号的处理这一点，与实施方式(1)的驾驶员监视装置10很大程度上不同。
设于方向盘52的接触检测传感器55是能够检测出接触方向盘52的手(特别是手掌、手指的部分)的传感器。接触检测传感器55中例如可采用静电电容式传感器、感压式传感器等，但并不限定于此。
上述静电电容式传感器是检测出设于方向盘52的电极部与手之间产生的静电电容的变化而检测向方向盘52的接触的传感器。
上述感压式传感器是利用设于方向盘52的电极部与检测部的接触面积(电阻值)的变化检测把持方向盘52时的压力、进而检测向方向盘52的接触的传感器。接触检测传感器55可以在方向盘52的圆周上、辐条部分设有多个。由接触检测传感器55检测出的信号向驾驶员监视装置10A输出。
图7是表示实施方式(2)的驾驶员监视装置10A的硬件构成的框图。此外，对具有与图2所示的驾驶员监视装置10的硬件构成相同功能的构成部件标注相同附图标记，在这里省略其说明。
驾驶员监视装置10A包括输入输出接口(I/F)11、控制单元12A、以及存储单元13A而构成。
输入输出I/F11连接于驾驶员拍摄相机54、接触检测传感器55、自动驾驶控制装置20、警报装置37、启动开关38等，包括用于与这些外部设备之间进行信号的收发的电路、连接器等而构成。
控制单元12A包括图像获取部12a、接触信号获取部12h、驾驶模式判定部12b、判定处理部12i、以及信号输出部12g而构成，并包括CPU、GPU等一个以上的硬件处理器而构成。
存储单元13A包括图像存储部13a、姿势检测方法存储部13e、以及把持判定方法存储部13f而构成，包括ROM、RAM、SSD、HDD、闪存、其他非易失性存储器、易失性存储器等、利用半导体元件存储数据的一个以上的存储器装置而构成。
图像存储部13a中存储由图像获取部12a获取的驾驶员图像(由驾驶员拍摄相机54拍摄到的图像)。
姿势检测方法存储部13e中存储有由控制单元12A的姿势检测部12k执行的检测驾驶员的肩臂部的姿势的姿势检测程序、该程序的执行所需的数据等。
把持判定方法存储部13f中存储有由控制单元12A的把持判定部12m执行的把持判定程序、该程序的执行所需的数据等。例如，也可以存储有表示方向盘52的把持位置和驾驶员的肩臂部的姿势(朝向与角度)的对应关系的把持判定表等。
控制单元12A构成为，与存储单元13A配合地进行向存储单元13A存储各种数据的处理，读出存储于存储单元13A的数据、程序，执行该程序。
接触信号获取部12h在驾驶模式判定部12b中检测出自动驾驶模式的解除预告信号(从自动驾驶模式向手动驾驶模式的切换预告信号)的情况下，执行从接触检测传感器55获取接触信号的处理，并将获取的接触信号发送到把持位置检测部12j。
判定处理部12i包括把持位置检测部12j、姿势检测部12k、把持判定部12m，在驾驶模式判定部12b中检测出自动驾驶模式的解除预告信号的情况下，执行这些各部的处理。
把持位置检测部12j在检测出自动驾驶模式的解除预告信号的情况下，从接触信号获取部12h取得由接触检测传感器55检测出的接触信号，并基于该接触信号执行方向盘52被是否把持、以及检测方向盘52的把持位置的处理。
姿势检测部12k紧接着把持位置检测部12j中的处理，处理驾驶员图像，并执行检测驾驶员的肩臂部的姿势的处理。
上述驾驶员图像的处理例如通过边缘检测等的图像处理，检测出图像所含的驾驶员的肩臂部的边缘(轮廓)即肩至上臂部的边缘和前臂部的边缘，进行推断检测出的各边缘的方向、角度(相对于铅垂方向的角度)的处理。驾驶员的肩臂部的姿势至少包括左右某个上臂部、以及前臂部的方向(朝向)、角度中的某个。
把持判定部12m紧接着姿势检测部12k的处理，基于由把持位置检测部12j检测出的方向盘52的把持位置、以及由姿势检测部12k检测出的驾驶员的肩臂部的姿势，执行判定拍摄到的驾驶员是否把持着方向盘52的处理。
例如，读出存储于把持判定方法存储部13f的、表示方向盘52的把持位置和驾驶员的肩臂部的姿势(朝向与角度)的关系的把持判定表，将上述检测出的方向盘52的把持位置和驾驶员的肩臂部的姿势适用于该把持判定表，判定是否适用于把持的条件。
图8是表示实施方式(2)的驾驶员监视装置10A中的控制单元12A所进行的把持判定处理动作的流程图。本处理动作是与图4所示的步骤S7对应的处理，在步骤S6中，在检测出自动驾驶模式的解除预告的情况下被执行。此外，对与图5所示的把持判定处理动作相同内容的处理动作标注相同附图标记，省略其说明。
在图4的步骤S6中，若检测自动驾驶模式的解除预告信号，则进入把持判定处理的步骤S41。在步骤S41中，读出存储于图像存储部13a的驾驶员图像，进入步骤S42。从图像存储部13a读出的驾驶员图像例如是在获取了自动驾驶模式的解除预告信号后由驾驶员拍摄相机54拍摄、并存储于图像存储部13a的驾驶员图像。此外，驾驶员图像是拍摄到至少包括驾驶员的面部、肩以及上臂部的一部分的视场的图像，方向盘52可以被拍到，也可以未被拍到。
在步骤S42中，进行从接触检测传感器55获取接触信号的处理，进入步骤S43。在步骤S43中，判断是否获取了接触信号(是否把持着方向盘52)，如果判断为获取了接触信号(把持着方向盘52)，则进入步骤S44。
在步骤S44中，判断检测出接触信号的部位是否是两个部位，如果判断为是两个部位，则进入步骤S45。在步骤S45中，进行从驾驶员图像检测出驾驶员的肩上臂部的姿势的处理。
例如，通过边缘检测等的图像处理检测出驾驶员的肩臂部的边缘(轮廓)即至少左右某个肩至上臂部的边缘，并进行对检测出的各边缘的方向、角度进行检测的处理，之后进入步骤S46。
在步骤S46中，将方向盘52的把持位置和驾驶员的肩上臂部的姿势适用于从把持判定方法存储部13f读出的把持判定表，进行判定驾驶员对方向盘52的双手把持状态的处理，之后进入步骤S47。
在步骤S47中，判断驾驶员是否用双手把持方向盘52，如果判断为用双手把持，则进入步骤S28，之后结束把持判定处理。
另一方面，在步骤S44中，如果判断为检测出接触信号的部位不是两个部位、即一个部位，则进入步骤S48。在步骤S48中，进行从驾驶员图像检测驾驶员的肩上臂部的姿势的处理，之后进入步骤S49。
在步骤S49中，将方向盘52的把持位置和驾驶员的肩上臂部的姿势适用于从把持判定方法存储部13f读出的把持判定表，进行判定驾驶员对方向盘52的单手把持状态的处理，之后进入步骤S50。
在步骤S50中，判断驾驶员是否用单手把持方向盘52，如果判断为用单手把持，则进入步骤S28，之后结束把持判定处理。
另一方面，在步骤S43中判断为未获取接触信号的情况下，在步骤S47中判断为驾驶员未用双手把持方向盘的情况下，或者在步骤S50中判断为驾驶员未用单手把持方向盘的情况下，进入步骤S31～S33的处理。
根据上述实施方式(2)的驾驶员监视装置10A，在从自动驾驶模式向手动驾驶模式切换的情况下，基于从接触检测传感器55获取的接触信号检测方向盘52的把持位置，基于该检测出的方向盘52的把持位置和处理驾驶员图像检测出的驾驶员的肩臂部的姿势，判定驾驶员的双手或者单手是否把持着方向盘52。
因此，即使在驾驶员图像中未拍到方向盘52的情况下，也能够与驾驶员以外的同乘者把持方向盘52那样的状态进行区别，高精度地检测出落座于驾驶席的原本的驾驶员是否用双手或者单手把持方向盘52。
此外，在上述驾驶员监视装置10A中，虽然基于从接触检测传感器55获取的接触信号检测方向盘52的把持位置，但在驾驶员图像中也拍到了方向盘52的一部分(大致上半部分)的情况下，也可以在检测方向盘52的把持位置的情况下，对照基于从接触检测传感器55获取的接触信号检测出的把持位置、以及处理驾驶员图像而检测出的把持位置来检测方向盘的把持位置。
图9是表示实施方式(3)的驾驶员监视装置10B的硬件构成的框图。此外，对具有与图2所示的驾驶员监视装置10的硬件构成相同功能的构成部件标注相同附图标记，在这里省略其说明。另外，包括实施方式(3)的驾驶员监视装置10B的自动驾驶系统1B的主要部分构成与图1所示的自动驾驶系统1大致相同，因此对具有相同功能的构成部件标注相同附图标记，并省略其说明。
在实施方式(3)的驾驶员监视装置10B中，与实施方式(1)的驾驶员监视装置10很大程度上不同的点在于，使用将把持方向盘52的状态的驾驶员图像和未把持方向盘52的状态的驾驶员图像作为教学数据而使学习器学习并创建出的分类器，并执行判定驾驶员图像中拍到的驾驶员是否把持着方向盘52的处理。
实施方式(3)的驾驶员监视装置10B包括输入输出接口(I/F)11、控制单元12B、以及存储单元13B而构成。
输入输出I/F11连接于驾驶员拍摄相机54、自动驾驶控制装置20、警报装置37、启动开关38等，并包括用于在与这些外部设备之间进行信号的收发的电路、连接器等而构成。
控制单元12B包括图像获取部12a、驾驶模式判定部12b、判定处理部12n、以及信号输出部12g而构成，并包括CPU、GPU等一个以上的硬件处理器而构成。
存储单元13B包括图像存储部13a以及分类器存储部13g而构成，包括ROM、RAM、SSD、HDD、闪存、其他非易失性存储器、易失性存储器等利用半导体元件存储数据的一个以上的存储器装置而构成。
图像存储部13a中存储由图像获取部12a获取的驾驶员图像(由驾驶员拍摄相机54拍摄到的图像)。
分类器存储部13g中存储有把持判定用的学习完毕分类器。学习完毕分类器是利用后述的学习装置60，将把持方向盘52的状态的驾驶员图像和未把持方向盘52的状态的驾驶员图像作为教学数据预先进行学习处理而创建的学习模型，例如由神经网络等构成。
神经网络可以是分层型神经网络，也可以是卷积神经网络。存储于分类器存储部13g的学习完毕分类器可以是一个，也可以是两个以上。也可以有存储与驾驶员图像所拍到的驾驶员的属性(男性、女性、体格等)对应的多个学习完毕分类器。
学习完毕分类器由利用由包括输入层、隐藏层(中间层)、以及输出层的多个层划分的多个神经元(也称作单元)处理信号、并从输出层输出分类结果的神经网络构成。
输入层是取得向神经网络赋予的信息的层。例如，包括与驾驶员图像的像素数对应的单元数，各神经元被输入驾驶员图像的各像素信息。
中间层的神经元进行如下处理，即，输出将多个输入值累计地加上权重系数、进而减去阈值后的值用传递函数(例如step函数、sigmoid函数等)来处理而得的值，并提取向输入层输入的驾驶员图像的特征。在中间层的浅层中，驾驶员图像中的驾驶员的较小特征(线段等)被识别，随着层加深(变为输出侧)，较小的特征被组合，识别到驾驶员的较大特征(更宽范围的特征)。
输出层的神经元将神经网络计算出的结果输出。例如，由两个神经元构成，输出对属于把持方向盘的状态、和未把持方向盘的状态中的哪一个进行了分类(识别)的结果。
控制单元12B与存储单元13B配合地执行向存储单元13B存储各种数据的处理、读出存储于存储单元13B的数据、分类器等并使用了该分类器的把持判定处理。
判定处理部12n在驾驶模式判定部12b中检测出自动驾驶模式的解除预告信号的情况下，从分类器存储部13g读出学习完毕分类器，并且从图像存储部13a读出驾驶员图像。然后，向学习完毕分类器的输入层输入驾驶员图像的像素数据(像素值)，进行神经网络的中间层的运算处理，并进行从输出层输出对属于驾驶员把持方向盘的状态与未把持方向盘的状态中的哪一个进行分类(识别)的结果的处理。
图10是表示生成存储于驾驶员监视装置10B的学习完毕分类器的学习装置60的硬件构成的框图。
学习装置60由包括输入输出接口(I/F)61、学习控制单元62、以及学习存储单元63的计算机装置构成。
输入输出I/F61连接于学习用驾驶员拍摄相机64、输入部65、显示部66、外部存储部67等，并包括用于在与这些外部设备之间进行信号的收发的电路、连接器等而构成。
学习用驾驶员拍摄相机64例如是装备于驾驶模拟装置的相机，并且是对落座于驾驶模拟装置的驾驶席的驾驶员进行拍摄的装置。由学习用驾驶员拍摄相机64拍摄的视场被设定为与安装于车辆的驾驶员拍摄相机54相同的视场。输入部65由键盘等输入装置构成。显示部66由液晶显示器等显示装置构成。外部存储部67是外带的存储装置，并由HDD、SSD、闪存等构成。
学习控制单元62包括学习图像获取部62a、把持信息获取部62b、学习处理部62c、以及数据输出部62e而构成，并包括CPU、GPU等一个以上的硬件处理器而构成。
学习存储单元63包括学习数据集存储部63a、未学习分类器存储部63b、以及学习完毕分类器存储部63c而构成，包括ROM、RAM、SSD、HDD、闪存、其他非易失性存储器、易失性存储器等由半导体元件存储数据的一个以上的存储器装置而构成。
学习控制单元62构成为，与学习存储单元63配合地进行向学习存储单元63存储各种数据(学习完毕分类器等)的处理、读出存储于学习存储单元63的数据、程序(未学习分类器等)并执行该程序。
学习图像获取部62a进行获取由学习用驾驶员拍摄相机64拍摄到的学习用驾驶员图像，并将获取的学习用驾驶员图像向学习数据集存储部63a存储的处理等。学习用驾驶员图像中包括把持驾驶模拟装置的方向盘的驾驶员的图像、以及未把持方向盘的驾驶员的图像。
把持信息获取部62b进行获取由学习图像获取部62a获取的、作为与各学习用驾驶员图像建立对应的教学数据的方向盘把持信息(把持状态的正确数据)，并将获取的方向盘把持信息与各学习用驾驶员图像建立对应地存储于学习数据集存储部63a的处理等。方向盘把持信息中包括关于有无方向盘把持的正确数据。方向盘把持信息经由输入部65而由设计者输入。
学习处理部62c进行以下处理等：使用未学习的神经网络等的未学习分类器和学习数据集(学习用驾驶员图像与方向盘把持信息)进行学习处理，创建出学习完毕分类器，并将创建出的学习完毕分类器向学习完毕分类器存储部63c存储。
数据输出部62e进行将存储于学习完毕分类器存储部63c的学习完毕分类器向外部存储部67输出的处理等。
学习数据集存储部63a中将学习用驾驶员图像和作为其教学数据(正确数据)的方向盘把持信息建立对应地存储。
未学习分类器存储部63b中存储有未学习的神经网络的程序等与未学习的分类器相关的信息。
学习完毕分类器存储部63c中存储有学习完毕的神经网络的程序等与学习完毕的分类器相关的信息。
图11是表示学习装置60的学习控制单元62所进行的学习处理动作的流程图。
首先，在步骤S51中，从未学习分类器存储部63b读出未学习的分类器，在接下来的步骤S52中，将构成未学习的分类器的神经网络的权重与阈值等常数初始化，进入步骤S53。
在步骤S53中，从学习数据集存储部63a读出学习数据集(学习用驾驶员图像与方向盘把持信息)，在接下来的步骤S54中，将构成读出的学习用驾驶员图像的像素数据(像素值)向未学习的神经网络的输入层输入，之后进入步骤S55。
在步骤S55中，从未学习的神经网络的输出层输出把持判定数据，在接下来的步骤S56中，将输出的把持判定数据和作为教学数据的方向盘把持信息比较，进入步骤S57。
在步骤S57中，判断输出的误差是否达到规定值以下，如果判断为输出的误差未到达规定值以下，则进入步骤S58。在步骤S58中，进行构成神经网络的中间层的神经元的特性(权重、阈值等)的调整，以使输出的误差达到规定值以下，之后返回步骤S53，继续学习处理。在步骤S58中，也可以使用误差逆传播法(反向传播算法)。
另一方面，在步骤S57中，如果判断为输出的误差到达规定值以下，则进入步骤S59，结束学习处理，进入步骤S60。在步骤S60中，将学习完毕的神经网络作为学习完毕分类器存储于学习完毕分类器存储部63c，之后结束处理。
存储于学习完毕分类器存储部63c的学习完毕分类器能够由数据输出部62e向外部存储部67输出。存储于外部存储部67的学习完毕分类器被储存于驾驶员监视装置10B的分类器存储部13g。
图12是表示实施方式(3)的驾驶员监视装置10B中的控制单元12B所进行的把持判定处理动作的流程图。此外，本处理动作是与图4所示的步骤S7对应的处理，在步骤S6中，在检测出自动驾驶模式的解除预告的情况下被执行。此外，对与图5所示的把持判定处理动作相同内容的处理动作标注相同附图标记，省略其说明。
在图4的步骤S6中，若检测出自动驾驶模式的解除预告信号，则进入把持判定处理的步骤S61。在步骤S61中，读出存储于图像存储部13a的驾驶员图像，进入步骤S62。从图像存储部13a读出的驾驶员图像例如是获取了自动驾驶模式的解除预告信号之后被驾驶员拍摄相机54拍摄、并存储于图像存储部13a的驾驶员图像。
在步骤S62中，从分类器存储部13g读出学习完毕分类器，进入步骤S63。学习完毕分类器在这里由具有输入层、隐藏层(中间层)、以及输出层的神经网络构成。在步骤S63中，向读出的学习完毕分类器的输入层输入驾驶员图像的像素值，进入步骤S64。
在步骤S64中，进行学习完毕分类器的中间层的运算处理，之后进入步骤S65。
在步骤S65中，从学习完毕分类器的输出层输出把持判定数据，在接下来的步骤S66中，基于输出的把持判定数据，判断驾驶员是否把持着方向盘52。
在步骤S66中，如果判断为驾驶员把持着方向盘52，则进入步骤S28，将允许从自动驾驶模式向手动驾驶模式的切换的信号向自动驾驶控制装置20输出，之后，结束把持判定处理，进入图4的步骤S8。
另一方面，在步骤S66中，如果判断为驾驶员未把持方向盘52，则进入步骤S31～S33的处理。
根据上述实施方式(3)的驾驶员监视装置10B，在利用自动驾驶控制装置20的控制从自动驾驶模式向手动驾驶模式切换的情况下，向学习完毕分类器的输入层输入驾驶员图像的数据，从而从输出层输出驾驶员的手是否把持着方向盘52的判定数据。
因此，通过在判定处理部12n的处理中使用学习完毕分类器，能够与驾驶员以外的同乘者把持方向盘52那样的状态进行区别，能够高精度地检测出落座于驾驶席的原本的驾驶员是否把持着方向盘52。
图13是表示实施方式(4)的驾驶员监视装置10C的硬件构成的框图。另外，包括实施方式(4)的驾驶员监视装置10C的自动驾驶系统1C的主要部分构成与图1所示的自动驾驶系统1大致相同，因此对具有相同功能的构成部件标注相同附图标记，省略其说明。
实施方式(4)的驾驶员监视装置10C是实施方式(3)的驾驶员监视装置10B的变更例，成为控制单元12C的学习完毕分类器创建部12p、判定处理部12r、以及存储单元13C的分类器信息存储部13h不同的构成。
实施方式(4)的驾驶员监视装置10C包括输入输出接口(I/F)11、控制单元12C、以及存储单元13C而构成。
控制单元12C包括图像获取部12a、驾驶模式判定部12b、学习完毕分类器创建部12p、判定处理部12r、以及信号输出部12g而构成。
存储单元13B包括图像存储部13a以及分类器信息存储部13h而构成。
分类器信息存储部13h中存储有包括神经网络的分层数、各层的神经元数、以及传递函数(例如step函数、sigmoid函数等)的与未学习的分类器相关的定义信息、以及包括预先通过学习处理求出的各层的神经元间的权重系数及阈值的常数数据。与未学习的分类器相关的定义信息可以是一个分类器，也可以是两个以上的分类器。另外，常数数据也可以存储与驾驶员图像所拍到的驾驶员的属性(男性、女性、体格等)对应的多个常数数据的组。
学习完毕分类器创建部12p在驾驶模式判定部12b中检测出自动驾驶模式的解除预告信号的情况下，进行从分类器信息存储部13h读出定义信息与常数数据，并使用读出的定义信息与常数数据创建学习完毕分类器的处理。学习完毕分类器由神经网络构成，包括从图像存储部13a读出的驾驶员图像的数据所输入的输入层、以及输出驾驶员的手是否把持着方向盘52的判定数据的输出层。神经网络可以是分层型神经网络，也可以是卷积神经网络。
另外，判定处理部12r进行向创建的学习完毕分类器的输入层输入驾驶员图像的像素数据、并从输出层输出驾驶员的手是否把持着方向盘52的判定数据的处理。
根据上述实施方式(4)的驾驶员监视装置10C，在从自动驾驶模式向手动驾驶模式切换的情况下，读出存储于分类器信息存储部13h的未学习分类器的定义信息与常数数据，创建学习完毕分类器，并向创建出的学习完毕分类器的输入层输入驾驶员图像的数据，从而从输出层输出驾驶员的手是否把持着方向盘52的判定数据。
因此，通过使用由学习完毕分类器创建部12p创建出的学习完毕分类器，能够与驾驶员以外的同乘者把持方向盘52那样的状态区别，能够高精度地检测出落座于驾驶席的原本的驾驶员是否把持着方向盘52。
(附记1)
一种驾驶员监视装置，对落座于包括自动驾驶模式与手动驾驶模式的车辆的驾驶席上的驾驶员进行监视，其中，上述驾驶员监视装置包括：存储器，其包括对由拍摄上述驾驶员的拍摄部拍摄到的驾驶员图像进行存储的图像存储部；以及连接于该存储器的至少一个硬件处理器，该至少一个硬件处理器构成为，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，获取由上述拍摄部拍摄到的驾驶员图像并向上述图像存储部存储，从该图像存储部读出上述驾驶员图像，处理该读出的上述驾驶员图像，判定上述驾驶员的手是否把持着上述车辆的方向盘，输出基于该判定结果的规定的信号。
(附记2)
一种驾驶员监视方法，使用装置对包括自动驾驶模式与手动驾驶模式的车辆的上述驾驶员进行监视，该装置包括：存储器，其包括对由拍摄落座于驾驶席的驾驶员的拍摄部拍摄到的驾驶员图像进行存储的图像存储部；以及连接于该存储器的至少一个硬件处理器，其中，上述驾驶员监视方法包括以下步骤：利用上述至少一个硬件处理器，在从上述自动驾驶模式向上述手动驾驶模式切换的情况下，获取由上述拍摄部拍摄到的驾驶员图像；利用上述至少一个硬件处理器，使上述获取的上述驾驶员图像存储于上述图像存储部；利用上述至少一个硬件处理器，从上述图像存储部读出上述驾驶员图像；利用上述至少一个硬件处理器，对上述读出的上述驾驶员图像进行处理，判定上述驾驶员的手是否把持着上述车辆的方向盘；以及利用上述至少一个硬件处理器，输出基于上述判定的结果的规定的信号。

Claims (9)

1.一种驾驶员监视装置，对落座于车辆的驾驶席上的驾驶员进行监视，所述车辆包括自动驾驶模式与手动驾驶模式，所述驾驶员监视装置的特征在于，包括：
图像获取部，获取由拍摄所述驾驶员的拍摄部拍摄到的驾驶员图像；
图像存储部，对由该图像获取部获取到的所述驾驶员图像进行存储；
判定处理部，在从所述自动驾驶模式向所述手动驾驶模式切换的情况下，对从所述图像存储部读出的所述驾驶员图像进行处理，判定所述驾驶员的手是否把持着所述车辆的方向盘；以及
信号输出部，输出基于该判定处理部的判定结果的规定的信号。
2.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述驾驶员图像是在至少包括从所述驾驶员的肩至上臂的一部分和所述方向盘的一部分在内的视场内进行拍摄而得的图像，
所述判定处理部包括：
把持位置检测部，处理所述驾驶员图像而检测所述方向盘的把持位置；
姿势检测部，处理所述驾驶员图像而检测所述驾驶员的肩臂部的姿势；以及
把持判定部，基于由所述把持位置检测部检测出的把持位置和由所述姿势检测部检测出的所述驾驶员的肩臂部的姿势，判定所述驾驶员的手是否把持着所述方向盘。
3.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述驾驶员图像是在至少包括从所述驾驶员的肩至上臂的一部分的视场内进行拍摄而得的图像，
所述驾驶员监视装置包括接触信号获取部，该接触信号获取部获取来自设于所述方向盘的检测手的接触的接触检测部的信号，
所述判定处理部包括：
把持位置检测部，基于由所述接触信号获取部获取的接触信号，检测所述方向盘的把持位置；
姿势检测部，处理所述驾驶员图像而检测所述驾驶员的肩臂部的姿势；以及
把持判定部，基于由所述把持位置检测部检测出的把持位置和由所述姿势检测部检测出的所述驾驶员的肩臂部的姿势，判定所述驾驶员的手是否把持着所述方向盘。
4.根据权利要求2或3所述的驾驶员监视装置，其特征在于，
所述信号输出部在所述把持位置检测部未检测出所述把持位置的情况下，向设于所述车辆的警报部输出用于执行警告处理的信号，该警告处理用于使所述驾驶员把持所述方向盘。
5.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述驾驶员监视装置包括分类器存储部，该分类器存储部存储学习完毕分类器，该学习完毕分类器是将把持着所述方向盘的所述驾驶员的图像和未把持所述方向盘的所述驾驶员的图像作为教学数据预先进行学习处理而创建的，
所述学习完毕分类器包括输入层以及输出层，从所述图像存储部读出的所述驾驶员图像的数据输入该输入层，该输出层输出所述驾驶员的手是否把持着所述方向盘的判定数据，
所述判定处理部在从所述自动驾驶模式向所述手动驾驶模式切换的情况下，进行以下处理：向从所述分类器存储部读出的所述学习完毕分类器的所述输入层输入所述驾驶员图像的数据，并从所述输出层输出所述驾驶员的手是否把持着所述方向盘的判定数据。
6.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述驾驶员监视装置包括：
分类器信息存储部，存储定义信息以及常数数据，该定义信息与包括神经网络的分层数、各层的神经元数及传递函数在内的未学习的分类器相关，该常数数据包括预先通过学习处理求出的各层的神经元间的权重系数以及阈值；以及
学习完毕分类器创建部，从该分类器信息存储部读出所述定义信息与所述常数数据并创建学习完毕分类器，
所述学习完毕分类器包括输入层以及输出层，从所述图像存储部读出的所述驾驶员图像的数据输入该输入层，该输出层输出所述驾驶员的手是否把持着所述方向盘的判定数据，
所述判定处理部在从所述自动驾驶模式向所述手动驾驶模式切换的情况下，进行以下处理：向通过所述学习完毕分类器创建部创建的所述学习完毕分类器的所述输入层输入所述驾驶员图像的数据，并从所述输出层输出所述驾驶员的手是否把持着所述方向盘的判定数据。
7.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述信号输出部在所述判定处理部判定所述驾驶员的手把持着所述方向盘的情况下，输出允许从所述自动驾驶模式向所述手动驾驶模式切换的信号。
8.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述信号输出部在所述判定处理部判定所述驾驶员的手未把持着所述方向盘的情况下，输出不允许从所述自动驾驶模式向所述手动驾驶模式切换的信号。
9.一种驾驶员监视方法，使用包括存储部以及连接于该存储部的硬件处理器的装置对落座于车辆的驾驶席上的驾驶员进行监视，所述车辆包括自动驾驶模式与手动驾驶模式，所述驾驶员监视方法的特征在于，
所述存储部包括图像存储部，该图像存储部对由拍摄所述驾驶员的拍摄部拍摄到的驾驶员图像进行存储，
所述驾驶员监视方法包括以下步骤：
所述硬件处理器在从所述自动驾驶模式向所述手动驾驶模式切换的情况下，获取由所述拍摄部拍摄到的驾驶员图像；
所述硬件处理器将该获取到的所述驾驶员图像存储到所述图像存储部；
所述硬件处理器从所述图像存储部读出所述驾驶员图像；
所述硬件处理器对该读出的所述驾驶员图像进行处理，判定所述驾驶员的手是否把持着所述车辆的方向盘；以及
所述硬件处理器输出基于该判定的结果的规定的信号。
CN201810324438.3A 2017-05-09 2018-04-12 驾驶员监视装置以及驾驶员监视方法 Active CN108860154B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-092844 2017-05-09
JP2017092844A JP7005933B2 (ja) 2017-05-09 2017-05-09 運転者監視装置、及び運転者監視方法

Publications (2)

Publication Number Publication Date
CN108860154A true CN108860154A (zh) 2018-11-23
CN108860154B CN108860154B (zh) 2021-05-14

Family

ID=63962664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810324438.3A Active CN108860154B (zh) 2017-05-09 2018-04-12 驾驶员监视装置以及驾驶员监视方法

Country Status (4)

Country Link
US (1) US20180326992A1 (zh)
JP (1) JP7005933B2 (zh)
CN (1) CN108860154B (zh)
DE (1) DE102018002963B4 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110341713A (zh) * 2019-07-12 2019-10-18 东南（福建）汽车工业有限公司 一种基于摄像头的驾驶员手握方向盘监测系统和方法
CN111797670A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于确定手是否与车辆的手动转向元件协作的方法和装置
CN111976741A (zh) * 2019-05-23 2020-11-24 现代自动车株式会社 用于控制自动驾驶车辆的装置和方法
CN114056340A (zh) * 2021-10-28 2022-02-18 北京罗克维尔斯科技有限公司 车辆及其控制方法、控制装置、控制设备和存储介质
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6752756B2 (ja) * 2017-05-31 2020-09-09 株式会社東海理化電機製作所 運転者把持検出装置
JP6495971B2 (ja) * 2017-06-02 2019-04-03 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6950346B2 (ja) * 2017-08-10 2021-10-13 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
US10635104B2 (en) * 2018-08-21 2020-04-28 International Business Machines Corporation Intelligent transitioning between autonomous and manual driving modes of a vehicle
KR20200075933A (ko) * 2018-12-12 2020-06-29 현대자동차주식회사 스티어링휠의 핸즈온오프 감지시스템 및 방법
US10471969B1 (en) * 2019-01-07 2019-11-12 GM Global Technology Operations LLC System and method to restrict vehicle operations in response to driver impairment
US11010668B2 (en) * 2019-01-31 2021-05-18 StradVision, Inc. Method and device for attention-driven resource allocation by using reinforcement learning and V2X communication to thereby achieve safety of autonomous driving
US10713948B1 (en) * 2019-01-31 2020-07-14 StradVision, Inc. Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection
JP6653033B1 (ja) * 2019-02-19 2020-02-26 三菱ロジスネクスト株式会社 荷役システムおよび制御方法
JP6667692B1 (ja) * 2019-02-19 2020-03-18 三菱ロジスネクスト株式会社 荷役システムおよび制御方法
CN111845757A (zh) * 2019-04-30 2020-10-30 通用汽车环球科技运作有限责任公司 分心驾驶消除系统
CN112034829A (zh) * 2019-05-15 2020-12-04 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
JP7147715B2 (ja) * 2019-08-07 2022-10-05 トヨタ自動車株式会社 運転支援装置および運転支援方法
US11077863B2 (en) * 2019-08-14 2021-08-03 Waymo Llc Secondary disengage alert for autonomous vehicles
US11254286B2 (en) 2019-09-17 2022-02-22 GM Global Technology Operations LLC System and method to disable automated driving mode based on vehicle operation context
JP7125926B2 (ja) * 2019-09-17 2022-08-25 本田技研工業株式会社 車両制御システム
US11608088B2 (en) * 2019-10-14 2023-03-21 Continental Automotive Systems, Inc. Optics based detection of hands on-off and hand gesture based function selection for human driver
JP6979091B2 (ja) * 2020-01-29 2021-12-08 本田技研工業株式会社 車両制御装置、車両、車両制御方法及びプログラム
JP7066017B1 (ja) * 2020-08-05 2022-05-12 三菱電機株式会社 通知装置および通知方法
AT523727B1 (de) * 2020-08-18 2021-11-15 Emotion3D Gmbh Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN113246998B (zh) * 2020-12-14 2022-12-09 北京小马慧行科技有限公司 车辆控制人员行为信息的采集方法、装置及系统
KR20220089520A (ko) * 2020-12-21 2022-06-28 현대자동차주식회사 운전자 상태 판단 장치 및 방법
US20220203996A1 (en) * 2020-12-31 2022-06-30 Cipia Vision Ltd. Systems and methods to limit operating a mobile phone while driving
US11654922B2 (en) * 2021-08-09 2023-05-23 Ford Global Technologies, Llc Driver attention and hand placement systems and methods
WO2023058155A1 (ja) * 2021-10-06 2023-04-13 日本電気株式会社 運転手監視装置、運転手監視方法及びプログラム
KR102632533B1 (ko) * 2021-11-26 2024-02-02 한국자동차연구원 영상 기반 운전 자세 가이드와 경고를 제공하는 시스템 및 그 방법
US11981354B2 (en) * 2022-04-01 2024-05-14 Ford Global Technologies, Llc Systems and methods for mitigating spoofing of vehicle features

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160209840A1 (en) * 2015-01-20 2016-07-21 Lg Electronics Inc. Apparatus for switching driving mode of vehicle and method thereof
US20160304124A1 (en) * 2015-04-17 2016-10-20 Toyota Jidosha Kabushiki Kaisha Vehicle control system
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
WO2017018133A1 (ja) * 2015-07-29 2017-02-02 修一 田山 車輌の自動運転システム
CN110087962A (zh) * 2016-12-22 2019-08-02 株式会社电装 驾驶转换控制装置以及驾驶转换控制方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688213B2 (en) * 2005-05-06 2010-03-30 Jerome Arnold Power Sleep alert device
JP2009075648A (ja) * 2007-09-18 2009-04-09 Aisin Aw Co Ltd 運転補助装置、運転補助方法及び運転補助プログラム
JP4420100B2 (ja) * 2007-10-22 2010-02-24 株式会社デンソー 身体部位検出装置
JP2010195144A (ja) * 2009-02-24 2010-09-09 Toyota Motor Corp 車両運転支援装置
JP4900460B2 (ja) * 2009-12-14 2012-03-21 株式会社デンソー 操舵装置用車輪把持検出装置、プログラム
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US20150009010A1 (en) 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
DE102013019141A1 (de) 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
GB2525840B (en) 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
DE102014118958A1 (de) 2014-12-18 2016-06-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs beim Übergang von einem autonomen zu einem manuellen Fahrmodus, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6422058B2 (ja) * 2015-04-15 2018-11-14 本田技研工業株式会社 把持検出装置
JP6558731B2 (ja) * 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
KR20170036428A (ko) 2015-09-24 2017-04-03 삼성전자주식회사 웨어러블 디바이스를 이용한 운전자 모니터링 방법 및 장치
JP2017068424A (ja) * 2015-09-29 2017-04-06 富士通株式会社 姿勢計測装置及び姿勢計測方法
JP6540469B2 (ja) 2015-11-16 2019-07-10 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
US10308257B2 (en) * 2017-05-01 2019-06-04 Hitachi, Ltd. Monitoring respiration of a vehicle operator
US10545498B2 (en) * 2017-07-21 2020-01-28 Ford Global Technologies, Llc Vehicle steering control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
US20160209840A1 (en) * 2015-01-20 2016-07-21 Lg Electronics Inc. Apparatus for switching driving mode of vehicle and method thereof
US20160304124A1 (en) * 2015-04-17 2016-10-20 Toyota Jidosha Kabushiki Kaisha Vehicle control system
WO2017018133A1 (ja) * 2015-07-29 2017-02-02 修一 田山 車輌の自動運転システム
CN110087962A (zh) * 2016-12-22 2019-08-02 株式会社电装 驾驶转换控制装置以及驾驶转换控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers
CN111797670A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于确定手是否与车辆的手动转向元件协作的方法和装置
CN111976741A (zh) * 2019-05-23 2020-11-24 现代自动车株式会社 用于控制自动驾驶车辆的装置和方法
CN111976741B (zh) * 2019-05-23 2024-05-28 现代自动车株式会社 用于控制自动驾驶车辆的装置和方法
CN110341713A (zh) * 2019-07-12 2019-10-18 东南（福建）汽车工业有限公司 一种基于摄像头的驾驶员手握方向盘监测系统和方法
CN114056340A (zh) * 2021-10-28 2022-02-18 北京罗克维尔斯科技有限公司 车辆及其控制方法、控制装置、控制设备和存储介质

Also Published As

Publication number Publication date
DE102018002963B4 (de) 2022-03-17
JP7005933B2 (ja) 2022-01-24
US20180326992A1 (en) 2018-11-15
DE102018002963A1 (de) 2018-11-15
CN108860154B (zh) 2021-05-14
JP2018190217A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108860154A (zh) 驾驶员监视装置以及驾驶员监视方法
CN105988467B (zh) 自动驾驶装置
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
CN111183428B (zh) 识别自动驾驶车辆的分配的乘客
JP6702217B2 (ja) 自動運転装置
US10556600B2 (en) Assessment of human driving performance using autonomous vehicles
CN106611497B (zh) 交通量预测系统及预测方法、车辆用显示装置以及车辆
JP5407764B2 (ja) 運転支援装置
CN104477167B (zh) 一种智能驾驶系统及其控制方法
WO2020098286A1 (zh) 车道线检测方法及装置
CN105938657A (zh) 一种无人驾驶车辆的听觉感知与智能决策系统
JP2016164063A (ja) 乗員視界及びセンサ検出作用が遮断された環境における自律移動体の操作方法
CN110001643A (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
CN108891419A (zh) 驾驶员监视装置及驾驶员监视方法
CN108394411A (zh) 车辆的跟随起步控制装置
CN109426244A (zh) 自动驾驶装置
CN107813817A (zh) 无人驾驶系统、无人驾驶方法及车辆
US20220135165A1 (en) Drive assistance device for saddle riding-type vehicle
CN109841088A (zh) 车辆驾驶辅助系统及方法
US11772614B2 (en) Drive assistance device for saddle type vehicle
US11282299B2 (en) Method for determining a driving instruction
CN109383367A (zh) 车辆外部通知装置
CN110371123A (zh) 车辆控制装置、车辆控制方法及存储介质
CN114531913A (zh) 车道线检测方法、相关设备及计算机可读存储介质
JP7221332B2 (ja) 車両走行制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant