CN109383525A - 驾驶员状态掌握装置、驾驶员状态掌握系统及方法 - Google Patents

驾驶员状态掌握装置、驾驶员状态掌握系统及方法 Download PDF

Info

Publication number
CN109383525A
CN109383525A CN201810757565.2A CN201810757565A CN109383525A CN 109383525 A CN109383525 A CN 109383525A CN 201810757565 A CN201810757565 A CN 201810757565A CN 109383525 A CN109383525 A CN 109383525A
Authority
CN
China
Prior art keywords
driver
state
shoulder
grasps
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810757565.2A
Other languages
English (en)
Inventor
籔内智浩
相泽知祯
日向匡史
青位初美
冈地喜
冈地一喜
菅原启
鹈野充惠
滝沢光司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109383525A publication Critical patent/CN109383525A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Abstract

一种驾驶员状态掌握装置、驾驶员状态掌握系统及方法，能够正确地掌握驾驶员的姿势，以使驾驶员在自动驾驶过程中也能够讯速地接管驾驶操作、尤其是方向盘操作。用于掌握包括自动驾驶系统(1)的车辆的驾驶员的状态的驾驶员状态掌握装置(20)包括：获取驾驶员的上半身的状态掌握数据的状态掌握数据获取部(22a)；利用由该状态掌握数据获取部(22a)获取的状态掌握数据，检测驾驶员的肩的肩检测部(22b)；以及基于肩检测部(22b)的检测信息，判定自动驾驶中驾驶员是否处于能够立即握持车辆的方向盘的状态的即时响应性判定部(22c)。

Description

驾驶员状态掌握装置、驾驶员状态掌握系统及方法
技术领域
本发明涉及驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法，更加具体地，掌握可自动驾驶的车辆的驾驶员的状态的驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法。
背景技术
近年来，车辆的自动驾驶技术的开发正在蓬勃发展。搭载自动驾驶系统的车辆的驾驶员即使在自动驾驶中也需要监视自动驾驶系统，以便在例如自动驾驶系统出现异常或故障时，在自动驾驶系统达到动作极限的情况下或者接收自动驾驶控制的情况下等，也能够顺利地接管驾驶操作。
例如，下面的专利文献1公开了如下技术：从通过设置于车内的摄像头拍摄到的驾驶员的图像检测驾驶员的视线和眼皮打开度等睡意信息，根据该睡意信息运算实际集中度，当该实际集中度低于要求的集中度时，例如，驾驶员犯困从而集中度下降时，降低自动巡航控制的行驶速度。
如上所述，在驾驶员犯困从而在自动驾驶中打盹的情况下，变成驾驶员无法负责监视自动驾驶系统的状态。作为驾驶员无法负责监视自动驾驶系统的状态，除了所述打盹状态之外，还可以有各种状态。另外，在判定驾驶员是否负责监视自动驾驶系统时重要的一点是掌握驾驶员在自动驾驶中是否也采取能够立即接管驾驶操作的姿势。但是，根据专利文献1记载的利用驾驶员的睡意信息的监视方法，存在无法恰当地掌握驾驶员的姿势的问题。
现有技术文献
专利文献
专利文献1：日本专利第4333797号公报
发明内容
本发明是鉴于上述问题做出的，本发明的目的在于提供驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法，能够正确地掌握驾驶员的姿势，以使驾驶员在自动驾驶过程中也能够讯速地接管驾驶操作、尤其是方向盘操作。
为了实现上述目的，本发明所涉及的驾驶员状态掌握装置掌握包括自动驾驶系统的车辆的驾驶员的状态，其特征在于，包括：
状态掌握数据获取部，获取所述驾驶员的上半身的状态掌握数据；
肩检测部，利用由该状态掌握数据获取部获取到的所述状态掌握数据，检测所述驾驶员的肩；以及
即时响应性判定部，基于该肩检测部的检测信息，判定自动驾驶中所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
当驾驶员想要以适合的姿势握持车辆的方向盘时，所述驾驶员的肩与所述方向盘变成大致相对的状态。从而，通过掌握所述驾驶员的肩状态，可以判定所述驾驶员是否处于能够立即握持所述方向盘的状态。
根据上述驾驶员状态掌握装置，根据所述驾驶员的上半身的状态掌握数据检测所述驾驶员的肩，基于该肩的检测信息，判定在自动驾驶中驾驶员是否处于能够立即握持所述车辆的方向盘的状态，所以能够有效地执行到该判定为止的处理。进一步地，能够正确地掌握即使在自动驾驶中所述驾驶员是否还是能够迅速接管所述方向盘的操作的姿势，并且，还可以适当地支援，从而即使在自动驾驶中所述自动驾驶系统发生故障时等，也可以迅速且顺利地进行从自动驾驶到手动驾驶的接管、尤其是方向盘操作的接管。
通过所述状态掌握数据获取部获取到的所述状态掌握数据可以是设在所述车辆的摄像头拍摄到的所述驾驶员的图像数据，还可以是通过设在所述车辆的传感器检测的所述驾驶员的检测数据。作为所述状态掌握数据获取所述摄像头的图像数据或所述传感器的检测数据，并且进行这些数据的处理，从而从所述状态掌握数据可以检测所述驾驶员的肩的位置或姿势等状态，
并且，本发明所涉及的驾驶员状态掌握装置还可以基于预先设定的正常驾驶姿势，规定能够立即握持所述车辆的方向盘的状态。
根据上述驾驶员状态掌握装置，能够立即握持所述车辆的方向盘的状态是基于预先设定的正常驾驶姿势规定的，所以能够减轻所述即时响应性判定部中的判定处理负荷，并且能够进行正确的判定。
并且，本发明所涉及的驾驶员状态掌握装置，所述即时响应性判定部可以包括：距离估计部，基于所述肩检测部的检测信息，估计所述驾驶员的肩与所述车辆的方向盘的距离，其中，基于通过该距离估计部估计的所述距离，判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
根据上述驾驶员状态掌握装置，基于所述肩检测部的检测信息，估计所述驾驶员的肩与所述车辆的方向盘的距离，并且基于估计的所述距离，判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。人的胳膊的长度因性别或身高等而不同，但是可以说个人与中间值的差异并不大。因此，通过判定所述驾驶员的肩与所述方向盘的距离是否在例如参考人的胳膊的长度的个人差异或握持所述方向盘的适合的姿势等的一定范围内，可以准确地判定所述驾驶员是否处于能够立即握持所述方向盘的状态。
并且，本发明所涉及的驾驶员状态掌握装置，所述状态掌握数据可以包括通过设在所述车辆的摄像头拍摄到的所述驾驶员的上半身的图像数据，
所述距离估计部利用包括通过所述肩检测部检测到的图像中的所述驾驶员的肩的位置、以及所述摄像头的规格和位置姿势的信息，基于三角测量的原理，运算并估计所述距离。
根据上述驾驶员状态掌握装置，通过基于所述三角测量的原理的运算，能够高精度地估计所述驾驶员的肩与所述车辆的方向盘的距离，能够提高所述即时响应性判定部中的判定精度。
并且，本发明所涉及的驾驶员状态掌握装置，
设在所述车辆的方向盘上的原点在以连接所述摄像头与所述驾驶员的肩的线段为斜边的直角三角形的直角的顶点，
所述摄像头的规格包括该摄像头的视场角α、宽度方向的像素数量Width的信息，
所述摄像头的位置姿势包括该摄像头的安装角度θ、从所述摄像头到所述原点的距离D1的信息，
在将所述图像中的所述驾驶员的肩的位置设为X时，
所述距离估计部可以按照下述式1运算连接所述原点和所述驾驶员的肩的线段与连接所述摄像头和所述驾驶员的肩的线段构成的角度并且
所述距离估计部按照下述式2运算所述驾驶员的肩与所述车辆的方向盘的距离D，式1：式2：
根据上述驾驶员状态掌握装置，通过简单的运算处理能够高精度地估计所述驾驶员的肩与所述车辆的方向盘的距离，能够减轻所述即时响应性判定部中的判定处理的负荷。
并且，本发明所涉及的驾驶员状态掌握装置，所述即时响应性判定部可以基于所述肩检测部的检测信息来估计所述驾驶员的肩的位置，并基于估计的所述驾驶员的肩的位置来判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
根据上述驾驶员状态掌握装置，利用所述肩检测部的检测信息，估计所述驾驶员的肩的位置，并且基于估计的所述驾驶员的肩的位置，判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。所述驾驶员想要以适合的姿势握持所述车辆的方向盘时，所述驾驶员变成与所述方向盘大致相对的状态。因此，在能够立即握持所述车辆的方向盘的状态，不能说所述驾驶员的肩的位置的个人差异很大。因此，估计所述驾驶员的肩的位置，判定该估计的肩的位置是否满足预定的条件，例如，可以通过判定在根据所述状态掌握数据掌握的区域中的一定区域内是否检测到所述驾驶员的肩，从而准确地判定所述驾驶员是否处于能够立即握持所述方向盘的状态。
并且，本发明所涉及的驾驶员状态掌握装置，还可以包括通知处理部，所述通知处理部在通过所述即时响应性判定部判定为所述驾驶员不处于能够立即握持所述车辆的方向盘的状态时，进行用于提示所述驾驶员使姿势适当化的通知处理。
根据上述驾驶员状态掌握装置，当判定为所述驾驶员不处于能够立即握持所述车辆的方向盘的状态时，进行用于提示所述驾驶员使姿势适当化的通知处理。由此，可以迅速地提示所述驾驶员使姿势适当化，以便在自动驾驶中也保持能够立即握持所述方向盘的姿势。
并且，本发明所涉及的驾驶员状态掌握装置，还可以包括信息获取部，所述信息获取部从所述自动驾驶系统获取自动驾驶中的信息，
所述通知处理部根据由所述信息获取部获取到的所述自动驾驶中的信息，进行用于提示所述驾驶员使姿势适当化的通知处理。
根据上述驾驶员状态掌握装置，按照所述信息获取部获取到的所述自动驾驶中的信息，进行用于提示所述驾驶员使姿势适当化的通知处理。由此，无需根据所述自动驾驶系统的状况向驾驶员进行必要以上的各种通知，能够减少通知所需的电力以及处理。
并且，本发明所涉及的驾驶员状态掌握装置中，所述自动驾驶中的信息可以包括所述车辆周围的监视信息和从自动驾驶到手动驾驶的接管请求信息中至少任一种信息。
根据上述驾驶员状态掌握装置，当所述自动驾驶中的信息中包括所述车辆周围的监视信息时，根据所述车辆周围的监视信息，能够进行提示所述驾驶员使姿势适当化的通知。并且，当所述自动驾驶中的信息中包括从所述自动驾驶到手动驾驶的接管请求信息时，根据从所述自动驾驶到手动驾驶的接管请求信息，能够进行提示所述驾驶员使姿势适当化的通知。
并且，本发明所涉及的驾驶员状态掌握系统，还可以包括：上述驾驶员状态掌握装置中的任意一个以及将所述状态掌握数据输出至所述驾驶员状态掌握装置的状态掌握部。
根据上述驾驶员状态掌握系统，由所述驾驶员状态掌握装置和将所述状态掌握数据输出至所述驾驶员状态掌握装置的状态掌握部构成系统。由此，能够构建如下系统：能够适当地掌握在自动驾驶中所述驾驶员是否还是能够迅速接管所述方向盘的操作的姿势，并且，即使在自动驾驶中所述自动驾驶系统发生故障的情况等，能够提供适合的支援，以便迅速且顺利地进行从自动驾驶到手动驾驶的接管。需要说明的是，所述状态掌握部可以是拍摄所述状态掌握数据获取部获取到的所述驾驶员的图像数据的摄像头，还可以是检测所述状态掌握数据获取部获取到的所述驾驶员的检测数据的传感器，还可以是它们的组合。
并且，本发明所涉及的驾驶员状态掌握方法掌握包括自动驾驶系统的车辆的驾驶员的状态，其特征在于，包括以下步骤：
从掌握所述驾驶员的状态的状态掌握部获取所述驾驶员的上半身的状态掌握数据；
将获取到的所述状态掌握数据存储在状态掌握数据存储部；
从所述状态掌握数据存储部读出所述状态掌握数据；
利用读出的所述状态掌握数据，检测所述驾驶员的肩；
基于检测到的所述驾驶员的肩的检测信息，判定自动驾驶中所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
根据上述驾驶员状态掌握方法，从所述驾驶员的上半身的状态掌握数据检测所述驾驶员的肩，并且基于该肩的检测信息，判定自动驾驶中所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态，所以能够高效率地执行到该判定为止的处理。进一步地，能够适当地掌握即使在自动驾驶中所述驾驶员是否还是能够迅速接管所述方向盘的操作的姿势，并且，可以适合地支援，以便即使在自动驾驶中所述自动驾驶系统发生故障的情况等，也能够迅速且顺利自进行从自动驾驶到手动驾驶的接管。
附图说明
图1是示出根据本发明实施方式(1)的包括驾驶员状态掌握装置的自动驾驶系统的主要部分构成例子的框图。
图2是示出根据实施方式(1)的搭载驾驶员状态掌握系统的车辆的驾驶座周边的侧视图。
图3是示出根据实施方式(1)的驾驶员状态掌握装置的硬件构成一例的框图。
图4是用于说明根据实施方式(1)的驾驶员状态掌握装置中控制部进行的距离估计处理方法的一例的图，图4的(a)是车内俯视图，图4的(b)是拍摄到的图像数据一例示意图。
图5是示出根据实施方式(1)的驾驶员状态掌握装置中控制部进行的处理动作流程图。
图6是示出根据实施方式(2)的驾驶员状态掌握装置的硬件构成一例的框图。
图7是用于说明根据实施方式(2)的驾驶员状态掌握装置的存储部中存储的肩位置判定区域数据一例的图。
图8是示出根据实施方式(2)的驾驶员状态掌握装置中控制部进行的处理动作的流程图。
附图标记说明
1：自动驾驶系统
10、10A：驾驶员状态掌握系统
20、20A：驾驶员状态掌握装置
21：外部I/F
22、22A：控制部
22a：状态掌握数据获取部
22b：肩检测部
22c、22g：即时响应性判定部
22d：距离估计部
22e：判定部
22f、22j：通知处理部
22h：肩位置判定部
22i：信息获取部
23：CPU
24：RAM
25：ROM
26、26A：存储部
26a：状态掌握数据存储部
26b：肩检测方法存储部
26c：距离估计方法存储部
26d、26e：判定方法存储部
27：程序
30：状态掌握部
31：摄像头
32：传感器
40：导航装置
50：自动驾驶控制装置
60：周边监视传感器
61：声音输出部
62：显示部。
具体实施方式
下面，基于附图说明本发明所涉及的驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法的实施方式。需要说明的是，下面说明的实施方式是本发明的优选的具体例子，技术上附加了各种限定，但是，在下面的说明中没有记载特别限定本发明的内容的情况下，本发明的保护范围并不限定于这些实施方式。
图1是示出根据实施方式(1)的包括驾驶员状态掌握装置20的自动驾驶系统1的主要部分构成例子的框图。
自动驾驶系统1包括驾驶员状态掌握装置20、状态掌握部30、导航装置40、自动驾驶控制装置50、周边监视传感器60、声音输出部61以及显示部62构成，这些各部件通过总线70连接。
自动驾驶系统1包括自动驾驶模式和手动驾驶模式，构成为可以切换这些模式，其中，在自动驾驶模式，系统变成主体来自动进行车辆的包括加速、转向和制动在内的行驶控制中至少一部分，在手动驾驶模式，驾驶员进行驾驶操作。
本实施方式中的自动驾驶模式假设是自动驾驶系统1自动进行加速、转向以及制动的全部，当从自动驾驶系统1有请求时，驾驶员应付的模式(所谓的水平3相当以上的自动化水平)，但是，本发明的应用不限定于该自动化水平。并且，自动驾驶系统1在自动驾驶中请求向手动驾驶的接管时包括例如在系统发生异常或故障时，系统的功能达到极限时、自动驾驶区间结束时等。
驾驶员状态掌握装置20是用于掌握包括自动驾驶系统1的车辆的驾驶员的状态的装置，掌握驾驶员的肩的状态后，判定在自动驾驶中驾驶员是否还是处于能够立即握持方向盘的状态，从而在从自动驾驶系统1接收到切换到手动驾驶的接管请求时，进行支援使得驾驶员能够立即接管手动驾驶、尤其是方向盘操作的装置。
驾驶员状态掌握装置20包括外部接口(外部I/F)21、控制部22以及存储部26构成。控制部22包括中央处理器(Central Processing Unit(CPU))23、随机存取存储器(RandomAccess Memory(RAM))24以及只读存储器(Read Only Memory(ROM))25构成。
存储部26包括闪存、硬盘驱动器、固态硬盘、其它非易失性存储器或易失性存储器等通过半导体元件存储数据的存储装置构成。存储部26中存储驾驶员状态掌握装置20中执行的程序27等。需要说明的是，还可以将程序27的一部分或全部存储在控制部22的ROM25等。
掌握驾驶员的状态的状态掌握部30包括拍摄坐在驾驶座的驾驶员的摄像头31构成。摄像头31包括未图示的透镜部、摄像元件部、光照射部、输入输出部、控制这些部件的控制部等构成。所述摄像元件部包括CCD或CMOS等摄像元件、过滤器、微透镜等构成。所述光照射部包括LED等发光元件，并且，还可以是红外线LED等，以便无论昼夜都能够拍摄驾驶员的状态。所述控制部包括例如CPU、RAM、ROM，还可以包括图像处理电路构成。所述控制部进行如下控制：控制所述摄像元件部和所述光照射部，从该光照射部照射光(例如，近红外线等)，通过所述摄像元件部拍摄该反射光等。
图2是示出根据实施方式(1)的搭载驾驶员状态掌握系统10的车辆2的驾驶座周边的侧视图。
对于摄像头31在车内的安装位置，只要能够拍摄坐在驾驶座3的驾驶员4的上半身(至少脸部和肩的部分)的位置即可，不加以特别限定。例如，如图2示出，可以是方向盘5的杆状部分。并且，其他的安装位置还可以是方向盘内A、仪表面板部分B、仪表盘的上C、后视镜附近位置D、A柱部分E，除此之外还可以设置于导航装置40等。
摄像头31的数量可以是一台，还可以是两台以上。摄像头31可以与驾驶员状态掌握装置20独立(单独框体)构成，还可以与驾驶员状态掌握装置20一体(同一框体)构成。并且，不限定摄像头31的种类，可以是单目摄像头，还可以是单目3D摄像头，还可以是立体摄像头等。
并且，作为状态掌握部30，可以采用摄像头31和飞行时间(Time of Flight(TOF))传感器和TOF方式的体感(kinect)(注册商标)传感器等传感器32，或者以这些传感器来代替摄像头31。还可以组合不同种类的摄像头或传感器。摄像头31拍摄到的图像数据和传感器32的检测数据发送到驾驶员状态掌握装置20。包括驾驶员状态掌握装置20以及作为状态掌握部30的摄像头31和/或传感器32来构成驾驶员状态掌握系统10。
所述单目3D摄像头作为摄像元件包括距离计测图像芯片，构成为能够识别监视对象体的有无、大小、位置、姿势等。
并且，所述TOF传感器和体感(注册商标)传感器包括发射脉冲光的发光部、检测该脉冲光的来自对象体的反射光的受光部、计测该反射光的相位差并进行到对象体的距离计测的距离计测部以及距离图像生成部等(均未图示)构成。作为所述发光部可以采用近红外线LED等，作为所述受光部可以采用距离图像获取用的CMOS图像传感器等。在利用所述TOF传感器和体感(注册商标)传感器的情况下，可以进行作为监视对象的驾驶员的检测以及到驾驶员的距离计测。
图1示出的导航装置40是向驾驶员引导本车辆的当前位置和从该当前位置到目的地的行驶路径等信息的装置，包括未图示的控制部、显示部、声音输出部、操作部以及地图数据存储部等构成。并且，构成为能够获取来自未图示的GPS接收机、陀螺仪传感器、车速传感器等的信号。
导航装置40基于通过所述GPS接收机等计测的车辆的位置信息和所述地图数据存储部的地图信息，推断本车辆行驶的道路和车道等信息，在所述显示部显示当前位置。并且，导航装置40运算从车辆的当前位置到目的地的路径等，将该路径信息等显示在所述显示部，并从所述声音输出部进行路径引导等声音输出。
并且，导航装置40运算的车辆的位置信息、行驶道路的信息以及行驶预定路径的信息等输出至自动驾驶控制装置50。行驶预定路径的信息可以包括关于自动驾驶与手动驾驶的切换的信息，例如自动驾驶区间的开始结束地点的信息、从自动驾驶到手动驾驶的接管区间的信息等。
自动驾驶控制装置50是执行与车辆的自动驾驶相关的各种控制的装置，由包括未图示的控制部、存储部以及输入输出部等的电子控制单元构成。自动驾驶控制装置50还连接于未图示转向控制装置、动力源控制装置、制动控制装置、转向传感器、加速踏板传感器、制动踏板传感器等。这些控制装置以及传感器也包括在自动驾驶系统1的构成中。
自动驾驶控制装置50基于从包括在自动驾驶系统1中的各部件获取的信息，向各控制装置输出进行自动驾驶的控制信号，进行车辆的自动行驶控制(自动转向控制、自动速度调整控制、自动制动控制等)，并且还进行自动驾驶模式与手动驾驶模式的切换控制等。
自动驾驶是指坐在驾驶座的驾驶员不进行驾驶操作，而是通过自动驾驶控制装置50进行的控制，使车辆沿道路自动行驶。例如，包括按照预先设定的到目的地的路径、基于车外状况和地图信息自动生成的行驶路径等，自动地使车辆行驶的驾驶状态。另外，在满足预先设定的自动驾驶的解除条件时，自动驾驶控制装置50还可以结束(解除)自动驾驶。例如，自动驾驶控制装置50在判定自动驾驶中的车辆到达预先设定的自动驾驶的结束地点时，可以进行结束自动驾驶的控制。并且，当驾驶员进行了自动驾驶解除操作(例如，自动驾驶解除按钮的操作、驾驶员对方向盘、加速器或者制动器的操作等)时，自动驾驶控制装置50还可以进行结束自动驾驶的控制。手动驾驶是指驾驶员变成进行驾驶操作的主体，使车辆行驶的驾驶。
周边监视传感器60是检测在车辆周边存在的对象体的传感器。所述对象体包括车、自行车、人等移动物体之外，还可以包括路面标记(白线等)、护栏、中间隔离带、给其它车辆的行驶带来影响的结构体等。周边监视传感器60包括前方监视摄像头、后方监视摄像头、雷达(Radar)、游码(Rider)、即光雷达(Light Detection and Ranging)或者激光成像探测(Laser Imaging Detection and Ranging(LIDER))和超声波传感器中至少一个。周边监视传感器60检测的对象体的检测数据输出至自动驾驶控制装置50等。作为前方监视摄像头和后方监视摄像头可以采用立体摄像头或单目摄像头等。雷达通过向车辆周围发送微波等电波，并接收通过位于车辆周围的对象体反射的电波，从而检测对象体的位置、方向、距离等。Rider通过向车辆周围发送激光，并接收通过位于车辆周围的对象体反射的光，从而检测对象体的位置、方向、距离等。
声音输出部61是以响儿或声音输出基于来自驾驶员状态掌握装置20的指示的各种通知等的装置，包括扬声器等构成。
显示部62是以文字或图形显示基于来自驾驶员状态掌握装置20等的指示各种通知或向导，或者显示灯等的点灭灯的装置，包括各种显示器或显示灯等构成。
图3是示出根据实施方式(1)的驾驶员状态掌握装置20的硬件构成一例的框图。
驾驶员状态掌握装置20包括外部I/F21、控制部22以及存储部26构成。外部I/F21由与除了摄像头31之外的自动驾驶控制装置50、周边监视传感器60、声音输出部61、显示部62等自动驾驶系统1的各部件连接，在与这些各部件之间进行信号收发的接口电路或接头连接器等构成。
控制部22包括状态掌握数据获取部22a、肩检测部22b以及即时响应性判定部22c构成，进一步地，还可以包括通知处理部22f构成。存储部26包括状态掌握数据存储部26a、肩检测方法存储部26b、距离估计方法存储部26c以及判定方法存储部26d构成。
状态掌握数据存储部26a中存储通过状态掌握数据获取部22a获取的摄像头31的图像数据。并且，还可存储传感器32的检测数据。
肩检测方法存储部26b中存储控制部22的肩检测部22b执行的肩检测程序和执行该程序所需的数据等。
距离估计方法存储部26c中存储控制部22的距离估计部22d执行的距离估计程序和执行该程序所需的数据等，其中，距离估计程序用于运算并估计驾驶员的肩与车辆的方向盘的距离。
判定方法存储部26d中存储控制部22的判定部22e执行的判定程序和执行该程序所需的数据等，其中，判定程序用于判定驾驶员是否处于能够立即握持方向盘的状态。还可以存储例如针对距离估计部22d估计的所述距离，用于判定驾驶员是否处于能够立即握持方向盘的状态的估计距离的范围数据等。并且，可以是基于预先设定的正常驾驶姿势规定驾驶员能够立即握持方向盘的状态，可以将这些规定的信息存储在判定方法存储部26d。需要说明的是，所述正常驾驶姿势包括例如驾驶员双手握持方向盘的姿势等。
控制部22是与存储部26配合，在存储部26存储各种数据或者读出存储在存储部26的各种数据或各种程序，并通过CPU23执行该程序，从而实现状态掌握数据获取部22a、肩检测部22b、即时响应性判定部22c、距离估计部22d、判定部22e以及通知处理部22f的工作的装置。
构成控制部22的状态掌握数据获取部22a进行获取摄像头31拍摄到的驾驶员的图像的处理，还进行将获取的图像存储在状态掌握数据存储部26a的处理。驾驶员的图像可以是静止画面，还可以是动画。对于驾驶员的图像，可以例如在启动驾驶员状态掌握装置20后以预定的间隔获取。并且，还可以获取传感器32的检测数据后存储在状态掌握数据存储部26a。
肩检测部22b进行从状态掌握数据存储部26a读出图像数据，并且基于从肩检测方法存储部26b读出的程序，对图像数据实施预定的图像处理，检测图像中的驾驶员的肩的处理。
作为肩检测部22b中的处理可以采用处理图像数据后检测驾驶员的肩的各种图像处理。例如可以采用模板匹配方法，预先存储坐在驾驶座的驾驶员的模板图像，比较对照这些模板图像与通过摄像头31拍摄到的图像，从拍摄到的图像提取驾驶员，检测驾驶员的肩的位置。并且，还可以采用背景差分法，预先存储驾驶座上没有驾驶员的背景图像，根据该背景图像与摄像头31拍摄到的图像的差分，提取驾驶员，检测驾驶员的肩位置。并且，还可以采用语义分割法，存储对坐在驾驶座的驾驶员的图像通过学习器预先机械学习的模型，利用该学习模型，标记摄像头31拍摄到的图像中的各像素的意思，识别驾驶员的区域，检测驾驶员的肩位置。并且，作为摄像头31利用单目3D摄像头时，可以利用通过该单目3D摄像头检测到的驾驶员的各部位的检测位置和姿势等获取信息，检测驾驶员的肩位置。
即时响应性判定部22c包括距离估计部22d以及判定部22e。
在肩检测部22b的处理之后，距离估计部22d基于肩检测部22b的检测信息，进行估计驾驶员的肩与车辆的方向盘的距离的处理。
作为在距离估计部22d进行的距离估计处理，可以采用例如利用肩检测部22b检测的图像中的驾驶员的肩位置信息、摄像头31的规格和安装位置姿势等信息以及摄像头31与方向盘的距离信息等，基于三角测量的原理，通过运算来估计从方向盘到驾驶员的肩的距离的处理。并且，还可以作为传感器32利用TOF传感器或体感(注册商标)传感器，利用从传感器32获取的测距数据等，进行估计驾驶员的肩与车辆的方向盘的距离的处理。
图4是用于说明距离估计部22d估计驾驶员的肩与车辆的方向盘的距离的方法一例的图，图4的(a)是车内俯视图，图4的(b)是摄像头拍摄到的图像数据的一例。
图4的(a)示出了驾驶员4坐在驾驶座3的状态。驾驶座3的正面前方设置有方向盘5。驾驶座3设置为在前后方向可以调整位置。摄像头31设置在方向盘5的杆状部分，可以拍摄驾驶员4的包括脸部的上半身(胸部以上部分)。需要说明的是，摄像头31的安装位置姿势不限定于这一方式。
在图4的(a)示出的例子，从驾驶座3侧观察时，以方向盘5的右端为原点OR，左端为原点OL，连接原点OR和原点OL的线段为L1，与通过原点OR的线段L1正交的线段为L2，与通过原点OL线段L1正交的线段为L3，这时候，相对于线段L1的摄像头31的安装角度θ设置为0°，摄像头31的拍摄面的中心I与原点OR、OL的距离分别设定为D1(等距离)。
假设驾驶员4的右肩SR位于线段L2上，驾驶员的左肩SL位于线段L3上。原点OR是以连接摄像头31与驾驶员4的右肩SR的线段L4为斜边的直角三角形的直角的顶点。相同地，原点OL是以连接摄像头31与驾驶员4的左肩SL的线段L5为斜边的直角三角形的直角的顶点。
并且，摄像头31的视场角为α，图像31a的宽度方向的像素数量表示为Width。图像31a中的驾驶员4a的右肩位置(宽度方向的像素数量)为XR，左肩位置(宽度方向的像素数量)为XL。
在肩检测部22b中，检测摄像头31拍摄到的图像31a中的驾驶员4a的肩位置XR、XL。如果能够检测图像31a中的驾驶员4a的肩位置XR、XL，则能够利用已知的信息、即有关摄像头31的规格(视场角α、宽度方向的像素数量Width)、摄像头31的位置姿势(相对于线段L1的角度θ、与原点OR、OL的距离D1)信息，按照下面的式1，求出角度(线段L4与线段L2构成的角度)，并且按照式2求出角度(线段L5与线段L3构成的角度)。需要说明的是，在严格考虑摄像头31的透镜失真等时，还可以进行利用内部参数的校准。
式1：
式2：
需要说明的是，图4的(a)示出的相对于摄像头31的线段L1的角度θ是0°。
如果能够求出角度则连接原点OR、拍摄面的中心I，右肩位置SR的三角形成为以原点OR为直角顶点的直角三角形，所以利用已知的原点OR到拍摄面的中心I的距离D1、角度按照下面的式3，可以估计从驾驶员4的右肩SR到原点OR(方向盘5)的距离DR。
相同地，如果能够求出角度则连接原点OL、拍摄面的中心I、左肩位置SL的三角形成为以原点OL为直角顶点的直角三角形，所以利用已知的原点OL到拍摄面的中心I的距离D1、角度按照下面的式4，能够估计从驾驶员4的左肩SL到原点OL(方向盘5)的距离DL。
式3：
(需要说明的是，)
(其中，θ+α/2＞α×XR/Width。)
式4：
(需要说明的是，)
(其中，θ+α/2＞α×XL/Width)
在距离估计部22d中的处理之后，判定部22e进行判定距离估计部22d估计的距离(例如，图4中说明的距离DR、DL)是否在预定的范围内的处理。所述预定的范围是将驾驶员能够立即握持方向盘的距离考虑在内设定的范围。并且，还可以基于预先设定的正常驾驶姿势规定驾驶员能够立即握持方向盘的距离。
当即时响应性判定部22c判定出驾驶员不处于能够立即握持方向盘的状态时，通知处理部22f进行用于提示驾驶员使姿势适当化的通知处理。例如，使声音输出部61或显示部62进行用于提示采取能够立即握持方向盘的姿势的声音输出处理或显示输出处理。并且，通知处理部22f还可以输出通知自动驾驶控制装置50不要解除自动驾驶，继续自动驾驶的信号。
图5是示出根据实施方式(1)的驾驶员状态掌握装置20中的控制部22进行的处理动作的流程图。在这里，假设自动驾驶系统1设定为自动驾驶模式的状态、即车辆通过自动驾驶控制行驶的状态进行说明。在自动驾驶模式中重复执行本处理动作。
首先，在步骤S1中，进行获取摄像头31拍摄到的驾驶员的图像数据的处理。可以从摄像头31逐帧获取图像数据，还可以一次获取多帧或者一定时间的量的图像数据。在接下来的步骤S2中，进行将获取的图像数据存储在状态掌握数据存储部26a的处理，之后进入步骤S3。
在步骤S3中，读出存储在状态掌握数据存储部26a的图像数据，之后进入步骤S4。可以从状态掌握数据存储部26a逐帧读出图像数据，还可以一次读出多帧或者一定时间的量的图像数据。在步骤S4中，进行从读出的图像数据检测驾驶员的肩的处理，例如进行检测图像中的驾驶员的肩的位置或肩区域的处理，之后进入步骤S5。
在步骤S4中执行的从图像数据检测驾驶员的肩的处理可以采用上述的模板匹配方法，还可以采用背景差分法，还可以采用语义分割法。并且，当摄像头31包括单目3D摄像头时，还可以获取该单目3D摄像头检测到的驾驶员的各部位的检测位置和姿势等信息，利用该获取信息检测驾驶员的肩。
当采用模板匹配方法时，首先，读出存储在肩检测方法存储部26b的模板图像，即包括驾驶员的肩部分的一个以上的模板图像。其次，进行对于从状态掌握数据存储部26a读出的图像，一边移动模板图像，一边运算与模板图像重叠的部分的图像相似度，检测运算的图像相似度满足一定的类似条件的区域的处理。之后，当检测到满足所述一定的类似条件的区域时，确定为该区域包括驾驶员的肩，输出检测结果。
并且，在采用背景差分法时，首先，读出存储在肩检测方法存储部26b的背景图像、即驾驶座上没有驾驶员的状态的图像。其次，运算从状态掌握数据存储部26a读出的图像与所述背景图像的每个像素的像素值差异(背景差分)。其次，根据背景差分的运算结果，进行驾驶员的提取处理。例如，通过阈值处理，将图像转换为二进制，之后提取驾驶员，进一步地，从驾驶员的头部到肩、胳膊的特征性形状区域(例如，Ω形状部分、缓慢的S字形状部分等)，检测肩位置，并输出其检测结果。
并且，在采用语义分割法时，首先，读出存储在肩检测方法存储部26b的肩检测用的已学习模型。作为该已学习模型，能够采用例如利用拍到坐在驾驶座的驾驶员的上半身的多个图像(例如标记驾驶座、方向盘、安全带、驾驶员的躯体、头部、胳膊等多个等级的数据组)，预先进行机械学习的模型等。其次，向所述已学习模型输出从状态掌握数据存储部26a读出的图像。其次，从该图像提取特征量，标记图像中的各像素属于哪个物体或部位。之后，将驾驶员的区域分段化(分割)，提取驾驶员，进一步地，基于驾驶员的各部位的标记结果，检测驾驶员的肩(例如躯体与胳膊的边界部等)的位置，输出其检测结果。
在步骤S5中，判断是否检测到驾驶员的肩。这种情况下，还可以判断是否在一定时间连续检测到驾驶员的肩。在步骤S5中，如果判断为没有检测到驾驶员的肩，进入步骤S8的通知处理。没有检测到驾驶员的肩的情况包括例如驾驶座上没有驾驶员的状态、驾驶员采取了不适合的姿势所以图像上没有拍到驾驶员的肩的状态、或者驾驶员与摄像头之间存在某种遮挡物所以检测不到驾驶员的状态持续一定时间的情况等。
另一方面，在步骤S5中，如果判断为检测到驾驶员的肩，则进入步骤S6。在步骤S6中，进行估计驾驶员的肩与车辆的方向盘的距离的处理，之后进入步骤S7。
在步骤S6的距离估计处理中，可以采用例如在图4中说明的处理方法，即利用在步骤S5中检测到的图像中的驾驶员的肩位置信息、摄像头31的规格和安装位置姿势信息以及摄像头31的位置与方向盘各部位的距离信息等，基于三角测量的原理，通过运算估计从方向盘到驾驶员的肩的距离、例如从方向盘的右端部到驾驶员的右肩的距离或从方向盘的左端部到驾驶员的左肩的距离的处理。并且，作为传感器32利用了上述的TOF传感器或体感(注册商标)传感器时，获取通过传感器32检测到的到驾驶员的距离数据，利用该距离数据，估计驾驶员的肩与车辆的方向盘的距离。
在步骤S7中，判定在步骤S6中估计的距离是否在预定的范围内。考虑驾驶员的性别和体格差异、正常驾驶姿势等，所述预定的范围能够设定在是驾驶员能够立即握持方向盘的平均范围、例如40cm～70cm左右的范围，但是，并不限定于该范围。
并且，作为所述预定的范围，还可以采用由驾驶员预先登记在驾驶员状态掌握装置20的距离范围。并且，还可以采用检测手动驾驶模式时的驾驶座的座面位置，基于该座面位置设定的距离范围。并且，还可以采用基于利用在手动驾驶模式时通过摄像头31拍摄到的图像算出的驾驶员的肩与方向盘的距离设定的距离范围。
在步骤S7中，如果判断为所述估计的距离在预定的范围内、即驾驶员处于能够立即握持方向盘的状态，则之后结束处理。需要说明的是，在其它实施方式中，可以进行用于通知驾驶员处于适合的姿势的通知处理，例如在显示部62设置适合姿势通知灯，点亮该适合的姿势通知灯，并且，还可以向自动驾驶控制装置50输出通知驾驶员处于适合的姿势、即适合继续自动驾驶的状态的信号。
另一方面，在步骤S7中，如果判断为所述估计的距离不在预定的范围内，则进入步骤S8。所述估计的距离不在预定的范围内的情况是方向盘与肩的距离过进或过远的情况，是驾驶员无法立即握持方向盘的状态。所述适合的姿势是例如驾驶员双手握持方向盘的姿势。
在步骤S8中，进行用于提示驾驶员使姿势适当化的通知处理。作为通知处理，可以进行从声音输出部61输出预定的声音的处理，还可以进行在显示部62进行预定的显示。所述通知处理是使驾驶员引起注意的处理，以使驾驶员采取在自动驾驶系统1发生故障等时能够立即握持方向盘的姿势。并且，在步骤S8中，还可以向自动驾驶控制装置50输出通知继续自动驾驶不要解除自动驾驶的信号。
根据上述实施方式(1)的驾驶员状态掌握系统10，包括驾驶员状态掌握装置20、状态掌握部30的摄像头31和/或传感器32构成。并且，根据驾驶员状态掌握装置20，由肩检测部22b从摄像头31拍摄到的图像数据检测驾驶员的肩，并且基于该检测信息，由距离估计部22d估计驾驶员的肩与车辆的方向盘的距离，由判定部22e判定所估计的所述距离是否在驾驶员能够立即握持车辆的方向盘的预定的范围内，所以能够高效率地执行到该判定为止的处理。
进一步地，能够正确地掌握在自动驾驶中驾驶员是否还是能够迅速接管方向盘的操作的姿势，即使在自动驾驶中发生自动驾驶系统1的故障等时，还是可以迅速且顺利地进行从自动驾驶到手动驾驶的接管，尤其是方向盘操作的接管。
并且，根据驾驶员状态掌握装置20，如果由即时响应性判定部22c判定为驾驶员不处于能够立即握持车辆的方向盘的状态，则由通知处理部22f进行用于提示驾驶员使姿势适当化的通知处理。由此，可以快速提示驾驶员使姿势适当化，以便在自动驾驶中也保持能够立即握持方向盘的姿势。
图6是示出根据实施方式(2)的驾驶员状态掌握装置20A的硬件构成一例的框图。需要说明的是，对于具有与图3示出的驾驶员状态掌握装置20相同的功能的构成部件标注相同的附图标记，并且在这里省略说明。
根据实施方式(2)的驾驶员状态掌握装置20A与根据实施方式(1)的驾驶员状态掌握装置20的区别构成在于，控制部22A的即时响应性判定部22g中执行的处理以及通知处理部22j中执行的处理。
控制部22A包括状态掌握数据获取部22a、肩检测部22b、即时响应性判定部22g、信息获取部22i以及通知处理部22j构成。存储部26A包括状态掌握数据存储部26a、肩检测方法存储部26b以及判定方法存储部26e构成。
状态掌握数据存储部26a中存储通过状态掌握数据获取部22a获取的摄像头31的图像数据。肩检测方法存储部26b中存储控制部22A的肩检测部22b执行的肩检测程序和执行该程序所需的数据等。
判定方法存储部26e中存储控制部22A的肩位置判定部22h中执行的用于判定驾驶员是否处于能够立即握持方向盘的状态的判定程序和执行该程序所需的数据等。例如存储有用于判定是否处于能够立即握持方向盘的状态的肩位置判定区域数据等。
图7是用于说明存储在判定方法存储部26e的肩位置判定区域数据的一例的图。
驾驶员想要以适合的姿势握持车辆的方向盘时，驾驶员变成与方向盘大致相对的状态。因此，在能够立即握持车辆的方向盘的状态，图像31a中的驾驶员4a的肩位于图像中的一定的区域内。该图像中的一定的区域被设定为肩位置判定区域31b。能够基于预先设定的正常驾驶姿势来规定肩位置判定区域31b。根据肩检测部22b检测到的图像中的驾驶员4a的肩的位置是否位于肩位置判定区域31b内，从而能够判定是否处于能够立即握持车辆的方向盘的状态。
肩位置判定区域31b还可以是基于在不同性别和体格的驾驶员握持方向盘的状态下拍摄的多个图像中的驾驶员的肩的位置预先设定的区域。并且，还可以是从在手动驾驶模式下拍摄到的驾驶员的图像检测驾驶员的肩位置，基于该检测到的肩位置，针对每个驾驶员设定肩位置判定区域31b。并且，肩位置判定区域31b还可以由右肩区域和左肩区域的两个区域构成。需要说明的是，优选地，摄像头31采用固定焦点式摄像头。
构成控制部22A的状态掌握数据获取部22a进行获取摄像头31拍摄的驾驶员的图像数据的处理，并进行将获取的图像数据存储在状态掌握数据存储部26a的处理。
肩检测部22b进行从状态掌握数据存储部26a读出图像数据，基于从肩检测方法存储部26b读出的程序对图像数据实施图像处理，检测图像中的驾驶员的肩的处理。例如，通过图像处理，提取从驾驶员的头部到肩、胳膊的边缘，可以检测具有肩部分的特征性形状、例如Ω形状或缓慢的S字形状的部分作为肩。
即时响应性判定部22g包括肩位置判定部22h。在肩检测部22b中的处理之后，肩位置判定部22h进行基于肩检测部22b的检测信息和从判定方法存储部26e读出的肩位置判定区域数据，判定图像中的驾驶员的肩的位置是否在肩位置判定区域内的处理等。通过该判定处理，判定驾驶员是否处于能够立即握持方向盘的状态。
信息获取部22i从自动驾驶系统1的各部件获取自动驾驶中的信息。该自动驾驶中的信息包括周边监视传感器60检测的车辆周围的监视信息和从自动驾驶控制装置50发送的从自动驾驶到手动驾驶的接管请求信息中至少一个。所述车辆周围的监视信息可以是例如本车辆附近有其它车辆紧急靠近的信息，还可以是行驶在窄道急弯等可以联想到系统功能极限的道路的信息等。并且，所述接管请求信息可以是例如进入从自动驾驶到手动驾驶的接管区间的信息等，还可以是自动驾驶系统1的一部分出现异常或故障的信息等。
当即时响应性判定部22g判定为驾驶员不处于能够立即握持方向盘的状态时，通知处理部22j根据信息获取部22i获取的自动驾驶中的信息，进行用于提示驾驶员使姿势适当化的通知处理。例如使声音输出部61或显示部62进行用于提示采取能够立即握持方向盘的姿势的声音输出处理或显示输出处理。需要说明的是，在其它的实施方式中，还可以在控制部22A设置上述实施方式(1)中说明的通知处理部22f，以此来代替信息获取部22i以及通知处理部22j。并且，通知处理部22j还可以向自动驾驶控制装置50输出通知继续自动驾驶不要解除自动驾驶的信号。
图8是示出根据实施方式(2)的驾驶员状态掌握装置20A中的控制部22A进行的处理动作的流程图。对于与图5示出的流程图的处理动作相同内容的处理动作标注相同的附图标记。
首先，在步骤S1中，进行获取摄像头31拍摄的驾驶员的图像数据的处理，进入下一个步骤S2，进行将获取的图像数据存储在状态掌握数据存储部26a的处理。在下一个步骤S3中，从状态掌握数据存储部26a读出图像数据，进入步骤S4。
在步骤S4中，进行从读出的图像检测驾驶员的肩的处理，之后进入步骤S5。在步骤S4中执行的从图像检测驾驶员的肩的处理可以采用上述的模板匹配方法，还可以采用背景差分法，还可以采用语义分割法。并且，摄像头31包括上述的单目3D摄像头时，还可以获取该单目3D摄像头检测到的驾驶员的各部位的检测位置和姿势等信息，利用该获取信息检测驾驶员的肩。
在步骤S5中，判断是否检测到驾驶员的肩。这种情况下，还可以判断是否在一定时间连续检测到驾驶员的肩。在步骤S5中，如果判断为没有检测到驾驶员的肩，则进入步骤S15的重度的通知处理，另一方面，在步骤S5中，如果判断为检测到驾驶员的肩，则进入步骤S11。
在步骤S11中，从判定方法存储部26e读出肩位置判定区域数据等，判定在步骤S5检测到的图像中的驾驶员的肩的位置是否在肩位置判定区域31b内。
在步骤S11中，如果判断为图像中的驾驶员的肩的位置在肩位置判定区域31b内、即驾驶员处于能够立即握持方向盘的状态，则之后结束处理。需要说明的是，在其它实施方式中，还可以进行用于向驾驶员告知是适合的姿势的通知处理，例如可以在显示部62设置合适姿势通知灯，点亮该适合的姿势通知灯，并且，还可以向自动驾驶控制装置50输出通知驾驶员处于适合的姿势、即适合继续自动驾驶的状态的信号。
另一方面，在步骤S11中，如果判断为图像中的驾驶员的肩的位置不在肩位置判定区域31b内，则进入步骤S12。在步骤S12中，从自动驾驶系统1获取信息，进入步骤S13。所述信息包括周边监视传感器60检测到的周边监视信息和从自动驾驶控制装置50输出的到手动驾驶的接管请求信息。该接管请求信息包括例如系统发生异常(故障)信号、系统功能极限信号或进入接管区间的信号等。
在步骤S13中，基于从周边监视传感器60获取的周边监视信息，判断车辆周围是否为安全状态。在步骤S13中，如果判断为获取到车辆周围不是安全状态的信息、例如在车辆的周围(前方、侧面以及后方中的任意方向)的一定范围内检测到其他车辆、人、其它障碍物的信息、其他车辆紧急靠近的信息、行驶在窄道急弯等能联想到系统功能极限的道路的信息等，则进入步骤S15的重度通知处理。在步骤S15中，进行重度通知处理，以使快速采取能够立即握持方向盘的姿势，之后结束处理。优选地，在重度通知处理中，进行将显示和声音组合的通知。并且，还可以组合显示和声音之外的通知，例如向驾驶座等施加振动等。并且，在步骤S15中，还可以向自动驾驶控制装置50输出通知继续自动驾驶不要解除自动驾驶的信号。
另一方面，在步骤S13中，如果判断为车辆周围是安全状态，则进入步骤S14。在步骤S14中，判断是否从自动驾驶控制装置50获取到切换到手动驾驶的接管请求信息、即是否有接管请求。
在步骤S14中，如果判断为没有接管请求，则进入步骤S16的轻度通知处理。在步骤S16中，进行轻度通知处理，以使采取能够握持方向盘的姿势，之后结束处理。从实现自动驾驶与驾驶员的协调方面考虑，优选地，在轻度通知处理中，进行对驾驶员友善的通知，例如只是显示等。
另一方面，在步骤S14中，如果判断为有接管请求，则进入步骤S17。在步骤S17中，通过声音或显示进行接管通知，以便立即握持方向盘接管驾驶，结束该处理。
根据上述根据实施方式(2)的驾驶员状态掌握装置20A，由肩检测部22b从摄像头31拍摄到的图像数据检测驾驶员的肩位置，判定图像中的驾驶员的肩位置是否在肩位置判定区域31b内，从而判定驾驶员是否在能够立即握持车辆的方向盘的状态，所以能够高效率地执行到该判定为止的处理。
进一步地，能够正确地掌握在自动驾驶中驾驶员是否还是能够迅速地接管方向盘的操作的姿势，并且，可以提供适合的支援，从而在自动驾驶中发生自动驾驶系统1的故障时等，可以迅速且顺利地进行从自动驾驶到手动驾驶的接管。
并且，根据驾驶员状态掌握装置20A，由通知处理部22j按照信息获取部22i获取的自动驾驶中的信息，进行用于提示驾驶员使姿势适当化的通知处理。例如，当获取到表示车辆周围不是安全状态的周边监视信息时，可以提高通知处理部22j进行的通知水平，通过重度通知引起强烈注意，以使驾驶员采取能够立即接管方向盘的操作的姿势。并且，在车辆周围安全且没有接管请求的状态时，可以通过轻度通知，提示驾驶员使姿势适当化。并且，当有接管请求时，可以通知驾驶员立即采取接管身体姿势。由此，无需根据自动驾驶系统1的状况向驾驶员进行必要以上的各种通知，能够降低该通知所需的电力或处理。
并且，能够缩短在系统发生故障时或达到动作极限时、或者切换到手动驾驶的接管请求时等中驾驶员握持方向盘结束驾驶操作的接管为止所需的时间，可以进行符合自动驾驶系统1的状况且对驾驶员友善的适合的通知。
需要说明的是，在上述根据实施方式(1)的驾驶员状态掌握装置20中，还可以设置信息获取部22i以及通知处理部22j来代替通知处理部22f，作为图5的步骤S8代替，进行与图8的步骤S12～S17相同的处理，即按照信息获取部22i获取的自动驾驶中的信息，进行提示驾驶员使姿势适当化的通知处理。

Claims (11)

1.一种驾驶员状态掌握装置，掌握包括自动驾驶系统的车辆的驾驶员的状态，所述驾驶员状态掌握装置的特征在于，包括：
状态掌握数据获取部，获取所述驾驶员的上半身的状态掌握数据；
肩检测部，利用由该状态掌握数据获取部获取到的所述状态掌握数据，检测所述驾驶员的肩；以及
即时响应性判定部，基于该肩检测部的检测信息，判定自动驾驶中所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
2.根据权利要求1所述的驾驶员状态掌握装置，其特征在于，
能够立即握持所述车辆的方向盘的状态是基于预定的正常驾驶姿势而确定的。
3.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述即时响应性判定部包括距离估计部，所述距离估计部基于所述肩检测部的检测信息，估计所述驾驶员的肩与所述车辆的方向盘的距离，
所述即时响应性判定部基于通过该距离估计部估计的所述距离，判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
4.根据权利要求3所述的驾驶员状态掌握装置，其特征在于，
所述状态掌握数据包括通过设在所述车辆的摄像头拍摄到的所述驾驶员的上半身的图像数据，
所述距离估计部利用包括通过所述肩检测部检测到的图像中的所述驾驶员的肩的位置、以及所述摄像头的规格和位置姿势的信息，基于三角测量的原理，运算并估计所述距离。
5.根据权利要求4所述的驾驶员状态掌握装置，其特征在于，
设在所述车辆的方向盘上的原点位于以连接所述摄像头与所述驾驶员的肩的线段为斜边的直角三角形的直角的顶点，
所述摄像头的规格包括该摄像头的视场角α、宽度方向的像素数量Width的信息，
所述摄像头的位置姿势包括该摄像头的安装角度θ、从所述摄像头到所述原点的距离D1的信息，
在将所述图像中的所述驾驶员的肩的位置设为X时，
所述距离估计部按照下述式1运算连接所述原点和所述驾驶员的肩的线段与连接所述摄像头和所述驾驶员的肩的线段构成的角度并且，
所述距离估计部按照下述式2运算所述驾驶员的肩与所述车辆的方向盘的距离D，
式1：
式2：
6.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述即时响应性判定部基于所述肩检测部的检测信息来估计所述驾驶员的肩的位置，并基于估计的所述驾驶员的肩的位置来判定所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
7.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述驾驶员状态掌握装置包括通知处理部，所述通知处理部在通过所述即时响应性判定部判定为所述驾驶员不处于能够立即握持所述车辆的方向盘的状态时，进行用于提示所述驾驶员使姿势适当化的通知处理。
8.根据权利要求7所述的驾驶员状态掌握装置，其特征在于，
所述驾驶员状态掌握装置包括信息获取部，所述信息获取部从所述自动驾驶系统获取自动驾驶中的信息，
所述通知处理部根据由所述信息获取部获取到的所述自动驾驶中的信息，进行用于提示所述驾驶员使姿势适当化的通知处理。
9.根据权利要求8所述的驾驶员状态掌握装置，其特征在于，
所述自动驾驶中的信息包括所述车辆周围的监视信息和从自动驾驶到手动驾驶的接管请求信息中至少任一种信息。
10.一种驾驶员状态掌握系统，其特征在于，包括：
权利要求1至9中任一项所述的驾驶员状态掌握装置；以及
状态掌握部，向所述驾驶员状态掌握装置输出所述状态掌握数据。
11.一种驾驶员状态掌握方法，掌握包括自动驾驶系统的车辆的驾驶员的状态，所述驾驶员状态掌握方法的特征在于，包括以下步骤：
从掌握所述驾驶员的状态的状态掌握部获取所述驾驶员的上半身的状态掌握数据；
将获取到的所述状态掌握数据存储在状态掌握数据存储部；
从所述状态掌握数据存储部读出所述状态掌握数据；
利用读出的所述状态掌握数据，检测所述驾驶员的肩；以及
基于检测到的所述驾驶员的肩的检测信息，判定自动驾驶中所述驾驶员是否处于能够立即握持所述车辆的方向盘的状态。
CN201810757565.2A 2017-08-10 2018-07-11 驾驶员状态掌握装置、驾驶员状态掌握系统及方法 Pending CN109383525A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017155259A JP6950346B2 (ja) 2017-08-10 2017-08-10 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
JP2017-155259 2017-08-10

Publications (1)

Publication Number Publication Date
CN109383525A true CN109383525A (zh) 2019-02-26

Family

ID=65084473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810757565.2A Pending CN109383525A (zh) 2017-08-10 2018-07-11 驾驶员状态掌握装置、驾驶员状态掌握系统及方法

Country Status (4)

Country Link
US (1) US20190047588A1 (zh)
JP (1) JP6950346B2 (zh)
CN (1) CN109383525A (zh)
DE (1) DE102018005490A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112429015A (zh) * 2019-08-07 2021-03-02 丰田自动车株式会社 驾驶支援装置及驾驶支援方法
US20230166786A1 (en) * 2021-11-29 2023-06-01 Hyundai Mobis Co., Ltd. Apparatus and method for adjusting steering wheel

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6920112B2 (ja) * 2017-06-15 2021-08-18 株式会社デンソーテン 運転支援装置および運転支援方法
US10642266B2 (en) * 2017-12-28 2020-05-05 Automotive Research & Testing Center Safe warning system for automatic driving takeover and safe warning method thereof
EP3751540A4 (en) * 2018-02-05 2021-04-07 Sony Corporation INFORMATION PROCESSING DEVICE, MOBILE DEVICE, PROCESS AND PROGRAM
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers
US10471969B1 (en) * 2019-01-07 2019-11-12 GM Global Technology Operations LLC System and method to restrict vehicle operations in response to driver impairment
US11541895B2 (en) * 2019-04-03 2023-01-03 Industrial Technology Research Institute Driving assistance system and driving assistance method
US11254286B2 (en) 2019-09-17 2022-02-22 GM Global Technology Operations LLC System and method to disable automated driving mode based on vehicle operation context
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
DE102019009068A1 (de) * 2019-12-23 2021-06-24 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
KR20220042886A (ko) * 2020-09-28 2022-04-05 현대자동차주식회사 스마트 운전 자세 제어 시스템 및 방법
CN112287795B (zh) * 2020-10-22 2023-09-01 北京百度网讯科技有限公司 异常驾驶姿态检测方法、装置、设备、车辆和介质
US20230288218A1 (en) * 2022-03-08 2023-09-14 Telenav, Inc. Navigation system with voice assistant mechanism and method of operation thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182425A1 (en) * 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
WO2015198540A1 (ja) * 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN105579321A (zh) * 2013-07-23 2016-05-11 日产自动车株式会社 车辆用驾驶辅助装置及车辆用驾驶辅助方法
CN106778532A (zh) * 2016-11-28 2017-05-31 合肥工业大学 基于去差异化尺寸参量的驾驶姿态特征分类方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102220B2 (en) * 1992-05-05 2015-08-11 American Vehicular Sciences Llc Vehicular crash notification system
JP4122814B2 (ja) * 2002-04-03 2008-07-23 トヨタ自動車株式会社 乗員検知装置
JP4333797B2 (ja) 2007-02-06 2009-09-16 株式会社デンソー 車両用制御装置
US8068968B2 (en) * 2007-02-06 2011-11-29 Denso Corporation Vehicle travel control system
JP5692049B2 (ja) * 2011-12-26 2015-04-01 株式会社デンソー ステアリング位置制御システム
US9454150B2 (en) * 2013-07-17 2016-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive automated driving system
JP2017155259A (ja) 2016-02-29 2017-09-07 住友金属鉱山株式会社 希土類元素を含む鉄系合金微粉末の製造方法
US9707913B1 (en) * 2016-03-23 2017-07-18 Toyota Motor Enegineering & Manufacturing North America, Inc. System and method for determining optimal vehicle component settings
JP6686869B2 (ja) * 2016-12-22 2020-04-22 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182425A1 (en) * 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN105579321A (zh) * 2013-07-23 2016-05-11 日产自动车株式会社 车辆用驾驶辅助装置及车辆用驾驶辅助方法
WO2015198540A1 (ja) * 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
CN106778532A (zh) * 2016-11-28 2017-05-31 合肥工业大学 基于去差异化尺寸参量的驾驶姿态特征分类方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112429015A (zh) * 2019-08-07 2021-03-02 丰田自动车株式会社 驾驶支援装置及驾驶支援方法
US11661108B2 (en) 2019-08-07 2023-05-30 Toyota Jidosha Kabushiki Kaisha Driving assistance device and method
CN112429015B (zh) * 2019-08-07 2023-09-12 丰田自动车株式会社 驾驶支援装置及驾驶支援方法
US20230166786A1 (en) * 2021-11-29 2023-06-01 Hyundai Mobis Co., Ltd. Apparatus and method for adjusting steering wheel
US11858546B2 (en) * 2021-11-29 2024-01-02 Hyundai Mobis Co., Ltd. Apparatus and method for adjusting steering wheel

Also Published As

Publication number Publication date
JP2019034574A (ja) 2019-03-07
DE102018005490A1 (de) 2019-02-14
JP6950346B2 (ja) 2021-10-13
US20190047588A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN109383525A (zh) 驾驶员状态掌握装置、驾驶员状态掌握系统及方法
CN108860154B (zh) 驾驶员监视装置以及驾驶员监视方法
JP5616531B2 (ja) 車両周辺監視装置
CN109383524A (zh) 驾驶员状态掌握装置、系统及方法
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US9892329B2 (en) Animal type determination device
CN107209999A (zh) 退避控制装置以及退避控制方法
CN108545019A (zh) 一种基于图像识别技术的安全辅助驾驶系统和方法
JP2021120248A (ja) 車両制御装置
CN108891419A (zh) 驾驶员监视装置及驾驶员监视方法
CN110522617A (zh) 盲人智慧眼镜
CN110211420A (zh) 判断当前场景是否为停车场的方法、系统及计算机可读存储介质
CN109774722A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
CN106651873B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜
WO2020192498A1 (zh) 手握方向盘状态的检测方法及装置
JP2019046273A (ja) 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
CN109664889A (zh) 一种车辆控制方法、装置和系统以及存储介质
JP6418342B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN107049717B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
WO2018163490A1 (ja) 視認支援装置、方法およびプログラム
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN113380050B (zh) 基于智能眼镜的行驶安全提示方法、系统及智能眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220401