CN109383524A - 驾驶员状态掌握装置、系统及方法 - Google Patents

驾驶员状态掌握装置、系统及方法 Download PDF

Info

Publication number
CN109383524A
CN109383524A CN201810757037.7A CN201810757037A CN109383524A CN 109383524 A CN109383524 A CN 109383524A CN 201810757037 A CN201810757037 A CN 201810757037A CN 109383524 A CN109383524 A CN 109383524A
Authority
CN
China
Prior art keywords
driver
state
vehicle
grasps
foot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810757037.7A
Other languages
English (en)
Inventor
籔内智浩
相泽知祯
日向匡史
青位初美
冈地喜
冈地一喜
菅原启
鹈野充惠
滝沢光司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109383524A publication Critical patent/CN109383524A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)

Abstract

一种驾驶员状态掌握装置、系统及方法，能够准确地掌握驾驶员以使得在自动驾驶期间也能够使驾驶员迅速地接续驾驶操作、尤其是踏板操作。驾驶员状态掌握装置(20)掌握具备自动驾驶系统(1)的车辆的驾驶员的状态，其装备有：状态掌握数据获取部(22a)，获取车辆的驾驶座的脚部周边的状态掌握数据；脚状态推断部(22b)，使用由状态掌握数据获取部(22a)获取到的状态掌握数据来推断驾驶员的脚状态；以及速应判断部(22c)，基于脚状态推断部(22b)的推断信息，判断在自动驾驶期间驾驶员是否处于能够立即操作车辆的踏板的状态。

Description

驾驶员状态掌握装置、系统及方法
技术领域
本发明涉及驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法，更详细来说，涉及掌握能够自动驾驶的车辆的驾驶员的状态的驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法。
背景技术
近年来，车辆的自动驾驶技术的开发蓬勃发展。搭载有自动驾驶系统的车辆的驾驶员即使在自动驾驶期间也需要保持监视自动驾驶系统，以便例如在自动驾驶系统产生了异常、故障的情况下、自动驾驶系统达到动作极限的情况下、或者自动驾驶控制结束的情况下等能够顺畅地接续驾驶操作。
例如，在下述的专利文献1中公开了如下技术：根据由设置在车厢内的相机拍摄的驾驶员的图像来检测驾驶员的视线、眼睑的开度等困倦信息，根据该困倦信息来计算实际集中度，在该实际集中度比要求集中度低的情况下，例如在驾驶员感到困倦而集中度降低的情况下，使基于自动巡航控制的行驶速度降低。
在如上述那样驾驶员感到困倦而在自动驾驶期间打盹的情况下，成为驾驶员无法负责监视自动驾驶系统的状态。在驾驶员无法负责监视自动驾驶系统的状态中，除了所述打盹状态之外也考虑各种各样的状态。尤其是在自动驾驶期间，驾驶员可能采取在手动驾驶中不可能的姿势，因此预先掌握自动驾驶期间的驾驶员的状态的重要性越发升高。例如，需要适当掌握在自动驾驶期间产生系统的故障等而从自动驾驶模式切换为手动驾驶模式的情况下，驾驶员是否处于能够立即与手动驾驶对应的姿势。然而，在专利文献1所记载的使用驾驶员的困倦信息的监视方法中，存在无法适当掌握驾驶员的姿势这样的问题。
现有技术文献
专利文献
专利文献1：日本专利第4333797号公报
发明内容
本发明是鉴于上述课题而作出的，其目的在于，提供在自动驾驶期间也能够准确地掌握驾驶员的姿势以使得驾驶员能够迅速地接续驾驶操作、尤其是踏板操作的驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法。
为了实现上述目的，本发明的驾驶员状态掌握装置掌握具备自动驾驶系统的车辆的驾驶员的状态，其特征在于，具备：状态掌握数据获取部，获取所述车辆的驾驶座的脚部周边的状态掌握数据；脚状态推断部，使用由该状态掌握数据获取部获取到的所述状态掌握数据来推断所述驾驶员的脚状态；以及速应判断部，基于该脚状态推断部的推断信息，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
根据上述的驾驶员状态掌握装置，使用所述车辆的驾驶座的脚部周边的状态掌握数据来推断所述驾驶员的脚状态，并基于该脚状态的推断信息，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。由此，即使在自动驾驶期间也能够准确地掌握所述驾驶员是否处于能够迅速地接续所述踏板的操作的姿势，并且在自动驾驶期间所述自动驾驶系统产生了故障等的情况下，也能够适当地进行辅助以使得迅速且顺畅地进行从自动驾驶转到手动驾驶的接续、尤其是踏板操作的接续。此外，所述车辆的踏板包括加速踏板以及制动踏板中的至少任一者。
另外，在本发明的驾驶员状态掌握装置中，也可以是，所述速应判断部基于所述驾驶员的脚与所述车辆的地板面的位置关系、所述驾驶员的脚与所述车辆的踏板的位置关系、或所述驾驶员的右脚与左脚的位置关系，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
根据上述的驾驶员状态掌握装置，在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态的判断是基于所述驾驶员的脚与所述车辆的地板面的位置关系、所述驾驶员的脚与所述车辆的踏板的位置关系、或者所述驾驶员的右脚与左脚的位置关系来进行的，因此能够考虑所述驾驶员的脚的状态而准确地进行判断。
另外，在本发明的驾驶员状态掌握装置中，也可以是，所述驾驶员状态掌握装置还具备通知处理部，所述通知处理部基于所述速应判断部的判断结果，进行预定的通知处理。
根据上述的驾驶员状态掌握装置，通过基于所述速应判断部的判断结果来进行的通知处理，能够对所述自动驾驶系统进行反映了所述判断结果的辅助。
另外，在本发明的驾驶员状态掌握装置中，也可以是，所述通知处理部在由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板状态的情况下，进行用于督促所述驾驶员采取恰当的脚姿势的通知处理。
根据上述的驾驶员状态掌握装置，在判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态的情况下，进行用于督促所述驾驶员采取恰当的脚姿势的通知处理。由此，督促所述驾驶员的姿势的恰当化以使得在自动驾驶期间也保持能够立即操作所述踏板的姿势。
另外，在本发明的驾驶员状态掌握装置中，也可以是，当由所述速应判断部判断为所述驾驶员处于能够立即操作所述车辆的踏板的状态时，所述通知处理部进行向所述驾驶员通知脚姿势为恰当的处理。
根据上述的驾驶员状态掌握装置，在判断为所述驾驶员处于能够立即操作所述车辆的踏板的状态的情况下，进行向所述驾驶员通知脚姿势为恰当的处理。由此，所述驾驶员能够掌握自动驾驶期间的脚姿势恰当的情况。
另外，在本发明的驾驶员状态掌握装置中，也可以是，当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态时，所述通知处理部进行对控制所述自动驾驶系统的自动驾驶控制装置进行通知以使得不解除自动驾驶而继续自动驾驶的处理。
根据上述驾驶员状态掌握装置，在判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态的情况下，也能够继续自动驾驶控制。
另外，本发明的驾驶员状态掌握装置中，也可以是，所述驾驶员状态掌握装置还具备信息获取部，所述信息获取部从所述自动驾驶系统获取自动驾驶期间的信息，所述通知处理部基于所述速应判断部的判断结果和由所述信息获取部获取到的所述自动驾驶期间的信息，进行预定的通知处理。
根据上述驾驶员状态掌握装置，根据所述速应判断部的判断结果与由所述信息获取部获取到的所述自动驾驶期间的信息来进行预定的通知处理。由此，根据所述自动驾驶系统的状况，无需超出必要地对驾驶员等进行多种的通知，能够降低通知所需的电力、处理。
另外，在本发明的驾驶员状态掌握装置中，也可以是，在所述自动驾驶期间的信息中包括用于判断所述车辆的周围是否为安全状态的信息，当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态时，所述通知处理部根据所述车辆的周围是否为安全状态，改变用于督促驾驶员采取恰当的脚姿势的通知等级来进行通知处理。
根据上述驾驶员状态掌握装置，在判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态的情况下，根据所述车辆的周围是否为安全状态，改变用于督促驾驶员将脚姿势处于恰当的通知等级来进行通知处理。在用于判断所述车辆的周围是否处于安全状态的信息中，例如优选包括所述车辆周围的监视信息。所述车辆周围的监视信息例如可以是在本车辆附近有其他车辆急速靠近的信息，也可以是窄道路上的急转弯等所假定的系统的功能极限的道路中行驶的信息等。
在所述车辆的周围未处于安全状态的情况下，例如期望提高所述通知等级，以采取能够立即接过所述踏板的操作的姿势的方式进行督促更强注意的重度的通知、例如组合显示、声音、振动等的通知等。另外，在所述车辆的周围处于安全状态的情况下，期望降低所述通知等级而例如进行仅基于声音的轻度的通知。
另外，在本发明的驾驶员状态掌握装置中，也可以是，在所述自动驾驶期间的信息中包括从自动驾驶转到手动驾驶的接续请求信息，当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态、且所述信息获取部获取到所述接续请求信息时，所述通知处理部进行用于督促所述驾驶员接续驾驶操作的通知处理。
根据上述驾驶员状态掌握装置，在判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态、且获取了所述接续请求信息的情况下，能够进行用于督促所述驾驶员接续驾驶操作的通知处理。所述接续请求信息可以是进入从自动驾驶转到手动驾驶的接续区间的信息等，也可以是所述自动驾驶系统的一部分产生了异常、故障的信息等。在获取了所述接续请求信息的情况下，实际上需要踏板操作，因此，例如期望进行通知以使得迅速地向所述踏板放置脚而接续驾驶操作。
另外，在本发明的驾驶员状态掌握装置中，也可以是，所述状态掌握数据获取部获取由设于所述车辆的相机拍摄的所述驾驶员的脚周边的图像数据来作为所述状态掌握数据，所述驾驶员状态掌握装置还具备模板图像存储部，所述模板图像存储部存储用于推断所述驾驶员的脚状态的模板图像，所述脚状态推断部通过对由所述状态掌握数据获取部获取到的所述驾驶员的脚周边的图像数据和从所述模板图像存储部读取出的所述模板图像进行模板匹配，推断所述驾驶员的脚状态。
根据上述的驾驶员状态掌握装置，通过进行使用了由所述状态掌握数据获取部获取到的所述驾驶员的脚周边的图像数据和从所述模板图像存储部读取的所述模板图像的模板匹配，推断所述驾驶员的脚状态。因而，能够基于所述模板图像确切地推断所述驾驶员的脚状态。此外，所述驾驶员的脚状态也可以是脚踝以下的部分的状态、膝盖以下的部分的状态、以及大腿部以下的部分的状态中的任一状态。
另外，本发明的驾驶员状态掌握装置中，也可以是，所述状态掌握数据获取部获取由设于所述车辆的驾驶座的脚部的传感器检测的所述驾驶员的脚检测数据来作为所述状态掌握数据，所述脚状态推断部使用由所述状态掌握数据获取部获取到的所述驾驶员的脚检测数据来推断所述驾驶员的脚状态。
根据上述驾驶员状态掌握装置，使用由所述状态掌握数据获取部获取到的所述驾驶员的脚检测数据来推断所述驾驶员的脚状态。因而，能够基于所述传感器的脚检测数据而确切地推断所述驾驶员的脚状态。所述传感器可以是光电传感器等物体检测传感器，除此之外，也可以是能够检测驾驶员的脚的非接触式的传感器。此外，所述驾驶员的脚状态也可以是脚踝以下的部分的状态、膝盖以下的部分的状态、以及大腿部以下的部分的状态中的任一状态。
另外，本发明的驾驶员状态掌握系统也可以具备：上述驾驶员状态掌握装置中的至少任一者；以及状态掌握部，掌握所述车辆的驾驶座的脚部周边的状态，向所述状态掌握数据获取部输出所述状态掌握数据。
根据上述驾驶员状态掌握系统，系统构成为包括所述驾驶员状态掌握装置和掌握所述车辆的驾驶座的脚部周边的状态并向所述状态掌握数据获取部输出所述状态掌握数据的状态掌握部。由此，能够构建如下系统：在自动驾驶期间也能够准确地掌握所述驾驶员是否处于能够迅速地接续所述踏板的操作的姿势，并且在自动驾驶期间所述自动驾驶系统产生了故障等情况下，也能够适当地进行辅助以使得能够迅速且顺畅地进行从自动驾驶转到手动驾驶的接续。此外，所述状态掌握部可以是拍摄所述驾驶员的脚周边的图像数据的相机，也可以是在所述驾驶座的脚部周边检测所述驾驶员的脚的传感器，另外也可以组合这些部件。
另外，本发明的驾驶员状态掌握方法掌握具备自动驾驶系统的车辆的驾驶员的状态，其特征在于，包括以下步骤：从掌握所述车辆的驾驶座的脚部周边的状态的状态掌握部获取所述驾驶座的脚部周边的状态掌握数据；使所获取到的所述状态掌握数据存储于状态掌握数据存储部；从所述状态掌握数据存储部读取所述状态掌握数据；使用所读取出的所述状态掌握数据来推断所述驾驶员的脚状态；以及基于所推断出的所述驾驶员的脚状态的推断信息，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
根据上述的驾驶员状态掌握方法，使用所述车辆的驾驶座的脚部周边的状态掌握数据来推断所述驾驶员的脚状态，并基于该脚状态的推断信息来判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。由此，在自动驾驶期间也能够准确地掌握所述驾驶员是否处于能够迅速地接接续所述踏板的操作的姿势，并且在自动驾驶期间所述自动驾驶系统产生了故障等情况下，也能够适当地进行辅助以使得迅速且顺畅地进行从自动驾驶转到手动驾驶的接续、尤其是踏板操作的接续。
附图说明
图1是示出包括本发明的实施方式(1)的驾驶员状态掌握装置的自动驾驶系统的主要部分结构的框图。
图2是示出搭载有实施方式(1)的驾驶员状态掌握系统的车辆的驾驶座周边的侧视图。
图3是示出实施方式(1)的驾驶员状态掌握装置的硬件结构的框图。
图4是用于说明存储于实施方式(1)的驾驶员状态掌握装置的存储部的速应判断表的一例的图。
图5是示出实施方式(1)的驾驶员状态掌握装置中的控制部所进行的处理动作的流程图。
图6是示出包括实施方式(2)的驾驶员状态掌握装置的自动驾驶系统的主要部分结构的框图。
图7是示出搭载有实施方式(2)的驾驶员状态掌握系统的车辆的驾驶座周边的侧视图。
图8是示出实施方式(2)的驾驶员状态掌握装置的硬件结构的框图。
图9是用于说明存储于实施方式(2)的驾驶员状态掌握装置的存储部的速应判断表的一例的图。
图10是示出实施方式(2)的驾驶员状态掌握装置中的控制部所进行的处理动作的流程图。
附图标记说明：
1...自动驾驶系统；10、10A...驾驶员状态掌握系统；20、20A...驾驶员状态掌握装置；21...外部I/F；22、22A...控制部；22a、22e...状态掌握数据获取部；22b、22f...脚状态推断部；22c、22g...速应判断部；22d、22i...通知处理部；22h...信息获取部；23...CPU；24...RAM；25...ROM；26、26A...存储部；26a、26e...状态掌握数据存储部；26b...模板图像存储部；26c、26f...脚状态推断方法存储部；26d、26g...判断方法存储部；27...程序；30、30A...状态掌握部；31...相机；32...传感器；40...导航装置；50...自动驾驶控制装置；60...周边监视传感器；61...声音输出部；62...显示部。
具体实施方式
以下，基于附图对本发明的驾驶员状态掌握装置、驾驶员状态掌握系统以及驾驶员状态掌握方法的实施方式进行说明。此外，以下说明的实施方式是本发明的优选的具体例，在技术上附加各种限定，但关于本发明的范围，只要在以下的说明中没有特别限定本发明的主旨的记载，则不限于这些方式。
图1是示出包括实施方式(1)的驾驶员状态掌握装置20的自动驾驶系统1的主要部分结构的框图。
自动驾驶系统1构成为包括驾驶员状态掌握装置20、状态掌握部30、导航装置40、自动驾驶控制装置50、周边监视传感器60、声音输出部61以及显示部62，上述各部分通过总线70连接。
自动驾驶系统1为具备自动驾驶模式及手动驾驶模式且能够进行这些模式的切换的系统，自动驾驶模式是以系统为主体而自动地进行包括车辆的加速、转向以及制动在内的行驶控制中的至少一部分的模式，手动驾驶模式是驾驶员进行驾驶操作的模式。
本实施方式中的自动驾驶模式假定为自动驾驶系统1自动进行加速、转向以及制动中的全部并在从自动驾驶系统1发出请求时驾驶员进行对应的模式(所谓的等级3以上的自动化等级)，但本发明的应用不限于该自动化等级。自动驾驶系统1在自动驾驶期间请求接续为手动驾驶是指，例如包括系统产生异常、故障时、系统的功能极限时、自动驾驶区间的结束时等。
驾驶员状态掌握装置20是用于掌握具备自动驾驶系统1的车辆的驾驶员的状态的装置，且是用于通过掌握驾驶座的脚部周边的状态而判断驾驶员的脚是否处于即使在自动驾驶期间也能够立刻进行踏板操作的状态，由此在从自动驾驶系统1发出接续至手动驾驶的请求的情况下以使驾驶员能够立刻接续手动驾驶、特别是其是踏板操作的方式进行辅助的装置。
驾驶员状态掌握装置20构成为包括外部接口(外部I/F)21、控制部22以及存储部26。控制部22构成为包括中央处理单元(CPU)23、随机存取存储器(RAM)24以及只读存储器(ROM)25。
存储部26构成为包括闪存、硬盘驱动器、固态驱动器、其他非易失性存储器、易失性存储器等通过半导体元件存储数据的存储装置。在存储部26中存储有由驾驶员状态掌握装置20执行的程序27等。此外，也可以使程序27的一部分或者全部存储于控制部22的ROM25等。
掌握驾驶员的状态的状态掌握部30构成为包括拍摄车辆的驾驶座的脚部周边的相机31。相机31构成为包括未图示的透镜部、摄像元件部、光照射部、输入输出部以及控制上述各部分的控制部等。所述摄像元件部构成为包括CCD、CMOS等摄像元件、滤波器、微透镜等。所述光照射部包括LED等发光元件，另外也可以是与昼夜无关地能够拍摄驾驶员的状态的红外线LED等。所述控制部例如也可以构成为包括CPU、RAM、ROM，并包括图像处理电路。所述控制部进行如下控制等：对所述摄像元件部、所述光照射部进行控制，而从该光照射部照射光(例如近红外线等)并利用所述摄像元件部来拍摄其反射光。
图2是示出搭载有实施方式(1)的驾驶员状态掌握系统10的车辆2的驾驶座周边的侧视图。
只要相机31在车厢内的安装位置是能够对供驾驶员4就座的驾驶座3的脚部周边(踏板6的周边)进行拍摄的位置，则没有特别限定。例如，如图2所示，可以是方向盘5下的罩部分。另外，作为其它的安装位置，如图2所示，也可以设置于顶板部分A、驾驶座的就座部前面部分B、后视镜附近位置C、A柱部分D等。踏板6包括制动踏板以及加速踏板中的至少任一者。
相机31的数量可以是1台，也可以是2台以上。相机31可以与驾驶员状态掌握装置20独立(其它壳体)构成，也可以与驾驶员状态掌握装置20一体(同一壳体)构成。另外，相机31的种类没有特别限定，可以是单眼相机，也可以是立体相机、单眼3D相机等。由相机31拍摄的图像数据被向驾驶员状态掌握装置20送出。包括驾驶员状态掌握装置20与作为状态掌握部30的相机31而构成驾驶员状态掌握系统10。
图1所示的导航装置40是用于向驾驶员指引本车辆的当前位置、从该当前位置至目的地的行驶路线等信息的装置，构成为包括未图示的控制部、显示部、声音输出部、操作部以及地图数据存储部等。另外，构成为能够获取来自未图示的GPS接收器、陀螺仪传感器、车速传感器等的信号。
导航装置40基于由所述GPS接收器等测量的车辆的位置信息与所述地图数据存储部的地图信息，得出本车辆行驶的道路、车道等信息，并将当前位置显示于所述显示部。另外，导航装置40计算从车辆的当前位置至目的地的路线等，将该路线信息等显示于所述显示部，从所述声音输出部进行路线引导等的声音输出。
另外，将由导航装置40计算出的车辆的位置信息、行驶道路的信息、以及行驶预定路线的信息等向自动驾驶控制装置50输出。在行驶预定路线的信息中，也可以包括自动驾驶区间的开始地点、结束地点的信息、从自动驾驶转到手动驾驶的接续区间的信息等与自动驾驶和手动驾驶的切换控制相关的信息。
自动驾驶控制装置50是执行与车辆的自动驾驶相关的各种控制的装置，由具备未图示的控制部、存储部以及输入输出部等的电子控制单元构成。自动驾驶控制装置50也与未图示的转向控制装置、动力源控制装置、制动控制装置、转向传感器、加速踏板传感器、制动踏板传感器等连接。这些控制装置以及传感器也可以包含于自动驾驶系统1的结构中。
自动驾驶控制装置50基于从自动驾驶系统1中所包括的各部分获取的信息，向各控制装置输出进行自动驾驶的控制信号，从而进行车辆的自动行驶控制(自动转向控制、自动速度调整控制、自动制动控制等)，另外也进行自动驾驶模式与手动驾驶模式的切换控制等。
自动驾驶是指，无需位于驾驶座的驾驶员进行驾驶操作，通过自动驾驶控制装置50所进行的控制使车辆沿着道路自动地行驶。例如，包括按照预先设定的直至目的地的路线、基于车外的状况、地图信息而自动生成的行驶路线等自动地使车辆行驶的驾驶状态。并且，自动驾驶控制装置50也可以在满足预先确定的自动驾驶的解除条件的情况下结束(解除)自动驾驶。例如，自动驾驶控制装置50也可以在判断为自动驾驶期间的车辆已到达预先确定的自动驾驶的结束地点的情况下进行结束自动驾驶的控制。另外，自动驾驶控制装置50也可以在驾驶员进行了自动驾驶解除操作(例如自动驾驶解除按钮的操作、基于驾驶员的手柄、加速器或者制动器的操作等)的情况下，进行结束自动驾驶的控制。手动驾驶是指，驾驶员成为进行驾驶操作的主体而使车辆行驶的驾驶。
周边监视传感器60是检测存在于车辆的周边的对象物的传感器。关于所述对象物，除了汽车、自行车、行人等移动物体之外，也可以包含路面标识(白线等)、护栏、中央分离带、对其他车辆的行驶造成影响的结构物体等。周边监视传感器60包括前方监视相机、后方监视相机、雷达(Radar)、光学雷达(Light Detection and Ranging、Laser ImagingDetection and Ranging(LIDER))、以及超声波传感器中的至少一者。由周边监视传感器60检测出的对象物的检测数据输出至自动驾驶控制装置50等。在前方监视相机、后方监视相机中能够采用立体相机、单眼相机等。雷达向车辆周围发送毫米波等电波，并接收由存在于车辆周围的对象物反射的电波，由此检测对象物的位置、方向、距离等。光学雷达向车辆周围发送激光，接收由存在于车辆周围的对象物反射的光，由此检测对象物的位置、方向、距离等。
声音输出部61是通过声响、声音输出基于来自驾驶员状态掌握装置20的指示的各种通知等的装置，构成为包括扬声器等。
显示部62是通过文字、图形显示基于来自驾驶员状态掌握装置20等的指示的各种通知、指引、或者对灯等进行点亮闪烁显示的装置，构成为包括各种显示器、显示灯等。
图3是示出实施方式(1)的驾驶员状态掌握装置20的硬件结构的框图。
驾驶员状态掌握装置20构成为包括外部I/F21、控制部22以及存储部26。外部I/F21除了相机31以外还与自动驾驶控制装置50、周边监视传感器60、声音输出部61、显示部62等自动驾驶系统1的各部分连接，由用于在与上述各部分之间发送接收信号的接口电路、连接器等构成。
控制部22构成为包括状态掌握数据获取部22a、脚状态推断部22b以及速应判断部22c，也可以构成为进一步包括通知处理部22d。存储部26构成为包括状态掌握数据存储部26a、模板图像存储部26b、脚状态推断方法存储部26c以及判断方法存储部26d。
在状态掌握数据存储部26a中存储由状态掌握数据获取部22a获取的相机31的图像数据。
在模板图像存储部26b中存储在由控制部22的脚状态推断部22b执行的模板匹配处理中使用的模板图像。
在模板图像中包括表示就座于驾驶座的驾驶员的各种各样的脚状态的图像。作为在此的驾驶员的脚状态，可以包括左右各脚与地板面的位置关系、左右各脚与踏板的位置关系、以及将这些位置关系组合而成的不同的多个状态。进一步地，还可以包括根据左脚与右脚的位置关系可知的状态。例如，包括两脚位于踏板附近(距离踏板预定范围内)的地板面的状态的图像、一只脚位于踏板附近且另一只脚位于远离踏板的位置的地板面的状态的图像、在跷着二郎腿的状态下单脚处于踏板附近的地板面的状态的图像。进一步地，包括两脚位于较大程度上远离踏板的位置(距离踏板规定范围外)的地板面的状态的图像、在跷着二郎腿的状态下单脚位于较大程度上远离踏板的位置的地板面的状态的图像、盘腿就座的状态的图像、两膝立起就座的状态的图像、完全没有拍摄到脚的状态(没有驾驶员的状态等)的图像等。在上述的两脚位于较大程度上远离踏板的位置的地板面的状态中，包括将膝盖弯曲90度以上的状态。
在脚状态推断方法存储部26c中存储有由控制部22的脚状态推断部22b执行的、利用模板匹配法推断脚状态的程序等。
在判断方法存储部26d存储有由控制部22的速应判断部22c执行的、用于判断驾驶员是否处于能够立即操作踏板的状态的程序、速应判断表等。在该速应判断表中例如能够使用表示模板图像的种类与踏板操作的速应性的关系的数据。
图4示出了在判断方法存储部26d中所存储的速应判断表的一例。在速应判断表中存储有模板图像存储部26b所存储的各模板图像的种类与踏板操作的速应性的关系。踏板操作的速应性是指，在自动驾驶系统1因某些原因而变得无法动作、无法继续自动驾驶的情况下，驾驶员能够操作加速踏板或者制动踏板的迅速性。因而，踏板操作的速应性高的状态是指，若驾驶员想要进行踏板操作便能够立即操作，不需要将脚载置于踏板。踏板操作的速应性也可以基于各脚与地板面的位置关系、以及各脚与踏板的位置关系而预先设定。
在图4所示的例子中，对于两脚位于踏板附近的地板面的状态的模板图像、一只脚位于踏板附近且另一只脚位于远离踏板的位置的地板面的状态的模板图像、以及在跷着二郎腿的状态下单脚位于踏板附近的地板面的状态的模板图像，与踏板操作的速应性高建立关联。
另一方面，对于两脚位于较大程度上远离踏板的位置的地板面的状态的模板图像、在跷着二郎腿的状态下单脚位于较大程度上远离踏板的位置的地板面的状态的模板图像、盘腿就座的状态的模板图像、两膝立起就座的状态的模板图像、以及完全没有拍摄到脚的状态的模板图像，与踏板操作的速应性低建立关联。
另外，也可以将至少一只脚位于踏板附近的地板面的情况设为踏板操作的速应性高。另外，例如也可以将左右脚的位置关系为左脚位于左边、右脚位于右边的情况设为速应性更高。能够使用该速应判断表来判断与由脚状态推断部22b所推断出的脚状态(类似度高的模板图像)对应的踏板操作的速应性。
控制部22是通过与存储部26配合而进行向存储部26存储各种数据的处理、读取存储于存储部26的各种数据、各种程序并由CPU23执行该程序，由此实现状态掌握数据获取部22a、脚状态推断部22b、速应判断部22c以及通知处理部22d等的工作的装置。
构成控制部22的状态掌握数据获取部22a执行获取由相机31所拍摄到的驾驶座的脚部周边的图像的处理，并进行将所获取的图像存储于状态掌握数据存储部26a的处理。所获取的图像可以是静止图像，也可以是动态图像。关于驾驶座的脚部周边的图像的获取，例如只要在驾驶员状态掌握装置20的起动后以预定的间隔获取即可。另外，也能够在切换为自动驾驶模式之后获取。
脚状态推断部22b从状态掌握数据存储部26a读取图像数据，并基于从模板图像存储部26b读取的模板图像、以及从脚状态推断方法存储部26c读取的程序，对图像数据实施预定的图像处理，进行推断图像中的驾驶员的脚状态的处理。更具体来说，进行表示各种各样的脚状态的模板图像与由相机31拍摄到的图像的模板匹配处理，计算与这些模板图像的类似度，提取该类似度高的模板图像，推断驾驶员的脚状态。
速应判断部22c基于从判断方法存储部26d读取的程序、速应判断表，并基于由脚状态推断部22b所推断的驾驶员的脚状态，进行判断驾驶员是否处于能够立即操作车辆的踏板的状态的处理。
通知处理部22d在由速应判断部22c判断为驾驶员未处于能够立即操作踏板的状态(速应性低的状态)的情况下，进行用于使声音输出部61、显示部62进行督促驾驶员采取能够立即操作踏板的姿势的声音的输出、显示的输出的通知处理。通知处理也可以进行与所推断出的脚状态对应的通知。另外，通知处理部22d也可以对自动驾驶控制装置50输出以解除自动驾驶而继续自动驾驶的方式进行通知的信号。
图5是示出实施方式(1)的驾驶员状态掌握装置20中的控制部22所进行的处理动作的流程图。在此，以自动驾驶系统1被设定为自动驾驶模式、即车辆处于在自动驾驶控制下行驶的状态进行说明。本处理动作在自动驾驶模式中反复执行。
首先，在步骤S1中，进行获取由相机31拍摄到的驾驶座的脚部周边的图像数据的处理。图像数据可以从相机31一个一个地获取，也可以集中获取多个或者一定时间量的。在接下来的步骤S2中，进行将所获取的图像数据存储于状态掌握数据存储部26a的处理，之后进入步骤S3。
在步骤S3中，读取存储于状态掌握数据存储部26a的图像数据，之后进入步骤S4。图像数据可以从状态掌握数据存储部26a一个一个地读取，也可以集中读取多个或者一定时间量的。在步骤S4中，从模板图像存储部26b读取模板图像，并从脚状态推断方法存储部26c读取用于推断驾驶员的脚状态的程序等，之后进入步骤S5。
在步骤S5中，一边相对于所读取的图像数据一个一个地移动表示各种各样的脚状态的模板图像，一边执行计算与模板图像重叠的部分的类似度等的模板匹配处理，进入步骤S6。在模板匹配处理中，能够使用公知的各种图像处理的方法。
在步骤S6中，判断得到了类似度高的结果的模板图像，进入步骤S7。在步骤S7中，从判断方法存储部26d读取利用图4所说明的速应判断表，进入步骤S8。在步骤S8中，从速应判断表中判断与所述类似度高的模板图像的种类建立有关联的速应性。例如，将在步骤S6中判断为类似度高的模板图像的种类为两脚位于踏板附近的地板面的状态的图像的情况判断为速应性高。另外，将在步骤S6中判断为类似度高的模板图像的种类为盘腿状态的图像的情况判断为速应性低。
在接下来的步骤S9中，判断是否处于速应性高的状态，若判断为处于速应性高的状态、即驾驶员能够立即操作踏板的状态，则之后结束处理。此外，在步骤S9中，也可以在步骤S8中的速应性高的判断结果持续地检测了一定时间的情况下判断为速应性高的状态。另外，在其它的实施方式中，也可以进行用于使驾驶员知晓脚姿势为恰当的通知处理，例如在显示部62设置恰当姿势通知灯，并点亮该恰当姿势通知灯。另外，也可以向自动驾驶控制装置50输出通知驾驶员的脚姿势为恰当、即适于继续自动驾驶的状态的信号。
另一方面，在步骤S9中，若判断为未处于速应性高的状态、即处于速应性低的状态，则进入步骤S10。此外，在步骤S9中，也可以在步骤S8中的速应性低的判断结果持续地检测了一定时间的情况下判断为速应性低的状态。
在步骤S10中，进行用于督促驾驶员采取恰当的脚姿势的通知处理。作为通知处理，可以进行从声音输出部61输出预定的声音的处理，也可以进行在显示部62进行预定的显示的处理。另外，也可以进行与驾驶员的脚状态相应的通知。例如，也可以在驾驶员的脚状态为盘腿的状态的情况下输出“请将两脚放在踏板附近”这样的声音。另外，在步骤S10中，也可以向自动驾驶控制装置50输出以不解除自动驾驶而继续自动驾驶的方式进行通知的信号。
根据上述实施方式(1)的驾驶员状态掌握系统10，由驾驶员状态掌握装置20以及拍摄车辆的驾驶座的脚部周边的图像的相机31构成系统。另外，根据驾驶员状态掌握装置20，利用脚状态推断部22b进行使用了由相机31拍摄到的驾驶座的脚部周边的图像数据与从模板图像存储部26b读取到的模板图像的模板匹配，由此来推断驾驶员的脚状态。然后，利用速应判断部22c，基于所述脚状态的推断信息，判断在自动驾驶期间驾驶员是否处于能够立即操作车辆的制动踏板、加速踏板的状态。
由此，在自动驾驶期间也能够准确地掌握驾驶员是否处于能够迅速接续踏板的操作的姿势，并且在自动驾驶期间产生了自动驾驶系统1的故障等的情况下，也能够适当的进行辅助，以使得迅速且顺畅地进行从自动驾驶转到手动驾驶的接续、尤其是踏板操作的接续。
另外，根据驾驶员状态掌握装置20，在通过速应判断部22c判断为驾驶员未处于能够立即操作车辆的踏板的状态、即踏板操作的速应性低的情况下，通过通知处理部22d进行用于督促驾驶员采取恰当的脚姿势的通知处理。由此，能够向驾驶员督促姿势的恰当化，以在自动驾驶期间也保持能够立即操作踏板的姿势。
此外，在实施方式(1)的驾驶员状态掌握装置20中，作为通过脚状态推断部22b推断驾驶员的脚状态的图像处理方法，使用了模板匹配法，但推断驾驶员的脚状态的图像处理方法不限于此。
在其它的实施方式中，也可以使用预先在存储部26存储驾驶员未就座于驾驶座的状态下的驾驶座脚部的背景图像、根据该背景图像与由相机31拍摄到的图像的差别提取驾驶员的脚并检测驾驶员的脚状态的背景差分法。
另外，也可以使用语义分割(Semantic Segmentation)法，其中，预先存储由学习器预先机器学习了包括以各种各样的脚姿势就座于驾驶座的驾驶员的脚部分的图像而成的模型，使用该学习模型，对由相机31拍摄到的图像中的各像素的意味标注标签，识别驾驶员的区域，提取驾驶员的脚部分，检测驾驶员的脚。
另外，在相机31使用单眼3D相机的情况下，也可以使用由该单眼3D相机检测出的驾驶员的各部位的检测位置、姿势等获取信息来检测驾驶员的脚状态。
另外，在脚状态的检测中，也可以针对左右脚分别至少检测脚是否位于地板面。另外，在脚状态的检测中，也可以通过将脚和踏板的距离与预定的阈值比较，由此检测脚是否位于踏板附近。
图6是示出包括实施方式(2)的驾驶员状态掌握装置20A的自动驾驶系统1的主要部分结构的框图。对于与图1所示的自动驾驶系统1具有相同功能的构成部件标注相同附图标记，并在此省略其说明。
在实施方式(1)的驾驶员状态掌握系统10中，在状态掌握部30中使用了相机31，但在实施方式(2)的驾驶员状态掌握系统10A中，在状态掌握部30A中使用了传感器32，在这点上存在较大不同。
图7是示出搭载有实施方式(2)的驾驶员状态掌握系统10A的车辆2的驾驶座周边的侧视图。
传感器32是设于车辆2的驾驶座3的脚部并用于检测驾驶员4的脚的装置。关于传感器32，能够采用光电传感器等物体检测传感器。所述光电传感器也可以是具备具有投光部的投光器以及具有受光部的受光器的透射型的光电传感器。另外，也可以是具备具有投光部与受光部的传感器主体以及反射来自投光部的光的回归反射板的回归反射型的光电传感器，还可以是具备投光部与受光部的扩散反射型的光电传感器。另外，也可以是具备投光部与位置检测用受光部的距离测量型的光电传感器。关于所述位置检测用受光部，可以使用位置检测元件、二分割二极管等，由此能够使用三角测距的原理来检测直至检测物体的距离。
传感器32的数量没有特别限定，但优选使用多个传感器32以便能够分别检测驾驶员4的左右脚的位置。
传感器32的安装位置也没有特别限定，优选配置于驾驶座3的脚部周边、例如踏板的里侧部分、驾驶座3的就座部前面部分、手柄下的罩部分等，以便能够分别检测驾驶员4的左右脚的位置。将由传感器32检测出的脚检测数据向驾驶员状态掌握装置20A送出。包括驾驶员状态掌握装置20A与作为状态掌握部30A的传感器32而构成驾驶员状态掌握系统10A。
图8是示出实施方式(2)的驾驶员状态掌握装置20A的硬件结构的框图。此外，对于与图3所示的驾驶员状态掌握装置20具有相同功能的构成部件标注相同附图标记，并在此省略其说明。
实施方式(2)的驾驶员状态掌握装置20A与实施方式(1)的驾驶员状态掌握装置20的不同点在于，控制部22A基于由传感器32检测出的数据进行脚状态推断处理、速应性判断处理以及通知处理。
控制部22A构成为包括状态掌握数据获取部22e、脚状态推断部22f、速应判断部22g、信息获取部22h以及通知处理部22i。存储部26A构成为包括状态掌握数据存储部26e、脚状态推断方法存储部26f以及判断方法存储部26g。
在状态掌握数据存储部26e存储由状态掌握数据获取部22e获取到的传感器32的脚检测数据。
在脚状态推断方法存储部26f中存储有由控制部22A的脚状态推断部22f执行的、基于传感器32的脚检测数据来推断脚状态的程序等。
在判断方法存储部26g中存储有由控制部22A的速应判断部22g执行的、用于判断驾驶员是否处于能够立即操作踏板的状态的程序、速应判断表等。在所述速应判断表中，例如能够使用表示脚的检测位置与踏板操作的速应性的关系的数据。
在图9示出了在判断方法存储部26g中所存储的速应判断表的一例。将驾驶员的脚的检测位置与踏板操作的速应性建立关联地进行存储。在图9所示的例子中，将在踏板附近检测出两脚的情况、在踏板附近检测出一只脚且在远离踏板的位置检测出另一只脚的情况、仅在踏板附近检测出一只脚的情况与踏板操作的速应性高建立关联。
另外，将在远离踏板的位置检测出两脚的情况、仅在远离踏板的位置检测出一只脚的情况、未检测出脚的情况与踏板操作的速应性低建立关联。使用该速应判断表，能够判断与由脚状态推断部22f推断出的脚状态(脚的检测位置)对应的踏板操作的速应性。
构成控制部22的状态掌握数据获取部22e执行获取由传感器32检测出的驾驶员的脚检测数据的处理，并进行将所获取的脚检测数据存储于状态掌握数据存储部26e的处理。来自传感器32的脚检测数据例如能够在驾驶员状态掌握装置20A的起动后获取，另外也能够在切换为自动驾驶模式之后获取。
脚状态推断部22f从状态掌握数据存储部26e读取脚检测数据，并基于从脚状态推断方法存储部26f读取出的程序，进行推断驾驶员的脚状态的处理。更具体来说，基于检测出脚的传感器32的位置、检测出脚的传感器32的数量等数据，推断驾驶员的脚的位置。
速应判断部22g基于从判断方法存储部26g读取的程序、速应判断表，并基于由脚状态推断部22f推断出的驾驶员的脚状态，进行判断驾驶员是否处于能够立即操作车辆的踏板的状态的处理。
信息获取部22h从自动驾驶系统1的各部分获取自动驾驶期间的信息。在该自动驾驶期间的信息中，包括由周边监视传感器60检测的车辆周围的监视信息、以及从自动驾驶控制装置50送出的从自动驾驶接续为手动驾驶的请求信息中的至少任一者。
在由速应判断部22g判断为驾驶员未处于能够立即操作踏板的状态(速应性低的状态)的情况下，通知处理部22i根据由信息获取部22h获取到的自动驾驶期间的信息，进行使声音输出部61、显示部62进行用于督促驾驶员采取能够立即操作踏板的姿势的声音输出、显示输出的处理。另外，通知处理部22i也可以向自动驾驶控制装置50输出以不解除自动驾驶而继续自动驾驶的方式进行通知的信号。
图10是示出实施方式(2)的驾驶员状态掌握装置20A中的控制部22A所进行的处理动作的流程图。
首先，在步骤S11中，进行获取由传感器32检测出的驾驶员的脚检测数据的处理，在接下来的步骤S12中，进行将所获取的脚检测数据存储于状态掌握数据存储部26e的处理，在接下来的步骤S13中，从状态掌握数据存储部26e读取脚检测数据，进入步骤S14。
在步骤S14中，进行根据所读取的脚检测数据来推断驾驶员的脚的位置的处理，之后进入步骤S15。关于步骤S14中所执行的推断驾驶员的脚位置的处理，根据检测出脚检测数据的传感器32的位置等信息来推断脚的位置。
在步骤S15中，从判断方法存储部26g读取在图9中所说明的速应判断表，进入步骤S16。在步骤S16中，从速应判断表之中判断与所推断的驾驶员的脚的位置建立有关联的速应性。
例如，将步骤S14中所推断出的脚的位置为在踏板附近检测出两脚的情况判断为速应性高。另外，将步骤S14中所推断出的脚的位置为仅在远离踏板的位置检测出一只脚的情况判断为速应性低。
在接下来的步骤S17中，判断是否为速应性高的状态，若判断为处于速应性高的状态、即驾驶员能够立即操作踏板的状态，则之后结束处理。此外，在步骤S17中，也可以在步骤S16中的速应性高的判断结果持续检测了一定时间的情况下，判断为处于速应性高的状态。另外，在其它的实施方式中，也可以进行用于使驾驶员知晓脚姿势恰当的通知处理，例如在显示部62设置恰当姿势通知灯，并点亮该恰当姿势通知灯。另外，也可以向自动驾驶控制装置50输出通知驾驶员的脚姿势为恰当、即适于继续自动驾驶的状态的信号。
另一方面，在步骤S17中，若判断为未处于速应性高的状态、即处于速应性低的状态，则进入步骤S18。此外，在步骤S17中，也可以在步骤16中的速应性低的判断结果持续检测了一定时间的情况下，判断为处于速应性低的状态。
在步骤S18中，从自动驾驶系统1获取信息而进入步骤S19。在所述信息中，包括由周边监视传感器60检测出的周边监视信息、从自动驾驶控制装置50输出的接续为手动驾驶的请求信息。在该接续请求信息中，例如包括系统的异常(故障)产生信号、系统的功能极限信号、或者接续区间的进入信号等。
在步骤S19中，基于从周边监视传感器60获取的周边监视信息，判断车辆周围是否处于安全状态。在步骤S19中，若判断为车辆周围没有处于安全状态、例如获取了在车辆的周围(前方、侧方以及后方中的任一者)的一定范围内检测出其它车辆、人以及其他障碍物的信息、其他车辆快速接近的信息、窄道路的急转弯等所假定的系统的功能极限的道路中行驶的信息等，则进入步骤S21的重度的通知处理。在步骤S21中，进行基于声音、显示的重度的通知处理以使得驾驶员迅速采取能够立即操作踏板的姿势，之后结束处理。在重度的通知处理中，优选进行组合了显示与声音的通知。另外，也可以组合对驾驶座等的振动赋予等基于显示、声音以外的通知。另外，在步骤S21中，也可以向自动驾驶控制装置50输出以不解除自动驾驶而继续自动驾驶的方式进行通知的信号。
另一方面，在步骤S19中，若判断为车辆周围处于安全状态，则进入步骤S20。在步骤S20中，判断是否获取了从自动驾驶控制装置50接续为手动驾驶的请求信息、即是否具有接续请求。在步骤S20中，若判断为没有接续请求，则进入步骤S22的轻度的通知处理。在步骤S22中，进行轻度的通知处理以使得驾驶员采取能够操作踏板的姿势，之后结束处理。在轻度的通知处理中，在实现自动驾驶与驾驶员的协调方面，优选为，进行仅显示的通知等对于驾驶员而言友善的通知。
另一方面，在步骤S20中，若判断为具有接续请求，则进入步骤S23。在步骤S23中，进行基于声音、显示的接续的通知，以使得驾驶员立即把持手柄而接续驾驶，结束该处理。
根据上述实施方式(2)的驾驶员状态掌握系统10A，由驾驶员状态掌握装置20A和设于车辆的驾驶座的脚部的传感器32构成系统。另外，根据驾驶员状态掌握装置20A，利用脚状态推断部22f基于由传感器32检测出的驾驶员的脚的检测数据，推断驾驶员的脚的位置。然后，利用速应判断部22g基于所述脚的位置的推断信息，判断在自动驾驶期间驾驶员是否处于能够立即操作车辆的制动踏板、加速踏板的状态。
由此，即使在自动驾驶期间也能够准确掌握驾驶员是否处于可迅速地接过踏板的操作的姿势，并且即便在自动驾驶期间产生自动驾驶系统1的故障等的情况下，也能够适当地进行辅助以使得迅速且顺畅地进行从自动驾驶接续为手动驾驶、尤其是接续为踏板操作。
另外，根据驾驶员状态掌握装置20A，利用通知处理部22i根据由信息获取部22h获取到的自动驾驶期间的信息而对驾驶员进行通知处理。在获取了表示车辆周围不是安全状态的周边监视信息的情况下，提高由通知处理部22i进行的通知的等级，能够通过重度的通知督促驾驶员高度注意以便采取能够立即接过踏板的操作的姿势。另外，在车辆周围安全、也没有接续请求的状态时，能够通过轻度的通知来友善地督促驾驶员进行姿势的恰当化。另外，在具有接续请求的情况下，能够对驾驶员进行通知以便立即采取接续姿势。
由此，根据自动驾驶系统1的状况，不需要超出必要地对驾驶员进行多种通知，能够减少该通知所需的电力、处理。另外，在系统产生故障时、动作极限时或者接续为手动驾驶的请求时等，能够缩短直至驾驶员操作踏板而结束驾驶操作的接续为止的时间，能够进行与自动驾驶系统1的状况相应的且对于驾驶员也较为友善的适当通知。
此外，也可以为实施方式(1)的驾驶员状态掌握装置20设置信息获取部22h，并取代图5中的步骤S10而进行与图10中的步骤S18～S23同样的处理，即根据由信息获取部22h获取到的自动驾驶期间的信息对驾驶员进行通知处理。

Claims (13)

1.一种驾驶员状态掌握装置，掌握具备自动驾驶系统的车辆的驾驶员状态，其特征在于，所述驾驶员状态掌握装置具备：
状态掌握数据获取部，获取所述车辆的驾驶座的脚部周边的状态掌握数据；
脚状态推断部，使用由所述状态掌握数据获取部获取到的所述状态掌握数据来推断所述驾驶员的脚状态；以及
速应判断部，基于所述脚状态推断部的推断信息，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
2.根据权利要求1所述的驾驶员状态掌握装置，其特征在于，
所述速应判断部基于所述驾驶员的脚与所述车辆的地板面的位置关系、所述驾驶员的脚与所述车辆的踏板的位置关系或所述驾驶员的右脚与左脚的位置关系，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
3.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述驾驶员状态掌握装置还具备通知处理部，所述通知处理部基于所述速应判断部的判断结果，进行预定的通知处理。
4.根据权利要求3所述的驾驶员状态掌握装置，其特征在于，
当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态时，所述通知处理部进行用于督促所述驾驶员采取恰当的脚姿势的通知处理。
5.根据权利要求3所述的驾驶员状态掌握装置，其特征在于，
当由所述速应判断部判断为所述驾驶员处于能够立即操作所述车辆的踏板的状态时，所述通知处理部进行向所述驾驶员通知脚姿势为恰当的处理。
6.根据权利要求3所述的驾驶员状态掌握装置，其特征在于，
当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态时，所述通知处理部进行对控制所述自动驾驶系统的自动驾驶控制装置进行通知以使得不解除自动驾驶而继续自动驾驶的处理。
7.根据权利要求3所述的驾驶员状态掌握装置，其特征在于，
所述驾驶员状态掌握装置还具备信息获取部，所述信息获取部从所述自动驾驶系统获取自动驾驶期间的信息，
所述通知处理部基于所述速应判断部的判断结果和由所述信息获取部获取到的所述自动驾驶期间的信息，进行预定的通知处理。
8.根据权利要求7所述的驾驶员状态掌握装置，其特征在于，
在所述自动驾驶期间的信息中包含用于判断所述车辆的周围是否为安全状态的信息，
当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态时，所述通知处理部根据所述车辆的周围是否为安全状态，改变用于督促所述驾驶员采取恰当的脚姿势的通知等级来进行通知处理。
9.根据权利要求7所述的驾驶员状态掌握装置，其特征在于，
在所述自动驾驶期间的信息中包含从自动驾驶转到手动驾驶的接续请求信息，
当由所述速应判断部判断为所述驾驶员未处于能够立即操作所述车辆的踏板的状态、且所述信息获取部获取到所述接续请求信息时，所述通知处理部进行用于督促所述驾驶员接续驾驶操作的通知处理。
10.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述状态掌握数据获取部获取由设于所述车辆的相机拍摄的所述驾驶员的脚周边的图像数据来作为所述状态掌握数据，
所述驾驶员状态掌握装置还具备模板图像存储部，所述模板图像存储部存储用于推断所述驾驶员的脚状态的模板图像，
所述脚状态推断部通过对由所述状态掌握数据获取部获取到的所述驾驶员的脚周边的图像数据和从所述模板图像存储部读取出的所述模板图像进行的模板匹配，推断所述驾驶员的脚状态。
11.根据权利要求1或2所述的驾驶员状态掌握装置，其特征在于，
所述状态掌握数据获取部获取由设于所述车辆的驾驶座的脚部的传感器检测的所述驾驶员的脚检测数据来作为所述状态掌握数据，
所述脚状态推断部使用由所述状态掌握数据获取部获取到的所述驾驶员的脚检测数据来推断所述驾驶员的脚状态。
12.一种驾驶员状态掌握系统，其特征在于，具备：
权利要求1至11中任一项所述的驾驶员状态掌握装置；以及
状态掌握部，掌握所述车辆的驾驶座的脚部周边状态，向所述状态掌握数据获取部输出所述状态掌握数据。
13.一种驾驶员状态掌握方法，掌握具备自动驾驶系统的车辆的驾驶员状态，其特征在于，所述驾驶员状态掌握方法包括以下步骤：
从掌握所述车辆的驾驶座的脚部周边状态的状态掌握部获取所述驾驶座的脚部周边的状态掌握数据；
使所获取到的所述状态掌握数据存储于状态掌握数据存储部；
从所述状态掌握数据存储部读取所述状态掌握数据；
使用所读取出的所述状态掌握数据来推断所述驾驶员的脚状态；以及
基于所推断出的所述驾驶员的脚状态的推断信息，判断在自动驾驶期间所述驾驶员是否处于能够立即操作所述车辆的踏板的状态。
CN201810757037.7A 2017-08-10 2018-07-11 驾驶员状态掌握装置、系统及方法 Pending CN109383524A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-155260 2017-08-10
JP2017155260A JP2019034575A (ja) 2017-08-10 2017-08-10 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法

Publications (1)

Publication Number Publication Date
CN109383524A true CN109383524A (zh) 2019-02-26

Family

ID=65084489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810757037.7A Pending CN109383524A (zh) 2017-08-10 2018-07-11 驾驶员状态掌握装置、系统及方法

Country Status (4)

Country Link
US (1) US20190049955A1 (zh)
JP (1) JP2019034575A (zh)
CN (1) CN109383524A (zh)
DE (1) DE102018005542A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190944B2 (en) 2017-05-05 2021-11-30 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
JP6930247B2 (ja) * 2017-06-29 2021-09-01 株式会社アイシン 覚醒支援装置、覚醒支援方法、及び、覚醒支援プログラム
US11182672B1 (en) * 2018-10-09 2021-11-23 Ball Aerospace & Technologies Corp. Optimized focal-plane electronics using vector-enhanced deep learning
US20200125722A1 (en) * 2018-10-18 2020-04-23 Denso International America, Inc. Systems and methods for preventing runaway execution of artificial intelligence-based programs
US10471969B1 (en) * 2019-01-07 2019-11-12 GM Global Technology Operations LLC System and method to restrict vehicle operations in response to driver impairment
US11851217B1 (en) 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
JP7135960B2 (ja) * 2019-03-22 2022-09-13 株式会社デンソー 運転引継装置
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
WO2021025252A1 (ko) * 2019-08-05 2021-02-11 엘지전자 주식회사 이상 운행 정보 전송 방법 및 장치
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
US11254286B2 (en) 2019-09-17 2022-02-22 GM Global Technology Operations LLC System and method to disable automated driving mode based on vehicle operation context
WO2021067517A1 (en) * 2019-09-30 2021-04-08 Husco International, Inc. Systems and methods for determining control capabilities on an off-highway vehicle
DE102019009068A1 (de) * 2019-12-23 2021-06-24 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
CN114394114A (zh) * 2022-01-21 2022-04-26 武汉路特斯汽车有限公司 一种自动驾驶控制方法、装置及计算机存储介质
CN114771559A (zh) * 2022-06-16 2022-07-22 苏州魔视智能科技有限公司 一种车辆的人机交互方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070080825A1 (en) * 2003-09-16 2007-04-12 Zvi Shiller Method and system for providing warnings concerning an imminent vehicular collision
US20100222976A1 (en) * 2006-11-28 2010-09-02 Karsten Haug Driving assistance system having presence monitoring
CN103879379A (zh) * 2013-12-31 2014-06-25 莱阳市科盾通信设备有限责任公司 一种车辆智能辅助驾驶系统
US20160264131A1 (en) * 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control
US20160378114A1 (en) * 2015-06-24 2016-12-29 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
CN106683521A (zh) * 2016-02-03 2017-05-17 北京易驾佳信息科技有限公司 一种基于驾驶人操作行为感知的智能驾驶训练系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4333797B2 (ja) 2007-02-06 2009-09-16 株式会社デンソー 車両用制御装置
JP6466869B2 (ja) 2016-02-29 2019-02-06 パンパシフィック・カッパー株式会社 銅製錬炉の操業方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070080825A1 (en) * 2003-09-16 2007-04-12 Zvi Shiller Method and system for providing warnings concerning an imminent vehicular collision
US20100222976A1 (en) * 2006-11-28 2010-09-02 Karsten Haug Driving assistance system having presence monitoring
CN103879379A (zh) * 2013-12-31 2014-06-25 莱阳市科盾通信设备有限责任公司 一种车辆智能辅助驾驶系统
US20160264131A1 (en) * 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control
US20160378114A1 (en) * 2015-06-24 2016-12-29 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
CN106683521A (zh) * 2016-02-03 2017-05-17 北京易驾佳信息科技有限公司 一种基于驾驶人操作行为感知的智能驾驶训练系统

Also Published As

Publication number Publication date
US20190049955A1 (en) 2019-02-14
DE102018005542A1 (de) 2019-02-14
JP2019034575A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109383524A (zh) 驾驶员状态掌握装置、系统及方法
CN107635844B (zh) 车辆控制装置、车辆控制方法和存储介质
US20200139992A1 (en) Vehicle control device and vehicle control method
CN109383525A (zh) 驾驶员状态掌握装置、驾驶员状态掌握系统及方法
US11364930B2 (en) Vehicle control system, vehicle control method and program
JP6733535B2 (ja) 運転支援装置
CN109720267A (zh) 车辆用灯具系统
JP6941120B2 (ja) 車両用照明システム、車両システム、車両及びデータ通信システム
JP6948559B2 (ja) 運転者監視装置、及び運転者監視方法
US11203360B2 (en) Vehicle control system, vehicle control method and program
US8880222B2 (en) Robot device, method of controlling robot device, and program
WO2015131857A2 (zh) 集成摄像头模组和光传感器的视觉辅助方法及装置
CN109032124A (zh) 车辆控制系统、车辆控制方法及存储介质
JP2018103670A (ja) 運転交代制御装置、及び運転交代制御方法
CN109383526A (zh) 驾驶员状态掌握装置、系统及方法
CN107709126A (zh) 行驶控制装置以及行驶控制方法
CN109774722A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
JPWO2019131329A1 (ja) 車両用照明システム、車両、車車間通信システム及び車両システム
CN109421733A (zh) 驾驶者状态掌握装置、驾驶者状态掌握系统及方法
CN102278955A (zh) 机器人装置和控制机器人装置的方法
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US11110933B2 (en) Driving support device, wearable device, driving support system, driving support method, and computer-readable recording medium
JP2017058761A (ja) 運転支援装置及び運転支援プログラム
CN109664889A (zh) 一种车辆控制方法、装置和系统以及存储介质
CN109774723A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190226