CN105654674B - 监测车辆的驾驶员专注度 - Google Patents

监测车辆的驾驶员专注度 Download PDF

Info

Publication number
CN105654674B
CN105654674B CN201510979083.8A CN201510979083A CN105654674B CN 105654674 B CN105654674 B CN 105654674B CN 201510979083 A CN201510979083 A CN 201510979083A CN 105654674 B CN105654674 B CN 105654674B
Authority
CN
China
Prior art keywords
driver
duration
vehicle
focus
eyelid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510979083.8A
Other languages
English (en)
Other versions
CN105654674A (zh
Inventor
N·博格纳
G·格罗斯科夫
A·扎克迈耶
R·比索恩
S·布罗西格
H·弗兰克
A·埃尔塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Publication of CN105654674A publication Critical patent/CN105654674A/zh
Application granted granted Critical
Publication of CN105654674B publication Critical patent/CN105654674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/14—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated upon collapse of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/02—Driver type; Driving style; Driver adaptive features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2270/00—Further aspects of brake control systems not otherwise provided for
    • B60T2270/40—Failsafe aspects of brake control systems
    • B60T2270/413—Plausibility monitoring, cross check, redundancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B60W2710/182—Brake pressure, e.g. of fluid or between pad and disc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

为了监测车辆的驾驶员的专注度(302)，根据车辆速度确定持续时间(330)。确定驾驶员的眼睑闭合时间(301)和/或闭眼时间是否超过持续时间(330)。

Description

监测车辆的驾驶员专注度
技术领域
本发明涉及一种监测车辆的驾驶员专注度的方法以及一种相应的装置。本发明尤其涉及确定驾驶员眼睑闭合时间是否超过持续时间的技术。
背景技术
例如根据机动车驾驶员转向行为和行驶时间检查驾驶员专注度是否受限的技术早已为人所知。但是可能会出现与行驶时间有关的转向行为不足以准确无误可靠监测专注度从而造成危及驾驶员或其它交通参与者的情况。尤其当通过一种或多种驾驶员辅助系统进行辅助的时候，可能会导致专注度降低。例如自动驾驶技术尤其可能会使得驾驶员的专注度严重降低。然而即使在通过一种或多种驾驶员辅助系统给予驾驶员充分支持的情况下，也需要驾驶员有足够的专注度。
监测驾驶员眼睑闭合的持续时间(眼睑闭合时间)的技术也早已为人所知。眼睑闭合时间可以表示眼睑保持闭合状态的持续时间。例如可以发现驾驶员短暂瞌睡，从而可以比较准确地确定专注度。
然而此类技术比较缺乏灵活性。可能会出现因为眼睑闭合时间延迟而确定专注度降低的情况，尽管驾驶员对行驶状况给予了适当或者恰如其分的注意力。
发明内容
因此本发明所要解决的技术问题是，对监测驾驶员专注度的技术加以改进。尤其需要能够灵活并且根据情况恰当监测专注度的技术。尤其需要能够识别驾驶员短暂瞌睡的专注度监测技术。
根据本发明的第一方面，所述技术问题通过一种监测车辆的驾驶员专注度的方法解决。所述方法包括基于车辆的速度确定持续时间。所述方法还包括接收映像出驾驶员面部的图像数据。所述方法还包括基于所述图像数据确定驾驶员的眨眼时间是否超过所述持续时间。所述方法还包括根据对眨眼时间是否超过持续时间的确定，监测驾驶员的专注度。
眨眼时间可以涉及例如眼睑闭合时间。作为替代或补充方案，眨眼时间可以表示眼睛睁开和闭合状态或者闭合和睁开状态之间的持续时间(闭眼时间)。因此闭眼时间可以表示改变眼睑状态所需的持续时间。
例如驾驶员的专注度可以表示驾驶员恰如其分感知车辆所处行驶状况的能力。监测专注度可以表示例如连续或者定期确定一个或者多个将专注度量化的变量，并且将这些变量例如与预定的阈值进行比较。然后就可以针对每个监测过程或者例如根据多个监测过程的平均值确定专注度是否充分。
如果确定专注度降低，就可以触发其它操作。其它操作可以是例如向驾驶员输出警告、向其它交通参与者输出警告和/或触发驾驶员辅助系统的驾驶员辅助操作。
例如可以根据车辆速度与持续时间之间的预定关系确定持续时间。例如可以针对较小(较大)的速度确定较长(较短)的持续时间。换句话说，就是确定持续时间与车辆速度成反比。持续时间的典型范围例如可以为50ms至2s，尤其可以为150ms至800ms。
例如可以从车辆的车内摄像头获得图像数据。例如车内摄像头可以安置在车辆挡风玻璃的上部区域中并且经过适当定位，使其视野至少包括驾驶员的头部区域。图像数据可以包括例如单帧图像或者视频。换句话说，可以根据不同时刻映像出驾驶员面部的顺序图像数据之间的时间间隔大小，以更大或者更小的精度确定眨眼时间。然后就可以使用图像分析技术来识别图像数据中驾驶员的眼睛，并且还可确定驾驶员的眼睑是否睁开或闭合。如果以隐性或显性方式给不同的图像数据配上时间戳，就可以确定驾驶员的眨眼时间。接着就可以例如在持续时间和所确定的眨眼时间之间进行阈值比较，并且可以确定驾驶员的眨眼时间是否超过持续时间。
如果驾驶员的眨眼时间超过持续时间，则可以认为驾驶员的专注度降低。然后就可以例如输出警告和/或触发驾驶员辅助操作，例如可以向驾驶员和/或其它交通参与者发出警告。
利用上述技术可以实现根据情况恰当监测驾驶员专注度的效果。例如可以在速度较小的时候容许较长的眨眼时间(通过适当地确定持续时间)；但是在速度较大的时候，同样的眨眼时间则可能会导致认为驾驶员的专注度降低。
以上解释了根据车辆速度确定持续时间将其与眨眼时间进行比较的技术。但是在确定持续时间的时候可能还需要考虑其它因素。
例如所述方法还可以包括获取控制信号，所述控制信号表示驾驶员所处的行驶状况的行驶状况参数、转向装置的转向参数和车辆的车道参数中的至少一个。
例如行驶状况参数可以说明车辆周围的当前情况。作为替代或补充方案，行驶状况参数可以表示目前为止的行驶过程，因此可以描述行驶情况的发展或变化过程；可以用积分或者时间分解法予以实现。该参数可以涉及一种或者多种行驶情况。
例如行驶状况参数可以选自：行驶时间、一天中的时间、驾驶员辅助系统的触发频率、车辆速度变化的频率、操作车辆踏板的频率、环境亮度。也可以考虑更多或其它的行驶状况参数。
例如转向参数可以选自：驾驶员遵循车道的精度、操作车辆转向装置的时长、转向角、转向角的变化走向、转向角速度、转向力矩。
车道参数可以选自：直至越过车道标志线的时间、至车道标志线的距离。
行驶状况参数、转向参数和/或车道参数本身就可以表示专注度，例如可参阅德国专利申请书DE 10 2012 001 741 A1和DE 10 2005 057 267 A1。这样就可以例如首先根据行驶状况参数、转向参数和/或车道参数确定中间专注度或者表示疲劳的指标(识别疲劳)；接着可以考虑眨眼时间与时长的比较结果对其进行调整。这样就能特别准确可靠地监测专注度。
以上描述了能够比较准确并且更加情况恰当地确定驾驶员专注度降低的技术。如果发现专注度降低，就可以警告驾驶员，使得驾驶员能够恢复与行驶状况相称的注意力。
如果识别出驾驶员专注度降低，所述方法还可以包括例如向驾驶员输出声音警告和/或触觉警告。声音警告或者触觉警告尤其适合于恢复驾驶员的恰当专注度，例如唤醒驾驶员。例如触觉警告可以包括短时间拉紧车辆的安全带、短时间操作车辆的制动器和/或振动转向盘。声音警告可以包括例如通过车辆的扬声器输出警告信号。
当监测结果是专注度降低的时候，也可以触发车辆驾驶员辅助系统的驾驶员辅助操作。例如这样可以减小行驶状况对驾驶员和/其它交通参与者的威胁。例如驾驶员辅助操作可以选自：横向引导车辆遵循车道、横向引导车辆到达停车道、制动车辆、操作车辆的危险警示灯。
利用这里所述的技术也可以确定专注度严重降低的情况并且采取适当的应对措施。例如在短暂瞌睡的情况下，驾驶员的专注度就会严重降低。如果驾驶员在车辆行驶过程中进入类似睡眠的状态，那么就可能存在短暂瞌睡。驾驶员的眨眼时间(例如尤其是眼睑闭合时间)变长通常就是短暂瞌睡的特征。因此所述方法还包括：监测驾驶员专注度降低现象是否在设定的持续时间内继续存在。
如果驾驶员专注度降低现象在设定的下一个持续时间内继续存在，那么就可以例如触发驾驶员辅助操作。所述方法尤其可以包括：根据图像数据确定驾驶员的眨眼时间是否超过设定的另外的持续时间；根据确定驾驶员眨眼时间是否超过设定的另外的持续时间的结果选择性触发驾驶员辅助操作。换句话说，例如在光学警告和/或触觉警告之后也没有恢复驾驶员的恰当专注度的时候，就可以选择性触发驾驶员辅助操作。如果驾驶员处在短暂瞌睡状态，就是说他的眼睛在警告之后也没有睁开，那么就可能需要采取适当的措施，以触发驾驶员辅助操作的方式避免发生车祸。例如设定的另外的持续时间可以与根据车辆速度确定的持续时间大小相同。但是设定的另外的持续时间也可以长于持续时间，例如设定的持续时间可以在几秒钟范围内。
一般来说可以触发一个或者多个驾驶员辅助操作，例如可以按等级执行。例如所述方法还可以包括顺序触发至少两个驾驶员辅助操作，如果专注度降低现象继续存在。例如以第一次识别驾驶员专注度降低为参考，可以提前(滞后)触发相当于较少干预(较多干预)车辆运行参数的驾驶员辅助操作。这样就能根据情况适当触发驾驶员辅助操作；可以避免在刚开始识别出专注度降低的时候就进行过度干预。
根据本发明的另一方面，所述技术问题还通过一种控制设备解决，其设计用于监测车辆的驾驶员专注度。所述控制设备包括接口，其中，所述接口设计用于接收映像出驾驶员面部的图像数据。所述控制设备还包括运算单元，其中，所述运算单元设计用于基于车辆的速度确定持续时间。所述运算单元还设计用于基于所述图像数据确定驾驶员的眨眼时间是否超过所述持续时间。所述运算单元还设计用于根据对眨眼时间是否超过持续时间的确定，监测驾驶员的专注度。
例如所述控制设备可以用来执行本发明另一方面所述的监测专注度的方法。
对于所述的控制设备可以实现与本发明另一方面所述的监测专注度的方法相同的效果。
本发明的另一方面涉及一种车辆，所述车辆包括本发明另一方面所述用来执行监测驾驶员专注度的方法的控制设备。例如车辆可以是轿车或者商用车。
本发明的另一方面涉及监测车辆驾驶员专注度的方法。所述方法包括根据驾驶员眨眼时间、行驶状况参数、转向参数和/或车道参数中的至少一项来确定驾驶员的专注度。所述方法还包括根据所确定的专注度选择性触发警告驾驶员。所述方法还包括如果在输出警告之后驾驶员专注度降低的现象在设定的持续时间内继续存在，就触发车辆驾驶员辅助系统的驾驶员辅助操作。
换句话说，关于触发驾驶员辅助操作，可以按等级触发警告驾驶员恢复恰当的专注度。首先可以通过触发警告驾驶员的方式尝试恢复驾驶员的专注度。如果该措施没有效果，则可以在第二步骤中通过触发驾驶员辅助系统的驾驶员辅助操作的方式，实现通过适当应对措施降低行驶状况的危急程度。针对设定的持续时间可以预期：如果驾驶员的专注度没有恰当恢复，那么就可以认为例如短暂瞌睡。
例如可以根据驾驶员的眨眼时间、行驶状况参数、转向参数和车道参数确定专注度。这样就能特别准确地确定专注度；尤其可以通过监测眨眼时间识别短暂瞌睡。例如可以使用以上关于本发明其它方面所讨论的技术来确定专注度。警告可以是例如声音警告和/或触觉警告。以上说明了各种不同的驾驶员辅助操作；也可以按照现在所讨论的方面应用相应的技术。
本发明的另一方面涉及监测车辆驾驶员专注度的方法。所述方法包括根据驾驶员眨眼时间、行驶状况参数、转向参数和车道参数中的至少一项来确定驾驶员的专注度。如果确定专注度降低，则所述方法例如还可以包括：只要专注度降低现象继续存在，就顺序触发以下操作：触发驾驶员辅助操作横向引导车辆，以便遵循车道；然后触发触觉警告驾驶员；然后触发光学警告其它交通参与者；然后触发车辆的制动过程。
例如可以根据车道保持辅助系统执行横向引导车辆的驾驶员辅助操作。这样就能使得车辆遵循当前所在的车道，离开车道的可能性就会变得更小。与之前关于本发明其它方面所述的一样，例如触觉警告可以包括短时间拉紧车辆安全带和/或点刹。例如可以通过操作车辆的危险警示灯实现光学警告其它交通参与者。
换句话说，只要专注度降低现象继续存在，就可以按等级触发各种不同的操作，如警告操作和驾驶辅助功能。
上述特征和以下所述的特征不仅可以按照明确说明的组合方式使用，而且也能以其它组合方式或者单独使用，、只要不脱离本发明的保护范围。
附图说明
以下将结合实施例和附图，以更加清楚和明显易于理解的方式详细解释本发明的上述特性、特征和优点以及如何实现这些特性、特征和优点的方式方法。
图1示出按照本发明的车辆的俯视图，所述车辆包括用来提供映像驾驶员面部的图像数据的车内摄像头，
图2示出控制设备的示意图，所述控制设备设置与车辆的其它组件和车内摄像头数据连接，用来根据本发明的不同方面监测驾驶员的专注度，
图3示出驾驶员的专注度与驾驶员的眼睑闭合时间的关系，其中，如果眼睑闭合时间超过一定的持续时间，则认为专注度降低。
图4示出持续时间与车辆速度的关系。
图5示出监测车辆驾驶员专注度的方法的流程图。
以下将根据优选实施方式，并且参考附图对本发明进行详细解释。附图中相同的附图标记均表示相同或者类似的元件。附图均为本发明各种实施方式的示意图。附图中所示的元件并非一定按照比例。而是反映附图中所示的各种不同的元件，使得技术人员易于理解其功能和一般用途。附图中所示功能单元和元件之间的连接与耦合也可以实现为间接连接或耦合。可以用有线或者无线方式实现连接或耦合。可以将功能单元实现为硬件、软件或者硬件和软件的组合。
具体实施方式
以下将描述监测车辆驾驶员专注度的技术。这些技术包括根据车辆速度确定持续时间。将持续时间与驾驶员的眨眼时间进行比较。如果眨眼时间超过持续时间，则可以认为驾驶员专注度降低。如果眼睑闭合状态继续存在，则驾驶员的专注度严重降低，例如可以称作短暂瞌睡。
眨眼时间可以称为例如眼睑闭合时间，也就是驾驶员的眼睑处在闭合状态的时长。作为替代或补充方案，眨眼时间也可以称为闭眼时间，也就是眼睑在睁开和闭合状态之间变换所需的时长。在一种实施方式中可以例如仅仅监测眼睑闭合时间或者闭眼时间。在另一种实施方式中不仅可以监测眼睑闭合时间，也可以监测闭眼时间。然后就能特别准确地确定专注度。例如所述方法可以包括：根据车辆速度确定第一持续时间；并且根据车辆速度确定第二持续时间；根据图像数据确定驾驶员的眼睑闭合时间是否超过第一持续时间；根据图像数据确定驾驶员的闭眼时间是否超过第二持续时间；根据确定眼睑闭合时间是否超过第一持续时间的结果并且根据确定闭眼时间是否超过第二持续时间的结果来监测驾驶员的专注度。
如果专注度降低，就能以警告驾驶员、警告周围其它交通参与者和/或触发驾驶员辅助操作的形式触发合适的应对措施。尤其可以参考出现专注度降低的情况按等级进行警告并且触发驾驶员辅助操作。
在确定持续时间的时候考虑车辆速度，就可以监测专注度是否与行驶状况相称。
附图1所示为一辆以速度101沿着车道190运动的轿车100。轿车100包括车内摄像头120，该摄像头固定在轿车100前挡风玻璃的上部区域中。附图1中还示出车内摄像头120的视野(在附图1中以虚线表示)。视野121尤其经过适当定位，从而可在车内摄像头120所记录的图像数据中映像驾驶员的面部。
车内摄像头120将这些图像数据120a传输给控制设备200(参见附图2)。控制设备200包括经过相应设置的接口202。例如可以通过车载总线系统在车内摄像头120和控制设备200之间传输图像数据。控制设备200还包括运算单元201。运算单元201可用来根据图像数据确定驾驶员的眼睑闭合时间是否超过持续时间。
以下尤其将眨眼时间作为眼睑闭合时间。但是以下所述的技术也可直接应用于闭眼时间。与闭眼时间进行比较的持续时间通常小于与眼睑闭合时间进行比较的持续时间。
通过运算单元201根据轿车100的速度101确定该持续时间。例如对于较大(较小)的速度101可以确定较短(较长)的持续时间。如果眼睑闭合时间和持续时间之间的比较得出眼睑闭合时间超过持续时间的结果，则可以认为驾驶员的专注度降低。然后就可以采取相应的应对措施。例如轿车100包括驾驶员警报装置250。驾驶员警报装置250可用来向驾驶员输出光学警告和触觉警告。这样就能让驾驶员恢复恰当的专注度。还可以例如操作轿车100的危险警示灯105(参考附图1)警告其它交通参与者。轿车100还包括驾驶员辅助系统260。当识别出驾驶员专注度降低的时候，就可以触发驾驶员辅助系统260的驾驶员辅助操作。例如驾驶员辅助操作可以选自：横向引导轿车100遵循车道190；横向引导轿车100到达停车道；制动轿车100；操作轿车100的危险警示灯105。
在一种简单的实施方式中，在识别到驾驶员专注度降低之后，控制设备200可以同时将相应的控制信号发送给驾驶员辅助系统260的驾驶员警报装置250。这样就能让驾驶员迅速恢复恰当的专注度，并且消除轿车100的行驶状况的危急程度。
但也可以例如通过驾驶员警报装置250首先警告驾驶员。如果尽管发出了警告驾驶员，但专注度降低现象在设定的下一个持续时间内依然继续存在，那么就可以选择性触发驾驶员辅助操作。尤其可以在警告驾驶员之后检查眼睑是否继续闭合-后者尤其表示短暂瞌睡形式的专注度严重降低。换句话说，可以按等级触发警告和驾驶员辅助操作。
作为替代或补充方案，如果驾驶员专注度降低现象继续存在，也可以混合、按等级触发各种不同的驾驶员辅助操作和警告。例如可以首先触发横向引导车辆的驾驶员辅助操作，以便遵循车道190；如果驾驶员专注度降低现象继续存在，则可以触发触觉警告驾驶员；如果驾驶员专注度降低现象继续存在，则可以通过操作危险警示灯105向其它交通参与者发出光学警告；如果驾驶员专注度降低现象继续存在，则可以触发车辆的制动过程。这样就能首先以较小的程度干预轿车100的各种运行参数；如果专注度降低现象继续存在，就可以提高干预轿车100各种运行参数的强度，以便恢复安全的行驶状况和驾驶员的专注度。
附图2中示出传感器220。传感器220提供控制信号，该控制信号表示驾驶员所处行驶状况的行驶状况参数以及车辆100转向装置的转向参数。还可以根据行驶状况参数、转向参数和/或车道参数确定持续时间。例如行驶状况参数可以涉及行驶时间、一天中的时间、驾驶员辅助系统的触发频率、车辆速度变化的频率和/或操作车辆踏板的频率。例如转向参数可以表示驾驶员遵循车道190的精度、操作轿车100的转向装置的时长、转向角、转向角的变化、转向角速度和/或转向力矩。例如车道参数可以表示直至越过车道标志线的持续时间和/或与车道标志线的距离。
上述行驶状况参数、转向参数或车道参数本身就可以是驾驶员专注度的指示标志。对这些不同的行驶状况参数、转向参数和/或车道参数加以考虑，就能特别准确地监测专注度。尤其能够恰如其分地确定专注度。例如可以确定较长(较短)的持续时间，如果存在较短(较长)的行驶时间；存在白天的某个时刻(夜间时间)；很少(比较频繁地)触发驾驶员辅助系统；比较频繁地(很少)改变速度101；比较频繁地(很少)操作踏板；或者存在较大(较小)的环境亮度。
如果通过行驶状况参数和/或转向参数发现驾驶员的活动性较高(较低)，则确定比较长(短)的持续时间。总之可以通过传感器融合技术特别准确地确定驾驶员的专注度。
附图3为专注度302作为眼睑闭合时间301的参数的量化示例。在附图3中以垂直虚线表示持续时间330。如果眼睑闭合时间超过持续时间330，则可以认为专注度302降低。如果专注度302降低特别严重，则可以认为短暂瞌睡340(附图3中的阴影)。
在附图3中也可考虑用闭眼时间替代眼睑闭合时间301。然后可在必要时选择较短的持续时间330；之所以如此，因为通常比较短的闭眼时间表示专注度降低。
例如可以确定持续时间330作为轿车100的速度101的函数(参考附图4)。较大(较小)的速度101可以相当于较小(较大)的持续时间330。作为替代或补充方案，也可以根据行驶状况参数、转向参数和/或车道参数确定持续时间330。
附图5所示为本发明的不同方面所述监测驾驶员专注度的方法的流程图。所述方法始于步骤S1。首先在步骤S2中根据轿车100的速度101确定持续时间330(参考附图4)。然后在步骤S3中确定眼睑闭合时间是否长于持续时间330(参考附图3)。可以从车内摄像头120接收的图像数据120a确定眼睑闭合时间301。如果眼睑闭合时间301长于持续时间330，就会在步骤S4中识别出驾驶员专注度降低。接着可以利用驾驶员警报装置250警告驾驶员，并且可以利用驾驶员辅助系统260触发驾驶员辅助操作。可以根据驾驶员专注度降低现象继续存在多长时间，或者根据是否识别出短暂瞌睡340，按等级触发各种不同的警告和/或各种不同的驾驶员辅助操作。就此而言，尤其可以检查驾驶员的眼睑是否继续闭合或者重新睁开。
所述方法终止于步骤S5。
当然可以将本发明的上述实施方式和方面的特征相互组合。尤其不仅可以按照所述的组合，而且也可以按照其它组合使用这些特征，或者使用这些特征本身，只要不会脱离发明范围。
例如以上主要参考眼睑闭合时间。但是作为替代或补充方案，也可以按照闭眼时间来监测专注度。
附图标记清单
100 车辆
101 车辆的速度
105 危险警示灯
120 车内摄像头
121 车内摄像头的视野
120a 图像数据
190 车道
200 控制设备
201 运算单元
202 接口
220 传感器
250 驾驶员警报装置
260 驾驶员辅助系统
301 眼睑闭合时间
302 专注度
330 持续时间
340 短暂瞌睡
S1-S5 方法步骤

Claims (8)

1.一种监测车辆(100)的驾驶员专注度(302)的方法，其中，所述方法包括：
-基于车辆(100)的速度确定第一持续时间，
-基于车辆(100)的速度确定第二持续时间(330)，
-从车内摄像头(120)接收映像出驾驶员面部的图像数据(120a)，
-基于图像数据(120a)确定驾驶员的眼睑闭合时间是否超过第一持续时间，基于图像数据(120a)确定驾驶员的闭眼时间是否超过第二持续时间(330)，其中，眼睑闭合时间表示驾驶员的眼睑处在闭合状态的时长，而闭眼时间表示眼睑在睁开和闭合状态之间变换所需的时长，
-根据确定眼睑闭合时间是否超过第一持续时间的结果并且根据确定闭眼时间是否超过第二持续时间的结果，来监测驾驶员的专注度(302)。
2.根据权利要求1所述的方法，其中，所述方法还包括：
-获取控制信号，所述控制信号表示驾驶员所处的行驶状况的行驶状况参数、转向装置的转向参数和车辆(100)的车道参数中的至少一个，
其中，还基于所获取的控制信号确定所述持续时间(330)。
3.根据权利要求2所述的方法，其中，所述行驶状况参数选自：行驶时间、一天中的时间、驾驶员辅助系统的触发频率、车辆(100)速度(101)变化的频率、操作车辆(100)踏板的频率、环境亮度。
4.根据权利要求2所述的方法，其中，所述转向参数选自：驾驶员遵循车道的精度、操作车辆(100)转向装置的时长、转向角、转向角的变化走向、转向角速度、转向力矩；和/或其中，所述车道参数选自：直至超过车道标志线的持续时间和至车道标志线的距离。
5.根据权利要求1至4中任一项所述的方法，其中，
-如果监测得出驾驶员专注度(302)降低的结果，则触发车辆(100)的驾驶员辅助系统的驾驶员辅助操作。
6.根据权利要求5所述的方法，其中，如果驾驶员专注度(302)降低的现象在设定的另外的持续时间内继续存在，则触发驾驶员辅助操作。
7.根据权利要求5所述的方法，其中，所述方法还包括：
-只要专注度(302)降低现象继续存在，就顺序触发至少两种驾驶员辅助操作，其中，该至少两种驾驶员辅助操作选自：横向引导车辆(100)遵循车道(190)、横向引导车辆(100)到达停车道、制动车辆(100)、操作车辆(100)的危险警示灯(105)。
8.一种控制设备(200)，设计用于监测车辆(100)的驾驶员专注度(302)，所述控制设备(200)设计用于执行按照权利要求1至7中任一项所述的方法，其中，所述控制设备(200)包括：
-接口(202)，其中，所述接口(202)设计用于接收映像出驾驶员面部的图像数据(120a)，
-运算单元(201)，其中，所述运算单元(201)设计用于基于车辆(100)的速度确定第一持续时间，并且基于车辆(100)的速度确定第二持续时间(330)，
其中，所述运算单元(201)还设计用于基于图像数据(120a)确定驾驶员的眼睑闭合时间是否超过第一持续时间，基于图像数据(120a)确定驾驶员的闭眼时间是否超过第二持续时间(330)，其中，眼睑闭合时间表示驾驶员的眼睑处在闭合状态的时长，而闭眼时间表示眼睑在睁开和闭合状态之间变换所需的时长，
其中，所述运算单元(201)还设计用于根据确定眼睑闭合时间是否超过第一持续时间的结果并且根据确定闭眼时间是否超过第二持续时间的结果，来监测驾驶员的专注度(302)。
CN201510979083.8A 2014-10-14 2015-10-14 监测车辆的驾驶员专注度 Active CN105654674B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014220759.2 2014-10-14
DE102014220759.2A DE102014220759B4 (de) 2014-10-14 2014-10-14 Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs

Publications (2)

Publication Number Publication Date
CN105654674A CN105654674A (zh) 2016-06-08
CN105654674B true CN105654674B (zh) 2019-02-22

Family

ID=55644122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510979083.8A Active CN105654674B (zh) 2014-10-14 2015-10-14 监测车辆的驾驶员专注度

Country Status (3)

Country Link
US (1) US9619721B2 (zh)
CN (1) CN105654674B (zh)
DE (1) DE102014220759B4 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置
US10527736B2 (en) * 2016-03-17 2020-01-07 Cm Hk Limited Methods and mobile devices with electric vehicle transportation detection
WO2018009567A1 (en) * 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
CN106652351A (zh) * 2016-11-28 2017-05-10 鲁少辉 一种智能防瞌睡报警器
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
DE102017205386A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
EP3649595A4 (en) * 2017-07-03 2020-12-16 GP Network Asia Pte. Ltd. PAYMENT PROCESSING
JP7080598B2 (ja) * 2017-07-21 2022-06-06 ソニーセミコンダクタソリューションズ株式会社 車両制御装置および車両制御方法
CN109388242B (zh) * 2018-09-29 2022-03-15 苏州佳世达光电有限公司 自发性眨眼校正方法及眨眼控制方法
US11238671B2 (en) 2019-04-18 2022-02-01 Honda Motor Co., Ltd. System and method for providing haptic alerts within a vehicle
JP7318475B2 (ja) * 2019-10-10 2023-08-01 マツダ株式会社 運転者状態判定装置
CN110807898A (zh) * 2019-11-04 2020-02-18 中国第一汽车股份有限公司 一种防疲劳驾驶方法及系统
CN111559382B (zh) * 2020-05-09 2021-11-02 Oppo广东移动通信有限公司 车辆行驶控制方法及装置
JP2022059196A (ja) * 2020-10-01 2022-04-13 マツダ株式会社 自動車の制御方法及び自動車システム
US11447140B2 (en) 2020-10-20 2022-09-20 Toyota Motor Engineering & Manufacturing North America, Inc. Cognitive tunneling mitigation device for driving
DE102021117350A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
CN116504375B (zh) * 2023-06-29 2023-10-17 江西江铃汽车集团改装车股份有限公司 一种救护车智慧管理方法及系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US5867587A (en) * 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
DE10223210A1 (de) 2002-05-24 2003-12-04 Stotz Feinmesstechnik Gmbh Verfahren und Vorrichtung zum Alarmieren eines Fahrzeugführers
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
DE102005017242A1 (de) 2005-04-14 2006-10-19 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
DE102005057267A1 (de) 2005-12-01 2007-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
EP2363067B1 (en) * 2007-01-19 2016-01-06 Asahi Kasei Kabushiki Kaisha Arousal state classification model generating device, arousal state classifying device, and warning device
JP4400624B2 (ja) 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP4518083B2 (ja) 2007-01-29 2010-08-04 株式会社デンソー 覚醒維持装置
JP4985428B2 (ja) * 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
DE102008007149B4 (de) 2007-03-30 2019-05-02 Volkswagen Ag Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
JP4492652B2 (ja) 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
US7719431B2 (en) * 2007-10-05 2010-05-18 Gm Global Technology Operations, Inc. Systems, methods and computer products for drowsy driver detection and response
EP2262427B1 (en) * 2008-03-11 2012-04-25 Toyota Jidosha Kabushiki Kaisha Sleep control device and control method therefor
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
DE102008056593B4 (de) 2008-11-10 2014-05-22 Daimler Ag Warnstrategie
CN101732055B (zh) * 2009-02-11 2012-04-18 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US20140276090A1 (en) 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
EP2564765B1 (en) 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
CN102509418B (zh) * 2011-10-11 2013-11-13 东华大学 一种多传感信息融合的疲劳驾驶评估预警方法及装置
DE102012001741A1 (de) 2012-01-28 2013-08-01 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
DE102012100698A1 (de) 2012-01-30 2013-08-01 Conti Temic Microelectronic Gmbh Verfahren und Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
TWI498857B (zh) * 2012-09-14 2015-09-01 Utechzone Co Ltd 瞌睡提醒裝置
US8930269B2 (en) * 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8952819B2 (en) 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment

Also Published As

Publication number Publication date
DE102014220759B4 (de) 2019-06-19
US20160104050A1 (en) 2016-04-14
DE102014220759A1 (de) 2016-04-14
CN105654674A (zh) 2016-06-08
US9619721B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
CN105654674B (zh) 监测车辆的驾驶员专注度
CN109747649B (zh) 基于驾驶者状态的车辆控制系统及方法
US9227631B2 (en) Method for safely parking a vehicle in an emergency situation
US9477227B2 (en) Driver assistance system and method for operating a driver assistance system
US11634145B2 (en) Systems and methods for detecting and dynamically mitigating driver fatigue
CN104290745B (zh) 车辆用半自动驾驶系统的驾驶方法
US20180144636A1 (en) Distracted driver detection, classification, warning, avoidance system
EP1751728B1 (de) Assistenzsystem für kraftfahrzeuge
CN107244290A (zh) 汽车脱手驾驶监控、自动接管系统及方法
CN103978927B (zh) 一种基于前向防撞系统的汽车刹车尾灯自动控制系统
US20160167675A1 (en) System, method, and vehicle for safe driving
CN106585624A (zh) 驾驶员状态监控方法及装置
EP3334631A1 (en) Vehicle to vehicle and vehicle to infrastructure response monitoring
WO2015074460A1 (zh) 一种车辆爆胎分级制动控制装置及控制方法
CN107310553B (zh) 一种防止单侧偏离重复报警的车道偏离报警方法及系统
CN204821320U (zh) 无人驾驶汽车危情自处理系统
KR20190126258A (ko) 차량용 전자 장치 및 그의 동작 방법
US20170240183A1 (en) Autonomous driving apparatus
CN104709164A (zh) 基于驾驶行为的驾驶员状态提示方法和系统
CN107599956A (zh) 一种夜间会车安全控制系统
DE102015210780A1 (de) Verfahren und Steuereinheit zur Kommunikation zwischen einem autonomen Fahrzeug und einem Insassen
WO2016020092A1 (de) Steuerung eines kraftfahrzeugs zur verhinderung einer falschfahrt
CN108428339A (zh) 适用于一车辆的预警系统、方法和交通工具
CN103802757A (zh) 汽车安全控制系统
CN110182211A (zh) 基于驾驶员状态监测系统的车辆智能避险控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant