CN104665848A - 驾驶员状态感知装置及其方法 - Google Patents

驾驶员状态感知装置及其方法 Download PDF

Info

Publication number
CN104665848A
CN104665848A CN201410355390.4A CN201410355390A CN104665848A CN 104665848 A CN104665848 A CN 104665848A CN 201410355390 A CN201410355390 A CN 201410355390A CN 104665848 A CN104665848 A CN 104665848A
Authority
CN
China
Prior art keywords
driver
loading
information
sensing device
driver status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410355390.4A
Other languages
English (en)
Other versions
CN104665848B (zh
Inventor
李相权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN104665848A publication Critical patent/CN104665848A/zh
Application granted granted Critical
Publication of CN104665848B publication Critical patent/CN104665848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/13—Failsafe arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种驾驶员状态感知装置及其方法，包括：获得部，其获得车辆的行驶操作信息及驾驶员的不注意状态信息；及控制部，其利用获得的所述行驶操作信息计算行驶操作负荷量，利用获得的所述不注意状态信息计算行驶妨害负荷量，比较所述行驶操作负荷量与所述行驶妨害负荷量，判断所述驾驶员的安全驾驶状态。

Description

驾驶员状态感知装置及其方法
技术领域
本发明涉及安全驾驶支持系统，特别涉及一种感知驾驶员的状态并引导安全驾驶的技术。
背景技术
最近，由于汽车与ICT(Information&Communication Technology，信息通信技术)的技术融合，正在逐渐实现车辆的智能化、高级化。因此，汽车内体现的安全驾驶支持系统认知危险状况并执行就此向驾驶员通知的动作。汽车的安全驾驶支持系统认知危险情况的方式，主要以通过诸如雷达、摄像头、激光雷达等的外部传感器收集信息来判断有无诸如预计脱离车道碰撞等危险的形态实现。另外，将其通知驾驶员的方法，有通过诸如警告灯的显示装置闪烁动作告知危险情况或通过语音进行提示的方法。
但是，就利用警告灯等显示装置闪烁或语音通知等向驾驶员进行警告的系统而言，当淹没于因车辆高速行驶而发生的噪声，或驾驶员注视前方并集中于驾驶或瞌睡驾驶时，往往发生难以从视觉听觉认知的情形。
另外，为了安全驾驶，不仅是通过车辆外部传感器的危险认知，而且掌握驾驶员精神的/身体的健康状态也是重要的因素，但取得驾驶中的人的身体信息，不但烦琐而有限，而且还会需要大量费用。
发明内容
(要解决的技术课题)
本发明的目的在于提供一种使得能够掌握驾驶员的状态并引导安全驾驶的技术方案。
(解决的解决手段)
旨在达成上述课题的本发明一种形态的驾驶员状态感知装置包括：获得部，其获得车辆的行驶操作信息及驾驶员的不注意状态信息；及控制部，其利用获得的所述行驶操作信息计算行驶操作负荷量，利用获得的所述不注意状态信息计算行驶妨害负荷量，比较所述行驶操作负荷量与所述行驶妨害负荷量，判断所述驾驶员的安全驾驶状态。
另一方面，本发明的实施例的基于驾驶员状态感知装置的驾驶员状态感知方法包括：获得步骤，获得车辆的行驶操作信息及驾驶员的不注意状态信息；计算步骤，利用获得的所述行驶操作信息计算行驶操作负荷量，利用所述不注意状态信息计算行驶妨害负荷量；比较步骤，比较所述行驶操作负荷量与所述行驶妨害负荷量及预先设置的富余负荷量；及判断步骤，根据所述比较结果，判断所述驾驶员的安全驾驶状态。
(发明效果)
根据本发明的实施例，比较诸如因车辆行驶而发生的车辆行驶负荷量和周边设备及驾驶员瞌睡等妨害行驶的驾驶员的行驶妨害负荷量，确认驾驶员的安全驾驶状态，当妨害车辆驾驶的负荷量高时，向驾驶员警告。
另外，根据本发明的实施例，根据情况，使诸如周边设备等非车辆行驶必需要素的运转强制停止，从而使对车辆驾驶构成妨害的行驶妨害负荷量减小，开创使得驾驶员能够进行安全驾驶的效果。
附图说明
图1是本发明的实施例的驾驶员状态感知装置框图。
图2a、2b是显示本发明的实施例的驾驶员状态感知装置中用于获得获得信息的车辆装置的图。
图3a、3b是用于说明本发明的实施例的驾驶员状态感知装置的确认驾驶员闭眼的方法的图。
图4是用于说明本发明的实施例的行驶妨害负荷中的驾驶员瞌睡负荷的图。
图5是用于说明本发明的实施例的行驶妨害负荷中的驾驶员瞌睡负荷的流程图。
图6是用于说明本发明的实施例的行驶妨害负荷中的驾驶员的注视懈怠负荷的图。
图7是本发明的实施例的驾驶员状态感知装置的画面输出示例图。
图8是本发明的实施例的驾驶员状态感知方法流程图。
符号说明
10:驾驶员状态感知装置  100:获得部
110:行驶操作感知部     120:不注意状态感知部
200:控制部             300:输出部
具体实施方式
本发明的实施例的驾驶员状态感知装置包括：获得部，其获得车辆的行驶操作信息及驾驶员的不注意状态信息；及控制部，其利用获得的所述行驶操作信息计算行驶操作负荷量，利用获得的所述不注意状态信息计算行驶妨害负荷量，比较所述行驶操作负荷量与所述行驶妨害负荷量，判断所述驾驶员的安全驾驶状态。
其中，所述获得部获得包括所述车辆的加速踏板操作、制动踏板操作、离合器踏板操作、多功能开关操作及方向盘操作中至少一个项目的所述行驶操作信息，所述控制部演算所述行驶操作信息中包括的所述项目的操作时间信息、操作次数信息中至少一个信息与所述各个项目预先设置的加权值，计算所述行驶负荷量。
另外，所述获得部获得包括周边设备操作、所述驾驶员的驾驶员语音、脸部影像及眼睛区域影像中至少一个项目的所述不注意状态信息，所述控制部考虑所述不注意状态信息中包括的项目的信息，利用所述驾驶员的瞌睡负荷、注视懈怠负荷、语音负荷及周边设备操作负荷中至少一个负荷信息，计算所述行驶妨害负荷量。
所述控制部在从所述行驶负荷量中去除所述行驶妨害负荷量的值为预先设置的富余负荷量的临界值以下时，判断所述驾驶员为非安全驾驶状态。
本发明的实施例的驾驶员状态感知装置还包括输出部，所述输出部如果按照所述控制部的控制，利用所述眼睛区域影像，确认所述驾驶员闭眼既定时间以上，则输出警告音，所述控制部在所述眼睛区域影像中感知眼皮区域，当眼皮的角度为临界角度值以下时，判断为闭眼。
另外，本发明的实施例的驾驶员状态感知装置还包括输出部，所述输出部以柱状图形式进行画面显示，且根据所述控制部的安全驾驶状态判断结果，通过所述柱状图的长度、闪烁及颜色中至少一者输出警告信息。
本发明的实施例的基于驾驶员状态感知装置的驾驶员状态感知方法包括：获得步骤，获得车辆的行驶操作信息及驾驶员的不注意状态信息；计算步骤，利用获得的所述行驶操作信息计算行驶操作负荷量，利用所述不注意状态信息计算行驶妨害负荷量；比较步骤，比较所述行驶操作负荷量与所述行驶妨害负荷量及预先设置的富余负荷量；及判断步骤，根据所述比较结果，判断所述驾驶员的安全驾驶状态。
其中，所述获得步骤包括：行驶操作信息获得步骤，获得包括所述车辆的加速踏板操作、制动踏板操作、离合器踏板操作、多功能开关操作及方向盘操作中至少一个项目的所述行驶操作信息；及不注意状态信息获得步骤，获得包括周边设备操作、所述驾驶员的驾驶员语音、脸部影像及眼睛区域影像中至少一个项目的所述不注意状态信息。
所述计算步骤包括：行驶负荷量计算步骤，演算所述行驶操作信息中包括的所述项目的操作时间信息、操作次数信息中至少一个信息与所述各个项目预先设置的加权值，计算所述行驶负荷量；及行驶妨害负荷量计算步骤，考虑所述不注意状态信息中包括的项目的信息，利用所述驾驶员的瞌睡负荷、注视懈怠负荷、语音负荷及周边设备操作负荷中至少一个负荷信息，计算所述行驶妨害负荷量；所述比较步骤包括比较作为在从所述行驶负荷量中去除所述行驶妨害负荷量的值的现在负荷量是否为富余负荷量以下的步骤。
另外，本发明的实施例的驾驶员状态感知方法还包括提供步骤，如果作为在从所述行驶负荷量中去除所述行驶妨害负荷量的值的现在负荷量为所述富余负荷量以下，则以红色显示代表所述安全驾驶状态的图表个体并提供给所述驾驶员，如果所述现在负荷量超过所述富余负荷，则以绿色显示所述图表个体并提供给所述驾驶员；还包括警告步骤，如果利用所述不注意状态信息中包括的项目中的所述眼睛区域影像，确认所述驾驶员闭眼既定时间以上，则输出警告音，向所述驾驶员警告。
通过参照附图说明的优选实施例，上述的以及追加的本发明的形态将更加明确。以下进行详细说明，以便所属领域的技术人员通过这种实施例而能够容易理解、再现本发明。
图1是本发明的实施例的驾驶员状态感知装置框图。驾驶员状态感知装置(10)比较诸如因车辆行驶而发生的车辆行驶负荷量和周边设备及驾驶员瞌睡等妨害行驶的驾驶员的行驶妨害负荷量，确认驾驶员的安全驾驶状态，当妨害车辆驾驶的负荷量高时，向驾驶员警告。为此，驾驶员状态感知装置(10)包括获得部(100)、控制部(200)及输出部(300)。
获得部(100)是用于获得车辆的行驶操作信息及驾驶员的不注意状态信息的构成。为此，获得部(100)可以包括行驶操作感知部(DrivingFactor)(110)及不注意状态感知部(Distraction Factor)(120)，通过其分别获得行驶操作信息及驾驶员的不注意状态信息。
行驶操作感知部(110)作为用于感知车辆为行驶而必须运转的控制单元的操作的构成，可以是车辆的电子控制单元(Electronic Control Unit,ECU)或电子控制单元内独立的模块。
在行驶操作感知部(110)中，可以包括加诸如加速踏板操作感知部(d1)、制动踏板操作感知部(d2)、多功能操作感知部(d3)、方向盘操作感知部(d4)的多个操作感知部。行驶操作感知部(110)的多个操作感知部(d1,d2,d3,d4)感知用于车辆行驶的操作，如图2a所示，感知加速踏板(ACC pad)操作、制动踏板(Break pad)操作、多功能开关(Multifunction S/W)操作、方向盘(Steering wheel)操作中至少一个项目的行驶操作。另外，行驶操作感知部(110)还可以获得包括手动档车辆的离合器踏板操作或变速器操作项目的行驶操作信息。此时，行驶操作感知部(110)确认车辆的速度，当车辆的速度为既定速度(例如，10km/h)以上时，可以获得行驶操作信息。
例如，行驶操作感知部(110)在既定时间期间，每一定时间感知由驾驶员操作的加速踏板的运转次数(nA)。例如，行驶操作感知部(110)在200ms期间，每50ms持续确认加速踏板是否运转(ON)。相同地，行驶操作感知部(110)也可以每一定时间感知制动踏板及离合器踏板操作运转次数(分别为nB，nC)。
行驶操作感知部(110)在既定时间期间感知由驾驶员操作的各多功能开关的运转次数(nM)。其中，所谓多功能开关，可以是用于启动车辆的雨刷、诸如方向指示灯等的车灯的开关。例如，行驶操作感知部(110)计数在200ms期间多功能开关操作的动作次数。
行驶操作感知部(110)感知在既定时间期间由驾驶员操作的方向盘的角速度(nθ)。此时，行驶操作感知部(110)不另行测量角速度，而是可以在既定时间期间，每一定时间测量方向盘的角变化量，算出角速度。例如，行驶操作感知部(110)可以在200ms期间，每50ms测量方向盘的角变化量，算出角速度。
不注意状态感知部(120)是用于感知在车辆行驶时附加地运转的控制单元的操作及驾驶员的动作的构成。其中，不注意状态感知部(120)为了感知控制单元的操作(Manual Factor)，可以包括诸如音频信号输入感知部(T1)、空调信号输入感知部(T2)、导航仪信号输入感知部(T3)等的多个感知部。另外，不注意状态感知部(120)为了感知驾驶员的动作(Visual Factor,Verbal Factor)，可以包括瞌睡指数测量部(P)、视线方向测量部(E)及语音感知部(V)。这种不注意状态感知部(120)中包括的多个感知部及多个测量部如图2a及图2b所示，可以通过在车辆的既定位置体现的装置(导航系统、音频、驾驶员状态监控器等)，利用周边设备操作、驾驶员的脸部影像和驾驶员的语音中至少一个项目的信息，获得不注意状态信息。
不注意状态感知部(120)可以感知在车辆行驶中由驾驶员操作周边设备的次数(nT)。其中，周边设备如车辆用AVN(Audio,Video,Navigation：音视频导航仪)、车辆空调装置等，并非车辆行驶必需的装置，但可以是为了驾驶员的便利或车辆室内环境而能够操作的车辆控制单元。例如，不注意状态感知部(120)可以在车辆以既定速度(例如，10km/h)以上行驶中，在一定时间(例如，200ms)期间，感知由驾驶员操作的周边设备的动作开关输入次数，获得为不注意状态信息。
不注意状态感知部(120)可以通过车辆内既定位置加装的麦克风，感知驾驶员的语音。例如，不注意状态感知部(120)可以确认从麦克风在一定时间期间接收的语音数据的脉冲大小(语音大小)及语音发生时间。例如，不注意状态感知部(120)可以利用存储器中预先存储的脉冲临界值，感知既定时间(例如，200ms)期间接收脉冲临界值以上的脉冲大小的语音数据的时间，获得为不注意状态信息。
不注意状态感知部(120)可以通过车辆既定位置加装的摄像头，接收驾驶员的脸部影像，获得驾驶员的闭眼信息及注视懈怠信息。其中，摄像头如图2b所示，可以包括近红外线LED(Near Infrared LED)，使得能够在白天及夜间记录影像。
另外，不注意状态感知部(120)可以在驾驶员的脸部影像中独立地提取驾驶员的眼睛区域影像。此时，驾驶员的脸部影像可以进行影像处理，独立地提取出眼睛区域影像。如上所述，利用从摄像头接收的驾驶员的脸部影像及眼睛区域影像，不注意状态感知部(120)可以获得诸如驾驶员的闭眼信息及注视懈怠信息的不注意状态信息。
不注意状态感知部(120)可以利用从驾驶员的脸部影像提取的眼睛区域影像，获得驾驶员的闭眼信息。此时，不注意状态感知部(120)如图3a所示，可以从眼睛区域影像确认作为眼皮区域的眼皮角度的∠A和∠B，获得驾驶员的闭眼信息。例如，如图3b所示，当在眼睛区域影像中作为眼皮角度的∠A和∠B之和为作为预先设置的既定临界角度值的∠C以下(∠A+∠B≤∠C)时，不注意状态感知部(120)确认为驾驶员闭眼。
不注意状态感知部(120)可以每一定时间期间，确认眼皮的角度，感知驾驶员闭眼的次数，演算既定时间(一定时间≤既定时间)期间闭眼次数和一定时间值，获得驾驶员的瞌睡时间(瞌睡指数)。例如，不注意状态感知部(120)可以分成1秒(既定时间)内250ms(一定时间)区间，测量(计数)闭眼次数，当计数值为3时，把驾驶员闭眼时间(瞌睡时间)获得为750ms(250ms×3)。
另外，不注意状态感知部(120)可以利用驾驶员的脸部影像及眼睛区域影像，获得驾驶员的注视懈怠信息。如图6所示，注视懈怠的范围不是以方向盘的角度，而是以车辆轮子的角度，即，轮子相对车辆中央的变化角度量(诸如图6的(a)的θA或θB的示例)为根据，确认驾驶员的视野范围(视线方向)是否在车辆行驶时无负荷的可视距离(行驶无负荷可视距离(η))，获得注视懈怠信息。对于视野范围而言，可以在从摄像头获得的驾驶员的脸部影像中算出脸部的角度(图6的(b)的α)后，在眼睛区域影像中测量瞳仁的位置(瞳孔的方向)(图6的(c)的(β)而确认。
不注意状态感知部(120)在方向盘角度在既定角度以内，变速器杆为D档或N档时，如果驾驶员的视线一定时间以上未进入行驶无负荷可视范围(a,b)，则判断为注视懈怠，可以确认驾驶员的视线未进入行驶无负荷可视范围(a,b)的时间，获得注视懈怠信息。例如，不注意状态感知部(120)在车辆的速度为10Km以上，变速器杆为D或N，方向盘角度为±15°以内时，如果驾驶员的视线1.5秒以上未进入行驶无负荷可视范围(a,b)，则可以判断为对车辆前方的注视懈怠。
控制部(200)作为用于执行驾驶员状态感知装置(10)的全面动作的构成，可以是电子控制单元。例如，可以把控制部(200)称为DWC(DrivingWorkload Compute Unit，驾驶负荷计算单元)。
其中，控制部(200)利用从获得部(100)获得的行驶操作信息及不注意状态信息，计算行驶操作负荷量及行驶妨害负荷量。另外，控制部(200)相互比较行驶操作负荷量与行驶妨害负荷量，判断驾驶员的安全驾驶状态，判断结果，如果判断为非安全驾驶状态，则控制输出部(300)，使得输出警告信息。
首先，控制部(200)利用从获得部(100)获得的行驶操作信息及不注意状态信息，计算行驶操作负荷量及行驶妨害负荷量。
例如，控制部(200)利用从获得部(100)的行驶操作感知部(110)获得的行驶操作信息，计算行驶操作负荷量(Wd)。此时，控制部(200)从存储器导出从行驶操作感知部(110)获得的行驶操作信息与行驶操作信息的各项目的加权值，计算行驶操作负荷量。
其中，加权值可以是事先通过多种实验，按行驶操作信息的项目提取并预先设置的值。另外，加权值可以是事先由作业者按项目任意预先设置的值。另外，存储器作为用于存储数据的存储手段，可以是非易失性存储器。
控制部(200)可以利用行驶操作信息中包括的项目及与该项目对应的加权值，计算关于各项目的负荷量。例如，当从获得部(100)获得加速踏板操作、制动踏板操作、多功能开关操作及方向盘操作的行驶操作信息时，控制部(200)可以从存储器导出关于加速踏板操作的加权值(DA)、关于制动踏板操作的加权值(DB)、关于多功能开关操作的加权值(DM)及关于方向盘操作的加权值(θ)。
如果获得部(100)在200ms期间，按50ms单位获得了各项目的时间及次数信息时，借助于控制部(200)而计算的200ms期间的行驶操作负荷量(Wd)可以如数学式1所示。
【数学式1】
Wd＝DA×nA×50ms+DB×nB×50ms+DC×nC×50ms+DM×nM+θ×nθ×50ms
这种行驶操作信息中包括的各项目可以根据情况而增减。如果根据车辆的种类，当行驶操作信息中包括离合器踏板操作及变速器操作时，控制部(200)可以还考虑关于离合器踏板操作的加权值及关于变速器操作的加权值，计算行驶操作负荷量。
另一方面，控制部(200)利用从获得部(100)的不注意状态感知部(120)获得的不注意状态信息，计算行驶妨害负荷量(Wi)。其中，控制部(200)可以求出关于从不注意状态感知部(120)获得的不注意状态信息中包含的各项目的负荷量，合并求出的各项目的负荷量，可以计算行驶妨害负荷量。
例如，控制部(200)利用从获得部(100)的不注意状态感知部(120)获得的周边设备操作的次数，算出周边设备操作负荷量(T(n))。此时，控制部(200)可以还考虑存储器中预先存储的关于周边设备操作的加权值，计算周边设备操作负荷量。如果获得部(100)在200ms期间获得由驾驶员进行的周边设备操作的输入次数时，控制部(200)可以演算周边设备操作输入次数和加权值，算出周边设备操作负荷量(T(n))。
控制部(200)可以利用从获得部(100)的不注意状态感知部(120)获得的驾驶员语音数据，算出语音负荷量(V(n))。其中，控制部(200)可以考虑存储器中存储的语音数据的脉冲临界值，计算语音负荷量。例如，控制部(200)可以在从获得部(100)的不注意状态感知部(120)在一定时间(例如，200ms)期间获得的驾驶员语音数据中，演算接收脉冲临界值以上的语音数据的时间，算出语音负荷量(V(t))。
另外，控制部(200)可以利用从获得部(100)的不注意状态感知部(120)获得的不注意状态信息中的闭眼信息及注视懈怠信息，算出瞌睡负荷量(P(t))及行驶注视懈怠负荷量(E(t))。
例如，如图4的图表所示，当驾驶员为清醒状态时，PERCLOS值相当稳定，图表的变动幅窄。相反，驾驶员为瞌睡状态时的PERCLOS值变化相当大，整体数值高于清醒状态，其中，PERCLOS值可以如数学式2所示。
【数学式2】
根据图4的图表，当PERCLOS的值确认为既定百分率(30％)以上时，即，通过不注意状态感知部(120)，以既定时间(例如，250秒)为基准，确认驾驶员闭眼一定时间(例如，约75秒)时，控制部(200)控制输出部(300)，使得输出车辆警告音。这是为了由于瞌睡驾驶是车辆行驶中最高的危险要素，因而如果确认为驾驶员闭眼一定时间以上，则判断为驾驶员处于瞌睡驾驶中，警告音立即输出，向驾驶员进行警告。
此时，控制部(200)可以参照图5的流程图，执行驾驶员的闭眼确认动作。具体而言，如果车辆速度(V)为既定速度以上(例如，V≥10Km/h)(S510),控制部(200)则通过不注意状态感知部(120)确认眼皮角度是否为∠A+∠B≤∠C(S520)。此时，控制部(200)通过不注意状态感知部(120)，在既定的测量时间(N)期间，每一定时间(x)(例如，显示为250ms或0.25s)通过眼皮的角度确认闭眼的次数(y)。如果通过不注意状态感知部(120)确认眼皮角度为∠A+∠B≤∠C，控制部(200)则判断为闭眼，可以计数驾驶员闭眼的次数(y++)(S530)。如果通过不注意状态感知部(120)确认为眼皮角度并非∠A+∠B≤∠C，控制部(200)则不计数闭眼的次数(S540)。
控制部(200)每一定时间(x)计数闭眼的次数(y)(x+＝0.25、y++或x+＝0.25)，如果1秒期间闭眼次数为3次(x＝1,y＝3)(S550)，则计数(P++)换算因子(P)值(S560)。如果1秒期间闭眼次数不是3次(x＝1,y＝3)，控制部(200)则不计数换算因子(P)值(S570)。
控制部(200)可以在增加测量时间的同时(N++)，反复上述过程，如果在250秒的测量时间以内，换算因子(P)达到100以上(N≥250,P≥100)(S580)，则控制输出部(300)，使得在达到的瞬间能够发生警告(WARNING)(S590)。另外，控制部(200)可以把换算因子(P)值变更为99，使测量时间(N)减少1秒后(P＝99,N-＝1)，反复如上过程，算出驾驶员闭眼的时间(瞌睡时间)。进一步的，控制部(200)可以确认在一定时间期间，PERCLOS值为30％以上的情形，算出瞌睡负荷量(P(t))。
另外，控制部(200)利用从不注意状态感知部(120)获得的注视懈怠信息，算出注视懈怠负荷量(E(t))。如图6所示，如果视野范围超出行驶无负荷可视距离(η)，则负荷因子(V)的因子值会因超出的范围而异。如图6的(a)中的a'或b'所示，超出的范围另行预先设定，现在驾驶员的视野范围可以按相应的范围，从存储器导出负荷因子的因子值，算出注视懈怠负荷量(E(t))。
控制部(200)可以演算如此算出的周边设备操作负荷量(T(n))、语音负荷量(V(t))、瞌睡负荷量(P(t))及注视懈怠负荷量(E(t))，计算为行驶妨害负荷量(Wi)。此时，根据车辆的状态及情形，在利用不注意状态信息而获得的负荷量中，会有行驶妨害负荷量的计算所未考虑的负荷量。
控制部(200)相互比较行驶负荷量(Wd)与行驶妨害负荷量(Wi)，判断驾驶员的安全驾驶状态。例如，控制部(200)在从行驶负荷量(Wd)中去除行驶妨害负荷量(Wi)的值为预先设置的富余负荷量(Wl)以下时，判断为驾驶员为非安全驾驶状态。其中，富余负荷量(Wl)是从行驶负荷量、行驶信息(变速器状态、车辆加速度、转向前行等)，通过基于受试者条件的试验而提取并预先存储于存储器的值，会根据行驶条件而可变(Wd∝Wl)。
即，如果要判断驾驶员为安全驾驶状态，则应满足数学式3的条件。
【数学式3】
Σ t = t 1 t = t 2 { W d ( t , n ) - ( v ( t ) + T ( n ) + E ( t ) + P ( t ) ) } ≥ W l
Wd＝d1t1+d2t2+d3t3+d4t4
其中，t为时间值，n为次数值。
输出部(300)作为用于画面输出及警报音输出的构成，包括液晶显示装置(LCD)及扬声器。例如，输出部(300)如图7的(b)所示，可以通过集群进行画面输出。另外，输出部(300)也可以通过音响显示装置进行画面输出。
当通过集群进行画面输出时，输出部(300)可以如图7的(a)所示，采用不同的图表个体(例如，柱状图)形式及颜色，在画面中显示控制部(200)的安全驾驶状态判断结果及其结果值。此时，控制部(200)可以控制输出部(300)，使得能够以柱状图显示基于行驶负荷量与行驶妨害负荷量之差的现在负荷量信息。此时，可以按柱状图的百分率单位，显示出控制部(200)计算的行驶负荷量(Wd)与行驶妨害负荷量(Wi)之差除以富余负荷量(Wl)的结果值(C)。
例如，当车辆行驶困难的瞬间预先设置为75％时，在结果值(C)不足75％的情况下，柱状图可以显示为绿色，通知驾驶员是安全的状态。
当结果值(C)为75％以上时，控制部(200)控制输出部(300)，使柱状图的颜色显示为红色，甚至使柱状图闪烁，使驾驶员能够想起车辆行驶的危险。另外，在这种情况下，控制部(200)可以控制输出部(300)，使得输出警报音，向驾驶员警告。
另外，当把行驶负荷量(Wd)与行驶妨害负荷量(Wi)之差除以富余负荷量(Wl)的结果值(C)为一定水平(例如，85％)以上时，控制部(200)可以强制关闭(OFF)对车辆行驶安全没有不良影响的AVN的电源。此时，控制部(200)可以与结果值(C)成平方比地提高通过输出部(300)输出的警报音的音量，强烈地向驾驶员警告行驶危险。
如上所述，根据本发明，比较随着车辆行驶而发生的行驶负荷量与诸如周边设备及驾驶员瞌睡等妨害行驶的行驶妨害负荷量，确认驾驶员的安全驾驶状态，当妨害车辆驾驶的负荷量较高时向驾驶员警告，根据情况，强制使车辆行驶不必需的要素(例如，周边设备)的动作停止，使对车辆驾驶构成妨害的行驶妨害负荷量减小，开创使得驾驶员能够进行安全驾驶的效果。
图8是本发明的实施例的驾驶员状态感知方法流程图。
在步骤S810中，驾驶员状态感知装置(10)获得行驶操作信息及驾驶员的不注意状态信息。
具体而言，驾驶员状态感知装置(10)感知车辆行驶所必需的行驶控制单元的行驶操作，获得行驶操作信息。例如，驾驶员状态感知装置(10)感知加速踏板(ACC pad)操作、制动踏板(Break pad)操作、多功能开关(Multifunction S/W)操作、方向盘(Steering wheel)操作中至少一个项目的行驶操作，获得行驶操作信息。此时，驾驶员状态感知装置(10)确认车辆的速度，当车辆的速度为既定速度(例如，10km/h)以上时，可以获得行驶操作信息。
驾驶员状态感知装置(10)在既定时间期间，每一定时间感知驾驶员操作的加速踏板的运转次数(nA)。相同地，驾驶员状态感知装置(10)也可以每一定时间感知制动踏板及离合器踏板操作的运转次数(分别为nB，nC)。
驾驶员状态感知装置(10)在既定时间期间感知由驾驶员操作的各多功能开关的运转次数(nM)。其中，所谓多功能开关，可以是用于启动车辆的雨刷、诸如方向指示灯等的车灯的开关。
驾驶员状态感知装置(10)在既定时间期间感知由驾驶员操作的方向盘的角速度(nθ)。此时，驾驶员状态感知装置(10)不另行测量角速度，而是可以在既定时间期间，每一定时间测量方向盘的角变化量，算出角速度。
另一方面，驾驶员状态感知装置(10)在车辆行驶中通过驾驶员有选择地控制的周边设备、驾驶员的语音及脸部信息，获得不注意状态信息。
驾驶员状态感知装置(10)可以感知驾驶员在车辆行驶中操作周边设备的次数(nT)。其中，周边设备可以是诸如车辆用AVN(Audio,Video,Navigation)、车辆空调装置等并非车辆行驶必需的装置，是为了驾驶员的便利或车辆室内环境而可以操作的车辆控制单元。
驾驶员状态感知装置(10)可以通过车辆内既定位置加装的麦克风感知驾驶员的语音。例如，驾驶员状态感知装置(10)可以确认从麦克风在一定时间期间接收的语音数据的脉冲大小(语音大小)及语音发生时间。
驾驶员状态感知装置(10)可以通过车辆既定位置加装的摄像头接收驾驶员的脸部影像，获得驾驶员的闭眼信息及注视懈怠信息。此时，如图2b所示，摄像头可以包括近红外线LED(Near Infrared LED)，使得能够在白天及夜间记录影像。
其中，驾驶员状态感知装置(10)可以在驾驶员的脸部影像中独立地提取驾驶员的眼睛区域影像。此时，驾驶员的脸部影像可以进行影像处理，提取出眼睛区域影像。即，驾驶员状态感知装置(10)可以利用从摄像头接收的驾驶员的脸部影像及眼睛区域影像，获得诸如驾驶员闭眼信息及注视懈怠信息的不注意状态信息。
驾驶员状态感知装置(10)可以利用从驾驶员脸部影像提取的眼睛区域影像，获得驾驶员的闭眼信息。如图3a所示，驾驶员状态感知装置(10)可以在眼睛区域影像感知眼皮区域，合并作为眼皮角度的∠A与∠B，获得闭眼信息。例如，如图3b所示，当作为眼皮角度的∠A与∠B之和为预先设置的既定临界角度值的∠C以下(∠A+∠B≤∠C)时，驾驶员状态感知装置(10)确认为驾驶员闭眼。驾驶员状态感知装置(10)可以每一定时间期间确认眼皮的角度，感知驾驶员闭眼的次数，演算既定时间期间闭眼的次数和一定时间值，获得驾驶员的闭眼信息(瞌睡时间)。
另外，驾驶员状态感知装置(10)可以利用驾驶员的脸部影像及眼睛区域影像，获得驾驶员的注视懈怠信息。如图6所示，注视懈怠的范围不是以方向盘的角度，而是以车辆轮子的角度，即，轮子相对车辆中央的变化角度量(诸如图6的(a)的θA或θB的示例)为根据，确认驾驶员的视野范围(视线方向)是否在车辆行驶时无负荷的可视距离(行驶无负荷可视距离(η))，获得注视懈怠信息。其中，对于视野范围而言，可以在从摄像头获得的驾驶员的脸部影像中算出脸部的角度(图6的(b)的α)后，在眼睛区域影像中测量瞳仁的位置(瞳孔的方向)(图6的(c)的(β)而确认。
例如，在方向盘角度在既定角度以内，变速器杆为D档或N档时，如果驾驶员的视线一定时间以上未进入行驶无负荷可视范围(a,b)时，驾驶员状态感知装置(10)则判断为注视懈怠，可以确认其时间，获得注视懈怠信息。
在步骤S820中，驾驶员状态感知装置(10)利用步骤S100获得的行驶操作信息及不注意状态信息，计算行驶操作负荷量及行驶妨害负荷量。
驾驶员状态感知装置(10)利用行驶操作信息计算行驶操作负荷量(Wd)。其中，驾驶员状态感知装置(10)从存储器导出行驶操作信息、各行驶操作信息项目的加权值，计算行驶操作负荷量。其中，加权值可以是事先通过多种实验，按行驶操作信息的项目提取并预先设置的值。另外，加权值可以是事先由作业者按项目任意预先设置的值。
例如，驾驶员状态感知装置(10)可以利用行驶操作信息中包括的项目及与该项目对应的加权值，计算关于各项目的负荷量。当获得加速踏板操作、制动踏板操作、多功能开关操作及方向盘操作的行驶操作信息时，驾驶员状态感知装置(10)可以导出预先存储的关于加速踏板操作的加权值(DA)、关于制动踏板操作的加权值(DB)、关于多功能开关操作的加权值(DM)及关于方向盘操作的加权值(θ)。例如，当在200ms期间，按50ms单位获得行驶操作信息中包括的各项目的时间及次数信息时，200ms期间的行驶操作负荷量(Wd)可以如数学式1所示。
驾驶员状态感知装置(10)利用不注意状态信息，计算行驶妨害负荷量(Wi)。其中，驾驶员状态感知装置(10)可以求出关于不注意状态信息中包括的各项目的负荷量，合并求出的各项目的负荷量，可以计算行驶妨害负荷量。
驾驶员状态感知装置(10)可以利用周边设备操作的次数，算出周边设备操作负荷量(T(n))。例如，驾驶员状态感知装置(10)可以还考虑预先存储的关于周边设备操作的加权值，计算周边设备操作负荷量。当在既定时间期间获得驾驶员的周边设备操作输入次数时，驾驶员状态感知装置(10)可以演算周边设备操作输入次数和加权值，算出周边设备操作负荷量(T(n))。
驾驶员状态感知装置(10)可以利用驾驶员的语音数据，算出语音负荷量(V(n))。其中，驾驶员状态感知装置(10)可以考虑预先存储的语音数据的脉冲临界值，计算语音负荷量。例如，驾驶员状态感知装置(10)可以在既定时间期间获得的驾驶员的语音数据中，演算接收脉冲临界值以上的语音数据的时间，算出语音负荷量(V(t))。
另外，驾驶员状态感知装置(10)可以利用不注意状态信息中的闭眼信息及注视懈怠信息，算出瞌睡负荷量(P(t))及行驶注视懈怠负荷量(E(t))。此时，驾驶员状态感知装置(10)可以通过图5的流程图，执行驾驶员的闭眼确认动作，在车辆速度(V)为既定速度以上的情况下，在既定时间(N)期间，每一定时间(x)通过眼皮角度确认闭眼的次数(y)，可以算出驾驶员闭眼的时间(瞌睡时间)。进一步而言，使在一定时间期间计数(P)PERCLOS值为30％以上的情形的值换算成负荷因子，可以算出瞌睡负荷量(P(t))。
另外，驾驶员状态感知装置(10)利用不注意状态信息中的注视懈怠信息，算出注视懈怠负荷量(E(t))。如图6所示，如果视野范围超出行驶无负荷可视距离(η)，则负荷因子(V)的因子值会因超出的范围而异。如图6的(a)中的a'或b'所示，超出的范围另行预先设置，现在驾驶员的视野范围可以按相应的范围，从存储器导出负荷因子的因子值，算出注视懈怠负荷量(E(t))。
驾驶员状态感知装置(10)可以演算如此算出的周边设备操作负荷量(T(n))、语音负荷量(V(t))、瞌睡负荷量(P(t))及注视懈怠负荷量(E(t))，算出为行驶妨害负荷量(Wi)。
在步骤S830中，驾驶员状态感知装置(10)比较行驶操作负荷量(Wd)与行驶妨害负荷量(Wi)之差与富余负荷量(Wl)。例如，驾驶员状态感知装置(10)确认从行驶负荷量(Wd)去除行驶妨害负荷量(Wi)的值是否为预先设置的富余负荷量(Wl)以下。其中，富余负荷量(Wl)是从行驶负荷量、行驶信息(变速器状态、车辆加速度、转向前行等)，通过基于受试者条件的试验而提取并预先存储于存储器的值，会根据行驶条件而可变(Wd∝Wl)。此时，驾驶员状态感知装置(10)可以算出把行驶负荷量(Wd)和行驶妨害负荷量(Wi)之差除以富余负荷量(Wl)的结果值(C)。
假设，把车辆行驶困难的瞬间预先设置为临界百分率值，如果步骤S830的比较结果值(C)为临界百分率值以上，则在步骤S840中，驾驶员状态感知装置(10)向驾驶员警告。
假设，车辆行驶困难的瞬间预先设置为75％，如果步骤S300的比较结果值(C)为75％以上，则驾驶员状态感知装置(10)向驾驶员警告。此时，驾驶员状态感知装置(10)把代表现在负荷量的图表个体(例如，柱状图)的颜色以红色进行画面显示，甚至使柱状图闪烁，使驾驶员能够想起车辆行驶的危险。另外，在这种情况下，驾驶员状态感知装置(10)可以输出警报音，向驾驶员警告。
假设，当步骤S300的比较结果值(C)不足75％时，在步骤S850中，驾驶员状态感知装置(10)可以以绿色显示代表现在负荷量的图表个体(例如，柱状图)，通知驾驶员是安全的状态。
如上所述，根据本发明，比较随着车辆行驶而发生的行驶负荷量与诸如周边设备及驾驶员瞌睡等妨害行驶的行驶妨害负荷量，确认驾驶员的安全驾驶状态，当妨害车辆驾驶的负荷量较高时向驾驶员警告，根据情况，强制使车辆行驶不必需的要素(例如，周边设备)的动作停止，使对车辆驾驶构成妨害的行驶妨害负荷量减小，开创使得驾驶员能够进行安全驾驶的效果。
以上针对本发明，以其优选实施例为中心进行了考查。本发明所属技术领域的技术人员可以理解：本发明在不超出本发明的本质特性的范围内，可以以变形的形态体现。因此，公开的实施例不是从限定的观点，而应从说明的观点考虑。本发明的范围不是显示于前述的说明，而是显示于权利要求书，在与其同等范围内的所有差异应解释为包含于本发明。

Claims (15)

1.一种驾驶员状态感知装置，其特征在于，包括：
获得部，其获得车辆的行驶操作信息及驾驶员的不注意状态信息；及
控制部，其利用获得的所述行驶操作信息计算行驶操作负荷量，利用获得的所述不注意状态信息计算行驶妨害负荷量，比较所述行驶操作负荷量与所述行驶妨害负荷量，判断所述驾驶员的安全驾驶状态。
2.根据权利要求1所述的驾驶员状态感知装置，其特征在于，
所述获得部获得包括所述车辆的加速踏板操作、制动踏板操作、离合器踏板操作、多功能开关操作及方向盘操作中至少一个项目的所述行驶操作信息。
3.根据权利要求2所述的驾驶员状态感知装置，其特征在于，
所述控制部演算所述行驶操作信息中包括的所述项目的操作时间信息、操作次数信息中至少一个信息与所述各个项目预先设置的加权值，计算所述行驶负荷量。
4.根据权利要求1所述的驾驶员状态感知装置，其特征在于，
所述获得部获得包括周边设备操作、所述驾驶员的驾驶员语音、脸部影像及眼睛区域影像中至少一个项目的所述不注意状态信息。
5.根据权利要求4所述的驾驶员状态感知装置，其特征在于，
所述控制部考虑所述不注意状态信息中包括的项目的信息，利用所述驾驶员的瞌睡负荷、注视懈怠负荷、语音负荷及周边设备操作负荷中至少一个负荷信息，计算所述行驶妨害负荷量。
6.根据权利要求1所述的驾驶员状态感知装置，其特征在于，
所述控制部在从所述行驶负荷量中去除所述行驶妨害负荷量的值为预先设置的富余负荷量的临界值以下时，判断所述驾驶员为非安全驾驶状态。
7.根据权利要求4所述的驾驶员状态感知装置，其特征在于，
还包括输出部，
所述输出部如果按照所述控制部的控制，利用所述眼睛区域影像，确认所述驾驶员闭眼既定时间以上，则输出警告音。
8.根据权利要求7所述的驾驶员状态感知装置，其特征在于，
所述控制部在所述眼睛区域影像中感知眼皮区域，当眼皮的角度为临界角度值以下时，判断为闭眼。
9.根据权利要求1所述的驾驶员状态感知装置，其特征在于，
还包括输出部，
所述输出部以柱状图形式进行画面显示，且根据所述控制部的安全驾驶状态判断结果，通过所述柱状图的长度、闪烁及颜色中至少一者输出警告信息。
10.一种驾驶员状态感知方法，作为基于驾驶员状态感知装置的驾驶员状态感知方法，其特征在于，包括：
获得步骤，获得车辆的行驶操作信息及驾驶员的不注意状态信息；
计算步骤，利用获得的所述行驶操作信息计算行驶操作负荷量，利用所述不注意状态信息计算行驶妨害负荷量；
比较步骤，比较所述行驶操作负荷量与所述行驶妨害负荷量及预先设置的富余负荷量；及
判断步骤，根据所述比较结果，判断所述驾驶员的安全驾驶状态。
11.根据权利要求10所述的驾驶员状态感知方法，其特征在于，
所述获得步骤包括：
行驶操作信息获得步骤，获得包括所述车辆的加速踏板操作、制动踏板操作、离合器踏板操作、多功能开关操作及方向盘操作中至少一个项目的所述行驶操作信息；及
不注意状态信息获得步骤，获得包括周边设备操作、所述驾驶员的驾驶员语音、脸部影像及眼睛区域影像中至少一个项目的所述不注意状态信息。
12.根据权利要求10所述的驾驶员状态感知方法，其特征在于，
所述计算步骤包括：
行驶负荷量计算步骤，演算所述行驶操作信息中包括的所述项目的操作时间信息、操作次数信息中至少一个信息与各个项目预先设置的加权值，计算所述行驶负荷量；及
行驶妨害负荷量计算步骤，考虑所述不注意状态信息中包括的项目的信息，利用所述驾驶员的瞌睡负荷、注视懈怠负荷、语音负荷及周边设备操作负荷中至少一个负荷信息，计算所述行驶妨害负荷量。
13.根据权利要求10所述的驾驶员状态感知方法，其特征在于，
所述比较步骤包括比较作为在从所述行驶负荷量中去除所述行驶妨害负荷量的值的现在负荷量，是否为所述富余负荷量以下的步骤。
14.根据权利要求11所述的驾驶员状态感知方法，其特征在于，
还包括提供步骤，如果作为在从所述行驶负荷量中去除所述行驶妨害负荷量的值的现在负荷量，为富余负荷量以下，则以红色显示代表所述安全驾驶状态的图表个体并提供给所述驾驶员，如果所述现在负荷量超过所述富余负荷，则以绿色显示所述图表个体并提供给所述驾驶员。
15.根据权利要求10所述的驾驶员状态感知方法，其特征在于，
还包括警告步骤，如果利用所述不注意状态信息中包括的项目中的所述眼睛区域影像，确认所述驾驶员闭眼既定时间以上，则输出警告音，向所述驾驶员警告。
CN201410355390.4A 2013-11-28 2014-07-24 驾驶员状态感知装置及其方法 Active CN104665848B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0146346 2013-11-28
KR1020130146346A KR102113767B1 (ko) 2013-11-28 2013-11-28 운전자 상태 감지 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN104665848A true CN104665848A (zh) 2015-06-03
CN104665848B CN104665848B (zh) 2017-10-20

Family

ID=53301821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410355390.4A Active CN104665848B (zh) 2013-11-28 2014-07-24 驾驶员状态感知装置及其方法

Country Status (2)

Country Link
KR (1) KR102113767B1 (zh)
CN (1) CN104665848B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106274480A (zh) * 2015-06-23 2017-01-04 沃尔沃汽车公司 用于在半自主驾驶期间能够完成次要任务的方法和设备
CN106611481A (zh) * 2016-11-02 2017-05-03 纳智源科技（唐山）有限责任公司 疲劳驾驶监控装置及可穿戴设备
CN110494904A (zh) * 2017-08-21 2019-11-22 宝马股份公司 用于运行用于车辆的辅助系统的方法和辅助系统
CN111731302A (zh) * 2020-05-27 2020-10-02 武汉理工大学 基于副任务的汽车驾驶员大脑视觉负荷评估方法及系统
CN112150860A (zh) * 2019-06-27 2020-12-29 歌乐株式会社 车载装置、以及车载装置的控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6733172B2 (ja) * 2015-12-22 2020-07-29 三菱自動車工業株式会社 車両走行支援制御装置
CN112319482B (zh) * 2019-08-01 2022-04-01 上海擎感智能科技有限公司 车辆及其疲劳驾驶预警方法、系统、介质、及车载终端
CN112716457B (zh) * 2020-12-30 2024-03-08 武汉理工大学 基于副任务的汽车驾驶员大脑行为负荷测量系统及方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002033673A2 (en) * 2000-10-14 2002-04-25 Motorola, Inc. Method of response synthesis in a driver assistance system
US20040113799A1 (en) * 2002-10-31 2004-06-17 Geisler Scott P. Driving workload estimation
JP2004178367A (ja) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
CN1537512A (zh) * 2003-03-07 2004-10-20 安徽三联事故预防研究所 事故倾向性驾驶员筛检系统及其方法
JP2005080970A (ja) * 2003-09-10 2005-03-31 Toyota Central Res & Dev Lab Inc ドライバの心身状態判定装置及びドライバの運転支援装置
CN1627915A (zh) * 2002-02-19 2005-06-15 沃尔沃技术公司 用于监视和管理司机注意力负荷的系统和方法
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN1879135A (zh) * 2003-11-30 2006-12-13 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和系统
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
CN201067406Y (zh) * 2007-02-14 2008-06-04 中国科学院心理研究所 一种对驾驶员的心理和行为进行监测的装置
JP2009142489A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 心理状態予測装置
JP2009175929A (ja) * 2008-01-23 2009-08-06 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102047304A (zh) * 2008-08-05 2011-05-04 松下电器产业株式会社 驾驶注意力程度判定装置、方法以及程序
JP2012061222A (ja) * 2010-09-17 2012-03-29 Tokai Rika Co Ltd 運転者状態推定装置
JP2013022211A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転者疲労度推定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151231A (ja) * 1997-11-20 1999-06-08 Nissan Motor Co Ltd 車両用精神疲労度判定装置
KR19990050660A (ko) * 1997-12-17 1999-07-05 정몽규 졸음운전 경보장치
KR100501035B1 (ko) * 2002-08-08 2005-07-18 기아자동차주식회사 자동차의 제한속도 주행 알림장치
JP4882766B2 (ja) * 2007-01-30 2012-02-22 株式会社デンソー 覚醒度算出装置
KR20090125899A (ko) * 2008-06-03 2009-12-08 현대자동차주식회사 운전자 감시 장치 및 방법
KR20110129145A (ko) * 2010-05-25 2011-12-01 현대자동차주식회사 안전 운전 시스템

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002033673A2 (en) * 2000-10-14 2002-04-25 Motorola, Inc. Method of response synthesis in a driver assistance system
CN1627915A (zh) * 2002-02-19 2005-06-15 沃尔沃技术公司 用于监视和管理司机注意力负荷的系统和方法
US20040113799A1 (en) * 2002-10-31 2004-06-17 Geisler Scott P. Driving workload estimation
JP2004178367A (ja) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
CN1537512A (zh) * 2003-03-07 2004-10-20 安徽三联事故预防研究所 事故倾向性驾驶员筛检系统及其方法
JP2005080970A (ja) * 2003-09-10 2005-03-31 Toyota Central Res & Dev Lab Inc ドライバの心身状態判定装置及びドライバの運転支援装置
CN1879135A (zh) * 2003-11-30 2006-12-13 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和系统
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
CN201067406Y (zh) * 2007-02-14 2008-06-04 中国科学院心理研究所 一种对驾驶员的心理和行为进行监测的装置
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2009142489A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 心理状態予測装置
JP2009175929A (ja) * 2008-01-23 2009-08-06 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
CN102047304A (zh) * 2008-08-05 2011-05-04 松下电器产业株式会社 驾驶注意力程度判定装置、方法以及程序
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
JP2012061222A (ja) * 2010-09-17 2012-03-29 Tokai Rika Co Ltd 運転者状態推定装置
JP2013022211A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転者疲労度推定装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106274480A (zh) * 2015-06-23 2017-01-04 沃尔沃汽车公司 用于在半自主驾驶期间能够完成次要任务的方法和设备
CN106274480B (zh) * 2015-06-23 2021-10-08 沃尔沃汽车公司 用于在半自主驾驶期间能够完成次要任务的方法和设备
CN106611481A (zh) * 2016-11-02 2017-05-03 纳智源科技（唐山）有限责任公司 疲劳驾驶监控装置及可穿戴设备
CN110494904A (zh) * 2017-08-21 2019-11-22 宝马股份公司 用于运行用于车辆的辅助系统的方法和辅助系统
CN112150860A (zh) * 2019-06-27 2020-12-29 歌乐株式会社 车载装置、以及车载装置的控制方法
CN112150860B (zh) * 2019-06-27 2022-09-09 歌乐株式会社 车载装置、以及车载装置的控制方法
US11691640B2 (en) 2019-06-27 2023-07-04 Clarion Co., Ltd. In-vehicle apparatus and control method of the same
CN111731302A (zh) * 2020-05-27 2020-10-02 武汉理工大学 基于副任务的汽车驾驶员大脑视觉负荷评估方法及系统

Also Published As

Publication number Publication date
CN104665848B (zh) 2017-10-20
KR102113767B1 (ko) 2020-05-21
KR20150061943A (ko) 2015-06-05

Similar Documents

Publication Publication Date Title
CN104665848B (zh) 驾驶员状态感知装置及其方法
US7391305B2 (en) Driver warning device
US9707971B2 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
US20200216095A1 (en) Vehicle driving assistance apparatus
CN105667421B (zh) 包括眼跟踪装置的供车辆使用的系统和方法
CN113226884B (zh) 用于检测和动态地减轻驾驶员疲劳的系统和方法
JP2019023079A (ja) 運転者の挙動に応答するシステムおよび方法
US20070124027A1 (en) Information system for motor vehicles
CN107901828B (zh) 通过智能设备协作来实现的被超车提醒的方法和装置
CN105073474A (zh) 针对驾驶员行为的协调的车辆响应系统和方法
JP2003317197A (ja) 警報システム
CN205302652U (zh) 智能行车安全模组
CN104590113A (zh) 一种人车信息联觉反馈方法
US20190325752A1 (en) Cognitively filtered and recipient-actualized vehicle horn activation
JPH09159482A (ja) 表示装置
JP2014013496A (ja) 運転支援装置及びプログラム
JP4577564B2 (ja) 車両用表示装置
KR101324082B1 (ko) 운전수행도와 생체신호를 이용한 운전 중 인지부하 평가장치 및 그 방법
KR20170004127A (ko) 운전자의 주의 환기 장치 및 그 방법
CN205220773U (zh) 一种方向盘防瞌睡电子装置及防瞌睡系统
CN116829431A (zh) 用于分析车辆驾驶员对危险的感知的设备及相关方法
WO2019021697A1 (ja) 情報制御装置
KR200395097Y1 (ko) 자동차의 제한속도 경고 장치
Benmimoun et al. Design and practical evaluation of an intersection assistant in real world tests
GB2571121A (en) Method for use in a vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant