CN110303884A - 一种防疲劳驾驶方法、系统及装置 - Google Patents

一种防疲劳驾驶方法、系统及装置 Download PDF

Info

Publication number
CN110303884A
CN110303884A CN201910617814.2A CN201910617814A CN110303884A CN 110303884 A CN110303884 A CN 110303884A CN 201910617814 A CN201910617814 A CN 201910617814A CN 110303884 A CN110303884 A CN 110303884A
Authority
CN
China
Prior art keywords
data
current
target
fatigue
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910617814.2A
Other languages
English (en)
Other versions
CN110303884B (zh
Inventor
许金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910617814.2A priority Critical patent/CN110303884B/zh
Publication of CN110303884A publication Critical patent/CN110303884A/zh
Application granted granted Critical
Publication of CN110303884B publication Critical patent/CN110303884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种防疲劳驾驶方法、系统及装置,该方法包括:获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员在当前采集周期内的当前风险系数;基于当前风险系数以及预设的第一对应关系,确定当前风险系数对应的目标防疲劳驾驶操作,其中,预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;执行目标防疲劳驾驶操作,以警示目标驾驶员出现疲劳驾驶行为,以实现更准确地确定驾驶员是否出现疲劳驾驶的行为并进行预警,实现有效的防疲劳驾驶。

Description

一种防疲劳驾驶方法、系统及装置
技术领域
本发明涉及智能交通技术领域,具体而言,涉及一种防疲劳驾驶方法、系统及装置。
背景技术
相关的防疲劳驾驶方法,一般为:获得针对目标驾驶员采集的图像,并通过图像检测目标驾驶员眼睛的状态,进而通过眼睛的状态来确定目标驾驶员是否出现疲劳驾驶行为,在确定目标驾驶员出现疲劳驾驶行为之后,进行告警,以提示目标驾驶员其出现疲劳驾驶行为,提示其纠正行为。
可见,相关的防疲劳驾驶方法中,仅通过图像来确定驾驶员是否出现疲劳驾驶行为,当所采集的图像的质量不佳,仅基于图像确定驾驶员是否出现疲劳驾驶行为,在一定程度上易出现误检的情况,进而,出现误提醒的情况,用户体验不佳。
那么,如何提供一种有效的防疲劳驾驶方法成为亟待解决的问题。
发明内容
本发明提供了一种防疲劳驾驶方法、系统及装置,以实现更准确地确定驾驶员是否出现疲劳驾驶的行为并进行预警,实现有效的防疲劳驾驶。具体的技术方案如下:
第一方面,本发明实施例提供了一种防疲劳驾驶方法,包括:
获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;
基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;
基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;
执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
可选的,所述数据采集设备包括:图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
可选的,所述基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数的步骤,包括:
在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
可选的,所述基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作的步骤,包括:
获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
可选的,所述目标防疲劳驾驶操作为:警示操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出报警显示信号,以使警示显示组件在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
和\或输出报警音频信号,以使扬声器组件接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
和\或输出报警灯光信号,以使灯光报警组件接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
可选的,所述目标防疲劳驾驶操作为:减速操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出减速控制信号至减速干预组件,以控制所述目标驾驶员所在车辆减速行驶。
可选的,所述目标防疲劳驾驶操作为:刹车操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出刹车控制信号至刹车干预组件,以控制所述目标驾驶员所在车辆刹车。
可选的,在所述执行所述目标防疲劳驾驶操作的步骤之后,所述方法还包括:
将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
接收所述管控中心基于所述目标数据反馈的远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
可选的,在所述将目标数据发送至管控中心的步骤之后,所述方法还包括:
接收所述管控中心基于所述目标数据反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
执行所述远程驾驶干预信号对应的远程驾驶干预操作。
第二方面,本发明实施例提供了一种防疲劳驾驶系统,包括:数据采集设备以及数据处理器;
所述数据采集设备,被配置为采集的视频数据、音频数据以及按键数据中的至少两类数据;
所述数据处理器,被配置为获得所述数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
可选的,所述数据采集设备包括图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
可选的,所述数据处理器,被具体配置为在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
可选的,所述数据处理器,被具体配置为获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
可选的,所述目标防疲劳驾驶操作为:警示操作;
所述防疲劳驾驶系统还包括:警示显示组件、扬声器组件和/或灯光报警组件;
所述数据处理器,被具体配置为输出报警显示信号,和\或输出报警音频信号,和\或输出报警灯光信号;
所述警示显示组件,被配置为在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
所述扬声器组件,被配置为接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
所述灯光报警组件,被配置为接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
可选的,所述目标防疲劳驾驶操作为:减速操作;
所述防疲劳驾驶系统还包括:减速干预组件;
所述数据处理器,被具体配置为输出减速控制信号至减速干预组件;
所述减速干预组件,被配置为控制所述目标驾驶员所在车辆减速行驶。
可选的,所述目标防疲劳驾驶操作为:刹车操作;
所述防疲劳驾驶系统还包括:刹车干预组件;
所述数据处理器,被具体配置为输出刹车控制信号至刹车干预组件;
所述刹车干预组件,被配置为控制所述目标驾驶员所在车辆刹车。
可选的,所述防疲劳驾驶系统还包括:管控中心;
所述数据处理器,还被配置为在所述执行所述目标防疲劳驾驶操作之后,将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
所述管控中心,被具体配置为基于所述目标数据向所述数据处理器反馈远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
所述数据处理器,还被配置为接收所述管控中心反馈的远程疲劳驾驶警示指令;执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
可选的,所述管控中心,还被配置为基于所述目标数据向所述数据处理器反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
所述数据处理器,还被配置为在所述将目标数据发送至管控中心之后,接收所述管控中心反馈的远程驾驶干预信号;执行所述远程驾驶干预信号对应的远程驾驶干预操作。
第三方面,本发明实施例提供了一种防疲劳驾驶装置,包括:
获得模块,被配置为获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;
第一确定模块,被配置为基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;
第二确定模块,被配置为基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;
第一执行模块,被配置为执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
可选的,所述数据采集设备包括:图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
可选的,所述第一确定模块,被具体配置为在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
可选的,所述第二确定模块,被具体配置为获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
可选的,所述目标防疲劳驾驶操作为:警示操作;
所述第一执行模块,被具体配置为输出报警显示信号,以使警示显示组件在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
和\或输出报警音频信号,以使扬声器组件接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
和\或输出报警灯光信号,以使灯光报警组件接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
可选的,所述目标防疲劳驾驶操作为:减速操作;
所述第一执行模块,被具体配置为输出减速控制信号至减速干预组件,以控制所述目标驾驶员所在车辆减速行驶。
在本发明的另一实施例中,所述目标防疲劳驾驶操作为:刹车操作;
所述第一执行模块,被具体配置为输出刹车控制信号至刹车干预组件,以控制所述目标驾驶员所在车辆刹车。
可选的,所述装置还包括:
发送模块,被配置为在所述执行所述目标防疲劳驾驶操作之后,将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
第一接收模块,被配置为接收所述管控中心基于所述目标数据反馈的远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
第二执行模块,被配置为执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
可选的,所述装置还包括:
第二接收模块,被配置为在所述将目标数据发送至管控中心之后,接收所述管控中心基于所述目标数据反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
第三执行模块,被配置为执行所述远程驾驶干预信号对应的远程驾驶干预操作。
由上述内容可知,本发明实施例提供的一种防疲劳驾驶方法、系统及装置,可以获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员在当前采集周期内的当前风险系数;基于当前风险系数以及预设的第一对应关系,确定当前风险系数对应的目标防疲劳驾驶操作,其中,预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;执行目标防疲劳驾驶操作,以警示目标驾驶员出现疲劳驾驶行为。
应用本发明实施例,可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员的当前风险系数,进而基于当前风险系数以及预设的第一对应关系,确定并执行目标防疲劳驾驶操作,实现对疲劳驾驶行为的预警。实现基于多类型数据对疲劳驾驶行为的确定,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员的当前风险系数,进而基于当前风险系数以及预设的第一对应关系,确定并执行目标防疲劳驾驶操作,实现对疲劳驾驶行为的预警。实现基于多类型数据对疲劳驾驶行为的确定,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。
2、基于从当前视频数据中识别的目标驾驶员出现的当前非安全行为、当前音频数据对应的音量值以及当前按键数据所表征的当前的按键模式所处的具体模式类型,分别确定对应的风险系数,进而基于所获得的上述三种类型数据中的至少两种数据对应的疲劳数据,确定当前风险系数,结合多种不同类型的数据共同确定当前风险系数,进而对目标驾驶员的疲劳驾驶进行预防,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。
3、将目标数据发送至管控中心,并接收管控中心基于目标数据反馈的远程疲劳驾驶警示指令,并执行远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作,实现管控中心对目标驾驶员的疲劳驾驶行为的全方位的监控,并进行相应预警,以更好提高预警的有效性,实现有效的防疲劳驾驶,保证驾驶员的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的防疲劳驾驶方法的一种流程示意图;
图2为本发明实施例提供的防疲劳驾驶系统的一种结构示意图;
图3为本发明实施例提供的防疲劳驾驶系统的另一种结构示意图;
图4为本发明实施例提供的防疲劳驾驶装置的一种流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种防疲劳驾驶方法、系统及装置,以实现更准确地确定驾驶员是否出现疲劳驾驶的行为并进行预警,实现有效的防疲劳驾驶。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的防疲劳驾驶方法的一种流程示意图。该方法可以包括以下步骤:
S101:获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据。
本发明实施例中,该方法可以应用于具有计算能力的数据处理器,该数据处理器可以设置于任一类型的电子设备,该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内,为车载设备,也可以未设置于车辆内,这都是可以的。该数据采集设备设置于车辆内,该数据采集设备可以针对该车辆的驾驶员采集视频数据、音频数据以及按键数据。在一种实现方式中,该电子设备可以设置于防疲劳驾驶系统中,该防疲劳驾驶系统包括上述数据采集设备,其中,该数据处理器也可以称为防疲劳驾驶系统的前端数据处理组件。
数据采集设备可以周期性地针对目标驾驶员采集的视频数据、音频数据以及按键数据中的至少两类数据,并将所采集的至少两类数据发送至电子设备,该电子设备可以周期性地获得数据采集设备针对目标驾驶员采集的视频数据、音频数据以及按键数据中的至少两类数据,进而执行本发明实施例所提供的防疲劳驾驶流程。
在一种实现方式中,数据采集设备可以包括但不限于:图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;其中,图像采集设备用于针对目标驾驶员采集视频数据;音频采集设备用于针对目标驾驶员采集音频数据;按键输入组件用于针对目标驾驶员采集按键数据。
该图像采集设备可以为摄像头、相机等设备,可以设置于目标驾驶员所在的车辆内,该图像采集设备的图像采集区域可以包括:目标驾驶员的车座所在区域,该图像采集设备可以针对目标驾驶员的面部、躯干部位以及其车座的周围环境进行拍摄,并将拍摄的视频数据发送至电子设备,该视频数据可以包括至少一帧视频帧。
该音频采集设备可以为麦克风组件,可以设置于目标驾驶员所在的车辆内,可以针对目标驾驶员及其所在的车辆采集音频数据,并将采集的音频数据发送至电子设备。该音频数据可以在一定程度上表征出目标驾驶员所在车辆的环境的声音情况,例如目标驾驶员所在车辆的环境是否为嘈杂环境,如果为嘈杂环境在一定程度上会影响目标驾驶员的注意力,存在一定的安全隐患。
该按键输入组件可以设置于目标驾驶员所在的车辆内,支持人员的键入操作,并识别人员的键入操作对应的输入内容,并将该输入内容发送至电子设备。
在一种实现方式中,该防疲劳驾驶系统还可以包括数据采集组件,该数据采集组件与数据采集设备直接连接,即分别与图像采集设备、音频采集设备以及按键输入组件直接连接,该图像采集设备、音频采集设备以及按键输入组件采集得到数据之后,首先发送至该数据采集组件,由该数据采集组件进行数据同步整合,并将整合后的数据发送至电子设备,该电子设备获得数据采集组件发送的数据之后,执行本发明实施例所提供的防疲劳驾驶的后续流程。其中,该数据采集组件可以数据处理器设置于同一物理设备实体内,也可以设置于不同的物理设备实体内,这都是可以的。
S102:基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员在当前采集周期内的当前风险系数。
本步骤中,电子设备在获得当前视频数据、当前音频数据以及当前按键数据中的至少两类数据之后,可以基于每一类数据及其与风险系数的对应关系,确定目标驾驶员在当前采集周期内的当前风险系数。
在一种实现方式中,S102,可以包括:
在获得当前视频数据的情况下,通过预设行为检测算法,对当前视频数据进行检测,确定目标驾驶员是否出现预设非安全行为,并在确定目标驾驶员出现预设非安全行为的情况下,确定目标驾驶员的当前非安全行为,其中,预设非安全行为可以包括但不限于如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于当前非安全行为以及预设的第二对应关系,确定当前非安全行为对应的第一风险系数,其中,预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得当前音频数据的情况下,解析当前音频数据,确定当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于确定结果,确定该确定结果对应的第二风险系数;
在获得当前按键数据的情况下,判断当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于判断结果,确定该判断结果对应的第三风险系数;
基于第一风险系数、第二风险系数和第三风险系数中的至少两个,确定目标驾驶员在当前采集周期内的当前风险系数。
在本实现方式中,在电子设备获得当前视频数据的情况下,可以将当前视频数据拆分成至少一帧视频帧,进而基于预设行为检测算法,对每一视频帧进行检测,确定目标驾驶员是否出现预设非安全行为,并在确定目标驾驶员出现预设非安全行为的情况下,确定目标驾驶员出现当前非安全行为。
其中,上述预设行为检测算法可以包括人脸检测算法以及人脸特征点检测算法,基于人脸检测算法从每一视频帧中检测出人脸所在区域,进而将人脸所在区域从视频帧中截取出,得到人脸图像,利用人脸特征点检测算法,从每一人脸图像中,确定出人脸特征点,其中,该人脸特征点包括眼睑特征点和/或嘴部特征点。在该人脸特征点包括眼睑特征点的情况下,基于眼睑特征点确定目标驾驶员的上下眼睑之间的距离,作为视频帧对应的眼睑距离;比较每一视频帧对应的眼睑距离与第一预设距离阈值的大小,若确定眼睑距离小于第一预设距离阈值的次数大于第一预设次数,则确定目标驾驶员出现预设非安全行为,其出现的当前非安全行为为闭眼。其中,在检测到目标驾驶员佩戴墨镜时,可以结合红外阻断墨镜识别技术对人脸图像中眼睑特征点进行识别,以得到人脸图像中的眼睑特征点。
在该人脸特征点包括嘴部特征点的情况下,基于嘴部特征点确定目标驾驶员的上下唇之间的距离,作为视频帧对应的唇部距离;比较每一视频帧对应的唇部距离与第三预设距离阈值的大小,若确定唇部距离大于第三预设距离阈值的次数大于第三预设次数,则确定目标驾驶员出现预设非安全行为,其出现的当前非安全行为为打哈欠。
在该人脸特征点包括眼睑特征点以及嘴部特征点的情况下,基于嘴部特征点确定目标驾驶员的上下唇之间的距离,作为视频帧对应的唇部距离;基于眼睑特征点确定目标驾驶员的上下眼睑之间的距离,作为视频帧对应的眼睑距离;在确定眼睑距离小于第一预设距离阈值的次数大于第一预设次数,且唇部距离大于第三预设距离阈值的次数大于第三预设次数的情况下,确定目标驾驶员出现预设非安全行为,其出现的当前非安全行为为打哈欠。
并且,电子设备在从每一视频帧中检测出人脸所在区域,并截取出人脸图像之后,可以将人脸图像与预设的人脸图像库中的人脸进行匹配;若确定预设的人脸图像库中存在与该人脸图像匹配的人脸图像,则可以确定目标驾驶员为指定车辆驾驶员,即目标驾驶员未出现非指定车辆驾驶员驾驶行为;若确定预设的人脸图像库中不存在与该人脸图像匹配的人脸图像,则可以确定目标驾驶员为非指定车辆驾驶员,即目标驾驶员出现预设非安全行为,该预设非安全行为为非指定车辆驾驶员驾驶行为。
并且,电子设备在从每一视频帧中检测出人脸所在区域,并截取出人脸图像之后,针对每一人脸图像解析人脸朝向,若所解析出的每一人脸图像的人脸朝向表征目标驾驶员的面朝前方的持续时间低于预设时间阈值,则可以确定目标驾驶员出现预设非安全行为,该预设非安全行为为分神行为,反之,目标驾驶员未出现预设非安全行为。
上述预设行为检测算法还可以包括预先建立的行为检测模型,该行为检测模型可以是预先基于标定有人员行为的样本图像训练所得的神经网络模型,该人员行为包括但不限于喝水、抽烟、打电话、双手脱离方向盘、未安全佩戴安全带以及闭眼等行为;其中,该训练得到预先建立的行为检测模型的参见相关技术中的训练方式,在此不再进行赘述。
电子设备在获得当前视频数据之后,可以将当前视频数据中的每一视频帧输入该预先建立的行为检测模型,获得输出结果,其中,输出结果包括每一视频帧对应的人员行为;基于该输出结果确定目标驾驶员是否出现预设非安全行为,并在确定目标驾驶员是否出现预设非安全行为的情况下,确定目标驾驶员的当前非安全行为。
进而,基于所确定出的目标驾驶员在当前周期内出现的当前非安全行为,以及预设的第二对应关系,确定当前非安全行为对应的第一风险系数,预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;例如:打哈欠1次对应的风险系数为1;喝水1次对应的风险系数为0.5;抽烟1次对应的风险系数为0.5;打电话1次对应的风险系数为1;闭眼1次对应的风险系数1;双手脱离方向盘1次对应的风险系数为1.5,分神1次对应的风险系数为1、未安全佩戴安全带对应的风险系数为1、非指定车辆驾驶员驾驶对应的风险系数为0.5。
在电子设备获得当前音频数据的情况下,解析当前音频数据,确定出当前音频数据对应的音量值,并将该音量值与预设音量阈值进行比较,即确定音量值是否超过预设音量阈值,得到确定结果,若确定结果表征音量值超过预设音量阈值,则确定当前采集周期内目标驾驶员所在车辆处于嘈杂环境,确定该确定结果对应的第二风险系数,为第一数值,例如为0.5,若确定结果表征音量值未超过预设音量阈值,则确定当前采集周期内目标驾驶员所在车辆未处于嘈杂环境,确定该确定结果对应的第二风险系数,为第二数值,例如为0。
在电子设备获得当前按键数据的情况下,判断当前按键数据是否表征按键模式处于调试模式下,得到判断结果;其中,若判断结果表征按键模式处于调试模式,则在一定程度上可能影响该按键输入组件的使用,存在一定的安全隐患,若判断结果表征当前按键数据表征按键模式处于调试模式的情况下,可以确定目标驾驶员处于疲劳驾驶状态,此时,可以确定判断结果对应的第三风险系数,该第三风险系数可以为第三数值,例如为:1。
其中,该按键模式除了调试模型,还可以包括用户使用模式。在用户使用模式下,用户可以使用该按键输入组件,例如点击按键输入组件中的预定按键,以向管控中心发送语音通信请求,进而通过电子设备向管控中心发送语音信息,等。其中,该按键输入组件可以包括多个按键,不同按键可以对应设置有不同的功能。
在一种情况中,该防疲劳驾驶系统还可以包括扬声器组件,在用户点击按键输入组件中的按键时,该扬声器组件可以播放预先设定的该按键对应的按键声。
后续的,电子设备可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,各自确定的风险系数,确定目标驾驶员在当前采集周期内的当前风险系数。其中,可以是将基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,各自确定的风险系数的和,作为目标驾驶员在当前采集周期内的当前风险系数。
S103:基于当前风险系数以及预设的第一对应关系,确定当前风险系数对应的目标防疲劳驾驶操作。
其中,预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系。
S104:执行目标防疲劳驾驶操作,以警示目标驾驶员出现疲劳驾驶行为。
本发明实施例中,电子设备本地或所连接的存储设备,可以预存有预设的第一对应关系,电子设备在确定出当前风险系数之后,可以将该当前风险系数与预设的第一对应关系中的风险系数进行匹配,将预设的第一对应关系中与当前风险系数匹配的风险系数对应的预设防疲劳驾驶操作,确定为当前风险系数对应的目标防疲劳驾驶操作,进而执行该目标防疲劳驾驶操作,以警示目标驾驶员出现疲劳驾驶行为。
本发明实施例中,该疲劳驾驶行为可以包括影响目标驾驶员专心驾驶且不利于驾驶员安全驾驶的行为,如上述的打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶等行为,以及所处环境嘈杂和所在车辆内的设备的设置不便于驾驶员使用,例如,后续提到的当前按键数据表征按键模式处于调试模式下,此时该按键输入组件不便于驾驶员使用。
其中,该预设的第一对应关系包含的风险系数与预设防疲劳驾驶操作的对应关系,可以是一一对应的关系,也可以是多对一的关系,这都是可以的。例如:该预设的第一对应关系可以表示为:风险系数大于1且小于3对应第一防疲劳驾驶操作;风险系数大于等于3且小于5对应第二防疲劳驾驶操作,风险系数大于等于5对应第三防疲劳驾驶操作。
在一种实现方式中,若上述当前视频数据表征目标驾驶员出现预设非安全行为,可以将上述当前视频数据及其所表征的目标驾驶员出现的当前非安全行为,存储于防疲劳驾驶系统的数据存储组件中;若上述当前音频数据表征当前采集周期中目标驾驶员所在车辆处于嘈杂环境,即当前音频数据对应的音量值超过预设音量阈值,可以将当前音频数据及所表征的结果,存储于该数据存储组件中,若当前按键数据表征按键模式处于调试模式下,则可以将当前按键数据及其所表征的结果,存储于该数据存储组件中,以供工作人员的后续查看和分析。
应用本发明实施例,可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员的当前风险系数,进而基于当前风险系数以及预设的第一对应关系,确定并执行目标防疲劳驾驶操作,实现对疲劳驾驶行为的预警。实现基于多类型数据对疲劳驾驶行为的确定,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。
在本发明的另一实施例中,S103,可以包括:
获得目标驾驶员对应的历史风险系数,其中,历史风险系数为:在当前采集周期之前的预设个周期内确定的系数;
基于当前风险系数、历史风险系数以及预设的第一对应关系,确定当前风险系数对应的目标防疲劳驾驶操作。
在本实施例中,为了更好的对驾驶员疲劳驾驶行为的预警,在一定程度上提高预警程度,还可以结合目标驾驶员对应的历史风险系数以及当前风险系数,共同确定当前风险系数对应的目标防疲劳驾驶操作。其中,可以将当前风险系数和历史风险系数的和,作为确定当前风险系数对应的目标防疲劳驾驶操作的依据,即将当前风险系数和历史风险系数的和,与预设的第一对应关系中的风险系数进行匹配,将预设的第一对应关系中与当前风险系数和历史风险系数的和匹配的风险系数对应的预设防疲劳驾驶操作,作为当前风险系数对应的目标防疲劳驾驶操作。
在一种情况中,可以设置三种疲劳程度,例如:当前风险系数表征目标驾驶员的疲劳程度不太严重、当前风险系数表征目标驾驶员的疲劳程度比较严重以及当前风险系数表征目标驾驶员的疲劳程度很严重,进而针对不同的疲劳程度设置不同的防疲劳驾驶操作。具体的,可以通过如下实施例进行介绍。
在本发明的另一实施例中,该目标防疲劳驾驶操作为:警示操作;
所述S104,可以包括:
输出报警显示信号,以使警示显示组件在接收到报警显示信号之后,显示报警显示信号携带的待显示数据,其中,待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
和\或输出报警音频信号,以使扬声器组件接收到报警音频信号之后,播放报警音频信号携带的待播放音频数据;
和\或输出报警灯光信号,以使灯光报警组件接收到灯光报警信号之后,基于灯光报警信号进行显示。
在本实施例中,在当前风险系数表征目标驾驶员的疲劳程度不太严重的情况下,例如:当前风险系数大于第一疲劳阈值且小于第二疲劳阈值的情况下,则可以对目标驾驶员进行警示。为了起到对出现疲劳驾驶行为的驾驶员的警示作用,防疲劳驾驶系统还可以包括警示显示组件、扬声器组件和/或灯光报警组件。其中,该第一疲劳阈值、第二疲劳阈值、后续提到的第三疲劳阈值以及后续提到的第四疲劳阈值可以是工作人员根据实际情况进行设置的数值,也可以是驾驶员自主设置的数值,在一种情况中,该第一疲劳阈值可以为1,该第二疲劳阈值可以为3。
相应地,目标防疲劳驾驶操作可以为警示操作;一种实现方式中,电子设备可以生成并输出报警显示信号,以使警示显示组件在接收到报警显示信号之后,显示报警显示信号携带的待显示数据,其中,待显示数据为:基于当前视频数据、当前音频数据和当前按键数据中的至少两类数据确定的数据。
例如:若当前视频数据表征目标驾驶员出现预设非安全行为,一种情况,该待显示数据可以为:该目标驾驶员所出现的当前非安全行为,当确定目标驾驶员的当前非安全行为为打哈欠时,该待显示数据可以为“打哈欠”,当确定目标驾驶员的当前非安全行为为喝水时,该待显示数据可以为“喝水”。另一种情况,该待显示数据也可以为:警示目标驾驶员停止当前非安全行为的数据,例如:确定目标驾驶员的当前非安全行为为打哈欠时,该待显示数据可以为“请保持清醒”,当确定目标驾驶员的当前非安全行为为喝水时,该待显示数据可以为“禁止行车喝水”等。
若当前音频数据表征音量值超过预设音量阈值,该待显示数据可以为警示目标驾驶员专心行驶的数据,例如:可以为“请停止喧哗,注意路况”,“车内太嘈杂”等数据。
若当前按键数据表征按键模式处于调试模式,该待显示数据可以为警示目标驾驶员将按键模式调整为用户使用模式的数据,例如:可以为“当前的按键模式为调试模式,请将按键模式调整为用户使用模式”等。
另一种实现方式中,电子设备可以生成并输出报警音频信号,以使扬声器组件接收到报警音频信号之后,播放报警音频信号携带的待播放音频数据;一种情况,该待播放音频数据可以为与待显示数据相同的数据,在警示显示组件显示待显示数据时,该扬声器组件同步播放该与待显示数据相同的待播放音频数据。另一种情况,该待播放音频数据可以是任一警示该目标驾驶员出现疲劳驾驶行为的音频数据,例如:可以为预先设置的报警声等。
另一种实现方式中,电子设备可以生成并输出报警灯光信号,以使灯光报警组件接收到灯光报警信号之后,基于灯光报警信号进行显示。其中,灯光报警信号中可以携带指示灯光频闪的频闪频率,灯光报警组件可以基于该频闪频率频闪灯光。
可以理解的是,扬声器组件的扬声器音量值,在一定程度上可以影响该扬声器组件的警示效果,如果扬声器组件的扬声器音量值过小,则可能导致目标驾驶员无法注意到报警音频信号。在一种实现方式中,电子设备还可以获得当前采集周期该扬声器组件对应的扬声器音量值,进而基于该扬声器音量值确定第四风险系数。在确定目标驾驶员在当前采集周期内的当前风险系数的过程中,可以结合第一风险系数、第二风险系数和第三风险系数中的至少两个,以及该第四风险系数,确定目标驾驶员在当前采集周期内的当前风险系数。一种情况,若该扬声器音量值低于预设扬声器音量阈值,则可以确定第四风险系数为0.5,若该扬声器音量值不低于预设扬声器音量阈值,则可以确定第四风险系数为0。
在本发明的一种实现方式中,还可以识别传输视频数据的通道、音频数据的通道以及按键数据的通道是否出现遮挡,进而基于识别结果确定第五风险系数;例如,当在某一采集周期内未采集得到完整的预设类型数据,则确定传输该预设类型数据的通道出现遮挡,并确定该预设类型数据的类型个数,若确定一种类型的预设类型数据的通道出现遮挡,则确定第五风险系数为0.5,若确定两种类型的预设类型数据的通道出现遮挡,则确定第五风险系数为1,若确定三种类型的预设类型数据的通道出现遮挡,则确定第五风险系数为1.5。其中,该预设类型数据可以为视频数据、音频数据以及按键数据。
进而,在确定目标驾驶员在当前采集周期内的当前风险系数的过程中,可以结合第一风险系数、第二风险系数和第三风险系数中的至少两个,以及该第四风险系数和该第五风险系数,确定目标驾驶员在当前采集周期内的当前风险系数。
在本发明的另一实施例中,在当前风险系数表征目标驾驶员的疲劳程度比较严重的情况下,例如:风险系数大于等于第二疲劳阈值,且小于第三疲劳阈值的情况下,可以对目标驾驶员所在车辆的驾驶进行干预。其中,该目标防疲劳驾驶操作可以为:减速操作;
所述S104,可以包括:
输出减速控制信号至减速干预组件,以控制目标驾驶员所在车辆减速行驶。
本实施例中,在确定当前风险系数表征目标驾驶员的疲劳程度比较严重的情况下,可以获得在当前采集周期内所获得的对目标驾驶员所在车辆的周围环境的检测结果,若检测结果表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离超过第一预设距离阈值,或者检测结果表征目标驾驶员所在车辆无后车的情况下,电子设备可以生成并输出减速控制信号至减速干预组件,以通过减速干预组件控制目标驾驶员所在车辆减速行驶。
另一种情况,若检测结果表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离未超过第一预设距离阈值的情况下,电子设备生成并输出自动驾驶模式进入指令,以使得目标驾驶员所在车辆进入自动驾驶模式。
一种情况中,该第三疲劳阈值可以为5。
在本发明的另一实施例中,在当前风险系数表征目标驾驶员的疲劳程度很严重的情况下,例如:风险系数大于等于第三疲劳阈值的情况下,可以对目标驾驶员所在车辆的驾驶进行干预。其中,该目标防疲劳驾驶操作为:刹车操作;
所述S104,可以包括:
输出刹车控制信号至刹车干预组件,以控制目标驾驶员所在车辆刹车。
本实施例中,在确定当前风险系数表征目标驾驶员的疲劳程度很严重的情况下,可以获得在当前采集周期内所获得的对目标驾驶员所在车辆的周围环境的检测结果,若检测结果表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离超过第二预设距离阈值,或者检测结果表征目标驾驶员所在车辆无后车的情况下,电子设备可以生成并输出刹车控制信号至刹车干预组件,以通过刹车干预组件控制目标驾驶员所在车辆刹车。其中,第二预设距离阈值大于第一预设距离阈值。
另一种情况,若检测结果表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离未超过第二预设距离阈值的情况下,电子设备生成并输出自动驾驶模式进入指令,以使得目标驾驶员所在车辆进入自动驾驶模式。
可以理解的是,上述对不同疲劳程度的分类方式,以及不同疲劳程度对应的防疲劳驾驶操作的类型,仅作为本发明实施例的一种示例,并不构成对本发明实施例的具体的疲劳程度的具体的分类方式,以及不同疲劳程度对应的防疲劳驾驶操作的具体类型的限定。
在本发明的另一实施例中,为了实现对驾驶员的驾驶过程的全方位的实时监控,更好的保证驾驶员的安全,实现对驾驶员的疲劳驾驶行为的更好的预警,在所述S104之后,所述方法还可以包括:
将目标数据发送至管控中心,其中,若当前视频数据表征目标驾驶员出现预设非安全行为,目标数据包括当前视频数据;若当前音频数据对应的音量值超过预设音量阈值,目标数据包括当前音频数据,若当前按键数据表征按键模式处于调试模式,目标数据包括当前按键数据;
接收管控中心基于目标数据反馈的远程疲劳驾驶警示指令,其中,远程疲劳驾驶警示指令为:管控中心基于目标数据,确定目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
执行远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
本实施例中,防疲劳驾驶系统还可以包括后端的管控中心,在电子设备所确定的当前风险系数不为0的情况下,还可以将目标数据发送至管控中心,若当前视频数据表征目标驾驶员出现预设非安全行为,目标数据包括当前视频数据,还可以包括当前视频数据所表征的目标驾驶员所出现的当前非安全行为;若当前音频数据对应的音量值超过预设音量阈值,目标数据包括当前音频数据,还可以包括当前音频数据对应的音量值;若当前按键数据表征按键模式处于调试模式,目标数据可以包括当前按键数据。
管控中心获得目标数据之后,可以基于目标数据,确定目标驾驶员对应的风险系数,并将该目标驾驶员对应的风险系数与第一预设级别进行比较,若确定目标驾驶员对应的风险系数达到第一预设级别,则向电子设备反馈远程疲劳驾驶警示指令,其中,该远程疲劳驾驶警示指令可以是语音警示指令,电子设备接收远程疲劳驾驶警示指令之后,通过扬声器组件播放语音警示指令携带的语音警示信息;该远程疲劳驾驶警示指令也可以是文字警示指令,电子设备接收远程疲劳驾驶警示指令之后,通过警示显示组件显示文字警示指令携带的文字警示信息。其中,管控中心基于目标数据,确定目标驾驶员对应的风险系数的方式,可以参照电子设备基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员在当前采集周期内的当前风险系数的方式,在此不再进行赘述。该第一预设级别可以是工作人员预先设置的级别。
在一种实现方式中,管控中心还可以根据目标数据以及历史数据,共同确定目标驾驶员对应的风险系数,其中,该历史数据可以为:电子设备在当前采集周期之前的预设个周期内向管控中心发送的数据。上述根据目标数据以及历史数据,共同确定目标驾驶员对应的风险系数,可以是:将基于目标数据确定的风险系数,与基于历史数据确定的风险系数的和,作为目标驾驶员对应的风险系数。
在本发明的另一实施例中,在所述将目标数据发送至管控中心的步骤之后,所述方法还可以包括:
接收管控中心基于目标数据反馈的远程驾驶干预信号,其中,若管控中心基于目标数据,确定目标驾驶员对应的风险系数达到第二预设级别,远程驾驶干预信号为:用于控制目标驾驶员所在车辆减速的减速信号;若管控中心基于目标数据,确定目标驾驶员对应的风险系数达到第三预设级别,远程驾驶干预信号为:用于控制车辆刹车的刹车信号;
执行远程驾驶干预信号对应的远程驾驶干预操作。
管控中心基于目标数据,确定目标驾驶员对应的风险系数之后,确定目标驾驶员对应的风险系数达到第二预设级别,可以确定需要对目标驾驶员所在车辆进行驾驶干预,生成远程驾驶干预信号;其中,管控中心在确定目标驾驶员对应的风险系数达到第二预设级别,未达到第三预设级别的情况下,生成用于控制目标驾驶员所在车辆减速的减速信号,并发送至电子设备;电子设备接收到该减速信号之后,通过减速干预组件控制目标驾驶员所在车辆减速行驶。管控中心在确定目标驾驶员对应的风险系数达到第三预设级别的情况下,生成用于控制车辆刹车的刹车信号,并发送至电子设备;电子设备接收到该刹车信号之后,通过刹车干预组件控制目标驾驶员所在车辆刹车。
在另一种实现方式中,上述目标数据还可以包括电子设备所获得的在当前采集周期内所获得的对目标驾驶员所在车辆的周围环境的检测结果,管控中心在确定目标驾驶员对应的风险系数达到第二预设级别,未达到第三预设级别的情况下,可以继续确定该检测结果是否表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离超过第一预设距离阈值,或者检测结果表征目标驾驶员所在车辆无后车,若为是,则生成用于控制目标驾驶员所在车辆减速的减速信号,并发送至电子设备;若为否,则生成自动驾驶模式控制指令,并发送至电子设备,使得电子设备接收到该自动驾驶模式控制指令之后,控制车辆进入自动驾驶模式。
在另一种实现方式中,上述目标数据还可以包括电子设备所获得的在当前采集周期内所获得的对目标驾驶员所在车辆的周围环境的检测结果,管控中心在确定目标驾驶员对应的风险系数达到第三预设级别的情况下,可以继续确定该检测结果是否表征目标驾驶员所在车辆的后车,与目标驾驶员所在车辆之间的距离超过第二预设距离阈值,或者检测结果表征目标驾驶员所在车辆无后车,若为是,则生成用于控制车辆刹车的刹车信号,并发送至电子设备;若为否,则生成自动驾驶模式控制指令,并发送至电子设备,使得电子设备接收到该自动驾驶模式控制指令之后,控制车辆进入自动驾驶模式。
其中,第二预设级别对应的风险系数大于第一预设级别对应的风险系数,第三预设界别对应的风险系数大于第二预设级别对应的风险系数。例如:第一预设级别对应的风险系数可以为1,第二预设级别对应的风险系数可以为3,第三预设界别对应的风险系数可以为5。
相应于上述方法实施例,本发明实施例提供了一种防疲劳驾驶系统,如图2所示,所述系统包括:数据采集设备210以及数据处理器220;
所述数据采集设备210,被配置为采集的视频数据、音频数据以及按键数据中的至少两类数据;
所述数据处理器220,被配置为获得所述数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
应用本发明实施例,可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员的当前风险系数,进而基于当前风险系数以及预设的第一对应关系,确定并执行目标防疲劳驾驶操作,实现对疲劳驾驶行为的预警。实现基于多类型数据对疲劳驾驶行为的确定,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。
在本发明的另一实施例中,如图3所示,所述数据采集设备210包括图像采集设备211、音频采集设备212以及按键输入组件213中的至少两类设备;
所述图像采集设备211用于针对目标驾驶员采集视频数据;所述音频采集设备212用于针对所述目标驾驶员采集音频数据;所述按键输入组件213用于针对所述目标驾驶员采集按键数据。
在本发明的另一实施例中,所述数据处理器220,被具体配置为在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
在本发明的另一实施例中,所述数据处理器220,被具体配置为获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
在本发明的另一实施例中,如图3所示,所述目标防疲劳驾驶操作为:警示操作;
所述防疲劳驾驶系统还包括:警示显示组件230、扬声器组件240和/或灯光报警组件250;
所述数据处理器220,被具体配置为输出报警显示信号,和\或输出报警音频信号,和\或输出报警灯光信号;
所述警示显示组件230,被配置为在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
所述扬声器组件240,被配置为接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
所述灯光报警组件250,被配置为接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
在本发明的另一实施例中,如图3所示,所述目标防疲劳驾驶操作为:减速操作;
所述防疲劳驾驶系统还包括:减速干预组件260;
所述数据处理器220,被具体配置为输出减速控制信号至减速干预组件260;
所述减速干预组件260,被配置为控制所述目标驾驶员所在车辆减速行驶。
在本发明的另一实施例中,如图3所示,所述目标防疲劳驾驶操作为:刹车操作;
所述防疲劳驾驶系统还包括:刹车干预组件270;
所述数据处理器220,被具体配置为输出刹车控制信号至刹车干预组件270;
所述刹车干预组件270,被配置为控制所述目标驾驶员所在车辆刹车。
在本发明的另一实施例中,如图3所示,所述防疲劳驾驶系统还包括:管控中心280;
所述数据处理器220,还被配置为在所述执行所述目标防疲劳驾驶操作之后,将目标数据发送至管控中心280,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
所述管控中心280,被具体配置为基于所述目标数据向所述数据处理器220反馈远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心280基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
所述数据处理器220,还被配置为接收所述管控中心280反馈的远程疲劳驾驶警示指令;执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
在本发明的另一实施例中,所述管控中心280,还被配置为基于所述目标数据向所述数据处理器220反馈的远程驾驶干预信号,其中,若所述管控中心280基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
所述数据处理器220,还被配置为在所述将目标数据发送至管控中心之后,接收所述管控中心280反馈的远程驾驶干预信号;执行所述远程驾驶干预信号对应的远程驾驶干预操作。
在本发明的另一实施例中,如图3所示,所述防疲劳驾驶系统还包括:存储组件290,所述存储组件290,被配置为存储表征目标驾驶员出现预设非安全行为的视频数据、所对应音量值超过预设音量阈值的音频数据以及表征按键模式处于调试模式下的按键数据。
在本发明的另一实施例中,如图3所示,所述防疲劳驾驶系统还包括:数据传输组件3100,所述数据处理器220通过所述数据传输组件2100将目标数据发送至所述管控中心。
在本发明的另一实施例中,如图3所示,所述防疲劳驾驶系统还包括:数据采集组件3110,所述数据采集组件2110与数据采集设备210直接连接,即分别与图像采集设备211、音频采集设备212以及按键输入组件213直接连接,该图像采集设备211、音频采集设备212以及按键输入组件213采集得到数据之后,首先发送至该数据采集组件2110,由该数据采集组件2110进行数据同步整合,并将整合后的数据发送至所述数据处理器220。
可以理解的是,该管控中心280可以为任一类型的终端所搭建的服务器。
相应于上述方法实施例,本发明实施例提供了一种防疲劳驾驶装置,如图4所示,可以包括:
获得模块410,被配置为获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;
第一确定模块420,被配置为基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;
第二确定模块430,被配置为基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;
第一执行模块440,被配置为执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
应用本发明实施例,可以基于当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定目标驾驶员的当前风险系数,进而基于当前风险系数以及预设的第一对应关系,确定并执行目标防疲劳驾驶操作,实现对疲劳驾驶行为的预警。实现基于多类型数据对疲劳驾驶行为的确定,在一定程度上提高疲劳驾驶行为的确定结果的准确性,提高预警的有效性,实现有效的防疲劳驾驶。
在本发明的另一实施例中,所述数据采集设备包括:图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
在本发明的另一实施例中,所述第一确定模块420,被具体配置为在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
在本发明的另一实施例中,所述第二确定模块430,被具体配置为获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
在本发明的另一实施例中,所述目标防疲劳驾驶操作为:警示操作;
所述第一执行模块440,被具体配置为输出报警显示信号,以使警示显示组件在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
和\或输出报警音频信号,以使扬声器组件接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
和\或输出报警灯光信号,以使灯光报警组件接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
在本发明的另一实施例中,所述目标防疲劳驾驶操作为:减速操作;
所述第一执行模块440,被具体配置为输出减速控制信号至减速干预组件,以控制所述目标驾驶员所在车辆减速行驶。
在本发明的另一实施例中,所述目标防疲劳驾驶操作为:刹车操作;
所述第一执行模块440,被具体配置为输出刹车控制信号至刹车干预组件,以控制所述目标驾驶员所在车辆刹车。
在本发明的另一实施例中,所述装置还包括:
发送模块(图中未示出),被配置为在所述执行所述目标防疲劳驾驶操作之后,将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
第一接收模块(图中未示出),被配置为接收所述管控中心基于所述目标数据反馈的远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
第二执行模块(图中未示出),被配置为执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
在本发明的另一实施例中,所述装置还包括:
第二接收模块(图中未示出),被配置为在所述将目标数据发送至管控中心之后,接收所述管控中心基于所述目标数据反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
第三执行模块(图中未示出),被配置为执行所述远程驾驶干预信号对应的远程驾驶干预操作。
上述装置、系统实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (19)

1.一种防疲劳驾驶方法,其特征在于,包括:
获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;
基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;
基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;
执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
2.如权利要求1所述的方法,其特征在于,所述数据采集设备包括:图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
3.如权利要求1所述的方法,其特征在于,所述基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数的步骤,包括:
在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
4.如权利要求1所述的方法,其特征在于,所述基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作的步骤,包括:
获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
5.如权利要求1所述的方法,其特征在于,所述目标防疲劳驾驶操作为:警示操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出报警显示信号,以使警示显示组件在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
和\或输出报警音频信号,以使扬声器组件接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
和\或输出报警灯光信号,以使灯光报警组件接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
6.如权利要求1所述的方法,其特征在于,所述目标防疲劳驾驶操作为:减速操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出减速控制信号至减速干预组件,以控制所述目标驾驶员所在车辆减速行驶。
7.如权利要求1所述的方法,其特征在于,所述目标防疲劳驾驶操作为:刹车操作;
所述执行所述目标防疲劳驾驶操作的步骤,包括:
输出刹车控制信号至刹车干预组件,以控制所述目标驾驶员所在车辆刹车。
8.如权利要求1-7任一项所述的方法,其特征在于,在所述执行所述目标防疲劳驾驶操作的步骤之后,所述方法还包括:
将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
接收所述管控中心基于所述目标数据反馈的远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
9.如权利要求8所述的方法,其特征在于,在所述将目标数据发送至管控中心的步骤之后,所述方法还包括:
接收所述管控中心基于所述目标数据反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
执行所述远程驾驶干预信号对应的远程驾驶干预操作。
10.一种防疲劳驾驶系统,其特征在于,所述系统包括:数据采集设备以及数据处理器;
所述数据采集设备,被配置为采集的视频数据、音频数据以及按键数据中的至少两类数据;
所述数据处理器,被配置为获得所述数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
11.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述数据采集设备包括图像采集设备、音频采集设备以及按键输入组件中的至少两类设备;
所述图像采集设备用于针对目标驾驶员采集视频数据;所述音频采集设备用于针对所述目标驾驶员采集音频数据;所述按键输入组件用于针对所述目标驾驶员采集按键数据。
12.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述数据处理器,被具体配置为在获得所述当前视频数据的情况下,通过预设行为检测算法,对所述当前视频数据进行检测,确定所述目标驾驶员是否出现预设非安全行为,并在确定所述目标驾驶员出现预设非安全行为的情况下,确定所述目标驾驶员的当前非安全行为,其中,所述预设非安全行为包括如下行为中的至少一个:打哈欠、喝水、抽烟、打电话、闭眼、双手脱离方向盘、分神、未安全佩戴安全带以及非指定车辆驾驶员驾驶;
基于所述当前非安全行为以及预设的第二对应关系,确定所述当前非安全行为对应的第一风险系数,其中,所述预设的第二对应关系包含:各预设非安全行为与风险系数的对应关系;
在获得所述当前音频数据的情况下,解析所述当前音频数据,确定所述当前音频数据对应的音量值是否超过预设音量阈值,得到确定结果;基于所述确定结果,确定所述确定结果对应的第二风险系数;
在获得所述当前按键数据的情况下,判断所述当前按键数据是否表征按键模式处于调试模式下,得到判断结果;基于所述判断结果,确定所述判断结果对应的第三风险系数;
基于所述第一风险系数、所述第二风险系数和所述第三风险系数中的至少两个,确定所述目标驾驶员在所述当前采集周期内的当前风险系数。
13.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述数据处理器,被具体配置为获得所述目标驾驶员对应的历史风险系数,其中,所述历史风险系数为:在所述当前采集周期之前的预设个周期内确定的系数;
基于所述当前风险系数、所述历史风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作。
14.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述目标防疲劳驾驶操作为:警示操作;
所述防疲劳驾驶系统还包括:警示显示组件、扬声器组件和/或灯光报警组件;
所述数据处理器,被具体配置为输出报警显示信号,和\或输出报警音频信号,和\或输出报警灯光信号;
所述警示显示组件,被配置为在接收到所述报警显示信号之后,显示所述报警显示信号携带的待显示数据,其中,所述待显示数据为:基于所获得的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据确定的数据;
所述扬声器组件,被配置为接收到所述报警音频信号之后,播放所述报警音频信号携带的待播放音频数据;
所述灯光报警组件,被配置为接收到所述灯光报警信号之后,基于所述灯光报警信号进行显示。
15.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述目标防疲劳驾驶操作为:减速操作;
所述防疲劳驾驶系统还包括:减速干预组件;
所述数据处理器,被具体配置为输出减速控制信号至减速干预组件;
所述减速干预组件,被配置为控制所述目标驾驶员所在车辆减速行驶。
16.根据权利要求10所述的防疲劳驾驶系统,其特征在于,所述目标防疲劳驾驶操作为:刹车操作;
所述防疲劳驾驶系统还包括:刹车干预组件;
所述数据处理器,被具体配置为输出刹车控制信号至刹车干预组件;
所述刹车干预组件,被配置为控制所述目标驾驶员所在车辆刹车。
17.根据权利要求10-16任一项所述的防疲劳驾驶系统,其特征在于,所述防疲劳驾驶系统还包括:管控中心;
所述数据处理器,还被配置为在所述执行所述目标防疲劳驾驶操作之后,将目标数据发送至管控中心,其中,若所述当前视频数据表征所述目标驾驶员出现预设非安全行为,所述目标数据包括所述当前视频数据;若所述当前音频数据对应的音量值超过预设音量阈值,所述目标数据包括所述当前音频数据,若所述当前按键数据表征按键模式处于调试模式,所述目标数据包括所述当前按键数据;
所述管控中心,被具体配置为基于所述目标数据向所述数据处理器反馈远程疲劳驾驶警示指令,其中,所述远程疲劳驾驶警示指令为:所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第一预设级别之后发送的数据;
所述数据处理器,还被配置为接收所述管控中心反馈的远程疲劳驾驶警示指令;执行所述远程疲劳驾驶警示指令对应的远程疲劳驾驶警示操作。
18.根据权利要求17所述的防疲劳驾驶系统,其特征在于,所述管控中心,还被配置为基于所述目标数据向所述数据处理器反馈的远程驾驶干预信号,其中,若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第二预设级别,所述远程驾驶干预信号为:用于控制所述目标驾驶员所在车辆减速的减速信号;若所述管控中心基于所述目标数据,确定所述目标驾驶员对应的风险系数达到第三预设级别,所述远程驾驶干预信号为:用于控制所述车辆刹车的刹车信号;
所述数据处理器,还被配置为在所述将目标数据发送至管控中心之后,接收所述管控中心反馈的远程驾驶干预信号;执行所述远程驾驶干预信号对应的远程驾驶干预操作。
19.一种防疲劳驾驶装置,其特征在于,包括:
获得模块,被配置为获得数据采集设备在当前采集周期内针对目标驾驶员采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据;
第一确定模块,被配置为基于数据采集设备所采集的当前视频数据、当前音频数据以及当前按键数据中的至少两类数据,确定所述目标驾驶员在所述当前采集周期内的当前风险系数;
第二确定模块,被配置为基于所述当前风险系数以及预设的第一对应关系,确定所述当前风险系数对应的目标防疲劳驾驶操作,其中,所述预设的第一对应关系包含:风险系数与预设防疲劳驾驶操作的对应关系;第一执行模块,被配置为执行所述目标防疲劳驾驶操作,以警示所述目标驾驶员出现疲劳驾驶行为。
CN201910617814.2A 2019-07-10 2019-07-10 一种防疲劳驾驶方法、系统及装置 Active CN110303884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910617814.2A CN110303884B (zh) 2019-07-10 2019-07-10 一种防疲劳驾驶方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910617814.2A CN110303884B (zh) 2019-07-10 2019-07-10 一种防疲劳驾驶方法、系统及装置

Publications (2)

Publication Number Publication Date
CN110303884A true CN110303884A (zh) 2019-10-08
CN110303884B CN110303884B (zh) 2020-11-06

Family

ID=68080000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910617814.2A Active CN110303884B (zh) 2019-07-10 2019-07-10 一种防疲劳驾驶方法、系统及装置

Country Status (1)

Country Link
CN (1) CN110303884B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111619580A (zh) * 2020-04-17 2020-09-04 大连理工大学 一种基于视频识别与方向盘感应器的驾驶接管提醒装置及方法
CN112965504A (zh) * 2020-05-15 2021-06-15 东风柳州汽车有限公司 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN113978475A (zh) * 2021-09-22 2022-01-28 东风汽车集团股份有限公司 一种驾驶员疲劳驾车时自动驾驶介入的控制方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN102707801A (zh) * 2012-05-07 2012-10-03 广东好帮手电子科技股份有限公司 车载识别控制系统及其控制方法
EP2885150B1 (en) * 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
CN109131167A (zh) * 2018-08-03 2019-01-04 百度在线网络技术(北京)有限公司 用于控制车辆的方法和装置
CN109410524A (zh) * 2018-12-06 2019-03-01 四川大学锦城学院 一种驾驶员疲劳监测系统及其监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN102707801A (zh) * 2012-05-07 2012-10-03 广东好帮手电子科技股份有限公司 车载识别控制系统及其控制方法
EP2885150B1 (en) * 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
CN109131167A (zh) * 2018-08-03 2019-01-04 百度在线网络技术(北京)有限公司 用于控制车辆的方法和装置
CN109410524A (zh) * 2018-12-06 2019-03-01 四川大学锦城学院 一种驾驶员疲劳监测系统及其监测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111619580A (zh) * 2020-04-17 2020-09-04 大连理工大学 一种基于视频识别与方向盘感应器的驾驶接管提醒装置及方法
CN112965504A (zh) * 2020-05-15 2021-06-15 东风柳州汽车有限公司 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN112965504B (zh) * 2020-05-15 2022-08-09 东风柳州汽车有限公司 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN113978475A (zh) * 2021-09-22 2022-01-28 东风汽车集团股份有限公司 一种驾驶员疲劳驾车时自动驾驶介入的控制方法与系统

Also Published As

Publication number Publication date
CN110303884B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110303884A (zh) 一种防疲劳驾驶方法、系统及装置
CN109937152B (zh) 驾驶状态监测方法和装置、驾驶员监控系统、车辆
CN101968918B (zh) 反馈式疲劳检测系统
CN105488957B (zh) 疲劳驾驶检测方法及装置
CN106448259A (zh) 一种车辆预警的方法、装置及系统
US20180238686A1 (en) Cellular phone and personal protective equipment usage monitoring system
CN105788028A (zh) 具有疲劳驾驶预警功能的行车记录仪
CN107087026A (zh) 具有语音交互的自行车智能辅助装置及其数据处理方法
CN104757981A (zh) 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置
CN106778618A (zh) 一种疲劳驾驶监控预警系统
CN104665848B (zh) 驾驶员状态感知装置及其方法
US20180204078A1 (en) System for monitoring the state of vigilance of an operator
CN109697826A (zh) 一种隧道监测系统和隧道监测方法
JP2018180852A (ja) 作業現場で発生した事象に関連するデータを収集するための作業情報システムおよびその方法
CN109190600A (zh) 一种基于视觉传感器的驾驶员监控系统
CN108670278A (zh) 一种基于智能手机的驾驶员疲劳检测和报警系统及方法
GB2564167A (en) Improvements in or relating to fall detectors and fall detection
CN108682120A (zh) 一种车辆疲劳预警装置及方法
CN110677763A (zh) 一种状态检测装置及耳机
CN112309077A (zh) 一种泳池溺水警报方法及装置
CN109308467A (zh) 基于机器学习的交通事故预警装置及预警方法
CN112450538A (zh) 一种安全头盔
CN104580726B (zh) 一种移动终端及其控制方法
JPH0793700A (ja) 運転者状態監視装置
CN109215292A (zh) 一种疲劳驾驶辅助方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Patentee after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Patentee before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right