CN114802266B - 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统 - Google Patents

一种基于驾驶人情绪和疲劳度分析的行车安全管理系统 Download PDF

Info

Publication number
CN114802266B
CN114802266B CN202210642174.2A CN202210642174A CN114802266B CN 114802266 B CN114802266 B CN 114802266B CN 202210642174 A CN202210642174 A CN 202210642174A CN 114802266 B CN114802266 B CN 114802266B
Authority
CN
China
Prior art keywords
driver
vehicle
unit
emotion
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210642174.2A
Other languages
English (en)
Other versions
CN114802266A (zh
Inventor
刘彩霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN202210642174.2A priority Critical patent/CN114802266B/zh
Publication of CN114802266A publication Critical patent/CN114802266A/zh
Priority to PCT/CN2022/129872 priority patent/WO2023236433A1/zh
Application granted granted Critical
Publication of CN114802266B publication Critical patent/CN114802266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means

Abstract

本发明公开了一种基于驾驶人情绪和疲劳度分析的行车安全管理系统,本系统进行情绪识别和/或传感监测数据分析,并进行自动限速、控速和制动等操作控制车辆动作。本系统通过对驾驶人驾驶过程中的情绪和疲劳状态进行实时监测,并根据监测结果联动控制车辆的行驶状态和/或对驾驶人形成安全警告,从而实现从驾驶人角度保障各类车辆的交通安全。

Description

一种基于驾驶人情绪和疲劳度分析的行车安全管理系统
技术领域
本发明涉及汽车行车安全监控技术,具体涉及公路客运、旅游客运、危化品运输车、货运车辆、校车、公交车、出租车、各类平台的网约车或租用车等全部营运性质车辆、非营业性运输车辆及私家车辆的行车安全监控。
背景技术
随着社会经济的快速发展,公路总里程数快速增加,上路行驶的各类车辆也日益增多。伴随交通事业发展和汽车保有量的增加,道路交通事故数量也在不断攀升。
在造成交通事故的人、车、道路环境三要素中,人的因素占比55%以上,其中,因驾驶人情绪异常及疲劳驾驶导致的交通事故占比近80%。
研究表明,汽车驾驶人的情绪和状态,对安全行车的影响很大。驾驶人在满意、愉快、高兴、欢喜时,反应灵敏度提高,行车精力充沛、精神集中,观察分析情况灵敏果断,操作迅速、敏捷、及时,驾驶的差错少,对行车安全是一种保证。反之,驾驶员存在厌恶、愤怒、恐惧或悲哀等不良情绪时,感受能力降低,精力分散、无精打采、反应迟钝、操作迟缓,时有失误,对行车安全是一种潜在威胁,甚至会导致交通事故。
不仅如此,驾驶人在长时间连续行车后,会产生疲劳和厌倦心理,进而产生生理机能和心理机能的失调,在客观上会出现驾驶技能下降现象。疲劳驾驶会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面,同样会造成驾驶人感受能力降低,精力分散、反应迟钝、操作迟缓,极易导致交通事故。
目前,“两客一危”车辆要求配备车载终端。而交通运输行业标准JT/T 794-2019《道路运输车辆卫星定位系统车载终端技术要求》规定的疲劳驾驶提醒是按照车辆或者驾驶员单次连续驾驶时间、累计驾驶时间超过疲劳驾驶时间阈值时触发,并规定疲劳驾驶时间可由监控中心远程设置,单次连续驾驶时间默认为4h,累计驾驶时间默认为8h。按照该规定,无法确认驾驶人在驾驶当次车辆之前是否已存在长时间驾驶及驾驶当次车辆时的真实疲劳程度,从而可能导致驾驶人在未触发JT/T 794-2019中规定的疲劳驾驶报警时已实际处于疲劳驾驶状态,进而因疲劳驾驶产生困倦,注意力不集中、反应迟钝、判断能力下降、操作失误增加甚至精神恍惚导致发生碰撞、侧翻、坠崖等严重交通事故。
因此,如何通过有效的技术手段对潜在的可能由于驾驶人情绪异常或疲劳驾驶原因导致的事故风险进行有效监控和主动干预,切实提高全部营运性质车辆、非营业性运输车辆及私家车辆等全部行驶车辆的行车安全性,尤其是一旦发生事故,后果会更为严重的“两客一危”类车辆及货运车辆、校车的行车安全性是本领域亟需解决的问题。
发明内容
针对目前道路交通安全事故大多由人的因素导致、现有用于营运车辆安全监管的车载终端应用所存在的问题和漏洞,需要一种能够针对车辆驾驶人情绪和状态是否疲劳进行有效监测的行车安全管理方案,来对由于驾驶人原因导致的事故风险进行有效监控和主动干预,以克服现有各类营运车辆安全监管技术缺陷,弥补现有应用方案存在的风险漏洞,消除因驾驶人因素导致的安全隐患。
为此,本发明的目的在于提供一种基于驾驶人情绪和疲劳度分析的行车安全管理系统,其采用驾驶人情绪和疲劳度分析技术来对驾驶人状态进行实时监测,并与车辆控制实现联动,由此对潜在的可能由于驾驶人因素引发的事故风险进行有效的预警和主动干预,防范驾驶人在妨害安全驾驶的异常情绪状态下驾驶车辆、疲劳状态驾驶车辆,保障驾驶人在正常情绪状态、精神状态、体能状态下安全驾驶车辆,并确保当驾驶人出现异常情绪、疲劳状态时车辆进行主动智能安全防控,以提高车辆运行的安全性。
为了达到上述目的,本发明提供的基于驾驶人情绪和疲劳度分析的行车安全管理系统,包括:
驾驶人情绪/疲劳度监测单元,所述驾驶人情绪/疲劳度监测单元实时监控驾驶人的情绪和/或身体状态,并进行情绪识别和/或疲劳程度判定,同时依据实时情绪识别结果和/或疲劳程度判定结果直接关联车辆控制单元或通过车载网关单元关联车辆控制单元,控制车辆运行状态;
车载网关单元,所述车载网关单元分别与驾驶人情绪/疲劳度监测单元、车辆控制单元、报警提示单元和远程管理单元关联;所述车载网关单元还能够配合驾驶人情绪/疲劳度监测单元进行情绪识别和/或疲劳状态判定;
车辆控制单元,所述车辆控制单元联动车辆的控速系统和制动系统,并与车载网关单元、驾驶人情绪/疲劳度监测单元关联,所述车辆控制单元依据驾驶人情绪/疲劳度监测单元发送的或车载网关单元发送的驾驶人实时情绪状态分析结果及疲劳程度判定结果控制车辆行驶状态;
报警提示单元,所述报警提示单元分别与驾驶人情绪/疲劳度监测单元、车载网关单元连接配合;
远程管理单元,所述远程管理单元通过车辆控制单元配合驾驶人情绪/疲劳度监测单元完成驾驶人情绪识别和/或疲劳状态判定,能够给出对应的车辆管理及驾驶人管理控制指令,反馈给车载网关单元。
进一步地,所述驾驶人情绪/疲劳度监测单元包括实时情绪识别模块、疲劳状态监测模块和智能计算分析模块;
所述实时情绪识别模块用于获取当前驾驶人的面部表情动态,并将获取到的面部表情动态传至自身智能计算分析模块或驾驶人情绪/疲劳度监测单元的共用智能计算分析模块或车载网关单元的智能情绪分析模块或通过车载网关单元传至远程管理单元智能情绪分析模块;
所述疲劳状态监测模块用于获取当前驾驶人的疲劳状态监测信息,并将获取到的信息传至自身疲劳状态判定模块或驾驶人情绪/疲劳度监测单元的共用智能计算分析模块或车载网关单元疲劳状态判定模块或通过车载网关单元传至远程管理单元疲劳状态判定模块;
智能计算分析模块用于对实时情绪识别模块和疲劳状态监测模块的采集信息和采集数据进行智能计算分析,可分别设置于实时情绪识别模块、疲劳状态监测模块内部或独立设置并同时对实时情绪识别模块和疲劳状态监测模块的采集信息和采集数据进行智能计算分析。
进一步地,所述驾驶人情绪/疲劳度监测单元的实时情绪识别模块包括面部高速摄像装置和情绪智能分析识别装置;
所述面部高速摄像装置用于采集当前驾驶人的面部表情动态;
所述情绪智能分析识别装置用于对面部高速摄像装置采集到的面部表情动态进行智能分析识别,判定当前驾驶人实时情绪状态。
进一步地,所述驾驶人情绪/疲劳度监测单元的疲劳状态监测模块包括头面部视频采集装置、基于视频分析的疲劳状态分析装置、座椅承压状态采集装置、基于传感器网络分析的疲劳状态分析装置;
所述头面部视频采集装置用于采集当前驾驶人的头面部动作;
所述基于视频分析的疲劳状态分析装置用于对头面部视频采集装置采集到的头面部动作进行智能分析识别,判定当前驾驶人实时状态的疲劳程度;
所述座椅承压状态集装置用于对驾驶人身下座椅不同点位的承压分布情况进行采集;
所述基于传感器网络分析的疲劳状态分析装置用于对座椅承压状态采集装置采集到的驾驶人身下座椅不同点位的承压情况进行智能分析识别,判定当前驾驶人实时状态的疲劳程度。
进一步地,所述驾驶人情绪/疲劳度监测单元的智能计算分析模块包括数据存储装置和边缘计算装置;
所述数据存储装置用于存储实时情绪识别模块和疲劳状态监测模块的采集信息和采集数据;
所述边缘计算装置用于对实时情绪识别模块和疲劳状态监测模块的采集信息和采集数据进行智能计算分析。
进一步地,所述驾驶人情绪/疲劳度监测单元直接关联车辆控制单元或通过车载网关间接关联车辆控制单元和/或远程管理单元。
进一步地,所述车载网关单元包括网络通讯模块和/或数据存储模块和/或边缘计算模块;
所述网络通讯模块用于驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间的数据交互;
所述数据存储模块用于存储驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间交互的数据;
所述边缘计算模块用于基于驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间交互的数据进行情绪智能分析识别和/或疲劳状态分析判定。
进一步地,所述车载网关单元的网络通讯模块包括5G通信装置、CAN总线通信装置、TCP/IP通信装置、蓝牙(Bluetooth)通信装置、其他无线通信(WIFI、UWB、Zigbee等)装置。
进一步地,所述车载网关单元的数据存储模块包括内置式数据存储装置和外置式数据存储装置。
进一步地,所述车载网关单元的边缘计算模块包括含边缘计算功能的AI智能芯片、含边缘计算的终端SDK。
进一步地,所述车载网关单元直接关联驾驶人情绪/疲劳度监测单元、车辆控制单元、报警提示单元和远程管理单元。
进一步地,所述报警提示单元包括车辆本地报警提示子单元及远程监控客户端软件报警提示子单元。
进一步地,所述报警提示单元直接关联驾驶人情绪/疲劳度监测单元、车载网关单元。
进一步地,所述车辆控制单元包括防抱死(ABS)模块和/或限速管理模块和/或智能制动管理模块和/或电子控制制动辅助(EBA)模块。
所述防抱死(ABS)模块用于收到驾驶人情绪/疲劳度监测单元发送的或驾驶人情绪/疲劳度监测单元通过车载网关单元转发的驾驶人状态异常监测结果时防止紧急刹车时可能出现的车辆行驶方向失控或侧滑现象;
所述限速管理模块用于收到驾驶人情绪/疲劳度监测单元发送的或驾驶人情绪/疲劳度监测单元通过车载网关单元转发的驾驶人状态异常监测结果时控制车辆最高行驶速度;
所述智能制动管理模块用于收到驾驶人情绪/疲劳度监测单元发送的或驾驶人情绪/疲劳度监测单元通过车载网关单元转发的驾驶人状态异常监测结果时启动智能刹车装置降低车辆实时行驶速度;
所述电子控制制动辅助(EBA)模块用于收到驾驶人情绪/疲劳度监测单元发送的或驾驶人情绪/疲劳度监测单元通过车载网关单元转发的驾驶人状态异常监测结果时需紧急制动时快速启动全部制动力,防范驾驶人异常状态下反应迟钝导致车辆制动距离过长发生交通事故。
进一步地,所述车辆控制单元直接关联驾驶人情绪/疲劳度监测单元和车载网关单元。当车辆控制单元收到驾驶人状态检测异常结果时,车辆控制单元控制车辆限速、降速或紧急制动。
进一步地,所述远程管理单元包括政府行业管理客户端软件、企业运营管理客户端软件、驾乘人员服务客户端软件和通信中心。
进一步地,所述远程管理单元的政府行业管理客户端依据主管行业部门的不同包括公安行业管理客户端软件、交通行业管理客户端软件、应急行业管理客户端软件、其他行业管理客户端软件(如保险行业管理客户端软件)等。
进一步地,所述远程管理单元的企业运营管理客户端依据使用方的不同包括托运单位管理客户端软件、承运单位管理客户端软件、收货单位管理客户端软件。
进一步地,所述远程管理单元的驾乘人员服务管理客户端依据使用方的不同包括驾驶人服务客户端软件、押运人(安全员)服务客户端软件。
进一步地,所述远程管理单元的通信中心包括云平台、本地服务器和个人移动智能终端。
进一步地,所述远程管理单元接收车载网关单元发送的驾驶人情绪和疲劳度分析结果给出车辆管理及驾驶人管理控制指令,或接收车载网关单元发送的驾驶人情绪和疲劳度分析信息采集结果,对驾驶人的实时情绪和/或疲劳状态进行识别、分析、判定,并根据情绪识别结果和/或疲劳状态判定结果给出车辆管理及驾驶人管理控制指令,反馈给车载网关单元,并通过车载网关反馈给报警提示单元或车辆控制单元,发出声光报警、语音提示或控制车辆。
本发明提供的基于驾驶人情绪和疲劳度分析的行车安全管理系统,能够对驾驶人在驾驶过程中的情绪与疲劳状态进行实时监测,并根据监测结果以主动驾驶辅助安全防控的方式自动联动控制车辆的行驶状态并对驾驶人形成安全警告,从而能够实现从驾驶人角度保障汽车运输的运行安全。
具体的,本发明提供的基于驾驶人情绪和疲劳度分析的行车安全管理系统,可对驾驶人在驾驶车辆过程中的面部动态表情或面部振动幅度及驾驶人身下座椅不同区域的承压情况进行实时监测,综合分析驾驶人的实时情绪状态、严谨判定驾驶人的实时疲劳程度,依据情绪状态和实时疲劳状态的分析识别判定结果自动控制车辆自动限速、减速或紧急制动并同时发出语音提示或声光报警,对潜在的可能由于驾驶人因素引发的事故风险进行有效的预警和主动干预,防范驾驶人在妨害安全驾驶的异常情绪状态下驾驶车辆、疲劳状态驾驶车辆,保障驾驶人在正常情绪状态、精神状态、体能状态下安全驾驶车辆,并确保当驾驶人出现异常情绪或疲劳状态时车辆进行主动智能安全防控,以提高车辆运行的安全性。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例提供的基于驾驶人情绪和疲劳度分析的行车安全管理系统的构成原理及使用流程示意图;
图2为本发明实例中驾驶人情绪/疲劳度监测单元的构成原理示意图
图3为本发明实例中驾驶人情绪/疲劳度监测单元的情绪识别模块构成原理及使用流程示意图;
图4为本发明实例中驾驶人情绪/疲劳度监测单元的疲劳状态监测模块构成原理及使用流程示意图;
图5为本发明实例中车载网关单元构成原理及其网络通讯模块示意图;
图6为本发明实例中报警提示单元构成原理及使用流程示意图;
图7为本发明实例中车辆控制单元构成原理及使用流程示意图;
图8为本发明实例中远程管理单元构成原理及使用流程示意图;
图9为本发明实例中远程管理单元的政府行业管理客户端构成原理示意图;
图10为本发明实例中远程管理单元的企业运营管理客户端构成原理示意图;
图11为本发明实例中远程管理单元的驾乘人员服务客户端构成原理示意图;
图12为本发明实例中远程管理单元的通信中心构成原理示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
现有车辆不能对驾驶人的情绪进行实时监测,部分“两客一危”车辆也只能够监测驾驶员连续驾驶的时间,根据监测到的连续驾驶时间来判定驾驶员是否疲劳驾驶;对于监测到的疲劳驾驶数据也只是用于后续的行政管理,无法实现对车辆和/或驾驶人进行实时的管控,更加无法实现对车辆行驶状态和/或驾驶人的驾车状态进行预警与干预,故而实际应用过程中存在诸多的问题和漏洞,特别是针对车辆和/或驾驶员进行管控的实时性以及全面性方面所存在的问题。
为此,本发明创新的从驾驶人管理角度切入,对驾驶人驾驶过程中的实时情绪和疲劳状态进行实时监测,并根据监测结果实时联动控制车辆的行驶状态和/或对驾驶人形成安全警告,由此来对因驾驶人因素可能导致的安全隐患实现智能预警,同时能够智能联动控制车辆的行驶状态,从而实现消除因驾驶人因素导致的安全隐患,从驾驶人管理角度保障相应车辆运输安全。
据此,本发明提供一种基于驾驶人情绪和疲劳度分析的行车安全管理系统,该监控系统能够对驾驶人在驾驶车辆过程中的面部动态表情或面部振动幅度、及驾驶人身下座椅不同区域的承压情况进行实时监测,综合分析驾驶人的实时情绪状态、严谨判定驾驶人的实时疲劳程度,依据情绪状态、和实时疲劳状态的分析识别判定结果自动控制车辆自动限速、减速或紧急制动并同时发出语音提示或声光报警,对潜在的可能由于驾驶人因素引发的事故风险进行有效的预警和主动干预,防范驾驶人在妨害安全驾驶的异常情绪状态下驾驶车辆、疲劳状态驾驶车辆,保障驾驶人在正常情绪状态、精神状态、体能状态下安全驾驶车辆,并确保当驾驶人出现异常情绪或疲劳状态时车辆进行主动智能安全防控,防范相应车辆交通安全事故,如公路客运、旅游客运、危化品运输车、货运车辆、校车、公交车、出租车、各类平台的网约车或租用车等全部营运性质车辆、非营业性运输车辆及私家车辆等。
参见图1,其所示为本发明给出的一种基于驾驶人情绪和疲劳度分析的行车安全管理系统的整体构成原理示意图。
基于图1所示,本基于驾驶人情绪和疲劳度分析的行车安全管理系统主要由驾驶人情绪/疲劳度监测单元200、车载网关单元300、报警提示单元400、车辆控制单元500以及远程管理单元600相互配合构成。
本系统中的驾驶人情绪/疲劳度监测单元200设置在待监测车辆100的驾驶室内,与车辆的车载网关单元300、报警提示单元400、车辆控制单元500关联,并通过车载网关单元300与远程管理单元600关联。
本驾驶人情绪/疲劳度监测单元200能够实时监控驾驶人的情绪和身体疲劳状态,可通过监测单元自身构建的边缘计算模块,也可通过车载网关单元300的边缘计算模块或通过车载网关单元300的网络通讯模块传输至远程管理单元600进行情绪识别和疲劳状态判定。
同时本驾驶人情绪/疲劳度监测单元200能够依据实时情绪识别结果和疲劳状态判定结果或通过车载网关单元从远程管理单元获取依据相关情绪识别结果和/或疲劳状态判定结果产生的管理指令,直接关联车辆控制单元500或通过车载网关单元300关联车辆控制单元500,控制车辆的防抱死(ABS)模块、限速管理模块、智能制动管理模块或电子控制制动辅助(EBA)模块的工作状态进行限速、控速或减速操作。
作为举例,这里针对的待监测车辆100可以为“两客一危一货一校”车辆、出租车及各类平台的网约车、租用车等全部营运性质车辆、非营业性运输车辆及私家车辆及私家车辆。
参见图2,其所示为本发明给出的一种基于驾驶人情绪和疲劳度分析的驾驶人情绪/疲劳度监测单元的构成原理示意图。
基于图2所示,本实例给出的驾驶人情绪/疲劳度监测单元200由实时情绪识别模块210、智能计算分析模块220与疲劳状态监测模块230互相配合组合构成。
本单元中的实时情绪识别模块210用于获取当前驾驶人的面部表情动态,并将获取到的面部表情动态传至自身智能计算分析功能模块220或驾驶人情绪/疲劳度监测单元的共用智能计算分析模块220或车载网关单元的智能情绪分析功能模块(如车载网关单元中构建的边缘计算模块)或通过车载网关单元传至远程管理单元的智能情绪分析功能模块。
本单元中的疲劳状态监测模块230用于获取当前驾驶人的疲劳状态监测信息,并将获取到的信息传至自身疲劳状态判定功能模块220或驾驶人情绪/疲劳度监测单元的共用智能计算分析模块220或车载网关单元的疲劳状态判定功能模块(如车载网关单元中构建的边缘计算模块)或通过车载网关单元传至远程管理单元疲劳状态判定功能模块。
本驾驶人情绪/疲劳度监测单元200中根据需要还可进一步设置计算分析模块220,该计算分析模块220可与实时情绪识别模块210进行数据交互,作为与实时情绪识别模块210配合的智能情绪分析功能模块,用于接收实时情绪识别模块210所获取到当前驾驶人的面部表情动态数据,这里的动态数据可以为视频、图片等等,并依据该数据进行智能情绪分析,并形成对应的实时情绪分析结果。
再者,该计算分析模块220可与疲劳状态监测模块230进行数据交互,作为与疲劳状态监测模块230配合的疲劳状态判定功能模块,用于接收疲劳状态监测模块230所获取到的当前驾驶人的疲劳状态监测信息,这里的动态数据可以为视频、图片等等,并依据该数据进行智能疲劳状态判定,并形成对应的判定当前驾驶人实时状态的疲劳程度。
另外,该计算分析模块220可分别与实时情绪识别模块210和疲劳状态监测模块230进行融合为一体,或者相对于实时情绪识别模块210和疲劳状态监测模块230独立设置。
作为举例,该计算分析模块220在实现时,可作为驾驶人情绪/疲劳度监测单元200自身构建的边缘计算模块来呈现,具体的构成技术,可根据实际需求而定,如可基于驾驶人情绪/疲劳度监测单元200硬件自带的边缘计算功能来实现。
基于图1所示,如此设置的驾驶人情绪/疲劳度监测单元200通过实时情绪识别模块210采集当前驾驶人的面部表情动态和/或对采集到的面部表情动态进行智能分析识别,判定当前驾驶人实时情绪状态。
驾驶人情绪/疲劳度监测单元200可通过疲劳状态监测模块230采集当前驾驶人的面部动作和/或对头面部视频采集装置采集到的头面部动作进行智能分析识别,判定当前驾驶人实时状态的疲劳程度;在此基础上,还可进一步配合通过采集驾驶人身下座椅不同点位的承压分布情况来进行智能分析识别,判定当前驾驶人实时状态的疲劳程度;或者直接对座椅承压采集装置采集到的驾驶人身下座椅不同点位的承压情况进行智能分析识别,判定当前驾驶人实时状态的疲劳程度。
本驾驶人情绪/疲劳度监测单元200在进行智能分析识别时,可直接通过在驾驶人情绪/疲劳度监测单元200内构建相应的边缘计算模块来进行智能分析识别,如前述的计算分析模块220。
作为替代方案,本驾驶人情绪/疲劳度监测单元200还可通过与车载网关单元300配合来完成驾驶人情绪、疲劳度智能分析识别。本替代方案中,通过在车载网关单元300中运行相应的边缘计算模块,驾驶人情绪/疲劳度监测单元200中的实时情绪识别模块210将所获取到当前驾驶人的面部表情动态数据,以及疲劳状态监测模块230将所获取到的当前驾驶人的疲劳状态监测信息同步传输至车载网关单元300,由车载网关单元300中运行的边缘计算模块据此进行智能分析识别,判定当前驾驶人实时情绪状态以及实时状态的疲劳程度。
作为另一替代方案,本驾驶人情绪/疲劳度监测单元200还可通过车载网关单元300与远程管理单元600配合来完成驾驶人情绪,疲劳度智能分析识别。本替代方案中,驾驶人情绪/疲劳度监测单元200中的实时情绪识别模块210将所获取到当前驾驶人的面部表情动态数据,以及疲劳状态监测模块230将所获取到的当前驾驶人的疲劳状态监测信息同步传输至车载网关单元300,再由车载网关单元300传输至远程管理单元600,由远程管理单元600据此数据进行智能分析识别,判定当前驾驶人实时情绪状态以及实时状态的疲劳程度。
这样本驾驶人情绪/疲劳度监测单元200在运行时,针对相应监测模块所监测到的数据,可通过驾驶人情绪/疲劳度监测单元200自带的边缘计算模块,也可通过车载网关单元300的边缘计算模块或通过车载网关单元300的网络通讯模块传输至远程管理单元600进行情绪识别和/或疲劳状态判定。
本驾驶人情绪/疲劳度监测单元200同时依据实时情绪识别结果和疲劳状态判定结果;或通过车载网关单元300从远程管理单元600获取依据相关情绪识别结果和疲劳状态判定结果产生的管理指令,直接关联车辆控制单元500或通过车载网关单元300关联车辆控制单元500,由此实现控制车辆的防抱死(ABS)模块、限速管理模块、智能制动管理模块或电子控制制动辅助(EBA)模块的工作状态进行限速、减速或紧急制动操作,实现对车辆运行状态的管控。
基于图1所示,本系统中的车载网关单元300设置在待监测车辆100的驾驶室内,与车辆的驾驶人情绪/疲劳度监测单元200、报警提示单元400、车辆控制单元500及远程管理单元600关联。
这里的车载网关单元300至少具备网络通讯功能和/或数据存储功能和/或边缘计算功能并与远程管理单元600之间建立通信通道,以对驾驶人情绪/疲劳度监测单元产生的数据信息进行识别、分析或将相关信息传输至远程管理单元进行识别、分析,并将远程管理单元返回的管理数据信息发送至车辆控制单元和报警提示单元.
参见图5,其所示为本实例给出的基于驾驶人情绪和疲劳度分析的行车安全管理系统中车载网关单元300的一种构成原理及其网络通讯模块示意图。
基于图5所示,本实例给出的用于行车安全管理系统的车载网关单元300由网络通讯模块310和/或数据存储模块320和/或边缘计算模块330互相组合构成或独立构成。其中,网络通讯模块310为基本组成部分,即为车载网关单元300的必要组成部分。
基于图1和图5所示,如此设置的车载网关单元300使用网络通讯模块310进行驾驶人情绪/疲劳度监测单元200与报警提示单元400、车辆控制单元500及远程管理单元600之间的数据交互。
本车载网关单元300使用网络通讯模块310可将驾驶人情绪/疲劳度监测单元200上传的当前驾驶人面部表情动态信息和驾驶人身下座椅不同点位的承压分布情况信息或实时情绪分析识别结果和疲劳状态判定结果转发至远程管理单元600。与之配合的,本车载网关单元300还可依据接收到的驾驶人实时情绪分析识别结果和疲劳状态判定结果向车辆控制单元500和报警提示单元400发送相应指令;或依据车载网关单元300的边缘计算模块330得到的实时情绪分析识别结果和疲劳状态判定结果向车辆控制单元500和报警提示单元400发送相应指令;或将接收的远程管理单元600的管理指令向驾驶人情绪/疲劳度监测单元200或报警提示单元400或车辆控制单元500进行转发。
本车载网关单元300可使用数据存储模块320存储驾驶人情绪/疲劳度监测单元200上传的当前驾驶人面部表情动态信息和驾驶人身下座椅不同点位的承压分布情况信息。
本车载网关单元300可使用边缘计算模块330对驾驶人情绪/疲劳度监测单元200上传的当前驾驶人面部表情动态信息和驾驶人身下座椅不同点位的承压分布情况信息进行情绪智能分析识别和疲劳状态分析判定。
基于图1所示,本系统中的报警提示单元400设置在待监测车辆100的驾驶室内,车辆外部及远程管理单元600的监控客户端软件,与车辆中的驾驶人情绪/疲劳度监测单元200、车载网关单元300及远程管理单元600关联。
这里的报警提示单元400包括本地声光报警器或语音提示装置以及远程监控客户端报警显示设置,其中报警提示单元400中的本地声光报警器或语音提示装置设置在汽车运输的驾驶室内及车辆外部,分别与驾驶人情绪/疲劳度监测单元200、车载网关单元300连接;如此设置的本地报警提示单元能够依据驾驶人情绪/疲劳度监测单元200发送的或车载网关单元300发送的驾驶人实时情绪状态及驾驶行为分析结果发出语音提示或声光报警。
本报警提示单元400中的远程监控客户端报警显示设置在远程管理单元的政府行业管理客户端软件、企业运营管理客户端软件、驾乘人员服务客户端软件,与车载网关单元300连接;如此设置的报警提示单元的监控客户端依据车载网关单元300发送的驾驶人身份核验结果或驾驶人状态监测判定结果发出语音或文字提示。
图6所示为本实例给出的基于驾驶人情绪和疲劳度分析的行车安全管理系统中报警提示单元400构成原理及使用流程示意图。
基于图6所示,本实例给出的用于基于行车安全管理系统的报警提示单元400由驾驶室内声光报警模块410、驾驶室内语音提示模块420、驾驶室外声光报警模块430、驾驶室外语音提示模块440等车辆本地报警提示子单元及政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630等远程监控客户端软件报警提示子单元相互配合构成。
基于图1和图6所示,如此设置的报警提示单元400中的驾驶室内声光报警模块410用于驾驶人情绪识别结果异常及疲劳状态判定结果异常时发出声光报警。作为举例,光报警模块的声光报警器发出的光一般默认红色。
驾驶室内语音提示模块420用于驾驶人情绪识别结果异常时提示驾驶人调整情绪或就近停车、疲劳状态判定结果异常时提示驾驶人集中精神或就近停车。作为举例,这里的驾驶室内语音提示模块420可以与驾驶室内声光报警模块独立设置或合并为语音声光报警器。
驾驶室外声光报警模块430用于驾驶人情绪识别结果严重异常、及疲劳状态判定结果严重异常时发出对车辆外人群的声光报警。作为举例,这里的声光报警模块的声光报警器发出的光一般默认红色,报警声音的音量足以在路面嘈杂环境中引起路人警觉。
驾驶室外语音提示模块440用于驾驶人情绪识别结果严重异常、及疲劳状态判定结果严重异常时对车辆外人群发出语音提示。作为举例,这里驾驶室外语音提示模块440产生的语音提示的音量,报警声音的音量足以在路面嘈杂环境中引起路人高度警觉,语音警示内容的语音播报清晰度足以被听者明确理解。
政府行业管理客户端软件610用于驾驶人情绪识别结果异常、及疲劳状态判定结果异常时接收车载网关通过通信中心转发的报警信息。作为举例,政府行业管理客户端软件接收到驾驶人情绪识别结果严重异常及疲劳状态判定结果严重异常等信息时默认按应急预案启动应急管理流程。
企业运营管理客户端软件620用于驾驶人情绪识别结果异常、及疲劳状态判定结果异常时接收车载网关通过通信中心转发的报警信息。作为举例,企业运营管理客户端软件620接收到驾驶人情绪识别结果严重异常、及疲劳状态判定结果严重异常等信息时默认按应急预案启动应急管理流程并向政府行业管理客户端同步发出紧急报警信息。
驾乘人员服务客户端630用于驾驶人情绪识别结果异常及疲劳状态判定结果异常时接收车载网关通过通信中心转发的报警信息,并在发出报警信息的同时发出提示驾驶人调整姿态重新核验、提示驾驶人调整情绪、或提示驾驶人集中精神或就近停车等依据驾乘人员服务客户端用户角色不同而设定好内容的语音提示。作为举例,这里的驾乘人员服务客户端在发出报警信息的同时发出语音提示,语音提示依据驾乘人员服务客户端用户角色不同内容有所差异。如驾驶人员服务客户端语音提示驾驶人调整情绪或提示驾驶人集中精神或就近停车;危险化学品运输车辆的押运人(安全员)员服务客户端语音提示押运人(安全员)员监督驾驶人调整情绪或提示监督驾驶人集中精神或就近停车等。
基于图1所示,本系统中的车辆控制单元500设置在待监测车辆100的驾驶室内,与车辆中的驾驶人情绪/疲劳度监测单元200、车载网关单元300及远程管理单元600关联。
本车辆控制单元500设置在汽车驾驶室或汽车发动机舱,联动车辆的启动系统、控速系统和制动系统,并与车载网关单元300、驾驶人情绪/疲劳度监测单元200关联,并通过车载网关单元300与报警提示单元400、远程管理单元600和/或驾驶人情绪/疲劳度监测单元200关联。
本车辆控制单元500能够依据驾驶人情绪/疲劳度监测单元200发送的或车载网关单元300发送的驾驶人实时情绪状态分析结果及疲劳状态判定结果控制车辆是否限速、降速或紧急制动。
图7所示为本实例给出的用于行车安全管理系统的车辆控制单元500的一种构成原理及使用流程示意图。
基于图7所示,本实例给出的车辆控制单元500由防抱死(ABS)模块510和/或限速管理模块520和/或智能制动管理模块530和/或电子控制制动辅助(EBA)模块540互相组合构成或独立构成。
基于图1和图7所示,如此设置的车辆控制单元500可使用防抱死(ABS)模块510接收驾驶人情绪/疲劳度监测单元200发送的、或驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的、或企业运营管理客户端软件610通过通信中心640及车载网关单元300转发的驾驶人状态异常监测结果并防止紧急刹车时可能出现的车辆行驶方向失控或侧滑现象。
车辆控制单元500可使用限速管理模块520接收驾驶人情绪/疲劳度监测单元200发送的、或驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的、或企业运营管理客户端软件610通过通信中心640及车载网关单元300转发的驾驶人状态异常监测结果并控制车辆最高行驶速度。
车辆控制单元500可使用智能制动管理模块530接收驾驶人情绪/疲劳度监测单元200发送的、或驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的、或企业运营管理客户端软件610通过通信中心640及车载网关单元300转发的驾驶人状态异常监测结果并启动智能刹车装置降低车辆实时行驶速度。
车辆控制单元500可使用电子控制制动辅助(EBA)模块540接收驾驶人情绪/疲劳度监测单元200发送的、或驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的、或企业运营管理客户端软件610通过通信中心640及车载网关单元300转发的驾驶人状态异常监测结果并在需紧急制动时快速启动全部制动力,防范驾驶人异常状态下反应迟钝导致车辆制动距离过长发生交通事故。
本车辆控制单元500在部署应用时优选直接关联驾驶人情绪/疲劳度监测单元200,这样当车辆控制单元500收到驾驶人状态检测异常结果时,车辆控制单元控制车辆限速、降速或紧急制动;从而实现不同情况对车辆进行不同类别的精确管控,有效保证车辆行驶安全。
基于图1所示,本系统中的远程管理单元600设置在汽车运输相关政府行业主管部门的云平台和/或本地存储服务器和/或相关管理人员的个人手持智能终端、汽车所属运输企业及运输相关方的云平台和/或本地存储服务器和/或相关管理人员的个人手持智能终端、驾乘人员的个人手持智能终端,与车载网关单元300关联,并通过车载网关单元300与车辆的驾驶人情绪/疲劳度监测单元200、报警提示单元400及车辆控制单元500关联。
本远程管理单元600在运行时,接收车载网关单元300发送的对驾驶人的实时情绪和疲劳状态进行识别、分析、判定,并根据情绪识别结果和疲劳状态判定结果给出车辆管理及驾驶人管理控制指令,反馈给车载网关单元300,并通过车载网关反馈给报警提示单元400或车辆控制单元500,发出声光报警、语音提示或控制车辆ACC开启、关闭或控制车辆限速、降速或紧急制动。
参见图8,其所示为本实例给出的行车安全管理系统中采用到的远程管理单元600的一种构成原理及使用流程示意图。
基于图8所示,本实例给出的远程管理单元600由政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630和通信中心640(如云平台或本地服务器和/或个人移动智能终端)相互配合构成。
基于图1和图8所示,如此设置的远程管理单元600可使用政府行业管理客户端软件610接收显示驾驶人情绪/疲劳度监测单元200通过车载网关单元300并通过通信中心640转发的驾驶人状态监测结果,依据收到的驾驶人状态监测结果发出相关管理指令及对驾驶人进行管理;当收到驾驶人状态监测结果显示严重异常时,启动应急管理流程,发布相关应急处置指令。
远程管理单元600可使用企业运营管理客户端软件620接收显示驾驶人情绪/疲劳度监测单元200发送的或驾驶人情绪/疲劳度监测单元200通过车载网关单元300并通过通信中心640转发的驾驶人状态监测结果,依据收到的驾驶人状态监测结果发出相关管理指令及对驾驶人进行管理;当收到驾驶人状态监测结果显示严重异常时,启动应急管理流程,向政府行业管理客户端发出紧急报警并发布相关应急处置指令。
远程管理单元600可使用驾乘人员服务客户端软件630接收显示驾驶人情绪/疲劳度监测单元200发送的或驾驶人情绪/疲劳度监测单元200通过车载网关单元300并通过通信中心640转发的驾驶人状态监测结果,依据收到的驾驶人状态监测结果发出相关报警提示。
远程管理单元600可使用通信中心640和车载网关单元300进行通信,接收并存储驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的驾驶人情绪/疲劳度监测单元200实时情绪识别模块210中面部高速摄像装置采集的当前驾驶人面部表情动态信息、疲劳状态监测模块230中头面部视频采集装置采集的当前驾驶人头面部动作信息和座椅承压状态采集装置采集的驾驶人身下座椅不同点位的承压情况信息或驾驶人状态监测结果。当情绪智能分析识别组件、基于视频分析的疲劳状态分析组件或基于传感器网络分析的疲劳状态分析组件设置在远程管理单元600时,则可通过通信中心640的云平台或本地服务器进行情绪智能分析识别、疲劳状态分析判定。
这里的通信中心640同时作为政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630的计算机系统环境,支撑相关软件应用,并向车载网关单元300转发政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630的管理指令或应答指令。
当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于营运车辆时,远程管理单元600一般需同时具备政府行业管理客户端610、企业运营管理客户端620、驾乘人员服务客户端630和通信中心640;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于非营业运输车辆时,远程管理单元600可不具备政府行业管理客户端610;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于私家车辆时,远程管理单元600可不具备政府行业管理客户端610、企业运营管理客户端620,驾乘人员服务客户端630也可仅保留驾驶人员服务客户端631,通信中心640也可仅保留驾驶人员服务客户端643。
在此基础上,本发明进一步明确给出了基于驾驶人管理的汽车运输车辆安全监控系统各单元构成模块可能涉及的具体装置。
参见图3,其所示为本实例给出的用于行车安全管理系统的驾驶人情绪/疲劳度监测单元200中实时情绪识别模块210的一种构成原理以及使用流程示意图。
基于图3所示,本实例给出的用于行车安全管理系统的驾驶人情绪/疲劳度监测单元200中实时情绪识别模块210包括面部高速摄像装置211和情绪智能分析识别装置212。
这里的面部高速摄像装置211用于采集当前驾驶人的面部表情动态。该面部高速摄像装置211包括但不限于外置的高速视频采集摄像头、嵌入式高速视频采集摄像头。该面部高速摄像装置类型包括但不限于可见光高速视频采集摄像头、近红外高速视频采集摄像头、用于采集三维人脸表情动态的专用高速摄像头或三维高速人脸表情动态采集仪;具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
这里的情绪智能分析识别装置212用于对面部高速摄像装置211采集到的面部表情动态进行智能分析识别,判定当前驾驶人实时情绪状态。该情绪智能分析识别装置形态包括但不限于驾驶人情绪/疲劳度监测单元内置的情绪智能分析识别组件、车载网关单元中的情绪智能分析识别组件、远程管理单元中的情绪智能分析识别组件。再者,该情绪智能分析识别装置类型依据技术原理不同包括但不限于面部表情分析或微表情分析、面部微振动分析。具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
进一步参见图4,其所示为本实例给出的用于行车安全管理系统的驾驶人情绪/疲劳度监测单元200中疲劳状态监测模块230的一种构成原理以及使用流程示意图。
基于图4所示,本实例给出的用于行车安全管理系统的驾驶人情绪/疲劳度监测单元200中疲劳状态监测模块230包括头面部视频采集装置231、基于视频分析的疲劳状态分析装置232、座椅承压状态采集装置233、基于传感器网络分析的疲劳状态分析装置234。
这里的头面部视频采集装置231用于采集当前驾驶人的头面部动作。该头面部视频采集装置包括但不限于外置的视频采集摄像头、嵌入式视频采集摄像头;同时该头面部视频采集装置类型包括但不限于可见光视频采集摄像头、近红外视频采集摄像头;具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
这里基于视频分析的疲劳状态分析装置232用于对头面部视频采集装置231采集到的头面部动作进行智能分析识别,判定当前驾驶人实时状态的疲劳程度。该基于视频分析的疲劳状态分析装置包括但不限于驾驶人情绪/疲劳度监测单元内置的基于视频分析的疲劳状态分析组件、车载网关单元中的基于视频分析的疲劳状态分析组件、远程管理单元中的基于视频分析的疲劳状态分析组件。具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
这里的座椅承压状态集装置233用于对驾驶人身下座椅不同点位的承压分布情况进行采集。该座椅承压状态采集装置包括但不限于铺设在座椅上的外置椅垫和靠背上的压力传感器、座椅内置的嵌入式压力传感器;同时该座椅承压状态采集装置类型依据技术原理不同包括但不限于压电传感器、压阻传感器、应变式传感器。具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
这里的基于传感器网络分析的疲劳状态分析装置234用于对座椅承压状态采集装置233采集到的驾驶人身下座椅不同点位的承压情况进行智能分析识别,判定当前驾驶人实时状态的疲劳程度。该基于传感器网络分析的疲劳状态分析装置234包括但不限于驾驶人情绪/疲劳度监测单元内置的基于传感器网络分析的疲劳状态分析组件、车载网关单元中的基于传感器网络分析的疲劳状态分析组件、远程管理单元中的基于传感器网络分析的疲劳状态分析组件。具体依据车辆的安装条件及承运单位管理要求确定,此处不加以限定。
据此实时情绪识别模块210、疲劳状态监测模块230相互配合构成的驾驶人情绪/疲劳度监测单元200在进行部署时,可直接关联车辆控制单元500或通过车载网关单元300间接关联车辆控制单元500和/或远程管理单元600。
当驾驶人情绪/疲劳度监测单元200直接关联车辆控制单元500时,驾驶人实时情绪识别结果和/或疲劳状态监测结果达到或超出危险阈值时,车辆控制单元500控制车辆限速、降速或紧急制动,报警提示单元发出危险状态报警提示,分析识别或判定结果及车辆控制单元动作情况通过车载网关单元300上传至远程管理单元600。
当驾驶人情绪/疲劳度监测单元200通过车载网关单元300间接关联车辆控制单元500时,驾驶人实时情绪识别结果和/或疲劳状态监测结果达到或超出危险阈值后,车载网关单元300向车辆控制单元500发送指令,车辆控制单元500控制车辆限速、降速或紧急制动,报警提示单元发出危险状态报警提示,分析识别或判定结果及车辆控制单元500动作情况通过车载网关单元300上传至远程管理单元600。
当驾驶人情绪/疲劳度监测单元200通过车载网关单元300间接关联车辆控制单元500,但基于视频分析的疲劳状态分析组件或基于传感器网络分析的疲劳状态分析组件在远程管理单元600中时,驾驶人情绪/疲劳度监测单元200中的实时情绪识别模块210中面部高速摄像装置采集的当前驾驶人面部表情动态信息、疲劳状态监测模块230中头面部视频采集装置采集的当前驾驶人头面部动作信息和座椅承压状态采集装置采集的驾驶人身下座椅不同点位的承压情况信息通过车载网关单元300上传至远程管理单元600,远程管理单元600进行智能分析识别或判定后将分析识别或判定结果回传给车载网关单元300,车载网关单元300向车辆控制单元500送指令;车辆控制单元500控制车辆限速、降速或紧急制动,报警提示单元400发出危险状态报警提示;车辆控制单元500动作情况通过车载网关上传至远程管理单元。
参见图5,其所示为本实例给出的基于驾驶人情绪和疲劳度分析的行车安全管理系统中车载网关单元300的一种构成原理及其网络通讯模块示意图。
基于图5所示,本实例给出的用于行车安全管理系统的车载网关单元300中的网络通讯模块310由5G通信装置311、CAN总线通信装置312、TCP/IP通信装置313、蓝牙(Bluetooth)通信装置314、其他无线通信(WIFI、UWB、Zigbee等)装置315等组合而成。
其中,网络通讯模块310可使用5G通信装置311进行车载网关单元300与远程管理单元600之间的通信;
网络通讯模块310可使用CAN总线通信装置312实现在车载网关单元300与驾驶人情绪/疲劳度监测单元200、报警提示单元400及车辆控制单元500之间采用CAN总线方式的有线通信。
网络通讯模块310可使用TCP/IP通信装置313实现车载网关单元300与驾驶人情绪/疲劳度监测单元200、报警提示单元400、车辆控制单元500及远程管理单元600之间的TCP/IP方式的有线通信或无线通信。
网络通讯模块310可使用蓝牙(Bluetooth)通信装置314实现车载网关单元300与驾驶人情绪/疲劳度监测单元200、报警提示单元400之间的基于蓝牙(Bluetooth)协议的无线通信。
网络通讯模块310可使用其他无线通信(WIFI、UWB、Zigbee等)装置314实现车载网关单元300与驾驶人情绪/疲劳度监测单元200、报警提示单元400之间的基于WIFI、UWB、Zigbee等对应协议的无线通信。
作为优选方案,本实例中的网络通讯模块310至少具备5G通信装置311、CAN总线通信装置312和TCP/IP通信装置313等三种通信装置,其他无线通信装置的配备依据车辆安装的摄像头、传感器采用的具体通信方式确定,此处不加以限定。
基于
图5所示,本实例给出的用于行车安全管理系统的车载网关单元300中的数据存储模块320包括内置式数据存储装置和外置式数据存储装置。
其中,内置式数据存储装置用于存储驾驶人情绪/疲劳度监测单元上传的当前驾驶人面部表情动态信息和/或驾驶人身下座椅不同点位的承压分布情况信息。该内置式数据存储装置具体包括但不限于内置静态随机存储器SRAM、内置动态随机存储器DRAM、内置硬盘、内置只读存储器ROM。
这里的外置式数据存储装置包括但不限于外接移动硬盘、USB闪存盘、TF存储卡、SD存储卡、可擦写CD-RW、DVD-RAM光盘、不可擦写CD-ROM、DVD-ROM光盘。
基于图5所示,本实例给出的用于行车安全管理系统的车载网关单元300中的边缘计算模块330包括含边缘计算功能的AI智能芯片、含边缘计算的终端SDK。
这里的含边缘计算功能的电路板AI智能芯片、含边缘计算的终端SDK用于对驾驶人情绪/疲劳度监测单元上传的当前驾驶人面部表情动态信息和/或驾驶人身下座椅不同点位的承压分布情况信息进行情绪智能分析识别和/或疲劳状态分析判定。
据此网络通讯模块310、数据存储模块320、边缘计算模块330配合构成的车载网关单元300在进行具体部署时,可直接关联驾驶人情绪/疲劳度监测单元200、车辆控制单元500、报警提示单元400和远程管理单元500。
当车载网关单元300收到驾驶人情绪或疲劳状态分析异常结果时,车载网关单元300向车辆控制单元500发送指令控制车辆限速、降速或紧急制动,向报警提示单元400发出危险状态报警并语音提示提醒驾驶人消除异常情绪或提示驾驶人就近停车休息,并向远程管理单元600转发驾驶员状态监测结果及车辆控制单元动作信。
当基于视频分析的疲劳状态分析组件或基于传感器网络分析的疲劳状态分析组件在远程管理单元600中时,车载网关单元300向远程管理单元600转发面部高速摄像装置采集的当前驾驶人面部表情动态信息、头面部视频采集装置采集的当前驾驶人头面部动作信息和座椅承压状态采集装置采集的驾驶人身下座椅不同点位的承压情况信息;同时接收远程管理单元600进行智能分析识别或判定后将分析识别或判定结果并向车辆控制单元500和/或报警提示单元400发送指令,然后将车辆控制单元动作情况上传至远程管理单元600。
进一步结合图6所示,本实例中的报警提示单元400在具体部署时,可直接关联驾驶人情绪/疲劳度监测单元200、车载网关单元300。
当车辆本地报警提示子单元收到驾驶人情绪/疲劳度监测单元200发出的或驾驶人情绪/疲劳度监测单元200通过车载网关单元300发出的驾驶人情绪识别结果异常或疲劳状态异常监测结果时,报警提示单元400发出声光报警并语音提示驾驶人调整情绪、集中精神或就近停车;
当车辆本地报警提示子单元收到驾驶人情绪/疲劳度监测单元200发出的或驾驶人情绪/疲劳度监测单元200通过车载网关单元300发出的驾驶人情绪识别结果严重异常或疲劳状态严重异常监测结果时,报警提示单元400发出车辆内外声光报警及车辆内外语音提示驾驶人调整情绪、集中精神或就近停车,提示路人警惕车辆异常、及时躲避或立即报警;
当远程监控客户端软件报警提示子单元收到驾驶人情绪/疲劳度监测单元200通过车载网关单元300并通过通信中心发出的驾驶人情绪识别结果异常或疲劳状态异常监测结果时,报警提示单元400发出报警提示或发出语音提示;
当远程监控客户端软件报警提示子单元收到驾驶人情绪/疲劳度监测单元200通过车载网关单元300并通过通信中心发出的驾驶人情绪识别结果严重异常或疲劳状态严重异常监测结果时,报警提示单元400发出紧急报警及语音提示并默认按应急预案启动应急管理流程。
进一步参见图9,其所示为本实例给出的行车安全管理系统中的远程管理单元的政府行业管理客户端610的一种构成原理示意图。
基于图9所示,本实例给出的用于行车安全管理系统的远程管理单元600的政府行业管理客户端610依据主管行业部门的不同包括公安行业管理客户端软件611、交通行业管理客户端软件612、应急行业管理客户端软件613和其他行业管理客户端软件(如保险行业管理客户端软件)614等。
政府行业管理客户端610中的公安行业管理客户端软件611用于驾驶人异常情绪及疲劳状态监测报警。驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人异常情绪、及疲劳状态监测报警信息,当接收到高风险警情时能以文字、图像、语音、文件等方式向企业运营管理客户端及驾乘人员服务客户端发出警示信息并按应急预案设定发出联动管理信息。
政府行业管理客户端610中的交通行业管理客户端软件612用于驾驶人异常情绪及疲劳状态监测报警。驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人异常情绪及疲劳状态监测报警信息,当接收到高风险警情时能以文字、图像、语音、文件等方式向企业运营管理客户端及驾乘人员服务客户端发出警示信息并按应急预案设定发出联动管理信息。
政府行业管理客户端610中的应急行业管理客户端软件613用于驾驶人异常情绪及疲劳状态监测报警。驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人异常情绪及疲劳状态监测报警信息,当接收到高风险警情时能以文字、图像、语音、文件等方式向企业运营管理客户端及驾乘人员服务客户端发出警示信息并按应急预案设定发出联动管理信息。
政府行业管理客户端610中的其他行业管理客户端软件(如保险行业管理客户端软件)614用于驾驶人异常情绪及疲劳状态监测报警记录查询。驾驶人异常情绪及疲劳状态监测报警记录查询支持通过驾驶人姓名、车辆车牌号码、指定时间范围查询某辆汽车的驾驶人异常情绪及疲劳状态监测报警记录信息。
其中其他行业管理客户端软件还支持依据相应行业管理需求进行功能定制或在用户权限范围内自主选择开通或关闭相关监控客户端功能,此处不加以限定。
图10所示为本实例给出的行车安全管理系统中的远程管理单元的企业运营管理客户端620构成原理示意图。
基于图10所示,本实例给出的用于行车安全管理系统的远程管理单元600的企业运营管理客户端620依据使用方的不同包括托运单位管理客户端软件621、承运单位管理客户端软件622、收货单位管理客户端软件623。
企业运营管理客户端620中的托运单位管理客户端软件621用于驾驶人异常情绪及疲劳状态监测报警记录查询。作为举例,驾驶人异常情绪及疲劳状态监测报警记录查询支持通过驾驶人姓名、车辆车牌号码、指定时间范围查询某辆汽车的驾驶人异常情绪及疲劳状态监测报警记录信息。
企业运营管理客户端620中的承运单位管理客户端软件622用于驾驶人异常情绪及疲劳状态监测报警。
作为举例,这里的驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人异常情绪及疲劳状态监测报警信息,当接收到警情时以文字、图像、语音、文件等方式向驾乘人员服务客户端发出警示信息,当接收到高风险警情时,以文字、图像、语音、文件等方式向驾乘人员服务客户端发出警示信息并立即启动应急预案。
企业运营管理客户端620中的收货单位管理管理客户端软件623用于驾驶人异常情绪及疲劳状态监测报警记录查询。作为举例,驾驶人异常情绪及疲劳状态监测报警记录查询支持通过驾驶人姓名、车辆车牌号码、指定时间范围查询某辆汽车的驾驶人异常情绪及疲劳状态监测报警记录信息。
当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于货物运输类营运车辆时,远程管理单元600的企业运营管理客户端620通常同时具备托运单位管理客户端软件621、承运单位管理客户端软件622、收货单位管理客户端软件623;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于客运类营运车辆、非营运公务用车及非营业性运输车辆时,远程管理单元600的企业运营管理客户端620可仅保留承运单位管理客户端软件622;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于私家车辆时,远程管理单元600可不具备企业运营管理客户端620。
图11所示为本实例给出的基于驾驶人情绪和疲劳度分析的行车安全管理系统的远程管理单元的驾乘人员服务客户端630的一种构成原理示意图。
基于图11示,本实例给出的用于行车安全管理系统的远程管理单元600的驾乘人员服务客户端630依据使用方的不同包括驾驶人服务客户端软件631、押运人(安全员)服务客户端软件632。
驾乘人员服务客户端630中的驾驶人服务客户端软件631用于驾驶人异常情绪及疲劳状态监测报警。
作为举例,这里的驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人员异常情绪及疲劳状态监测报警信息,当接收到中风险等级或低风险等级警情时以语音或特定预设声音等方式发出警示信息,当接收到政府行业管理客户端和承运单位管理客户端下发的高风险警情时,以高等级警情内容设定语音或特定高等级警情预设声音等方式发出警示信息,并支持在规定时间内以文字、图像、语音、文件等方式反馈纠正情况及纠正措施;
驾乘人员服务客户端630中的押运人(安全员)服务客户端软件632用于驾驶人异常情绪及疲劳状态监测报警。
作为举例,这里的驾驶人异常情绪及疲劳状态监测报警能接收并显示驾驶人员异常情绪及疲劳状态监测报警信息,当接收到中风险等级或低风险等级警情时以语音或特定预设声音等方式发出警示信息,当接收到政府行业管理客户端和承运单位管理客户端下发的高风险警情时,以高等级警情内容设定语音或特定高等级警情预设声音等方式发出警示信息,持续语音提示押运人(安全员)员监督驾驶人员调整异常情绪或择机停车休息,并支持在规定时间内以文字、图像、语音、文件等方式反馈纠正情况及纠正措施。
当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于危险品货物运输类营运车辆时,远程管理单元600的驾乘人员服务客户端630中的押运人(安全员)服务客户端软件632通常为押运人服务客户端软件;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于客运类营运车辆或校车时,远程管理单元600的驾乘人员服务客户端630中的押运人(安全员)服务客户端软件632通常为安全员服务客户端软件;当本实例给出的基于驾驶人情绪/疲劳度分析的行车安全管理系统用于不要求配备押运人员、安全人员或副驾驶的客货运输车辆或私家车辆时,远程管理单元600的驾乘人员服务客户端630可不具备押运人(安全员)服务客户端软件。
进一步参阅图12,其所示为本实例给出的基于驾驶人情绪和疲劳度分析的行车安全管理系统中的远程管理单元中的通信中心640的一种构成示意图。
基于图12所示,本实例给出的用于行车安全管理系统的远程管理单元600的通信中心640包括云平台641、本地服务器642和个人移动智能终端643。
本实例优选采用云平台组合个人移动智能终端的通信中心应用方式,具体可依据不同用户的实际通信条件确定,此处不加以限定。
本通信中心640中的云平台641用于驾驶人情绪/疲劳度监测单元200上传数据信息的存储、驾驶人情绪/疲劳度监测单元200上传数据信息的智能分析识别判定、政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630的数据接收及调用的共享数据资源池、支撑政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630应用的计算机硬件平台环境、政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630与车载网关单元300之间的通信交互。
云平台641和车载网关单元300进行通信,接收并存储驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的驾驶人情绪/疲劳度监测单元200中实时情绪识别模块210中面部高速摄像装置211采集的当前驾驶人面部表情动态信息、疲劳状态监测模块230中头面部视频采集装置231采集的当前驾驶人头面部动作信息和座椅承压状态采集装置233采集的驾驶人身下座椅不同点位的承压情况信息或驾驶人状态监测结果。
当情绪智能分析识别组件、基于视频分析的疲劳状态分析组件或基于传感器网络分析的疲劳状态分析组件设置在云平台641时,通过云平台641进行生物特征信息比对、情绪智能分析识别、疲劳状态分析判定,并向车载网关单元300转发政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630的管理指令或应答指令。
本云平台641支持B/S监控客户端应用,B/S监控客户端基于中国最新版本高安全操作系统及中国高安全信创版浏览器开发。
通信中心640中的本地服务器642用于驾驶人情绪/疲劳度监测单元200上传数据信息的分别存储、驾驶人情绪/疲劳度监测单元200上传数据信息的智能分析识别判定、政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630分别进行数据接收及调用的数据源、支撑政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630应用的计算机硬件平台环境、政府行业管理客户端软件610/企业运营管理客户端软件620/驾乘人员服务客户端软件630与车载网关单元300的通信交互。
本地服务器642和车载网关单元300进行通信,接收并存储驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发的驾驶人情绪/疲劳度监测单元200中实时情绪识别模块210中面部高速摄像装置211采集的当前驾驶人面部表情动态信息、疲劳状态监测模块230中头面部视频采集装置231采集的当前驾驶人头面部动作信息和座椅承压状态采集装置233采集的驾驶人身下座椅不同点位的承压情况信息或驾驶人状态监测结果。
当情绪智能分析识别组件、基于视频分析的疲劳状态分析组件或基于传感器网络分析的疲劳状态分析组件设置在本地服务器642时,通过本地服务器642进行生物特征信息比对、情绪智能分析识别、疲劳状态分析判定,并向车载网关单元300分别转发政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630的管理指令或应答指令。
本地服务器642支持C/S监控客户端应用,C/S监控客户端基于Linux内核的各类最新版本高安全操作系统开发;
本通信中心640中的个人手持智能终端643用于驾驶人状态检测单元200上传数据信息的在线查询工具和临时存储空间、支撑政府行业管理移动客户端APP软件610/企业运营管理移动客户端APP软件620/驾乘人员服务移动客户端APP软件630应用的计算机硬件环境、政府行业管理移动客户端APP软件610/企业运营管理移动客户端APP软件620/驾乘人员服务移动客户端APP软件630与云平台641或本地服务器642及车载网关单元300的通信交互。
个人手持智能终端643通过云平台641或本地服务器642和车载网关单元300进行通信,接收驾驶人情绪/疲劳度监测单元200通过车载网关单元300转发并通过云平台641或本地服务器642转发的驾驶人状态监测报警信息,并向车载网关单元300转发政府行业管理移动客户端APP软件610/企业运营管理移动客户端APP软件620/驾乘人员服务移动客户端APP软件630的管理指令或应答指令。
该个人手持智能终端643支持移动监控客户端APP应用,移动监控客户端APP基于HarmonyOS微内核或安卓(Android)等基于Linux内核的操作系统开发。
据此政府行业管理客户端软件610、企业运营管理客户端软件620、驾乘人员服务客户端软件630和通信中心640构成的远程管理单元600设置在汽车运输相关政府行业主管部门的云平台和/或本地存储服务器和/或相关管理人员的个人手持智能终端、汽车所属运输企业及运输相关方的云平台和/或本地存储服务器和/或相关管理人员的个人手持智能终端、驾乘人员的个人手持智能终端,与车载网关单元连接.
如此,本远程管理单元600接收车载网关单元300发送的驾驶人情绪和疲劳度分析结果给出车辆管理及驾驶人管理控制指令,或接收车载网关单元300发送的驾驶人情绪和疲劳度信息采集结果,对驾驶人的实时情绪和疲劳状态进行识别、分析、判定,并根据情绪识别结果和/或疲劳状态判定结果给出车辆管理及驾驶人管理控制指令,反馈给车载网关单元300,并通过车载网关单元300反馈给报警提示单元400或车辆控制单元500,发出声光报警、语音提示或控制车辆限速、降速或紧急制动。
由此形成的基于驾驶人情绪和疲劳度分析的行车安全管理系统在运行时,本系统在车辆的行驶过程中能够对驾驶人在驾驶过程中的实时情绪状态和疲劳状态进行监测,根据监测结果以主动驾驶辅助安全防控的方式自动联动控制车辆的行驶状态并对驾驶人形成安全警告,防范因驾驶人情绪异常、过度疲劳出现的不安全驾驶行为,从而进一步保证汽车运输行驶的安全性。
最后需要说明的上述本发明的方法,或特定系统单元、或其部份单元,可以透过程序代码布设于实体媒体,如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体),当机器加载程序代码且执行(如智能型手机加载且执行),机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体,如电缆、光纤、或是任何传输型态进行传送,当程序代码被机器(如智能型手机)接收、加载且执行,机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于驾驶人情绪和疲劳度分析的行车安全管理系统,其特征在于,包括:
驾驶人情绪/疲劳度监测单元,所述驾驶人情绪/疲劳度监测单元包括实时情绪识别模块和疲劳状态监测模块;所述实时情绪识别模块用于获取当前驾驶人的面部表情动态,并将获取到的面部表情动态传至自身智能情绪分析模块或车载网关单元;智能情绪分析模块或通过车载网关单元传至远程管理单元智能情绪分析模块;所述智能情绪分析模块直接依据接收到面部表情动态进行智能情绪分析,并形成对应的实时情绪分析结果;所述疲劳状态监测模块用于获取当前驾驶人的疲劳状态监测信息,并将获取到的信息传至自身疲劳状态判定模块或车载网关单元疲劳状态判定模块或通过车载网关单元传至远程管理单元疲劳状态判定模块;所述疲劳状态判定模块直接依据接收到的疲劳状态监测信息数据进行智能疲劳状态判定,并形成对应的判定当前驾驶人实时状态的疲劳程度;所述驾驶人情绪/疲劳度监测单元能够依据实时情绪识别结果和/或疲劳状态判定结果直接关联车辆控制单元通过车载网关单元关联车辆控制单元,控制车辆的防抱死模块、限速管理模块、智能制动管理模块或电子控制制动辅助模块的工作状态进行限速、控速或减速操作;
车载网关单元,所述车载网关单元分别与驾驶人情绪/疲劳度监测单元、车辆控制单元、报警提示单元和远程管理单元关联;所述车载网关单元还能够配合驾驶人情绪/疲劳度监测单元对驾驶人在驾驶车辆过程中的面部动态表情或面部振动幅度、及驾驶人身下座椅不同区域的承压情况进行实时监测,综合分析驾驶人的实时情绪状态、严谨判定驾驶人的实时疲劳程度;
车辆控制单元,所述车辆控制单元联动车辆控速系统和制动系统,并与车载网关单元、驾驶人情绪/疲劳度监测单元关联,所述车辆控制单元依据驾驶人情绪/疲劳度监测单元发送的或车载网关单元发送的驾驶人实时情绪状态分析结果及疲劳状态判定结果直接控制车辆行驶状态;
报警提示单元,所述报警提示单元分别与驾驶人情绪/疲劳度监测单元、车载网关单元连接配合;
远程管理单元,所述远程管理单元通过车辆控制单元配合驾驶人情绪/疲劳度监测单元完成驾驶人情绪识别和/或疲劳状态判定,能够给出对应的车辆管理及驾驶人管理控制指令,反馈给车载网关单元。
2.根据权利要求1所述的行车安全管理系统,其特征在于:所述驾驶人情绪/疲劳度监测单元的实时情绪识别模块包括面部高速摄像装置和情绪智能分析识别装置;
所述面部高速摄像装置用于采集当前驾驶人的面部表情动态;
所述情绪智能分析识别装置用于对面部高速摄像装置采集到的面部表情动态进行智能分析识别,判定当前驾驶人实时情绪状态。
3.根据权利要求1所述的行车安全管理系统,其特征在于:所述驾驶人情绪/疲劳度监测单元的疲劳状态监测模块包括头面部视频采集装置、基于视频分析的疲劳状态分析装置、座椅承压状态采集装置、基于传感器网络分析的疲劳状态分析装置;
所述头面部视频采集装置用于采集当前驾驶人的头面部动作;
所述基于视频分析的疲劳状态分析装置用于对头面部视频采集装置采集到的头面部动作进行智能分析识别,判定当前驾驶人实时状态的疲劳程度;
所述座椅承压状态集装置用于对驾驶人身下座椅不同点位的承压分布情况进行采集;
所述基于传感器网络分析的疲劳状态分析装置用于对座椅承压状态采集装置采集到的驾驶人身下座椅不同点位的承压情况进行智能分析识别,判定当前驾驶人实时状态的疲劳程度。
4.根据权利要求1所述的行车安全管理系统,其特征在于:所述驾驶人情绪/疲劳度监测单元直接关联车辆控制单元或通过车载网关间接关联车辆控制单元和/或远程管理单元。
5.根据权利要求1所述的行车安全管理系统,其特征在于:所述车载网关单元包括网络通讯模块和/或数据存储模块和/或边缘计算模块;
所述网络通讯模块包括5G通信装置、CAN总线通信装置、TCP/IP通信装置、蓝牙通信装置、其他无线通信装置中的一种或多种,用于驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间的数据交互;
所述数据存储模块包括内置式数据存储装置和外置式数据存储装置,用于存储驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间交互的数据;
所述边缘计算模块包括含边缘计算功能的AI智能芯片、含边缘计算的终端SDK,用于基于驾驶人情绪/疲劳度监测单元与报警提示单元、车辆控制单元及远程管理单元之间交互的数据进行情绪智能分析识别和/或疲劳状态分析判定。
6.根据权利要求1所述的行车安全管理系统,其特征在于:所述报警提示单元包括车辆本地报警提示子单元及远程监控客户端软件报警提示子单元。
7.根据权利要求1所述的行车安全管理系统,其特征在于:所述车辆控制单元包括防抱死模块和/或限速管理模块和/或智能制动管理模块和/或电子控制制动辅助模块;
所述防抱死模块用于在收到的驾驶人状态异常监测结果时防止紧急刹车时可能出现的车辆行驶方向失控或侧滑现象;
所述限速管理模块用于在收到驾驶人状态异常监测结果时控制车辆最高行驶速度;
所述智能制动管理模块用于在收到的驾驶人状态异常监测结果时启动智能刹车装置降低车辆实时行驶速度;
所述电子控制制动辅助模块用于在收到的驾驶人状态异常监测结果时需紧急制动时快速启动全部制动力。
8.根据权利要求1所述的行车安全管理系统,其特征在于:所述车辆控制单元直接关联驾驶人情绪/疲劳度监测单元和车载网关单元;当车辆控制单元收到驾驶人状态检测异常结果时,车辆控制单元控制车辆限速、降速或紧急制动。
9.根据权利要求1所述的行车安全管理系统,其特征在于:所述远程管理单元包括政府行业管理客户端、企业运营管理客户端、驾乘人员服务客户端和通信中心;
所述远程管理单元的政府行业管理客户端依据主管行业部门的不同包括公安行业管理客户端软件、交通行业管理客户端软件、应急行业管理客户端软件、其他行业管理客户端软件;
所述远程管理单元的企业运营管理客户端依据使用方的不同包括托运单位管理客户端软件、承运单位管理客户端软件、收货单位管理客户端软件;
所述远程管理单元的驾乘人员服务管理客户端依据使用方的不同包括驾驶人服务客户端软件、押运人/安全员服务客户端软件;
所述远程管理单元的通信中心包括云平台、本地服务器和个人移动智能终端。
10.根据权利要求1或9所述的行车安全管理系统,其特征在于:所述远程管理单元接收车载网关单元发送的驾驶人情绪或疲劳状态监测结果给出车辆管理及驾驶人管理控制指令,或接收车载网关单元发送的驾驶人情绪或疲劳状态监测信息采集结果,对驾驶人的实时情绪和/或疲劳状态进行识别、分析、判定,并根据情绪识别结果和/或疲劳状态判定结果给出车辆管理及驾驶人管理控制指令,反馈给车载网关单元,并通过车载网关反馈给报警提示单元或车辆控制单元,发出声光报警、语音提示或控制车辆。
CN202210642174.2A 2022-06-07 2022-06-07 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统 Active CN114802266B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210642174.2A CN114802266B (zh) 2022-06-07 2022-06-07 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统
PCT/CN2022/129872 WO2023236433A1 (zh) 2022-06-07 2022-11-04 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210642174.2A CN114802266B (zh) 2022-06-07 2022-06-07 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统

Publications (2)

Publication Number Publication Date
CN114802266A CN114802266A (zh) 2022-07-29
CN114802266B true CN114802266B (zh) 2023-10-27

Family

ID=82522017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210642174.2A Active CN114802266B (zh) 2022-06-07 2022-06-07 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统

Country Status (2)

Country Link
CN (1) CN114802266B (zh)
WO (1) WO2023236433A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115056786A (zh) * 2022-06-07 2022-09-16 公安部第三研究所 一种基于驾驶人情绪干预的安全驾驶预警系统
CN114834474B (zh) * 2022-06-07 2023-10-27 公安部第三研究所 一种基于驾驶人实时状态监测的主动安全辅助驾驶系统
CN114802266B (zh) * 2022-06-07 2023-10-27 公安部第三研究所 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统
CN115662143B (zh) * 2022-11-21 2023-04-14 吉林大学 一种公交企业运营安全态势动态预测系统及方法
CN115817423B (zh) * 2022-12-27 2023-06-06 交通运输部公路科学研究所 营运车辆车路协同精准制动控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558998A (zh) * 2009-03-06 2009-10-21 北京理工大学 基于多元网络传输的驾驶疲劳状态远程监控预警系统
CN108688673A (zh) * 2017-03-29 2018-10-23 马自达汽车株式会社 车辆驾驶支援系统
CN109572705A (zh) * 2018-12-11 2019-04-05 武汉格罗夫氢能汽车有限公司 一种驾驶员情绪管理方法、设备及存储设备
CN113353086A (zh) * 2021-07-16 2021-09-07 恒大恒驰新能源汽车研究院(上海)有限公司 一种车辆控制方法、装置及电子设备
CN113460062A (zh) * 2021-07-30 2021-10-01 安波福电子(苏州)有限公司 驾驶行为分析系统
CN114360210A (zh) * 2021-12-13 2022-04-15 广西中卫北斗科技有限公司 一种车辆疲劳驾驶预警系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673464A (zh) * 2009-09-27 2010-03-17 上海大学 疲劳驾驶智能管理系统
US10759424B2 (en) * 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
JP2018133721A (ja) * 2017-02-16 2018-08-23 クラリオン株式会社 車載ゲートウェイ装置、通信遮断方法
CN106976460A (zh) * 2017-05-18 2017-07-25 益阳市首航电子科技有限公司 车辆安全驾驶测控系统
US20200207359A1 (en) * 2018-12-27 2020-07-02 Southern Taiwan University Of Science And Technology Smart driving management system and method
CN115056786A (zh) * 2022-06-07 2022-09-16 公安部第三研究所 一种基于驾驶人情绪干预的安全驾驶预警系统
CN114834474B (zh) * 2022-06-07 2023-10-27 公安部第三研究所 一种基于驾驶人实时状态监测的主动安全辅助驾驶系统
CN114802266B (zh) * 2022-06-07 2023-10-27 公安部第三研究所 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558998A (zh) * 2009-03-06 2009-10-21 北京理工大学 基于多元网络传输的驾驶疲劳状态远程监控预警系统
CN108688673A (zh) * 2017-03-29 2018-10-23 马自达汽车株式会社 车辆驾驶支援系统
CN109572705A (zh) * 2018-12-11 2019-04-05 武汉格罗夫氢能汽车有限公司 一种驾驶员情绪管理方法、设备及存储设备
CN113353086A (zh) * 2021-07-16 2021-09-07 恒大恒驰新能源汽车研究院(上海)有限公司 一种车辆控制方法、装置及电子设备
CN113460062A (zh) * 2021-07-30 2021-10-01 安波福电子(苏州)有限公司 驾驶行为分析系统
CN114360210A (zh) * 2021-12-13 2022-04-15 广西中卫北斗科技有限公司 一种车辆疲劳驾驶预警系统

Also Published As

Publication number Publication date
CN114802266A (zh) 2022-07-29
WO2023236433A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
CN114802266B (zh) 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统
CN114834474B (zh) 一种基于驾驶人实时状态监测的主动安全辅助驾驶系统
CN100488443C (zh) 用于监视和管理司机注意力负荷的系统和方法
US9311763B2 (en) Systems and methods for video capture, user feedback, reporting, adaptive parameters, and remote data access in vehicle safety monitoring
US8630768B2 (en) System and method for monitoring vehicle parameters and driver behavior
AU2008262365B2 (en) System and method for automatically registering a vehicle monitoring device
CN1802273B (zh) 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN115056786A (zh) 一种基于驾驶人情绪干预的安全驾驶预警系统
US10032360B1 (en) In-vehicle apparatus for early determination of occupant injury
US20090051510A1 (en) System and Method for Detecting and Reporting Vehicle Damage
CN109228863A (zh) 一种两客一危主动安全智能防控系统
JP2019535566A (ja) 不測のインパルス変化衝突検出器
CN107521485A (zh) 基于车辆制动的驾驶行为分析
DE112012004781T5 (de) Versicherungsverfolgung
GB2522728A (en) Monitoring device
WO2023236431A1 (zh) 一种基于驾驶人全息管理的汽车运输安全监控系统
CN110838044A (zh) 基于移动互联网智能定制大巴的运营平台及其操作方法
CN114912879A (zh) 一种基于全要素管理的危险化学品汽车运输安全监控系统
CN111914237A (zh) 汽车驾驶员生物特征认证和gps服务
US11603120B2 (en) Autonomous driving co-driver switch mode certification system and method of its operation in a commercial vehicle ELD
WO2023236437A1 (zh) 一种基于座椅承压分析的驾驶人疲劳状态监测系统
CN115225661A (zh) 一种基于生物特征识别技术的指定驾驶人管理系统
CN112519787A (zh) 一种车辆控制系统及车辆
CN115086294A (zh) 一种基于云平台的危险品汽车运输安全监控客户端
CN106809117A (zh) 一种汽车安全报警系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant