CN113460060B - 驾驶员疲劳程度评估系统、控制方法及存储介质 - Google Patents

驾驶员疲劳程度评估系统、控制方法及存储介质 Download PDF

Info

Publication number
CN113460060B
CN113460060B CN202110957823.3A CN202110957823A CN113460060B CN 113460060 B CN113460060 B CN 113460060B CN 202110957823 A CN202110957823 A CN 202110957823A CN 113460060 B CN113460060 B CN 113460060B
Authority
CN
China
Prior art keywords
information
vehicle
driver
chip microcomputer
single chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110957823.3A
Other languages
English (en)
Other versions
CN113460060A (zh
Inventor
韦然
刘丽君
魏兴宝
王士军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Linxi Technology Co ltd
Original Assignee
Wuhan Linxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Linxi Technology Co ltd filed Critical Wuhan Linxi Technology Co ltd
Priority to CN202110957823.3A priority Critical patent/CN113460060B/zh
Publication of CN113460060A publication Critical patent/CN113460060A/zh
Application granted granted Critical
Publication of CN113460060B publication Critical patent/CN113460060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice

Abstract

本发明属于人工智能物联网技术领域,公开了一种驾驶员疲劳程度评估系统、控制方法及存储介质。所述系统包括:传感模块、单片机及报警模块;所述传感模块,用于获取车辆行驶信息,并将所述车辆行驶信息发送至所述单片机;所述单片机,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块;所述报警模块,用于根据所述识别结果进行疲劳程度提醒。上述评估系统通过判断车辆的行驶状态,根据车辆行驶信息中包含的环境因素及基于多模态感知模型构建的预设驾驶习惯模型及预设驾驶阈值模型对驾驶员的疲劳程度进行动态分析,本系统成本低、性能稳定,能够通过训练达到个性化疲劳提醒的作用。

Description

驾驶员疲劳程度评估系统、控制方法及存储介质
技术领域
本发明涉及人工智能物联网技术领域,尤其涉及一种驾驶员疲劳程度评估系统、控制方法及存储介质。
背景技术
驾驶员的疲劳驾驶问题逐渐引起人们的重视,技术人员研发了多种疲劳驾驶的检测、评估方法。现有技术包括:通过全球定位系统(Global Positioning System,GPS)识别车辆的运动轨迹,并记录驾驶员的驾驶时间,通过驾驶时间来判断驾驶员的疲劳程度,但上述方法存在GPS信号丢失、驾驶员身体生理状态及车内环境因素影响造成的实际疲劳时间的个体差异的问题。现有技术还包括:识别驾驶员的眨眼次数或眨眼间隔时间,并根据眨眼次数或眨眼间隔时间判断驾驶员的疲劳程度,但该方案受到光线影响较大,并且有硬件设备需求,需要单独配备摄像装置对人脸和人眼进行识别。进一步地,现有技术通过检测驾驶员的心率变异性(Heart Rate Variablity,HRV)来判断驾驶员的疲劳程度,但该方案需要驾驶员佩戴专业的心率检测设备,在实际运用中,舒适性和实时性不强。现有技术还通过行车记录仪学习驾驶员的驾驶习惯和避障响应时间,并根据实际避障响应时间来判断驾驶员疲劳状态,但该方案中,需要单独配备摄像装置,成本较高。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种驾驶员疲劳程度评估系统、控制方法及存储介质,旨在解决现有技术疲劳度检测误差大、成本高的技术问题。
为实现上述目的,本发明提供了一种驾驶员疲劳程度评估系统,所述系统包括:传感模块、单片机及报警模块;其中,
所述传感模块,用于获取车辆行驶信息,并将所述车辆行驶信息发送至所述单片机;
所述单片机,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块;
所述报警模块,用于根据所述识别结果进行疲劳程度提醒。
优选地,所述单片机,还用于获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型;
所述单片机,还用于获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
优选地,所述传感模块包括加速度传感器、温湿度传感器及麦克风;其中,
所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;
所述加速度传感器,用于检测所述车辆驾驶时间及所述车辆加速度信息;
所述温湿度传感器,用于检测所述驾驶室温度信息及所述驾驶室湿度信息;
所述麦克风,用于采集所述驾驶室声音信息。
优选地,所述单片机,还用于根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别,并将识别结果输出至所述报警模块。
优选地,所述报警模块包括发声器、提示灯及交互按键;其中,
所述发声器,用于根据所述识别结果对驾驶员进行声音提示;
所述提示灯,用于根据所述识别结果对驾驶员进行显示提示;
所述交互按键,用于接收驾驶员发送的交互信息。
优选地,所述系统还包括稳压模块;
所述稳压模块,用于对供电电压进行稳压,并将稳压后的供电电压输出至所述单片机。
此外,为实现上述目的,本发明还提出一种驾驶员疲劳程度评估系统控制方法,所述方法基于如上所述的驾驶员疲劳程度评估系统;其中,所述方法包括:
传感模块获取车辆行驶信息,并将所述车辆行驶信息发送至单片机;
所述单片机根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至报警模块;
所述报警模块根据所述识别结果进行疲劳程度提醒。
优选地,所述传感模块获取车辆行驶信息,并将所述车辆行驶信息发送至单片机的步骤之前,还包括:
单片机获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型;
所述单片机获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
优选地,所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;
所述单片机根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别的步骤,具体包括:
所述单片机根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有驾驶员疲劳程度评估系统控制程序,所述驾驶员疲劳程度评估系统控制程序被处理器执行时实现如上文所述的驾驶员疲劳程度评估系统控制方法的步骤。
本发明通过设置一种驾驶员疲劳程度评估系统,所述系统包括:传感模块、单片机及报警模块;其中,所述传感模块,用于获取车辆行驶信息,并将所述车辆行驶信息发送至所述单片机;所述单片机,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块;所述报警模块,用于根据所述识别结果进行疲劳程度提醒。上述评估系统通过判断车辆的行驶状态,根据车辆行驶信息中包含的环境因素及基于多模态感知模型构建的预设驾驶习惯模型及预设驾驶阈值模型对驾驶员的疲劳程度进行动态分析,本系统成本低、性能稳定,能够通过训练达到个性化疲劳提醒的作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明驾驶员疲劳程度评估系统的第一结构示意图;
图2是本发明驾驶员疲劳程度评估系统的第二结构示意图;
图3为本发明驾驶员疲劳程度评估系统控制方法第一实施例的流程示意图。
附图标号说明:
标号 名称 标号 名称
100 传感模块 103 麦克风
200 单片机 301 发声器
300 报警模块 302 提示灯
101 加速度传感器 303 交互按键
102 温湿度传感器 400 稳压模块
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1是本发明驾驶员疲劳程度评估系统的第一结构示意图;
需要说明的是,所述驾驶员疲劳程度评估系统由车辆的车载电源或者移动电源进行供电,所述车载电源可以为12V车载电源。
所述系统包括:传感模块100、单片机200及报警模块300;其中,
所述传感模块100,用于获取车辆行驶信息,并将所述车辆行驶信息发送至所述单片机200。
需要说明的是,所述传感模块100中的传感器可以包括但不限于温湿度传感器、压电式或者压阻式的加速度传感器、麦克风、气体传感器及亮度传感器等,温湿度传感器可以采集车辆的驾驶室内的温度与湿度信息,加速度传感器可以采集车辆的驾驶时间及加速度信息,麦克风的收音部分设置在驾驶室,以使麦克风可以采集驾驶室内的声音。所述亮度传感器可以采集驾驶室内驾驶座位的亮度信息。所述气体传感器可以检测驾驶室的含氧量。所述车辆行驶信息包括但不限于车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息、驾驶室湿度信息、亮度信息及含氧量。
所述单片机200,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块300。
需要说明的是,所述单片机200可以为微控制单元(Microcontroller Unit,MCU),所述单片机200能够对接收到的数据集进行分析与处理。
应当理解的是,所述预设驾驶习惯模型及预设驾驶阈值模型为预先构建的模型,存储在所述单片机200中用以进行疲劳程度的评估。
进一步地,所述单片机200,还用于获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型。
具体实施中,所述单片机200中包含初始化子单元、第一进化子单元及第二进化子单元。图中未示出,但并不影响或限制本实施例的解释说明。
初始化子单元,用于建立第一初始卷积神经网络,并通过预设驾驶样本集合对所述第一初始卷积神经网络进行训练。具体地,所述预设驾驶样本集合中样本数量可以为1000,通过1000个样本对第一初始卷积神经网络进行训练,初始权重为均匀分布的随机参数,网络迭代次数为32次;第一进化子单元,用于根据网络生长队长对第一初始卷积神经网络进行一次生长得到第一初始卷积神经网络对应的第一深度网络,网络迭代次数为32次;第二进化子单元,用于对所述第一深度网络进行生长得到第二深度网络,对第二深度网络进行训练,使得评价误差达到预设指标,且误差收敛速度小于设置阈值;从而得到基于多模态感知模型构建的预设驾驶习惯模型。
具体实施中,若车辆经常为同一驾驶员所使用,可以采集该驾驶员的驾驶样本,并根据驾驶样本建立该驾驶员对应的预设驾驶习惯模型,达到了对驾驶员量身定制疲劳程度检测的作用。
所述单片机200,还用于获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
易于理解的是,驾驶室内存在多种环境因素,其中,声音因素对驾驶员的疲劳程度影响较为明显,不同的声音条件会使驾驶员具有不同的疲劳程度。例如:播放音乐时,音乐可以调动驾驶员情绪,驾驶员不容易展现出疲劳的行为;聊天时,驾驶员与人沟通或者聆听他人对话,也能起到提神的作用,不容易展现出疲劳行为;安静环境中,驾驶员没有外界干扰,没有声音提神,容易产生困倦,疲劳行为较为明显。具体实施中,驾驶员的疲劳阈值因人而异,需要根据驾驶员自身情况进行阈值设置。
应当理解的是,根据声音的不同,可以根据车辆行驶信息中的声音信息确定当前的声音环境类型,比如安静环境(白噪音状态)、音乐环境(音乐状态)、聊天环境(聊天状态)及聊天音乐环境等,各种环境下驾驶员的疲劳阈值也是不同的,需要根据各种环境进行设置。
易于理解的是,本实施例中以聊天状态为例进行说明。在聊天状态下,通过初始化车辆驾驶时间、加速度信息、车辆内部声音、车内温度和车内湿度信息等相关信息参数,建立聊天状态对应的第二初始卷积神经网络;实施第二初始卷积神经网络包括输入层,2级卷积,全连接层,径向基函数层和输出层,各隐层的空间分辨率逐层递增,特征平面的数量逐层递增。
易于理解的是,本实施例中的第一、第二初始卷积神经网络等名称是为了描述时方便而进行的命名,并不代表对实际实施本实施例时的卷积神经网络进行限制。
应当理解的是,第一卷积层是一个由2个特征向量构成的卷积层,是2个大小为5×5的卷积核对输入向量信息进行卷积获得;特征向量的大小为28×28,特征向量中每个神经元与输入层中5×5的邻域相连;同一特征向量的上的所有神经元共享权值,每个滤波器25个连接权值参数和1个偏置参数,一共2个滤波器,第一卷积层共需训练的参数52个。本实施例中,实施输入向量信息即为聊天环境中的车辆驾驶时间、加速度信息、车辆内部声音、车内温度和车内湿度信息等相关信息参数。
需要说明的是,第一降采样层由2个14×14的特征向量组成;第一降采样层特征向量中的每个神经元与第一卷积层中相对神经元的2×2并不重叠,因此,第一降采样层中每个特征向量的大小是第一卷积层中特征向量大小的1/4;第一降采样层需要训练参数一共有4个;第二卷积层通过3种不同的5×5卷积核去卷积层第一降采样层,由3张10×10特征向量组成,即每张含10×10个神经元;第二卷积层中的每个特征向量连接到第一降采样层中的所有1个或者2个特征向量,表示本层的特征向量是上一层提取到的特征向量的不同组合,需要训练的权重为103个;第二降采样层是一个由3张5×5大小的特征向量构成的降采样层;特征向量中的每个单元与第二卷积层中相应特征向量的2×2邻域相连接,与第一卷积层和第一降采样层之间的连接和抽样过程相同;每个特征向量1个权值系数和1个偏置,第二降采样层需训练参数为6个;第三卷积层根据输出层和径向基函数层的神经元数量决定第三卷积层含32个神经元,抽取前一层32个隐性特征;每个神经元与第二降采样层的全部单元的5×5邻域相连。由于第二降采样层特征向量的大小与卷积核的大小相同,都为5x5,所以第三卷积层特征向量的大小为1×1,即每个特征向量只含有1个神经元:因此第二降采样层和第三卷积层之间是全连接。
进一步地,径向基函数层由欧式径向基函数单元组成,有16个神经单元,由输出层的设计决定,与第三卷积层全相连;每个输出径向基函数单元计算输入向量和参数向量之间的欧式距离,采用高斯函数作为基函数;输出层得到聊天模式下疲劳驾驶阈值模型。
易于理解的是,安静环境(白噪音状态)、音乐环境(音乐状态)及聊天音乐环境等环境下的疲劳驾驶阈值模型的构建方式与聊天模式类似,此处不再一一赘述。
所述报警模块300,用于根据所述识别结果进行疲劳程度提醒。
进一步地,参考图2,图2是本发明驾驶员疲劳程度评估系统的第二结构示意图。
所述传感模块100包括加速度传感器101、温湿度传感器102及麦克风103;其中,所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;所述加速度传感器101,用于检测所述车辆驾驶时间及所述车辆加速度信息;所述温湿度传感器102,用于检测所述驾驶室温度信息及所述驾驶室湿度信息;所述麦克风103,用于采集所述驾驶室声音信息。
应当理解的是,单片机200内能够存储传感模块100采集到的历史数据,通过历史数据构建模型或者更新模型,利用实时接收的数据判断驾驶员当前的疲劳程度。
所述单片机200,还用于根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机200,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别,并将识别结果输出至所述报警模块300。
应当理解的是,基于上述实施例可知,驾驶室包含多种声音环境,单片机200根据当前的驾驶室声音信息判断当前处于何种声音环境,例如:检测到当前没有音乐、人声,则判断当前为白噪音状态,选择白噪音状态下的预设驾驶阈值模型为目标驾驶阈值模型。
进一步地,所述报警模块300包括发声器301、提示灯302及交互按键303;其中,所述发声器301,用于根据所述识别结果对驾驶员进行声音提示;所述提示灯302,用于根据所述识别结果对驾驶员进行显示提示;所述交互按键303,用于接收驾驶员发送的交互信息。
易于理解的是,所述发生器可以为蜂鸣器或者喇叭,向驾驶员发出蜂鸣或者语音提示;所述提示灯302可以为LED灯或LED灯屏,进行杉树;所述交互按键303可以接收驾驶员的按键指令,对系统发送关机或者重启指令,使得单片机200接收对应的指令,并执行对应的操作。所述交互按键303还可以用于接收用户的设置指令,使单片机200接收对应的指令进行信息设置。
进一步地,所述系统还包括稳压模块400;所述稳压模块400,用于对供电电压进行稳压,并将稳压后的供电电压输出至所述单片机200。
易于理解的是,所述供电电压由车载电源提供,所述供电电压可以为12V。
具体实施中,所述系统配置有TF(Trans Flash)卡,用以存储数据。进一步地,也可以使用行车数据对驾驶员的行为进行分析,使用OBD(On Board Diagnostics,车载自动诊断系统)接口对数据进行采集,同样可以获得驾驶员的驾驶习惯。结合驾驶室内的温度、湿度、声音环境(特别是白噪音环境)中的比重,获取个性化的疲劳驾驶模型。
实际运用中,本实施例的驾驶员疲劳程度评估系统可以集成于车载行车记录仪内,成为行车记录仪的一个模块。也可以集成在车机系统内,增加车载物联网的功能。
本实施例的上述系统无需联网,保护用户隐私。设备成本低,可用于运输公司收集车辆驾驶员信息,并无需借助GPS信号进行定位,有更普遍的应用型。能够根据个人驾驶习惯、车内温湿度情况等具体情况进行模型构建,更精准地开展疲劳检测和提醒。可扩展程度高,可根据需要连接车辆OBD设备采集车辆数据或设置无线连接模块与移动通信终端连接,实现如定位、导航、疲劳驾驶远程管理等功能。
此外,为实现上述目的,本发明还提出一种驾驶员疲劳程度评估系统控制方法,图3为本发明驾驶员疲劳程度评估系统控制方法第一实施例的流程示意图。所述方法基于如上所述的驾驶员疲劳程度评估系统;其中,
所述方法包括:步骤S10:传感模块获取车辆行驶信息,并将所述车辆行驶信息发送至单片机;
需要说明的是,所述传感模块中的传感器可以包括但不限于温湿度传感器、压电式或者压阻式的加速度传感器、麦克风、气体传感器及亮度传感器等,温湿度传感器可以采集车辆的驾驶室内的温度与湿度信息,加速度传感器可以采集车辆的驾驶时间及加速度信息,麦克风的收音部分设置在驾驶室,以使麦克风可以采集驾驶室内的声音。所述亮度传感器可以采集驾驶室内驾驶座位的亮度信息。所述气体传感器可以检测驾驶室的含氧量。所述车辆行驶信息包括但不限于车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息、驾驶室湿度信息、亮度信息及含氧量。
所述单片机,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块。
需要说明的是,所述单片机可以为微控制单元(Microcontroller Unit,MCU),所述单片机能够对接收到的数据集进行分析与处理。
应当理解的是,所述预设驾驶习惯模型及预设驾驶阈值模型为预先构建的模型,存储在所述单片机中用以进行疲劳程度的评估。
步骤S20:所述单片机根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至报警模块;
所述传感模块包括加速度传感器、温湿度传感器及麦克风;其中,所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;所述加速度传感器,用于检测所述车辆驾驶时间及所述车辆加速度信息;所述温湿度传感器,用于检测所述驾驶室温度信息及所述驾驶室湿度信息;所述麦克风,用于采集所述驾驶室声音信息。
应当理解的是,单片机内能够存储传感模块采集到的历史数据,通过历史数据构建模型或者更新模型,利用实时接收的数据判断驾驶员当前的疲劳程度。
所述步骤S10之前,还包括:
单片机获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型;所述单片机获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
具体实施中,所述单片机中包含初始化子单元、第一进化子单元及第二进化子单元。
初始化子单元,用于建立第一初始卷积神经网络,并通过预设驾驶样本集合对所述第一初始卷积神经网络进行训练。具体地,所述预设驾驶样本集合中样本数量可以为1000,通过1000个样本对第一初始卷积神经网络进行训练,初始权重为均匀分布的随机参数,网络迭代次数为32次;第一进化子单元,用于根据网络生长队长对第一初始卷积神经网络进行一次生长得到第一初始卷积神经网络对应的第一深度网络,网络迭代次数为32次;第二进化子单元,用于对所述第一深度网络进行生长得到第二深度网络,对第二深度网络进行训练,使得评价误差达到预设指标,且误差收敛速度小于设置阈值;从而得到基于多模态感知模型构建的预设驾驶习惯模型。
具体实施中,若车辆经常为同一驾驶员所使用,可以采集该驾驶员的驾驶样本,并根据驾驶样本建立该驾驶员对应的预设驾驶习惯模型,达到了对驾驶员量身定制疲劳程度检测的作用。
易于理解的是,驾驶室内存在多种环境因素,其中,声音因素对驾驶员的疲劳程度影响较为明显,不同的声音条件会使驾驶员具有不同的疲劳程度。例如:播放音乐时,音乐可以调动驾驶员情绪,驾驶员不容易展现出疲劳的行为;聊天时,驾驶员与人沟通或者聆听他人对话,也能起到提神的作用,不容易展现出疲劳行为;安静环境中,驾驶员没有外界干扰,没有声音提神,容易产生困倦,疲劳行为较为明显。具体实施中,驾驶员的疲劳阈值因人而异,需要根据驾驶员自身情况进行阈值设置。
应当理解的是,根据声音的不同,可以根据车辆行驶信息中的声音信息确定当前的声音环境类型,比如安静环境(白噪音状态)、音乐环境(音乐状态)、聊天环境(聊天状态)及聊天音乐环境等,各种环境下驾驶员的疲劳阈值也是不同的,需要根据各种环境进行设置。
易于理解的是,本实施例中以聊天状态为例进行说明。在聊天状态下,通过初始化车辆驾驶时间、加速度信息、车辆内部声音、车内温度和车内湿度信息等相关信息参数,建立聊天状态对应的第二初始卷积神经网络;实施第二初始卷积神经网络包括输入层,2级卷积,全连接层,径向基函数层和输出层,各隐层的空间分辨率逐层递增,特征平面的数量逐层递增。
易于理解的是,本实施例中的第一、第二初始卷积神经网络等名称是为了描述时方便而进行的命名,并不代表对实际实施本实施例时的卷积神经网络进行限制。
应当理解的是,第一卷积层是一个由2个特征向量构成的卷积层,是2个大小为5×5的卷积核对输入向量信息进行卷积获得;特征向量的大小为28×28,特征向量中每个神经元与输入层中5×5的邻域相连;同一特征向量的上的所有神经元共享权值,每个滤波器25个连接权值参数和1个偏置参数,一共2个滤波器,第一卷积层共需训练的参数52个。本实施例中,实施输入向量信息即为聊天环境中的车辆驾驶时间、加速度信息、车辆内部声音、车内温度和车内湿度信息等相关信息参数。
需要说明的是,第一降采样层由2个14×14的特征向量组成;第一降采样层特征向量中的每个神经元与第一卷积层中相对神经元的2×2并不重叠,因此,第一降采样层中每个特征向量的大小是第一卷积层中特征向量大小的1/4;第一降采样层需要训练参数一共有4个;第二卷积层通过3种不同的5×5卷积核去卷积层第一降采样层,由3张10×10特征向量组成,即每张含10×10个神经元;第二卷积层中的每个特征向量连接到第一降采样层中的所有1个或者2个特征向量,表示本层的特征向量是上一层提取到的特征向量的不同组合,需要训练的权重为103个;第二降采样层是一个由3张5×5大小的特征向量构成的降采样层;特征向量中的每个单元与第二卷积层中相应特征向量的2×2邻域相连接,与第一卷积层和第一降采样层之间的连接和抽样过程相同;每个特征向量1个权值系数和1个偏置,第二降采样层需训练参数为6个;第三卷积层根据输出层和径向基函数层的神经元数量决定第三卷积层含32个神经元,抽取前一层32个隐性特征;每个神经元与第二降采样层的全部单元的5×5邻域相连。由于第二降采样层特征向量的大小与卷积核的大小相同,都为5x5,所以第三卷积层特征向量的大小为1×1,即每个特征向量只含有1个神经元:因此第二降采样层和第三卷积层之间是全连接。
进一步地,径向基函数层由欧式径向基函数单元组成,有16个神经单元,由输出层的设计决定,与第三卷积层全相连;每个输出径向基函数单元计算输入向量和参数向量之间的欧式距离,采用高斯函数作为基函数;输出层得到聊天模式下疲劳驾驶阈值模型。
易于理解的是,安静环境(白噪音状态)、音乐环境(音乐状态)及聊天音乐环境等环境下的疲劳驾驶阈值模型的构建方式与聊天模式类似,此处不再一一赘述。
所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;
所述步骤S20,具体包括:
所述单片机根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别。
应当理解的是,基于上述实施例可知,驾驶室包含多种声音环境,单片机根据当前的驾驶室声音信息判断当前处于何种声音环境,例如:检测到当前没有音乐、人声,则判断当前为白噪音状态,选择白噪音状态下的预设驾驶阈值模型为目标驾驶阈值模型。
步骤S30:所述报警模块根据所述识别结果进行疲劳程度提醒。
进一步地,所述报警模块包括发声器、提示灯及交互按键;其中,所述发声器,用于根据所述识别结果对驾驶员进行声音提示;所述提示灯,用于根据所述识别结果对驾驶员进行显示提示;所述交互按键,用于接收驾驶员发送的交互信息。
易于理解的是,所述发生器可以为蜂鸣器或者喇叭,向驾驶员发出蜂鸣或者语音提示;所述提示灯可以为LED灯或LED灯屏,进行杉树;所述交互按键可以接收驾驶员的按键指令,对系统发送关机或者重启指令,使得单片机接收对应的指令,并执行对应的操作。所述交互按键还可以用于接收用户的设置指令,使单片机接收对应的指令进行信息设置。
本实施例的上述方法无需联网,保护用户隐私。设备成本低,可用于运输公司收集车辆驾驶员信息,并无需借助GPS信号进行定位,有更普遍的应用型。能够根据个人驾驶习惯、车内温湿度情况等具体情况进行模型构建,更精准地开展疲劳检测和提醒。可扩展程度高,可根据需要连接车辆OBD设备采集车辆数据或设置无线连接模块与移动通信终端连接,实现如定位、导航、疲劳驾驶远程管理等功能。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有驾驶员疲劳程度评估系统控制程序,所述驾驶员疲劳程度评估系统控制程序被处理器执行如上文所述的驾驶员疲劳程度评估系统控制方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的驾驶员疲劳程度评估方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种驾驶员疲劳程度评估系统,其特征在于,所述系统包括:传感模块、单片机及报警模块;其中,
所述传感模块,用于获取车辆行驶信息,并将所述车辆行驶信息发送至所述单片机;
所述单片机,用于根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至所述报警模块;
所述报警模块,用于根据所述识别结果进行疲劳程度提醒;
其中,所述单片机,还用于根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别,并将识别结果输出至所述报警模块。
2.如权利要求1所述的驾驶员疲劳程度评估系统,其特征在于,所述单片机,还用于获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型;
所述单片机,还用于获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
3.如权利要求2所述的驾驶员疲劳程度评估系统,其特征在于,所述传感模块包括加速度传感器、温湿度传感器及麦克风;其中,
所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;
所述加速度传感器,用于检测所述车辆驾驶时间及所述车辆加速度信息;
所述温湿度传感器,用于检测所述驾驶室温度信息及所述驾驶室湿度信息;
所述麦克风,用于采集所述驾驶室声音信息。
4.如权利要求1所述的驾驶员疲劳程度评估系统,其特征在于,所述报警模块包括发声器、提示灯及交互按键;其中,
所述发声器,用于根据所述识别结果对驾驶员进行声音提示;
所述提示灯,用于根据所述识别结果对驾驶员进行显示提示;
所述交互按键,用于接收驾驶员发送的交互信息。
5.如权利要求4所述的驾驶员疲劳程度评估系统,其特征在于,所述系统还包括稳压模块;
所述稳压模块,用于对供电电压进行稳压,并将稳压后的供电电压输出至所述单片机。
6.一种驾驶员疲劳程度评估系统控制方法,其特征在于,所述方法基于如权利要求1至5任一项所述的驾驶员疲劳程度评估系统;其中,所述方法包括:
传感模块获取车辆行驶信息,并将所述车辆行驶信息发送至单片机;
所述单片机根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别,并将识别结果输出至报警模块;
所述报警模块根据所述识别结果进行疲劳程度提醒。
7.如权利要求6所述的驾驶员疲劳程度评估系统控制方法,其特征在于,所述传感模块获取车辆行驶信息,并将所述车辆行驶信息发送至单片机的步骤之前,还包括:
单片机获取第一初始卷积神经网络及预设驾驶样本集合,并根据所述预设驾驶样本集合对所述第一初始卷积神经网络进行训练,以获取基于多模态感知模型构建的预设驾驶习惯模型;
所述单片机获取第二初始卷积神经网络及预设车辆行驶信息样本,并根据所述第二初始卷积神经网络及所述预设车辆行驶信息样本获取预设驾驶阈值模型。
8.如权利要求6所述的驾驶员疲劳程度评估系统控制方法,其特征在于,所述车辆行驶信息包括车辆驾驶时间、车辆加速度信息、驾驶室声音信息、驾驶室温度信息及驾驶室湿度信息;
所述单片机根据预设驾驶习惯模型及预设驾驶阈值模型对所述车辆行驶信息进行识别的步骤,具体包括:
所述单片机根据当前的驾驶室声音信息判断当前环境类型,并根据所述当前环境类型及所述预设驾驶阈值模型确定目标驾驶阈值模型;
所述单片机,还用于根据所述目标驾驶阈值模型、所述预设驾驶习惯模型对当前的车辆行驶信息进行识别。
9.一种存储介质,其特征在于,所述存储介质上存储有驾驶员疲劳程度评估系统控制程序,所述驾驶员疲劳程度评估系统控制程序被处理器执行时实现如权利要求6至8任一项所述的驾驶员疲劳程度评估系统控制方法的步骤。
CN202110957823.3A 2021-08-20 2021-08-20 驾驶员疲劳程度评估系统、控制方法及存储介质 Active CN113460060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957823.3A CN113460060B (zh) 2021-08-20 2021-08-20 驾驶员疲劳程度评估系统、控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110957823.3A CN113460060B (zh) 2021-08-20 2021-08-20 驾驶员疲劳程度评估系统、控制方法及存储介质

Publications (2)

Publication Number Publication Date
CN113460060A CN113460060A (zh) 2021-10-01
CN113460060B true CN113460060B (zh) 2022-12-09

Family

ID=77867994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957823.3A Active CN113460060B (zh) 2021-08-20 2021-08-20 驾驶员疲劳程度评估系统、控制方法及存储介质

Country Status (1)

Country Link
CN (1) CN113460060B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114376577B (zh) * 2022-02-23 2022-07-29 北京中科智易科技有限公司 一种基于三轴加速度振动分析乘员疲劳度的方法
CN115762572B (zh) * 2022-11-18 2024-01-02 昆山适途模型科技有限公司 一种用于汽车车内噪音模型的评估方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014222777A1 (de) * 2014-11-07 2016-05-12 Robert Bosch Gmbh Verfahren zum Bestimmen eines Müdigkeitszustands eines Fahrers eines Kraftfahrzeugs, Müdigkeitserkennungseinrichtung, Kraftfahrzeug
CN106339692B (zh) * 2016-03-08 2019-04-23 天津工业大学 一种疲劳驾驶状态信息确定方法及系统
CN107742399B (zh) * 2017-11-16 2022-02-22 百度在线网络技术(北京)有限公司 用于发出告警信号的方法及装置
CN109591825A (zh) * 2018-11-29 2019-04-09 北京新能源汽车股份有限公司 一种驾驶疲劳检测方法、装置及车辆
CN110091877A (zh) * 2019-05-15 2019-08-06 东风小康汽车有限公司重庆分公司 用于车辆安全驾驶的控制方法、系统及车辆
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质
CN111968341A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测系统及方法

Also Published As

Publication number Publication date
CN113460060A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113460060B (zh) 驾驶员疲劳程度评估系统、控制方法及存储介质
CN108122556B (zh) 减少驾驶人语音唤醒指令词误触发的方法及装置
US10453443B2 (en) Providing an indication of the suitability of speech recognition
US10467509B2 (en) Computationally-efficient human-identifying smart assistant computer
EP3046053B1 (en) Method and apparatus for training language model
CN107703931B (zh) 用于控制无人驾驶车辆的方法和装置
EP3582123A1 (en) Emotion state prediction method and robot
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
CN110348002A (zh) 实现语音请求的系统和方法
US8688309B2 (en) Active and stateful hyperspectral vehicle evaluation
GB2528083A (en) System and method for automated device control for vehicles using driver emotion
US20210349433A1 (en) System and method for modifying an initial policy of an input/output device
CN112381126B (zh) 室内外场景识别方法、装置、电子设备及存储介质
KR20180081444A (ko) 콘텐츠를 처리하는 장치 및 방법
US11772674B2 (en) Systems and methods for increasing the safety of voice conversations between drivers and remote parties
KR20210116309A (ko) 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술
WO2021185468A1 (en) Technique for providing a user-adapted service to a user
CN111243604B (zh) 支持多唤醒词的说话人识别神经网络模型的训练方法、说话人识别方法及系统
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
US11710497B2 (en) Method and apparatus for speech analysis
CN107003736A (zh) 用于获取指示用户状态的状态数据的方法和装置
CN111081102B (zh) 一种听写结果的检测方法及学习设备
CN112633387A (zh) 一种安全提醒方法、装置、设备、系统及存储介质
US20230211744A1 (en) Technique for providing a user-adapted service to a user
US20230129746A1 (en) Cognitive load predictor and decision aid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant