CN110001652B - 驾驶员状态的监测方法、装置及终端设备 - Google Patents
驾驶员状态的监测方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110001652B CN110001652B CN201910233210.8A CN201910233210A CN110001652B CN 110001652 B CN110001652 B CN 110001652B CN 201910233210 A CN201910233210 A CN 201910233210A CN 110001652 B CN110001652 B CN 110001652B
- Authority
- CN
- China
- Prior art keywords
- driver
- index
- physiological
- psychological
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明适用于计算机技术领域,提供了一种驾驶员状态的监测方法、装置和终端设备,所述方法包括:获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;根据人脸视频及语音信息,确定驾驶员的生理指标和心理指标;根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施。本发明通过视频和音频双重因素确定驾驶员的生理指标和心理指标,能够使生理指标和心理指标的检查结果更加精确,从而根据精确的检测结果对驾驶行为进行干预,避免驾驶员因疲劳、心理紧张(如路怒)或突发疾病等危险驾驶造成交通事故,保证驾驶员的行车安全。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种驾驶员状态的监测方法、装置及终端设备。
背景技术
随着汽车数量的日益增多和高速公路的不端延伸,车速越来越快,道路交通安全形势日益严峻,汽车交通事故随之增多,不仅造成了大量人员伤亡和巨额的经济损失,而且导致了诸多社会问题。根据调查显示,交通事故的两个重要原因就是心理紧张(如路怒等)和疲劳驾驶,驾驶员在心理紧张或者疲劳时,对周围环境的感知判断能力和对车辆的操控能力都大幅度降低,很容易发生交通事故。
目前,对驾驶员疲劳驾驶的防范措施通常是通过对驾驶员的行驶过程进行图像监测,并根据图像判断是否为瞌睡,但是单纯的瞌睡监测是疲劳驾驶的结果,无法提前准确的判断出驾驶员的疲劳状态和心理状态,对危险驾驶的预防效果欠佳。
发明内容
有鉴于此,本发明实施例提供了驾驶员状态的监测方法及终端设备,以解决现有技术中单纯的图像监测无法准确的判断出驾驶员的身体状态,对危险驾驶的防范效果欠佳的问题。
本发明实施例的第一方面提供了一种驾驶员状态的监测方法,包括:
获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;
根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;
根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;
根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施。
本发明实施例的第二方面提供了一种驾驶员状态的监测装置,包括:
驾驶员信息获取模块,用于获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;
指标生成模块,用于根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;
健康指标检测模块,用于根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;
防范措施获取模块,用于根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防范措施。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述驾驶员状态的监测方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述驾驶员状态的监测方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标,能够使生理指标、心理指标和健康指标的检查结果更加精确,从而根据精确的检测结果对驾驶行为进行干预,避免驾驶员因疲劳、心理紧张或突发疾病等危险驾驶造成交通事故,保证驾驶员的行车安全。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的驾驶员状态的监测方法的实现流程示意图;
图2是本发明实施例提供的图1中S101的实现流程示意图;
图3是本发明实施例提供的图2中S201的实现流程示意图;
图4是本发明实施例提供的图1中S103的实现流程示意图;
图5是本发明实施例提供的驾驶员状态的监测方法的结构示意图;
图6是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同对象,而非用于描述特定顺序。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例1:
图1示出了本发明的一个实施例提供的驾驶员状态的监测方法的实现流程,其过程详述如下:
S101:获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息。
在本实施例中,驾驶员状态的监测方法应用于设置在驾驶车辆内部的终端设备。终端设备分别与图像采集装置和麦克风连接,图像采集装置设置于驾驶位前方可以拍摄到驾驶员脸部图像的位置。同样的,麦克风设置在驾驶位前方能够清晰接收到驾驶员声音的位置。
在本实施例中,图像采集装置采集目标人物的人脸图像,并合成人脸视频。图像采集装置可以为摄像头、摄像机、相机、扫描仪、手机、平板电脑等其他带有拍照功能的设备中的一种或多种,以及视频采集卡。
当图像采集装置采集到人脸视频时,各个图像采集装置按照预设时间段将人脸视频发送至终端设备,预设时间段可以为5s或者10s。
S102:根据所述人脸视频及语音信息,确定所述驾驶员的生理指标和心理指标。
在本实施例中,单独的基于人脸视频的心理检测可能存在误差,因此,为了提高驾驶员心理指标的检测,对人脸视频及语音信息进行综合计算分析,得到准确的心理指标。
S103:根据所述驾驶员的生理指标,对所述驾驶员的健康指标进行检测。
在本实施例中,根据驾驶员的生理指标和心理指标,可以检测驾驶员的健康指标是否存在异常,如房颤或者糖尿病等异常。
S103:根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防范措施。
在本实施例中,当检测出驾驶员当前的生理指标、心理指标及健康指标等身体状态信息时,根据身体的状态信息对行车驾驶行为采取相应的措施,例如,当检测到驾驶员疲惫时,可以发出警告,并对车辆进行限速,从而降低事故发生的概率。
从上述实施例可知,本发明实施例获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标,能够使生理指标、心理指标和健康指标的检查结果更加精确,从而根据精确的检测结果对驾驶行为进行干预,避免驾驶员因疲劳或突发疾病等危险驾驶造成交通事故,保证驾驶员的行车安全。
在本发明的一个实施例中,所述人脸视频包括第一人脸视频和第二人脸视频,所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头,图1的S101具体包括:
获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频;或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸信息。
在本实施例中,由于驾驶员在开车途中,外界光线变化较大,因此可以采用红外摄像头来保持恒定的照明。红外摄像头采用红外线照明灯照射驾驶员,使照射到驾驶员身上的光线恒定,红外摄像头采用红外滤光片,滤除可见光,得到红外图像,使拍摄的图像不受外界可见光的干扰,提高人脸视频的准确性。
在本实施例中,在光线变化不大的情况下,也可以采用普通彩色摄像头的第二人脸视频进行生理指标提取。
在本实施例中,普通彩色摄像头和红外摄像头的选择根据实时的现场光照情况自动进行判断,具体包括:
终端设备获取一段时间内的光照信息,当光照强度变化较小时,调用普通彩色摄像头拍摄驾驶员的人脸视频,当光照强度变化较大时,调用红外摄像头拍摄驾驶员的人脸视频,本实施例中一段时间可以为5分钟或者10分钟。
如图2所示,在本发明的一个实施例中,图2示出了S102的具体实现流程,其过程详述如下:
S201:根据所述人脸视频,提取所述驾驶员的生理特征、表情信息及生理指标,所述生理特征包括性别、年龄和种族,所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种,所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种。
S202:提取所述语音信息中的语音特征,并将所述语音信息转化为文本信息。
在本实施例中,根据驾驶员的语音信息中的语音特征,可以得到该驾驶员的当前状态,例如,可以根据驾驶员说话的语气,判断该驾驶员是否存在痛苦、不舒服的情况。
可选的,还可以将提取到的语音信息转化为文本信息,根据文本信息及语音特征,准确的获取驾驶员想要表达的意思。
S203:根据所述生理特征、表情信息、生理指标、语音特征及文本信息,得到所述驾驶员的心理指标。
在本实施例中,根据人脸视频及语音信息,可以得到驾驶员的生理指标及心理指标,从而根据驾驶员的生理指标及心理指标,得到驾驶员当前的身体健康状况。
如图3所示,在本发明的一个实施例中,图3示出了S201的具体实现流程,其过程详述如下:
S301:将所述人脸视频输入第一深度学习模型,得到所述驾驶员的生理特征。
在本实施例中,可以预先采用大量的第一训练样本训练第一深度学习模型,第一训练样本包括人脸视频和生理特征。然后将人脸视频输入训练好的第一深度学习模型,根据人脸视频中的人脸特征,得到驾驶员的性别、年龄和种族等生理特征。
可以理解的,由于年龄、性别以及种族不同,人的生理指标的正常取值范围不同。因此,为了提高生理指标检测结果的准确性,需要通过人脸视频获取驾驶员的生理特征,然后通过获取到的生理指标,参考生理特征,确定驾驶员的生理指标是否正常。
S302:将所述人脸视频输入第二深度学习模型,得到所述驾驶员的表情信息。
在本实施例中,获取第二训练样本训练第二深度学习模型,第二训练样本包括人脸视频和对应的表情信息。然后将人脸视频输入训练好的第二深度学习模型,提取人脸视频中的表情信息,表情信息可以包括微笑、哭泣和痛苦等表情。
S303:根据所述人脸视频,检测所述驾驶员毛细血管的变化规律,得到所述驾驶员的心率、血氧及心率变异性;以及检测所述驾驶员呼吸时肌肉的变化规律,得到所述驾驶员的呼吸数据。
在本实施例中,当人脸视频为第一人脸视频时,第一人脸视频为驾驶员的人脸红外图像,通过对驾驶员呼吸时毛细血管的变化规律进行检测分析,得到驾驶员的心率、心率变异性、血氧及血压等生理指标。并根据第一人脸视频,检测驾驶员呼吸时肌肉的变化规律,得到驾驶员的呼吸数据。进一步地,还可以通过深度学习方法确定驾驶员的生理指标。
当人脸视频为第二人脸视频时,第二人脸视频为驾驶员的人脸彩色图像,通过对驾驶员呼吸时毛细血管的变化规律进行检测分析,得到驾驶员的心率、心率变异性、血氧及血压等生理指标。并根据第二人脸视频,检测驾驶员呼吸时肌肉的变化规律,得到驾驶员的呼吸数据。进一步地,还可以通过深度学习方法确定驾驶员的生理指标。
在本发明的一个实施例中,图2中的S203的实现流程还可以包括:
将所述生理特征、表情信息、生理指标、语音特征及文本信息输入第三深度学习模型,得到所述驾驶员的心理指标。
在本实施例中,通过对生理特征、表情信息、生理指标、语音信息等多种因素综合分析,可以得到对应的心理指标。将这种关系经过训练得到第三深度学习模型,从而根据第三深度学习模型,及上述多种因素,得到驾驶员的心理指标,能够提高心理指标检测的准确性。
在本实施例中,心理指标可以包括清醒、生理疲惫、昏昏欲睡、紧张、放松、痛苦、愉悦等中的一种或多种。
在本发明的一个实施例中,所述心理指标包括紧张和疲惫,所述健康指标包括异常指标,所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种,S103的具体实现流程可以如图4所示,其过程详述如下:
S401:若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标,则生成语音提醒信息及限速指令,并播报所述语音提醒信息,以及发送所述限速指令至所述车辆控制端,所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度。
具体地,若驾驶员的血压变化值超出预设血压变化阈值,则判定驾驶员身体状况非常差,处于危险驾驶状态,则生成语音提醒信息,提醒驾驶员当前身体状况非常差,建议靠边停车,并对车辆进行限速控制或停车控制。
进一步地,当检测到驾驶员的身体状况非常差时,终端设备可以根据检测得到的结果生成报警信息,报警信息包括GPS定位得到的位置信息、检测得到的驾驶员的心理指标及生理指标,将报警信息发送至急救中心,急救人员根据报警信息可以根据驾驶员的心理指标和生理指标提前准备需要的药物和设备,并及时的到达现场,从而避免驾驶员在行驶过程中发生急症而造成的事故,保证了驾驶员及其他路人的安全。
S402:若所述驾驶员的心理指标为紧张或疲惫,则生成音乐播放指令,并将所述音乐播放指令发送至车载音乐播放器,所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。
在本实施例中,当心理指标为紧张或疲惫时,也可以生成限速指令,对车辆进行自动限速,同时可以生成语音信息,提醒驾驶员注意休息,避免疲劳驾驶。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例2:
如图5所示,本发明的一个实施例提供的驾驶员状态的监测装置100,用于执行图1所对应的实施例中的方法步骤,其包括:
驾驶员信息获取模块110,用于获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;
指标生成模块120,用于根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;
健康指标检测模块130,用于根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;
防范措施获取模块140,用于根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防范措施。
从上述实施例可知,本发明实施例获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标,能够使生理指标、心理指标和健康指标的检查结果更加精确,从而根据精确的检测结果对驾驶行为进行干预,避免驾驶员因疲劳或突发疾病等危险驾驶造成交通事故,保证驾驶员的行车安全。
在本发明的一个实施例中,所述人脸视频包括第一人脸视频和第二人脸视频,所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头,图5所对应的实施例中的驾驶员信息获取模块110包括:获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频;或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸视频。
在本发明的一个实施例中,图5所对应的实施例中的指标生成模块还包括用于执行图2所对应的实施例中的方法步骤的结构,其包括:
人脸视频分析单元,用于根据所述人脸视频,提取所述驾驶员的生理特征、表情信息及生理指标,所述生理特征包括性别、年龄和种族,所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种,所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种;
语音分析单元,用于提取所述语音信息中的语音特征,并将所述语音信息转化为文本信息;
心理指标获取单元,用于根据所述生理特征、表情信息、生理指标、语音特征及文本信息,得到所述驾驶员的心理指标。
在本发明的一个实施例中,人脸视频分析单元还包括用于执行图3所对应的实施例中的方法步骤的结构,其包括:
生理特征获取子单元,用于将所述人脸视频输入第一深度学习模型,得到所述驾驶员的生理特征;
表情信息获取子单元,用于将所述人脸视频输入第二深度学习模型,得到所述驾驶员的表情信息;
生理指标获取子单元,用于检测所述驾驶员毛细血管的变化规律,得到所述驾驶员的心率、血氧及心率变异性;以及检测所述驾驶员呼吸时肌肉的变化规律,得到所述驾驶员的呼吸数据。
在本发明的一个实施例中,心理指标获取单元具体包括:将所述生理特征、表情信息、生理指标、语音特征及文本信息输入第三深度学习模型,得到所述驾驶员的心理指标。
在本发明的一个实施例中,所述心理指标包括紧张和疲惫,所述健康指标包括异常指标,所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种,图5所对应的实施例中的防范措施获取模块130还包括用于执行图4所对应的实施例中的方法步骤的结构,其包括:
第一防范措施获取单元,用于若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标,则生成语音提醒信息及限速指令,并播报所述语音提醒信息,以及发送所述限速指令至所述车辆控制端,所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度;
第二防范措施获取单元,用于若所述驾驶员的心理指标为紧张或疲惫,则生成音乐播放指令,并将所述音乐播放指令发送至车载音乐播放器,所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。
在一个实施例中,驾驶员状态的监测装置100还包括其他功能模块/单元,用于实现实施例1中各实施例中的方法步骤。
实施例3:
本发明实施例还提供了一种终端设备6,包括存储器61、处理器60以及存储在存储器61中并可在处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时实现如实施例1中所述的各实施例中的步骤,例如图1所示的步骤S101至步骤S104。或者,所述处理器60执行所述计算机程序62时实现如实施例2中所述的各装置实施例中的各模块的功能,例如图5所示的模块110至140的功能。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备6可包括,但不仅限于,处理器60、存储器61。例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器60等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序62以及所述终端设备6所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
实施例4:
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序62,计算机程序62被处理器60执行时实现如实施例1中所述的各实施例中的步骤,例如图1所示的步骤S101至步骤S104。或者,所述计算机程序62被处理器60执行时实现如实施例2中所述的各装置实施例中的各模块的功能,例如图5所示的模块110至140的功能。
所述的计算机程序62可存储于一计算机可读存储介质中,该计算机程序62在被处理器60执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序62包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种驾驶员状态的监测方法,其特征在于,包括:
获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;
根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;
根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;
根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防预措施;
所述根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标,包括:
根据所述人脸视频,提取所述驾驶员的生理特征、表情信息及生理指标;
提取所述语音信息中的语音特征,并将所述语音信息转化为文本信息;
根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息,得到所述驾驶员的心理指标。
2.如权利要求1所述的驾驶员状态的监测方法,其特征在于,所述人脸视频包括第一人脸视频和第二人脸视频,所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头,所述获取图像采集装置采集的驾驶员的人脸视频,包括:
获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频;或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸信息。
3.如权利要求1所述的驾驶员状态的监测方法,其特征在于,
所述生理特征包括性别、年龄和种族,所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种,所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种。
4.如权利要求3所述的驾驶员状态的监测方法,其特征在于,所述根据所述人脸视频,提取所述驾驶员的生理特征、表情信息及生理指标,包括:
将所述人脸视频输入第一深度学习模型,得到所述驾驶员的生理特征;
将所述人脸视频输入第二深度学习模型,得到所述驾驶员的表情信息;
根据所述人脸视频,检测所述驾驶员毛细血管的变化规律,得到所述驾驶员的心率、血氧及心率变异性;以及检测所述驾驶员呼吸时肌肉的变化规律,得到所述驾驶员的呼吸数据。
5.如权利要求3所述的驾驶员状态的监测方法,其特征在于,所述根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息,得到所述驾驶员的心理指标,包括:
将所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息输入第三深度学习模型,得到所述驾驶员的心理指标。
6.如权利要求1至2任一项所述的驾驶员状态的监测方法,其特征在于,所述心理指标包括紧张和疲惫,所述健康指标包括异常指标,所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种,所述根据所述驾驶员的生理指标及心理指标,生成相应的防范措施,包括:
若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标,则生成语音提醒信息及限速指令,并播报所述语音提醒信息,以及发送所述限速指令至车辆控制端,所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度;
若所述驾驶员的心理指标为紧张或疲惫,则生成音乐播放指令,并将所述音乐播放指令发送至车载音乐播放器,所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。
7.一种驾驶员状态的监测装置,其特征在于,包括:
驾驶员信息获取模块,用于获取图像采集装置采集的驾驶员的人脸视频,并获取麦克风采集的驾驶员的语音信息;
指标生成模块,用于根据所述人脸视频及所述语音信息,确定所述驾驶员的生理指标和心理指标;
健康指标检测模块,用于根据所述驾驶员的生理指标及心理指标,对所述驾驶员的健康指标进行检测;
防范措施获取模块,用于根据所述驾驶员的生理指标、心理指标及健康指标,生成相应的防范措施;
所述指标生成模块包括:
人脸视频分析单元,用于根据所述人脸视频,提取所述驾驶员的生理特征、表情信息及生理指标;
语音分析单元,用于提取所述语音信息中的语音特征,并将所述语音信息转化为文本信息;
心理指标获取单元,用于根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息,得到所述驾驶员的心理指标。
8.如权利要求7所述的驾驶员状态的监测装置,其特征在于,所述人脸视频包括第一人脸视频和第二人脸视频,所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头,所述驾驶员信息获取模块,包括:
获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频;
或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸视频。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910233210.8A CN110001652B (zh) | 2019-03-26 | 2019-03-26 | 驾驶员状态的监测方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910233210.8A CN110001652B (zh) | 2019-03-26 | 2019-03-26 | 驾驶员状态的监测方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110001652A CN110001652A (zh) | 2019-07-12 |
CN110001652B true CN110001652B (zh) | 2020-06-23 |
Family
ID=67168323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910233210.8A Active CN110001652B (zh) | 2019-03-26 | 2019-03-26 | 驾驶员状态的监测方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110001652B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781719A (zh) * | 2019-09-02 | 2020-02-11 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理状态智能监测系统 |
CN110638473A (zh) * | 2019-09-10 | 2020-01-03 | 中国平安财产保险股份有限公司 | 疲劳驾驶判定的方法、装置、电子设备和存储介质 |
CN111002989A (zh) * | 2019-11-06 | 2020-04-14 | 上海擎感智能科技有限公司 | 驾驶安全监测方法、车载终端及计算机可读存储介质 |
CN111160697A (zh) * | 2019-11-22 | 2020-05-15 | 深圳壹账通智能科技有限公司 | 基于模式识别的公车司机上岗判定方法及相关设备 |
CN113002550A (zh) * | 2019-12-20 | 2021-06-22 | 成都鼎桥通信技术有限公司 | 车辆智能控制装置、方法和计算机可读存储介质 |
CN111195133A (zh) * | 2019-12-25 | 2020-05-26 | 杭州中威电子股份有限公司 | 一种能够实时检测疲劳的装置及方法 |
CN111231970A (zh) * | 2020-02-27 | 2020-06-05 | 广汽蔚来新能源汽车科技有限公司 | 健康调节方法、装置、计算机设备和存储介质 |
CN111452747A (zh) * | 2020-04-03 | 2020-07-28 | 宁波吉利汽车研究开发有限公司 | 一种车载健康监测方法及监测系统 |
CN111613329A (zh) * | 2020-05-07 | 2020-09-01 | 奇瑞汽车股份有限公司 | 一种驾驶员状态监控系统 |
CN111547063A (zh) * | 2020-05-12 | 2020-08-18 | 武汉艾瓦客机器人有限公司 | 一种疲劳检测的智能车载情感交互装置 |
CN111657973A (zh) * | 2020-07-09 | 2020-09-15 | 海南科技职业大学 | 一种基于人工智能的疲劳程度检测系统 |
CN112193250B (zh) * | 2020-09-25 | 2022-03-18 | 三一专用汽车有限责任公司 | 车辆运行状态的监控方法、车辆和计算机可读存储介质 |
CN113375314A (zh) * | 2021-05-18 | 2021-09-10 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置及空调 |
CN113676771A (zh) * | 2021-08-03 | 2021-11-19 | 维沃移动通信(杭州)有限公司 | 视频生成方法、装置、设备和存储介质 |
CN113792663B (zh) * | 2021-09-15 | 2024-05-14 | 东北大学 | 一种驾驶员酒驾以及疲劳驾驶的检测方法、装置及存储介质 |
CN117445805B (zh) * | 2023-12-22 | 2024-02-23 | 吉林大学 | 面向公交车司乘冲突的人员预警和行车控制方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
CN105980228A (zh) * | 2014-02-12 | 2016-09-28 | 株式会社电装 | 驾驶辅助装置 |
CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦(盘锦)机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10170111B2 (en) * | 2017-01-19 | 2019-01-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior |
-
2019
- 2019-03-26 CN CN201910233210.8A patent/CN110001652B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
CN105980228A (zh) * | 2014-02-12 | 2016-09-28 | 株式会社电装 | 驾驶辅助装置 |
CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦(盘锦)机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110001652A (zh) | 2019-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110001652B (zh) | 驾驶员状态的监测方法、装置及终端设备 | |
Lee et al. | Convolutional neural network-based classification of driver’s emotion during aggressive and smooth driving using multi-modal camera sensors | |
Lee et al. | A smartphone-based driver safety monitoring system using data fusion | |
Kong et al. | A system of driving fatigue detection based on machine vision and its application on smart device | |
Abbas et al. | Driver fatigue detection systems using multi-sensors, smartphone, and cloud-based computing platforms: a comparative analysis | |
CN109460752B (zh) | 一种情绪分析方法、装置、电子设备及存储介质 | |
US9408562B2 (en) | Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program | |
CN111241883B (zh) | 防止远程被测人员作弊的方法和装置 | |
US10085683B1 (en) | Vehicle fatigue monitoring system | |
US11211095B1 (en) | Modifying media content playback based on user mental state | |
KR102474247B1 (ko) | 개인 안전 장치 및 그 동작방법 | |
CN112150327A (zh) | 一种用于学生体质检测的测试系统 | |
US10667737B2 (en) | Monitoring a person for indications of a brain injury | |
JP2015229040A (ja) | 感情分析システム、感情分析方法および感情分析プログラム | |
CN110638473A (zh) | 疲劳驾驶判定的方法、装置、电子设备和存储介质 | |
CN118447879A (zh) | 一种语音情感分析系统 | |
Dziuda et al. | Evaluation of a fatigue detector using eye closure-associated indicators acquired from truck drivers in a simulator study | |
CN113647950A (zh) | 心理情绪检测方法及系统 | |
US9962118B2 (en) | Monitoring a person for indications of a brain injury | |
Rundo et al. | Innovative saliency based deep driving scene understanding system for automatic safety assessment in next-generation cars | |
KR102100418B1 (ko) | 감정 상태를 개선시키는 방법 및 그 장치 | |
Kwon et al. | Sinabro: A smartphone-integrated opportunistic electrocardiogram monitoring system | |
CN113764099A (zh) | 基于人工智能的心理状态分析方法、装置、设备及介质 | |
Nair et al. | A review on recent driver safety systems and its emerging solutions | |
CN112842358A (zh) | 脑部生理数据的处理系统、方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |