CN113771859B - 智能行车干预方法、装置、设备及计算机可读存储介质 - Google Patents
智能行车干预方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113771859B CN113771859B CN202111016482.6A CN202111016482A CN113771859B CN 113771859 B CN113771859 B CN 113771859B CN 202111016482 A CN202111016482 A CN 202111016482A CN 113771859 B CN113771859 B CN 113771859B
- Authority
- CN
- China
- Prior art keywords
- driver
- emotion
- parameter information
- intervention
- importing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008451 emotion Effects 0.000 claims abstract description 142
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 18
- 230000006996 mental state Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 claims description 8
- 206010039203 Road traffic accident Diseases 0.000 abstract description 18
- 238000004590 computer program Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000036651 mood Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
- B60W2050/0029—Mathematical model of the driver
Abstract
本申请涉及一种智能行车干预方法、装置、设备及计算机可读存储介质,涉及智能化驾驶技术领域,包括创建情绪等级与干预措施之间的映射关系;获取驾驶员的参数信息,参数信息包括心率数据、音频数据和视频数据;将参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;基于驾驶员的情绪等级与映射关系确定待执行的干预措施;控制车辆执行待执行的干预措施。本申请可实时获取驾驶员的情绪等级,基于情绪等级可获悉驾驶员的情绪状态是否处于极端情绪中,进而判断驾驶员的当前行驶是否处于“激情驾驶”,而对于处于“激情驾驶”的车辆,采取干预措施以控制车辆的正常运行,从而避免因“激情驾驶”而导致交通事故的发生,有效降低了交通事故发生率。
Description
技术领域
本申请涉及智能化驾驶技术领域,特别涉及一种智能行车干预方法、装置、设备及计算机可读存储介质。
背景技术
随着人们生活水平的提高和汽车技术的发展,人们对汽车的定义从日常交通工具,逐渐演变成生活中不可或缺的一部分。不过,随着我国汽车总量的逐渐增多,交通事故的发生率也随之上升,因此安全驾驶问题越发受到重视。众所周知,引发交通事故的因素众多且复杂,而“激情驾驶”是诱导交通事故发生的因素之一。
“激情驾驶”是指驾驶员在处于极端情绪下进行的汽车驾驶,常见的极端情绪有:兴奋、亢奋、愤怒、疲劳、困倦等。在驾驶员处于“激情驾驶”状态时,其往往会采取与平时相比过激的驾驶行为,如急加速、急刹车、快速变更行车方向等。因此,在安全系数较低的路况下行驶时,“激情驾驶”往往易导致交通事故的发生。
因此,亟需一种当驾驶员处于“激情驾驶”状态时可对汽车自动进行行车干预的方法,以降低交通事故发生率。
发明内容
本申请提供一种智能行车干预方法、装置、设备及计算机可读存储介质,以解决相关技术中由于“激情驾驶”而导致的交通事故发生率较高的问题。
第一方面,提供了一种智能行车干预方法,包括以下步骤:
创建情绪等级与干预措施之间的映射关系;
获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据;
将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;
基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
控制车辆执行所述待执行的干预措施。
一些实施例中,在所述将所述参数信息导入情绪神经网络模型的步骤之前,还包括:
对所述参数信息进行有效性判断;
若所述参数信息为有效信息,则执行所述将所述参数信息导入情绪神经网络模型的步骤;
若所述参数信息为无效信息,则执行所述获取驾驶员的参数信息的步骤。
一些实施例中,所述音频数据包括语速数据、语音数据和语音内容的文字化处理结果;所述视频数据包括驾驶员的眼睛张开度和头部动作分析结果;所述情绪神经网络模型包括精神状态分析模型、意图分析模型和疲惫状态分析模型。
一些实施例中,所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述心率数据、所述语速数据、所述语音数据导入所述精神状态分析模型,得到第一分数;
将所述心率数据、所述语音数据和所述语音内容的文字化处理结果导入所述意图分析模型,得到第二分数;
将所述心率数据、所述驾驶员的眼睛张开度和头部动作分析结果导入所述疲惫状态分析模型,得到第三分数;
基于所述第一分数、所述第二分数、所述第三分数确定驾驶员的情绪等级。
一些实施例中,所述情绪神经网络模型包括本地模型和远程模型,所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述参数信息分别导入本地模型和远程模型,得到驾驶员的本地情绪等级和远程情绪等级。
一些实施例中,所述基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施,包括:
基于所述驾驶员的本地情绪等级与所述映射关系或基于所述驾驶员的远程情绪等级与所述映射关系确定待执行的干预措施。
一些实施例中,在所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级的步骤之后,还包括:
将所述驾驶员的情绪等级发送至其他车辆,以供其他车辆的驾驶员基于所述情绪等级控制本车行驶状态。
第二方面,提供了一种智能行车干预装置,包括:
创建单元,其用于创建情绪等级与干预措施之间的映射关系;
获取单元,其用于获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据;
判断单元,其用于将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;
确定单元,其用于基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
控制单元,其用于控制车辆执行所述待执行的干预措施。
第三方面,提供了一种智能行车干预设备,包括:存储器和处理器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现前述的智能行车干预方法。
第四方面,提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行前述的智能行车干预方法。
本申请提供的技术方案带来的有益效果包括:可避免因“激情驾驶”而导致交通事故的发生,有效降低了交通事故发生率。
本申请提供了一种智能行车干预方法、装置、设备及计算机可读存储介质,包括:创建情绪等级与干预措施之间的映射关系;获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据;将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;控制车辆执行所述待执行的干预措施。通过本申请,可以实时获取驾驶员的情绪等级,基于情绪等级即可获悉驾驶员的情绪状态是否处于极端情绪中,进而判断驾驶员的当前行驶是否处于“激情驾驶”,而对于处于“激情驾驶”的车辆,采取干预措施以控制车辆的正常运行,从而避免因“激情驾驶”而导致交通事故的发生,有效降低了交通事故发生率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种智能行车干预方法的流程示意图;
图2为本申请实施例提供的一种智能行车干预装置的结构示意图;
图3为本申请实施例提供的一种智能行车干预设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种智能行车干预方法、装置、设备及计算机可读存储介质,其能解决相关技术中由于“激情驾驶”而导致的交通事故发生率较高的问题。
图1是本申请实施例提供的一种智能行车干预方法的流程示意图,包括以下步骤:
步骤S10:创建情绪等级与干预措施之间的映射关系;
示范性的,在安全系数较低的路况下进行“激情驾驶”往往易导致交通事故的发生,因此,在本申请实施例中,对驾驶员处于“激情驾驶”状态时的车辆进行自动行车干预,使车辆不易突然改变行车状态,以使得车辆可平稳行驶,该干预措施包括但不限于油门加速减缓、限制最高车速和转向助力降低等。
而不同的情绪等级对于车辆的平稳行驶具有不同的影响程度,因此可根据不同的情绪等级(即驾驶激情度),对车内一种或多种车辆装置进行干预,且该干预策略可以按照整车厂的设计进行调整。由此,可通过创建情绪等级与干预措施之间的映射关系来实现车辆的干预控制。比如:
当情绪等级很高,例如10级(此时驾驶员处于极其亢奋的状态),可将车辆的转向助力降低为正常值的80%,从而增大急转向的难度;
当情绪等级较高,例如9级(此时驾驶员处于较为激动的状态),可减缓车辆对加速踏板的响应速度,以响应速度为70%为例,此时即便将加速踏板踩到底,车辆也只能按照最大功率的70%进行加速;
当情绪等级为正常,比如5级(此时驾驶员处于较为平静的状态),车辆可不作任何干预,即干预措施为正常驾驶,不作任何改变;
当情绪等级非常低,比如1级(此时驾驶员处于极其疲惫从状态),车辆可自动启动已配备的驾驶辅助功能(如主动刹车、自动车道保持、自适应巡航和自动驾驶等),并发出提示音。
步骤S20:获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据;
示范性的,在本申请实施例中,通过驾驶员的参数信息即可判断驾驶员的情绪等级,其中,参数信息包括心率数据、音频数据和视频数据。具体的,心率数据包括但不限于瞬时心率和心率变化率,可通过车载心率传感器采集驾驶员的实时心率数据,车载心率传感器可安装在汽车方向盘上,也可安装在驾驶员安全带上;安装在方向盘上的心率传感器可以是接触式传感器,直接与人体皮肤接触,精度较高,而安装在安全带上的心率传感器可以为毫米波雷达传感器,无需直接与皮肤接触,可穿透约20mm的普通织物的服装,进行人体心率探测,两者可单独使用,也可配合使用,比如在接触式传感器无信号时,可启用毫米波雷达传感器来采集驾驶员的实时心率数据。
音频数据包括语速数据、语音数据和语音内容的文字化处理结果,而语速数据又包括语速和语速变化率,语音数据包括音量和音量变化率;可通过安装在汽车不同位置的麦克风对汽车内部进行音频信号采集,例如可通过车载蓝牙电话的麦克风,或独立设置的麦克风采集驾驶员的音频信号,且不同位置的麦克风同时对同一音源的音色、音量大小信息进行采集,并对采集到的音频信号进行处理得到语速数据、语音数据和语音内容的文字化处理结果。
视频数据包括驾驶员的眼睛张开度和头部动作分析结果,可通过内置摄像头对驾驶员的头部和脸部状态信息进行采集,并对采集到的驾驶员的头部和脸部状态信息进行处理得到驾驶员的眼睛张开度和头部动作分析结果。
更进一步的,在本申请实施例中,在所述将所述参数信息导入情绪神经网络模型的步骤之前,还包括以下步骤:
对所述参数信息进行有效性判断;
若所述参数信息为有效信息,则执行所述将所述参数信息导入情绪神经网络模型的步骤;
若所述参数信息为无效信息,则执行所述获取驾驶员的参数信息的步骤。
示范性,本实施例中,对参数信息的有效性进行可信度仲裁判断,判断的方式包含但不限于:语音信号是否可转换为文字;语音信号转换为文字后,是否有意义;心率数值是否符合人类心跳的有效范围内等;并基于有效的参数信息判断驾驶员的情绪等级,而对于无效信息进行摒弃并重新获取新的参数信息。
步骤S30:将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;
具体的,情绪神经网络模型包括精神状态分析模型、意图分析模型和疲惫状态分析模型,所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述心率数据、所述语速数据、所述语音数据导入所述精神状态分析模型,得到第一分数;
将所述心率数据、所述语音数据和所述语音内容的文字化处理结果导入所述意图分析模型,得到第二分数;
将所述心率数据、所述驾驶员的眼睛张开度和头部动作分析结果导入所述疲惫状态分析模型,得到第三分数;
基于所述第一分数、所述第二分数、所述第三分数确定驾驶员的情绪等级。
示范性的,在本申请实施例中,精神状态分析主要是对驾驶员在驾驶时的身体体征状况进行分析,且可以通过多个维度进行分析,比如心率、语速和语音三个维度,且各个维度可以从固定阈值和变化率两个层面进行分析,例如:
设当前瞬时心率值为a,单位:次/分钟;预设时间段内的心率变化率为Δa,单位:百分比;瞬时心率值的阈值范围包括A1∈(0,30)、A2∈[30,60]、A3∈(60,90)、A4∈[90,120]和A5∈(120,∞),单位:次/分钟,也可根据实际需求在A1至A5之间进一步细化区间范围或调整范围边界值;
设当前语速为b,单位:字/分钟,语速变化率为Δb,单位:百分比,语速的阈值范围包括B1∈(0,30)、B2∈[30,90]、B2∈(90,150)和B3∈[150,∞),单位:字/分钟,必要时,也可根据实际需求在B1至B4之间进一步细化区间范围或调整范围边界值;
设当前音量为c,单位:分贝,音量变化率为Δc,单位:百分比,音量的阈值范围包括C1∈(0,5)、C2∈[5,10]、C3∈(10,40)、C4∈[40、60]、C5∈(60,100)和C6∈[100,∞),单位:分贝,必要时,也可根据实际需求在C1至C6之间进一步细化区间范围或调整范围边界值;然后通过a、b、c、A1~A5、B1~B4和C1~C6以及Δa,Δb,Δc的值,基于精神状态分析模型(该精神状态分析模型可以为基于人类生理特征的神经网络模型)得出精神状态分值,该精神状态值可以是一个或几个相互关联的参数。
意图分析主要是对驾驶员的驾驶意图做判断,可通过心率、语音、语音内容文字化处理及语义分析结合进行判断;例如:
设当前瞬时心率值为a,单位:次/分钟;预设时间段内的心率变化率为Δa,单位:百分比;瞬时心率值的阈值范围包括A1∈(0,30)、A2∈[30,60]、A3∈(60,90)、A4∈[90,120]和A5∈(120,∞),单位:次/分钟,也可根据实际需求在A1至A5之间进一步细化区间范围或调整范围边界值;
设当前语速为b,单位:字/分钟,语速变化率为Δb,单位:百分比,语速的阈值范围包括B1∈(0,30)、B2∈[30,90]、B2∈(90,150)和B3∈[150,∞),单位:字/分钟,必要时,也可根据实际需求在B1至B4之间进一步细化区间范围或调整范围边界值;
基于语音转文字的装置对当前采集到的语音内容进行语音文字识别得到文字化处理结果及语义分析,然后根据a、b、Δa、Δb、文字化处理结果及语义分析,并基于意图分析模型进行人工智能意图判断,即判断驾驶员所说语言的态度,不同的态度对应不同的情绪,而不同的情绪对应不同的驾驶意图,因此可通过驾驶员所说语言的态度计算出意图分值,该态度包含但不限于:心平气和的说、开玩笑地说、一本正经的说和争吵的说等等,当然也可根据具体情况做进一步的细化或退一步的模糊化。
疲惫状态分析是对驾驶员的驾驶状态所做的分析,对心率数据、驾驶员的眼睛张开度和头部动作分析结果基于疲惫状态分析模型进行疲惫分值的计算;比如,驾驶员的头部进行上下点头的动作时,有可能是在打瞌睡,也有可能是在随着音乐旋律打节奏,而若驾驶员处于真的打瞌睡状态,那么瞬时心率值会处于一个较低的范围中,如A3范围内,且心率是呈降低状态,Δa为负值,且心率变化率有一个大约为5分钟持续小于-3%的趋势,因此,此时可通过瞬时心率值和心率变化率,即可识别出驾驶员是否为真的打瞌睡,进而进行疲惫分值的计算。最后根据精神状态分值、意图分值和疲惫分值即可确定驾驶员的情绪等级。
步骤S40:基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
示范性的,在本申请实施例中,不同的情绪等级反映了驾驶员的情绪状态,因此,汽车厂家可根据具体实际需求对驾驶员的情绪等级做定制化分级,比如分为1~10级,1级为极其疲乏,10级为极其亢奋;且针对不同的级别制定不同的干预措施,例如级别为10级时,干预措施可设为可将车辆的转向助力降低为正常值的80%;级别为9级时,干预措施可设为减缓车辆对加速踏板的响应速度;级别为1级时,干预措施为自动启动车辆已配备的驾驶辅助功能。因此,若驾驶员的情绪等级为10级,说明驾驶员处于极其亢奋状态,此时待执行的干预措施为将车辆的转向助力降低为正常值的80%。
更进一步的,在本申请实施例中,所述情绪神经网络模型包括本地模型和远程模型,所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述参数信息分别导入本地模型和远程模型,得到驾驶员的本地情绪等级和远程情绪等级。
更进一步的,在本申请实施例中,所述基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施,包括:
基于所述驾驶员的本地情绪等级与所述映射关系或基于所述驾驶员的远程情绪等级与所述映射关系确定待执行的干预措施。
示范性的,本实施例中,将心率数据、音频信号和视频信号进行数字编码,其中,心率数据的数字编码方式包含但不限于文本文件格式;音频信号的数字编码方式包含但不限于BNF音频文件格式,视频信号的数字编码方式包含但不限于AHD文件格式;将编码后的数字信号传递至本地处理器和远程服务器进行处理,即将数据压缩后上传至远程服务器,远程服务器对压缩数据进行解密和解压缩,基于解压缩后的数分析计算出驾驶员的远程情绪等级,并对远程情绪等级进行压缩和加密后发送至车辆控制系统;并将编码后的数字信号直接发送至本地处理器(该本地处理器可以为整车控制器或其他处理器)进行驾驶员的本地情绪等级的计算判断。
车辆控制系统对压缩和加密后的远程情绪等级进行解密和解压缩,基于解压缩后的数据判断来自远程服务器的远程情绪等级是否有效,判断方式包含但不限于:是否收到远程服务器返回的数据(比如汽车在山洞里没信号,就收不到有效反馈)、远程服务器是否有响应、远程服务器的数据是否可通过本地校验等。如果远程服务器的远程情绪等级为有效,则使用远程情绪等级确定待执行的干预措施,反之,使用本地服务器分析得到的本地情绪等级确定待执行的干预措施。
由于远程服务器可进行在线语言内容文字化处理及语义分析,情绪等级的判断更为准确,因此,对于本地、远程服务器识别出不同等级的情绪等级时,可科学的选用远程情绪等级作为待执行干预措施的判断依据;而本地数据分析可在无法连接外部网络时,进行基本判断,作为备份数据。由此可见,本申请通过采用本地和远程通信双路进行情绪等级判断,可降低出错率,增强情绪判断的冗余度;
步骤S50:控制车辆执行所述待执行的干预措施。
示范性的,在本申请实施例中,若驾驶员的情绪等级为10级,说明驾驶员处于极其亢奋状态,那么待执行的干预措施为将车辆的转向助力降低为正常值的80%;此时,控制车辆的转向助力降低为正常值的80%,增大了急转向的难度,进而避免了因急转向而导致的交通事故。
由此可见,通过本申请,可以实时获取驾驶员的情绪等级,基于情绪等级即可获悉驾驶员的情绪状态是否处于极端情绪中,进而判断驾驶员的当前行驶是否处于“激情驾驶”,而对于处于“激情驾驶”的车辆,采取干预措施以控制车辆的正常运行,从而避免因“激情驾驶”而导致交通事故的发生,有效降低了交通事故发生率。
更进一步的,在本申请实施例中,在所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级的步骤之后,还包括:
将所述驾驶员的情绪等级发送至其他车辆,以供其他车辆的驾驶员基于所述情绪等级控制本车行驶状态。
示范性的,在本申请实施例中,可通过无线通讯方式与周围装有同样无线通讯系统的汽车进行通讯,并向周边车辆发送或接收驾驶员情绪等级信息,以使周围车辆的本车驾驶员对周边车辆的状态做出正确判断并采取相应措施。
参见图2所示,本申请实施例还提供了一种智能行车干预装置,包括:
创建单元,其用于创建情绪等级与干预措施之间的映射关系;
获取单元,其用于获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据;
判断单元,其用于将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级;
确定单元,其用于基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
控制单元,其用于控制车辆执行所述待执行的干预措施。
通过本申请,可以实时获取驾驶员的情绪等级,基于情绪等级即可获悉驾驶员的情绪状态是否处于极端情绪中,进而判断驾驶员的当前行驶是否处于“激情驾驶”,而对于处于“激情驾驶”的车辆,采取干预措施以控制车辆的正常运行,从而避免因“激情驾驶”而导致交通事故的发生,有效降低了交通事故发生率。
更进一步的,在本申请实施例中,所述获取单元还用于:
对所述参数信息进行有效性判断;
若所述参数信息为有效信息,则使判断单元用于执行所述将所述参数信息导入情绪神经网络模型的步骤;
若所述参数信息为无效信息,则执行所述获取驾驶员的参数信息的步骤。
更进一步的,在本申请实施例中,所述音频数据包括语速数据、语音数据和语音内容的文字化处理结果;所述视频数据包括驾驶员的眼睛张开度和头部动作分析结果;所述情绪神经网络模型包括精神状态分析模型、意图分析模型和疲惫状态分析模型。
更进一步的,在本申请实施例中,所述判断单元具体用于:
将所述心率数据、所述语速数据、所述语音数据导入所述精神状态分析模型,得到第一分数;
将所述心率数据、所述语音数据和所述语音内容的文字化处理结果导入所述意图分析模型,得到第二分数;
将所述心率数据、所述驾驶员的眼睛张开度和头部动作分析结果导入所述疲惫状态分析模型,得到第三分数;
基于所述第一分数、所述第二分数、所述第三分数确定驾驶员的情绪等级。
更进一步的,在本申请实施例中,所述情绪神经网络模型包括本地模型和远程模型,判断单元还用于:
将所述参数信息分别导入本地模型和远程模型,得到驾驶员的本地情绪等级和远程情绪等级。
更进一步的,在本申请实施例中,所述确定单元具体用于:
基于所述驾驶员的本地情绪等级与所述映射关系或基于所述驾驶员的远程情绪等级与所述映射关系确定待执行的干预措施。
更进一步的,在本申请实施例中,所述控制单元还用于:
将所述驾驶员的情绪等级发送至其他车辆,以供其他车辆的驾驶员基于所述情绪等级控制本车行驶状态。
需要说明的是,所属本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各单元的具体工作过程,可以参考前述智能行车干预方法实施例中的对应过程,在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图3所示的智能行车干预设备上运行。
本申请实施例还提供了一种智能行车干预设备,包括:通过系统总线连接的存储器、处理器和网络接口,存储器中存储有至少一条指令,至少一条指令由处理器加载并执行,以实现前述的智能行车干预方法的全部步骤或部分步骤。
其中,网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
处理器可以是CPU,还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器,或者该处理器也可以是任何常规的处理器等,处理器是计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外,存储器可以包括高速随存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
本申请施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现前述的智能行车干预方法的全部步骤或部分步骤。
本申请实施例实现前述的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的仼何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory,ROM)、随机存取存储器(Random Accessmemory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种智能行车干预方法,其特征在于,包括以下步骤:
创建情绪等级与干预措施之间的映射关系;
获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据,所述音频数据包括语速数据、语音数据和语音内容的文字化处理结果,所述视频数据包括驾驶员的眼睛张开度和头部动作分析结果;
将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,所述情绪神经网络模型包括精神状态分析模型、意图分析模型和疲惫状态分析模型;
基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
控制车辆执行所述待执行的干预措施;
其中,将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述心率数据、所述语速数据、所述语音数据导入所述精神状态分析模型,得到第一分数;
将所述心率数据、所述语音数据和所述语音内容的文字化处理结果导入所述意图分析模型,得到第二分数;
将所述心率数据、所述驾驶员的眼睛张开度和头部动作分析结果导入所述疲惫状态分析模型,得到第三分数;
基于所述第一分数、所述第二分数、所述第三分数确定驾驶员的情绪等级;
在所述将所述参数信息导入情绪神经网络模型的步骤之前,还包括:
对所述参数信息进行有效性判断;
若所述参数信息为有效信息,则执行所述将所述参数信息导入情绪神经网络模型的步骤;
若所述参数信息为无效信息,则执行所述获取驾驶员的参数信息的步骤;
所述情绪神经网络模型包括本地模型和远程模型,所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,包括:
将所述参数信息分别导入本地模型和远程模型,得到驾驶员的本地情绪等级和远程情绪等级;
所述基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施,包括:
基于所述驾驶员的本地情绪等级与所述映射关系或基于所述驾驶员的远程情绪等级与所述映射关系确定待执行的干预措施。
2.如权利要求1所述的智能行车干预方法,其特征在于,在所述将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级的步骤之后,还包括:
将所述驾驶员的情绪等级发送至其他车辆,以供其他车辆的驾驶员基于所述情绪等级控制本车行驶状态。
3.一种智能行车干预装置,其特征在于,包括:
创建单元,其用于创建情绪等级与干预措施之间的映射关系;
获取单元,其用于获取驾驶员的参数信息,所述参数信息包括心率数据、音频数据和视频数据,所述音频数据包括语速数据、语音数据和语音内容的文字化处理结果,所述视频数据包括驾驶员的眼睛张开度和头部动作分析结果;
判断单元,其用于将所述参数信息导入情绪神经网络模型,得到驾驶员的情绪等级,所述情绪神经网络模型包括精神状态分析模型、意图分析模型和疲惫状态分析模型;
确定单元,其用于基于所述驾驶员的情绪等级与所述映射关系确定待执行的干预措施;
控制单元,其用于控制车辆执行所述待执行的干预措施;
其中,所述判断单元具体用于:
将所述心率数据、所述语速数据、所述语音数据导入所述精神状态分析模型,得到第一分数;
将所述心率数据、所述语音数据和所述语音内容的文字化处理结果导入所述意图分析模型,得到第二分数;
将所述心率数据、所述驾驶员的眼睛张开度和头部动作分析结果导入所述疲惫状态分析模型,得到第三分数;
基于所述第一分数、所述第二分数、所述第三分数确定驾驶员的情绪等级;
所述获取单元还用于对所述参数信息进行有效性判断;若所述参数信息为有效信息,则执行所述将所述参数信息导入情绪神经网络模型的步骤;若所述参数信息为无效信息,则执行所述获取驾驶员的参数信息的步骤;
所述判断单元具体用于将所述参数信息分别导入本地模型和远程模型,得到驾驶员的本地情绪等级和远程情绪等级;
所述确定单元具体用于基于所述驾驶员的本地情绪等级与所述映射关系或基于所述驾驶员的远程情绪等级与所述映射关系确定待执行的干预措施。
4.一种智能行车干预设备,其特征在于,包括:存储器和处理器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现权利要求1或2所述的智能行车干预方法。
5.一种计算机可读存储介质,其特征在于:所述计算机存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行权利要求1或2所述的智能行车干预方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016482.6A CN113771859B (zh) | 2021-08-31 | 2021-08-31 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016482.6A CN113771859B (zh) | 2021-08-31 | 2021-08-31 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113771859A CN113771859A (zh) | 2021-12-10 |
CN113771859B true CN113771859B (zh) | 2024-01-26 |
Family
ID=78840450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111016482.6A Active CN113771859B (zh) | 2021-08-31 | 2021-08-31 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113771859B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116610646B (zh) * | 2023-07-20 | 2024-04-02 | 深圳市其域创新科技有限公司 | 数据压缩方法、装置、设备及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
WO2018028068A1 (zh) * | 2016-08-12 | 2018-02-15 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
CN109572705A (zh) * | 2018-12-11 | 2019-04-05 | 武汉格罗夫氢能汽车有限公司 | 一种驾驶员情绪管理方法、设备及存储设备 |
CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
CN112215097A (zh) * | 2020-09-25 | 2021-01-12 | 三一专用汽车有限责任公司 | 车辆驾驶状态的监控方法、车辆和计算机可读存储介质 |
CN112256124A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于情绪的操控工效分析方法、设备及系统 |
CN112785837A (zh) * | 2019-11-11 | 2021-05-11 | 上海博泰悦臻电子设备制造有限公司 | 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101173944B1 (ko) * | 2008-12-01 | 2012-08-20 | 한국전자통신연구원 | 차량 운전자의 감성 조절 시스템 및 방법 |
-
2021
- 2021-08-31 CN CN202111016482.6A patent/CN113771859B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
WO2018028068A1 (zh) * | 2016-08-12 | 2018-02-15 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
CN109572705A (zh) * | 2018-12-11 | 2019-04-05 | 武汉格罗夫氢能汽车有限公司 | 一种驾驶员情绪管理方法、设备及存储设备 |
CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
CN112785837A (zh) * | 2019-11-11 | 2021-05-11 | 上海博泰悦臻电子设备制造有限公司 | 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 |
CN112215097A (zh) * | 2020-09-25 | 2021-01-12 | 三一专用汽车有限责任公司 | 车辆驾驶状态的监控方法、车辆和计算机可读存储介质 |
CN112256124A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于情绪的操控工效分析方法、设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113771859A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112277955B (zh) | 辅助驾驶方法、装置、设备及存储介质 | |
JP5826277B2 (ja) | 運転者の動作に基づく車両のブレーキ制御 | |
CN106803423A (zh) | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 | |
CN107531236A (zh) | 基于乘员的车辆控制 | |
CN107539318A (zh) | 驾驶辅助装置和驾驶辅助方法 | |
US20180357473A1 (en) | Information providing device and information providing method | |
CN113771859B (zh) | 智能行车干预方法、装置、设备及计算机可读存储介质 | |
CN112735440A (zh) | 车载智能机器人交互方法、机器人及车辆 | |
CN112215097A (zh) | 车辆驾驶状态的监控方法、车辆和计算机可读存储介质 | |
CN109646024A (zh) | 疲劳驾驶检测方法、装置及计算机可读存储介质 | |
DE102007008815A1 (de) | Verfahren und Vorrichtung zum akustischen Ausgeben von Systeminformationen in einem Fahrzeug | |
CN114856363B (zh) | 一种基于神经网络的车窗透气控制方法、装置及车辆 | |
CN110816542A (zh) | 提供驾驶员帮助的方法 | |
CN114446322A (zh) | 情绪调整系统与情绪调整方法 | |
WO2020039994A1 (ja) | カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法 | |
EP3435291A1 (en) | Emotion determination system, system, and program | |
CN115520205A (zh) | 一种基于驾驶状态调整语音交互的方法、系统以及装置 | |
CN112418162B (zh) | 车辆控制的方法、设备、存储介质及装置 | |
JP2019207544A (ja) | 走行制御装置、走行制御方法、及び走行制御プログラム | |
CN112137630A (zh) | 一种驾驶员负面情绪缓解方法及系统 | |
CN106828474A (zh) | 一种基于学习机制的制动方法及系统 | |
CN109784768B (zh) | 一种驾驶任务识别方法 | |
CN115700199A (zh) | 一种应用于智能驾驶的数据处理方法及装置 | |
JP2006069358A (ja) | 車両の運転支援装置 | |
WO2020039995A1 (ja) | 運転制御調整装置および運転制御調整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |