CN113276867A - 一种自动驾驶情景下的脑电波紧急控制系统及方法 - Google Patents
一种自动驾驶情景下的脑电波紧急控制系统及方法 Download PDFInfo
- Publication number
- CN113276867A CN113276867A CN202110661133.3A CN202110661133A CN113276867A CN 113276867 A CN113276867 A CN 113276867A CN 202110661133 A CN202110661133 A CN 202110661133A CN 113276867 A CN113276867 A CN 113276867A
- Authority
- CN
- China
- Prior art keywords
- brain wave
- module
- brain
- vehicle
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 32
- 230000019771 cognition Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000010485 coping Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000006855 networking Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18109—Braking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种自动驾驶情景下的脑电波紧急控制系统及方法，其系统包括：车辆传感器模块、脑电波采集模块、全面认知模块、判断模块及脑电波处理模块；车辆传感器模块，用于实时采集路况信息和车况信息；脑电波采集模块，用于实时采集脑电波信号；全面认知模块，用于依据路况信息和车况信息，形成对感测范围内环境、车辆自身状态及驾驶内景的全面认知；判断模块，用于基于全面认知判断车辆是否满足险情触发条件；进而在满足险情触发条件时，判断是否有动作脑电波输入；脑电波处理模块用于解析动作脑电波之后得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。本发明为现有无人驾驶提供一种更加安全的保障措施，有效地减少了事故的频发。
Description
技术领域
本发明涉及交通驾驶技术领域，尤其涉及一种自动驾驶情景下的脑电波紧急控制系统及方法。
背景技术
生物电现象是生命活动的基本特征之一，脑电波是众多生物电的一种。人类在进行思维活动时，在大脑产生的生物电信号就是脑电波，这些脑电波信号可以通过放置在头皮的传感器来进行测量和研究。自上世纪以来，通过对脑电波信号的研究，人们已经日趋深入地拓展丰富了对大脑的认识。
现有的无人驾驶平台在遇到判断冰雪覆盖的路面、冰雹天、大雾天、泥水路面、建筑工地阻碍、行人突入行车道等情况下目前是没有有效的处理办法的。在这些极端情况下，如果只靠路径规划和雷达探测显然是不保险的。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种自动驾驶情景下的脑电波紧急控制系统及方法，其解决了自动驾驶无法解决如冰雹天、大雾天时的险情处理的技术问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种自动驾驶情景下的脑电波紧急控制系统，包括：车辆传感器模块、脑电波采集模块、全面认知模块、判断模块以及脑电波处理模块；
所述车辆传感器模块，用于实时采集路况信息和车况信息并发送至所述全面认知模块；
所述脑电波采集模块，用于实时采集车辆上若干人员的脑电波信号并发送至所述脑电波处理模块；
所述全面认知模块，用于依据所述路况信息和所述车况信息，通过多传感器数据融合形成对感测范围内环境、车辆自身状态以及驾驶内景的全面认知并发送至所述判断模块；
所述判断模块，用于基于所述全面认知判断车辆是否满足险情触发条件；进而在满足险情触发条件时，判断是否有动作脑电波输入，并将判断结果发送至所述脑电波处理模块；
所述脑电波处理模块对所述判断结果进行解析，在有动作脑电波输入时，从第一时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
可选地，
所述车辆传感器模块包括激光雷达、毫米波雷达、超声波雷达、3D传感器、环境光传感器以及IMU传感器；
所述脑电波采集模块包括若干脑电波传感器及蓝牙组件/串口组件；
所述脑电波传感器用于采集车辆上人员的脑电波信号，并通过所述蓝牙组件/串口组件发送至所述脑电波处理模块；
所述蓝牙组件/串口组件用于组网，以使若干脑电波传感器能通过所述蓝牙组件/串口组件与所述脑电波处理模块建立一对多的网络。
可选地，所述脑电波采集装置为脑电波头盔或脑电波头带。
可选地，所述动作脑电波是通过：第一时刻的脑电波信号的特征值与上一预设时段内脑电波信号的平均特征值之差是否小于预设阈值来判断的；
若小于预设阈值，则判断未有动作脑电波输入；
若大于预设阈值，则判断有动作脑电波输入；
其中，所述特征值包括幅值、频率以及电位平均值。
可选地，所述系统还包括信号来源处理模块，用于：
判断输入的动作脑电波所对应的人员来源数量；
若人员来源数量等于1，则进入所述判断模块的流程步骤；
若人员来源数量大于1，
依据各人员的所处位置平均贡献率、视角范围以及专注值筛选出第一决策人，将第一决策人的脑电波信号作为所述判断模块的信号输入；
或，
依据各人员的所处位置平均贡献率、视角范围以及专注值给来自不同人员的脑电波信号分配权重，将各个脑电波信号与各自对应的权重进行数据融合，将脑电波信号的融合值作为所述判断模块的信号输入。
可选地，
所述所处位置平均贡献率为：
其中，
为第j次人脑接管驾驶中i位置历史贡献率，pj为第j次人脑接管驾驶评价，
为在第j次人脑接管驾驶中处于i位置的人员脑电波信号；
所述视角范围包括位于主驾驶位的第一视角范围、位于副驾驶位的第二视角范围、位于左侧靠窗乘客位的第三视角范围及位于右侧靠窗乘客位的第四视角范围；第一视角范围≥第二视角范围＞第三视角范围＝第四视角范围；
所述专注值是通过脑电信号提取出来的，专注值范围为0～100。
可选地，所述人脑意图识别模块包括预处理模块、经验模式分解模块、特征提取模块及分类模块；
所述预处理模用于对第一时刻开始截取预设时段内的脑电波信号进行预处理，获得原始波信号；
所述经验模式分解模块用于基于经验模式分解算法对原始波信号进行分解，获得多个IMF分量；
所述特征提取模块用于提取IMF分量的均值和平衡系数作为特征向量；
所述分类模块用于基于模糊C均值聚类算法对特征向量进行分类，依据分类结果得到脑电波控制信息；
所述平衡系数为
σ2为IMF分量的方差，
为IMF分量的平均值。
可选地，所述系统还设有险情匹配模块、路径调整模块及预警模块；
在满足险情触发条件但未有动作脑电波信号输入时，所述险情匹配模块将险情与基于先验经验设立的险情应对方案库中的险情应对方案进行匹配；
在匹配到对应的险情应对方案时，所述路径调整模块应用该险情应对方案调整车辆行驶姿态；
在未匹配到对应的险情应对方案时，所述预警模块向车辆上人员发送预警信号，并依据人员针对所述预警信号产生的脑电波反馈信号来解决险情。
可选地，所述系统还包括流程评价与优化模块，所述流程评价与优化模块用于：
在汽车行驶姿态调整完后，生成人脑接管驾驶流程与人脑接管驾驶评价；
基于人脑接管驾驶评价，优化此次人脑接管驾驶流程，并将优化后的人脑接管驾驶流程保存到险情应对方案库中。
第二方面，本发明实施例提供一种无人车自动驾驶情景下的脑电波紧急制动方法，包括：
实时采集路况信息和车况信息；
实时采集车辆上若干人员的脑电波信号；
依据所述路况信息和所述车况信息，通过多传感器数据融合形成对感测范围内环境、车辆自身状态以及驾驶内景的全面认知；
基于所述全面认知判断车辆是否满足险情触发条件；
进而在满足险情触发条件时，判断是否有动作脑电波输入；
在有动作脑电波输入时，从第一时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
(三)有益效果
本发明的有益效果是：本发明的脑电波紧急控制系统，由于采用脑电波模块、全面认知模块及判断模块，相对于现有无人驾驶而言，本发明可以在驾驶员或乘客使用无人驾驶功能时，针对人可视范围内紧急情况或极端路况，依据采集的驾驶员或乘客的脑电波信号及时调控车辆驾驶姿态，为现有的无人驾驶提供一种更加安全的保障措施，有效地减少了无人驾驶事故的频发。
附图说明
图1为本发明提供的一种自动驾驶情景下的脑电波紧急控制系统的组成示意图；
图2为本发明提供的一种自动驾驶情景下的脑电波紧急控制方法的流程示意图；
图3为本发明提供的一种自动驾驶情景下的脑电波紧急控制方法的应用平台的工作流程。
具体实施方式
为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本发明实施例提出的一种自动驾驶情景下的脑电波紧急控制系统，其特征在于，如图1所示，包括：车辆传感器模块、脑电波采集模块、全面认知模块、判断模块及脑电波处理模块；车辆传感器模块，用于实时采集路况信息和车况信息；脑电波采集模块，用于实时采集脑电波信号；全面认知模块，用于依据路况信息和车况信息，形成对感测范围内环境、车辆自身状态及驾驶内景的全面认知，其中驾驶内景为车辆内的环境以及乘坐人员的位置和姿态；判断模块，用于基于全面认知判断车辆是否满足险情触发条件；进而在满足险情触发条件时，判断是否有动作脑电波输入；脑电波处理模块用于在有动作脑电波输入时，从第一时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，其中，第一时刻为动作脑电波输入的时刻。进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
本发明的脑电波紧急控制系统，由于采用脑电波模块、全面认知模块及判断模块，相对于现有无人驾驶而言，本发明可以在驾驶员或乘客使用无人驾驶功能时，针对人可视范围内紧急情况或极端路况，依据采集的驾驶员或乘客的脑电波信号及时调控车辆驾驶姿态，为现有的无人驾驶提供一种更加安全的保障措施，有效地减少了无人驾驶事故的频发。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
具体地，车辆传感器模块包括激光雷达、毫米波雷达、超声波雷达、3D传感器及IMU传感器，此外还包括温度传感器和环境光传感器。
脑电波模块包括若干脑电波采集装置及蓝牙组件/串口组件；脑电波采集装置用于采集车辆上人员的脑电波信号，并通过蓝牙组件/串口组件传输至脑电波处理模块。蓝牙组件/串口组件用于组网，以使若干脑电波采集通道能通过蓝牙组件/串口组件与脑电波处理模块建立一对多的网络。较佳地，脑电波采集装置为脑电波头盔/脑电波头带。
进一步地，动作脑电波是通过：第一时刻脑电波信号的特征值与上一预设时段内脑电波信号的平均特征值之差是否小于预设阈值来判断的。
若小于预设阈值，则判断未有动作脑电波输入。
若大于预设阈值，则判断有动作脑电波输入。
其中，特征值包括幅值、频率以及电位平均值，平均特征值为上一预设时段内每一时刻脑电波信号的特征值的平均值。
接着，系统还包括信号来源处理模块，信号来源处理模块用于：
通过判断输入的脑电波信号所对应的人员来源数量。
若人员来源数量等于1，则进入判断模块的流程步骤。
若人员来源数量大于1，则依据各人员的所处位置平均贡献率、视角范围以及专注值给筛选出第一决策人，将第一决策人的脑电波信号作为判断模块的信号输入。
或，
若人员来源数量大于1，对多个脑电波信号进行相关性判断。
则依据各人员的所处位置平均贡献率、视角范围以及专注值给来自不同人员的脑电波信号分配权重，将各个脑电波信号与各自对应的权重进行数据融合，将脑电波信号的融合值作为判断模块的信号输入。
在上述的筛选或权重分配中还可以将人员的动作反应时间和驾驶压力值考虑进来，使得输入信号更为准确。其中，动作反应时间为第一时刻开始的预设时段内各人员的动作脑电波的发出先后时间。驾驶压力值为基于采集的各人员的生理体征和精神状态来确定。范围为0～100。
进一步地，所处位置平均贡献率为：
其中，
为第j次人脑接管驾驶中i位置历史贡献率，pj为第j次人脑接管驾驶评价，
为在第j次人脑接管驾驶中处于i位置的人员脑电波信号。
视角范围包括位于主驾驶位的第一视角范围、位于副驾驶位的第二视角范围、位于左侧靠窗乘客位的第三视角范围及位于右侧靠窗乘客位的第四视角范围；第一视角范围≥第二视角范围＞第三视角范围＝第四视角范围。
专注值是通过脑电信号提取出来的，专注值范围为0～100。
脑电波信号包括δ波、θ波、α波、β波；
δ波的脑电波频率段为0.5～4Hz；振幅：20～200μV；
θ波的脑电波频率段为4～7Hz；振幅：20～150μV；
α波的脑电波频率段为8～12Hz；振幅：20～100μV；
β波的脑电波频率段为12～30Hz；振幅：5～20μV
专注值用β波功率/θ波功率来衡量。
继而，人脑意图识别模块包括预处理模块、经验模式分解模块、特征提取模块及分类模块。
预处理模用于对第一时刻开始截取预设时段内的脑电波信号进行预处理，获得原始波信号。一般脑电波信号是从头皮表层记录得到，信号较微弱，容易受到外界以及自身主客观因素的影响，采集的脑电波信号带有各种类型的伪迹比如脉搏、眼电、肌电等。因此，采用伪迹减法来分析识别眼动和肌电伪迹。
经验模式分解模块用于基于经验模式分解算法对原始波信号进行分解，获得多个IMF分量；特征提取模块用于提取IMF分量的均值和平衡系数作为特征向量；分类模块用于基于模糊C均值聚类算法对特征向量进行分类，依据分类结果得到脑电波控制信息。
其中，平衡系数为
σ2为IMF分量的方差，
为IMF分量的平均值。
基于经验模式分解算法是一种处理非线性数据的有效方法，它将信号分解为多个IMF分量，每一个IMF分量包含不同频率分量，提取IMF分量的特征值，之后使用模糊C均值聚类算法进行分类，分类效果和效率均较佳。
接着，系统还设有险情匹配模块、路径调整模块及预警模块；在满足险情触发条件但未有动作脑电波信号输入时，险情匹配模块将险情与基于先验经验设立的险情应对方案库中的险情应对方案进行匹配；在匹配到对应的险情应对方案时，路径调整模块应用该险情应对方案调整车辆行驶姿态；在未匹配到对应的险情应对方案时，预警模块向车辆上人员发送预警信号，并依据人员针对预警信号产生的脑电波反馈信号来解决险情。
再者，系统还包括流程评价与优化模块，流程评价与优化模块用于：
在汽车行驶姿态调整完后，生成人脑接管驾驶流程与人脑接管驾驶评价；基于人脑接管驾驶评价，优化此次人脑接管驾驶流程，并将优化后的人脑接管驾驶流程保存到险情应对方案库中。
图2为本发明提供的一种自动驾驶情景下的脑电波紧急控制方法的流程示意图，如图2所示，本发明还提供一种无人车自动驾驶情景下的脑电波紧急制动方法，应用于如上的脑电波紧急制动系统，包括：
S1、实时采集路况信息和车况信息。
S2、实时采集车辆上若干人员的脑电波信号。
S3、依据路况信息和车况信息，通过多传感器数据融合形成对感测范围内环境、车辆自身状态以及驾驶内景的全面认知。
S4、基于全面认知判断车辆是否满足险情触发条件。
S5、进而在满足险情触发条件时，判断是否有动作脑电波输入；
S6、在有动作脑电波输入时，从当前时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
进一步地，方法还包括：
F61、在满足险情触发条件但未有动作脑电波信号输入时，将险情与基于先验经验设立的险情应对方案库中的险情应对方案进行匹配。
F62、在匹配到对应的险情应对方案时，应用该险情应对方案调整车辆行驶姿态。
F63、在未匹配到对应的险情应对方案时，向车辆上人员发送预警信号，并依据人员针对预警信号产生的脑电波反馈信号来解决险情。
进一步地，步骤S6之前，还包括：
通过判断输入的脑电波信号所对应的人员来源数量。
F61、若人员来源数量等于1，则进入判断模块的流程步骤。
F62a、若人员来源数量大于1，则依据各人员的所处位置平均贡献率、视角范围以及专注值给筛选出第一决策人，将第一决策人的脑电波信号作为判断模块的信号输入。
或，
F62b、若人员来源数量大于1，对多个脑电波信号进行相关性判断。
则依据各人员的所处位置平均贡献率、视角范围以及专注值给来自不同人员的脑电波信号分配权重，将各个脑电波信号与各自对应的权重进行数据融合，将脑电波信号的融合值作为判断模块的信号输入。
进一步地，步骤S6包括：
S61、对第一时刻开始截取预设时段内的脑电波信号进行预处理，获得原始波信号。
S62、基于经验模式分解算法对原始波信号进行分解，获得多个IMF分量。
S63、提取IMF分量的均值和平衡系数作为特征向量。
S64、基于模糊C均值聚类算法对特征向量进行分类，依据分类结果得到脑电波控制信息。
进一步地，步骤S6之后，还包括：
在汽车行驶姿态调整完后，生成人脑接管驾驶流程与人脑接管驾驶评价。
基于人脑接管驾驶评价，优化此次人脑接管驾驶流程，并将优化后的人脑接管驾驶流程保存到险情应对方案库中。
此外，本发明还提供一种计算机可读介质，其上存储有计算机可执行指令，可执行指令被处理器执行时，实现如上所述的一种无人车自动驾驶情景下的脑电波紧急制动方法步骤。
在具体的实施例中，本发明应用于一个具体的模拟驾驶应用平台，该实验平台包括如下组件：若干脑电波传感器、Arduino UNO板、L298N直流电机驱动板、蓝牙模块、带轮的两个130微型电机、万向球一个、移动电源一个、巡线模块一个、螺栓若干及若干杜邦线，同时其底盘和支撑板及其齿轮结构均是采用3D打印。具体的搭建过程为：首先，使用123Design完成模拟车辆装置的3D建模，且使用Cure进行模型切片；其次，将上述组件按3D模型组建好模拟车辆装置，并完成脑波模块的外围电路的设置及调试。同时采用3D引擎载入三维车辆模型并布置好VR场景，将模拟车辆装置与三维车辆模型的控制关联起来，用于形成一整套VR系统。
图3为本发明提供的一种自动驾驶情景下的脑电波紧急控制方法的应用平台的工作流程，如图3所示，在VR场景中，通过人脑信号控制模拟车辆装置行进，同时将采集到的车况信息和模拟路况信息经蓝牙模块发送至MCU，在接收到数据包后，将其存储在MCU的接收缓冲区内，在模拟车辆发送险情，操作人员接收到感官刺激，发送动作脑电波至MCU，之后通过一系列的数据处理得到脑电控制信号。
其中，数据包的解析与提取过程主要由单片机通过程序来设计展开处理。具体处理如下：(1)数据包的解析过程。在数据包的解析过程中，模拟车辆主控装置以数据流的形式进行接收，在接收的同时对数据包还置入了含义结构解析，并增加了对数据校验的过程；(2)有效数据的提取。数据包解析后依次得到原始波数据，再通过提取脑电信号的特征值来实现对模拟车辆装置方向的控制，再通过电机驱动双轮直流电机，控制模拟车辆装置的行进以及减速的物理移动。
综上所述，本发明提供一种自动驾驶情景下的脑电波紧急控制系统、方法及介质，本发明通过多传感器融合技术得到囊括感测范围内环境信息和/或车辆信息、车辆自身运动状态及驾驶内景的全面认知信息，基于全面认知信息来判断此时车辆处于什么状态，进而在满足险情触发条件时，解析此时脑电波信号的脑电波控制信息，并依据该脑电波控制信息来调整车辆行驶姿态，以此来解决车况或路况险情。
在无人驾驶时遇到无法处理或处理时间过长的紧急情况或极端路况，应用本发明可有效地帮助现有的无人驾驶车辆规避或处理此类复杂险情，有效地提高了现有无人驾驶的安全性。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。
Claims (10)
1.一种自动驾驶情景下的脑电波紧急控制系统，其特征在于，包括：车辆传感器模块、脑电波采集模块、全面认知模块、判断模块以及脑电波处理模块；
所述车辆传感器模块，用于实时采集路况信息和车况信息并发送至所述全面认知模块；
所述脑电波采集模块，用于实时采集车辆上若干人员的脑电波信号并发送至所述脑电波处理模块；
所述全面认知模块，用于依据所述路况信息和所述车况信息，通过多传感器数据融合形成对感测范围内环境、车辆自身状态以及驾驶内景的全面认知并发送至所述判断模块；
所述判断模块，用于基于所述全面认知判断车辆是否满足险情触发条件；进而在满足险情触发条件时，判断是否有动作脑电波输入，并将判断结果发送至所述脑电波处理模块；
所述脑电波处理模块对所述判断结果进行解析，在有动作脑电波输入时，从第一时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
2.如权利要求1所述的一种自动驾驶情景下的脑电波紧急制动方法，其特征在于，
所述车辆传感器模块包括激光雷达、毫米波雷达、超声波雷达、3D传感器、环境光传感器以及IMU传感器；
所述脑电波采集模块包括若干脑电波传感器及蓝牙组件/串口组件；
所述脑电波传感器用于采集车辆上人员的脑电波信号，并通过所述蓝牙组件/串口组件发送至所述脑电波处理模块；
所述蓝牙组件/串口组件用于组网，以使若干脑电波传感器能通过所述蓝牙组件/串口组件与所述脑电波处理模块建立一对多的网络。
3.如权利要求1或2所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述脑电波采集装置为脑电波头盔或脑电波头带。
4.如权利要求1所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述动作脑电波是通过：第一时刻的脑电波信号的特征值与上一预设时段内脑电波信号的平均特征值之差是否小于预设阈值来判断的；
若小于预设阈值，则判断未有动作脑电波输入；
若大于预设阈值，则判断有动作脑电波输入；
其中，所述特征值包括幅值、频率以及电位平均值。
5.如权利要求1所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述系统还包括信号来源处理模块，用于：
判断输入的动作脑电波所对应的人员来源数量；
若人员来源数量等于1，则进入所述判断模块的流程步骤；
若人员来源数量大于1，
依据各人员的所处位置平均贡献率、视角范围以及专注值筛选出第一决策人，将第一决策人的脑电波信号作为所述判断模块的信号输入；
或，
依据各人员的所处位置平均贡献率、视角范围以及专注值给来自不同人员的脑电波信号分配权重，将各个脑电波信号与各自对应的权重进行数据融合，将脑电波信号的融合值作为所述判断模块的信号输入。
6.如权利要求5所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，
所述所处位置平均贡献率为：
其中，
为第j次人脑接管驾驶中i位置历史贡献率，pj为第j次人脑接管驾驶评价，
为在第j次人脑接管驾驶中处于i位置的人员脑电波信号；
所述视角范围包括位于主驾驶位的第一视角范围、位于副驾驶位的第二视角范围、位于左侧靠窗乘客位的第三视角范围及位于右侧靠窗乘客位的第四视角范围；第一视角范围≥第二视角范围＞第三视角范围＝第四视角范围；
所述专注值是通过脑电信号提取出来的，专注值范围为0～100。
7.如权利要求1所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述人脑意图识别模块包括预处理模块、经验模式分解模块、特征提取模块及分类模块；
所述预处理模用于对第一时刻开始截取预设时段内的脑电波信号进行预处理，获得原始波信号；
所述经验模式分解模块用于基于经验模式分解算法对原始波信号进行分解，获得多个IMF分量；
所述特征提取模块用于提取IMF分量的均值和平衡系数作为特征向量；
所述分类模块用于基于模糊C均值聚类算法对特征向量进行分类，依据分类结果得到脑电波控制信息；
所述平衡系数为
σ2为IMF分量的方差，
为IMF分量的平均值。
8.如权利要求1所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述系统还设有险情匹配模块、路径调整模块及预警模块；
在满足险情触发条件但未有动作脑电波信号输入时，所述险情匹配模块将险情与基于先验经验设立的险情应对方案库中的险情应对方案进行匹配；
在匹配到对应的险情应对方案时，所述路径调整模块应用该险情应对方案调整车辆行驶姿态；
在未匹配到对应的险情应对方案时，所述预警模块向车辆上人员发送预警信号，并依据人员针对所述预警信号产生的脑电波反馈信号来解决险情。
9.如权利要求8所述的一种自动驾驶情景下的脑电波紧急制动系统，其特征在于，所述系统还包括流程评价与优化模块，所述流程评价与优化模块用于：
在汽车行驶姿态调整完后，生成人脑接管驾驶流程与人脑接管驾驶评价；
基于人脑接管驾驶评价，优化此次人脑接管驾驶流程，并将优化后的人脑接管驾驶流程保存到险情应对方案库中。
10.一种无人车自动驾驶情景下的脑电波紧急制动方法，应用于如权利要求1-9任一项所述的脑电波紧急制动系统，其特征在于，包括：
实时采集路况信息和车况信息；
实时采集车辆上若干人员的脑电波信号；
依据所述路况信息和所述车况信息，通过多传感器数据融合形成对感测范围内环境、车辆自身状态以及驾驶内景的全面认知；
基于所述全面认知判断车辆是否满足险情触发条件；
进而在满足险情触发条件时，判断是否有动作脑电波输入；
在有动作脑电波输入时，从第一时刻开始截取预设时段内的脑电波信号，经预处理得到原始波数据，进而对原始波数据进行解析得到脑电波控制信息，并依据脑电波控制信息调整车辆行驶姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661133.3A CN113276867A (zh) | 2021-06-15 | 2021-06-15 | 一种自动驾驶情景下的脑电波紧急控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661133.3A CN113276867A (zh) | 2021-06-15 | 2021-06-15 | 一种自动驾驶情景下的脑电波紧急控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113276867A true CN113276867A (zh) | 2021-08-20 |
Family
ID=77284594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110661133.3A Pending CN113276867A (zh) | 2021-06-15 | 2021-06-15 | 一种自动驾驶情景下的脑电波紧急控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113276867A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114103998A (zh) * | 2021-12-03 | 2022-03-01 | 智己汽车科技有限公司 | 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置 |
| CN116688479A (zh) * | 2023-06-07 | 2023-09-05 | 廊坊市珍圭谷科技有限公司 | 一种基于脑波信号的竞技控制装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100010365A1 (en) * | 2008-07-11 | 2010-01-14 | Hitachi, Ltd. | Apparatus for analyzing brain wave |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| WO2014092494A1 (ko) * | 2012-12-14 | 2014-06-19 | 고려대학교 산학협력단 | 뇌파를 이용한 주행체 제어 방법 및 장치 |
| CN106548644A (zh) * | 2016-11-30 | 2017-03-29 | 深圳明创自控技术有限公司 | 一种自动驾驶系统 |
| CN110236576A (zh) * | 2019-07-18 | 2019-09-17 | 内蒙古师范大学 | 一种基于数据融合的驾驶员脑电波采集及分析系统 |
| CN210697655U (zh) * | 2019-07-18 | 2020-06-09 | 内蒙古师范大学 | 一种基于数据融合的驾驶员脑电波采集及分析系统 |
| CN112244869A (zh) * | 2020-09-17 | 2021-01-22 | 广东工业大学 | 一种提取eeg脑电波信号用于专注力集中分析的方法 |
| CN112356841A (zh) * | 2020-11-26 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于脑机交互的车辆控制方法及装置 |
| CN112455461A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
-
2021
- 2021-06-15 CN CN202110661133.3A patent/CN113276867A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100010365A1 (en) * | 2008-07-11 | 2010-01-14 | Hitachi, Ltd. | Apparatus for analyzing brain wave |
| WO2014092494A1 (ko) * | 2012-12-14 | 2014-06-19 | 고려대학교 산학협력단 | 뇌파를 이용한 주행체 제어 방법 및 장치 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN106548644A (zh) * | 2016-11-30 | 2017-03-29 | 深圳明创自控技术有限公司 | 一种自动驾驶系统 |
| CN110236576A (zh) * | 2019-07-18 | 2019-09-17 | 内蒙古师范大学 | 一种基于数据融合的驾驶员脑电波采集及分析系统 |
| CN210697655U (zh) * | 2019-07-18 | 2020-06-09 | 内蒙古师范大学 | 一种基于数据融合的驾驶员脑电波采集及分析系统 |
| CN112455461A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
| CN112244869A (zh) * | 2020-09-17 | 2021-01-22 | 广东工业大学 | 一种提取eeg脑电波信号用于专注力集中分析的方法 |
| CN112356841A (zh) * | 2020-11-26 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于脑机交互的车辆控制方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114103998A (zh) * | 2021-12-03 | 2022-03-01 | 智己汽车科技有限公司 | 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置 |
| CN114103998B (zh) * | 2021-12-03 | 2024-03-19 | 智己汽车科技有限公司 | 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置 |
| CN116688479A (zh) * | 2023-06-07 | 2023-09-05 | 廊坊市珍圭谷科技有限公司 | 一种基于脑波信号的竞技控制装置 |
| CN116688479B (zh) * | 2023-06-07 | 2024-02-06 | 廊坊市珍圭谷科技有限公司 | 一种基于脑波信号的竞技控制装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507170B (zh) | 通过车对车连接警告驾驶员的异常状态的方法和装置 | |
| CN107126224B (zh) | 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 | |
| Lee | A theory of visual control of braking based on information about time-to-collision | |
| US20120101402A1 (en) | method and system for controlling a device | |
| KR102053794B1 (ko) | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 | |
| CN113276867A (zh) | 一种自动驾驶情景下的脑电波紧急控制系统及方法 | |
| Ou et al. | Enhancing driver distraction recognition using generative adversarial networks | |
| CN110509983A (zh) | 一种适用于不同驾驶需求的线控转向路感反馈装置 | |
| US11514688B2 (en) | Drowsiness detection system | |
| CN110103816B (zh) | 一种驾驶状态检测方法 | |
| Shirazi et al. | Detection of intoxicated drivers using online system identification of steering behavior | |
| CN108537198A (zh) | 一种基于人工智能的驾驶习惯的分析方法 | |
| Lethaus et al. | Using pattern recognition to predict driver intent | |
| JP2020042785A (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
| WO2019177511A1 (en) | Method, control arrangement and machine learning based system for autonomous vehicles for proactively acting on situations involving an increased traffic accident risk | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| Ambarak et al. | A neural network for predicting unintentional lane departures | |
| CN116443025A (zh) | 一种作业车辆司机疲劳驾驶干预系统 | |
| Xing et al. | Advanced driver intention inference: Theory and design | |
| CN113602287A (zh) | 一种面向低驾龄女性驾驶员的人机共驾系统 | |
| CN113173169A (zh) | 一种自动驾驶车辆舒适度优化训练系统 | |
| Feleke et al. | Detection of driver emergency steering intention using EMG signal | |
| Bundele et al. | An svm classifier for fatigue-detection using skin conductance for use in the bits-lifeguard wearable computing system | |
| Lashkov et al. | Aggressive behavior detection based on driver heart rate and hand movement data | |
| JP7443283B2 (ja) | 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |