CN116788271A - 基于人机协作控制的脑控驾驶方法及系统 - Google Patents
基于人机协作控制的脑控驾驶方法及系统 Download PDFInfo
- Publication number
- CN116788271A CN116788271A CN202310788748.1A CN202310788748A CN116788271A CN 116788271 A CN116788271 A CN 116788271A CN 202310788748 A CN202310788748 A CN 202310788748A CN 116788271 A CN116788271 A CN 116788271A
- Authority
- CN
- China
- Prior art keywords
- driving
- vehicle
- brain
- driver
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007177 brain activity Effects 0.000 claims abstract description 12
- 230000000638 stimulation Effects 0.000 claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000005868 electrolysis reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了基于人机协作控制的脑控驾驶方法及系统，包括：获取带有SSVEP闪烁刺激的驾驶场景信息，驾驶员通过观看所述驾驶场景信息，诱发特征大脑活动并进行车辆控制；采集所述驾驶员的所述特征大脑活动，获得对应的脑电信号；通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图；将所述驾驶场景信息和车辆状态信息输入智能控制模型，获得原始车辆控制信号；将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号；采用所述优化后的车辆控制信号驱动被控车辆，实现调度被控车辆在带有SSVEP闪烁刺激的驾驶场景中的运动。
Description
技术领域
本发明属于脑机接口技术领域，尤其涉及基于人机协作控制的脑控驾驶方法及系统。
背景技术
自动驾驶技术是智能交通领域的一个热点，它可以在不需要人类驾驶员的情况下实现车辆的自主驾驶，大大提高了交通安全性和效率。然而，目前完全自动驾驶仍然是不可实现的，尤其是在复杂的城市道路和多种交通工具共存的环境下。因此，在自动驾驶技术的发展过程中，驾驶员仍然扮演着至关重要的角色，他们需要对车辆进行监测、干预和控制，以保证驾驶安全。为了提高驾驶系统的安全性，工业界和学术界将人机协作引入到了自动驾驶领域。在人机协作中，驾驶员和自动化控制系统之间存在一种动态的交互关系，驾驶员通过自身判断控制车辆，自动化控制系统则通过视觉、声音等反馈信息指导驾驶员的行为。这种控制方式不仅能够提高驾驶的安全性和舒适性，还可以有效地减轻驾驶员的负担，提高驾驶员的注意力和反应速度。在众多人机协作驾驶技术中，基于脑机接口的人机协作驾驶技术是一种较为前沿的控制技术。基于脑机接口的人机协作驾驶技术是一种通过监测驾驶员的脑电信号来实现对车辆的控制和指导的技术。通过监测驾驶员的脑电信号，系统可以实时分析驾驶员的意图和状态，并相应地调整车辆的行驶模式和速度，从而提高驾驶安全性和舒适性。然而，目前基于脑机接口的人机协作驾驶系统还处于发展初期。由于人类驾驶行为的不可预知性，基于脑机接口的人机协作驾驶系统无法应对交通突发状况。同时，现有的基于脑机接口的人机协作驾驶系统无法实现高效的横纵向联合控制。
发明内容
为解决上述技术问题，本发明提出了基于人机协作控制的脑控驾驶方法及系统，使得被控车辆在高效行驶的过程中能够规避因人类操作失误带来的交通事故，解决了无法应对交通突发状况的问题。
一方面为实现上述目的，本发明提供了基于人机协作控制的脑控驾驶方法，包括以下步骤：
获取带有SSVEP闪烁刺激的驾驶场景信息，驾驶员通过观看所述驾驶场景信息，诱发特征大脑活动并进行车辆控制；
采集所述驾驶员的所述特征大脑活动，获得对应的脑电信号；通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图；
将所述驾驶场景信息和车辆状态信息输入智能控制模型，获得原始车辆控制信号；
将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号；
采用所述优化后的车辆控制信号驱动被控车辆，实现调度被控车辆在带有SSVEP闪烁刺激的驾驶场景中的运动。
可选的，带有SSVEP闪烁刺激的驾驶场景信息包括：在驾驶场景上叠加四个闪烁刺激，所述四个闪烁刺激分别位于所述驾驶场景的上下左右四个方向，分别表示前进、左转、刹车和右转的驾驶意图。
可选的，通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图的方法包括：
构造四个闪烁刺激的模板信号，计算所述脑电信号与所述模板信号的第一相关系数；
将所述第一相关系数中的若干个子频带成分进行加权平方和融合，获得第二相关系数；
设置信阈值，基于所述第二相关系数与所述信阈值进行比较，获得所述驾驶员的驾驶意图。
可选的，所述驾驶意图包括速度控制指令，表示为：
其中，G(k)为速度控制状态，1为加速状态，0为空状态，-1为刹车状态，k为离散后的k时刻，为k时刻的速度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δathrottle_increment为加速度增量常数，Δabrake_increment为刹车增量常数，Δathrottle_decay为加速度减量常数，Δabrake_decay为刹车减量常数。
可选的，所述驾驶意图还包括角度控制指令，表示为：
其中，H(k)为角度控制状态，1为左转状态，0为空状态，-1为右转状态，k为离散后的k时刻，为k时刻的角度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δδincrement为角速度增量常数，Δδdecay为角速度减量常数。
可选的，获取所述智能控制模型的方法包括：
获取所述被控车辆的车辆状态及车辆控制动作，所述车辆状态包括所述被控车辆的位置、速度和方向，所述车辆控制动作包括所述被控车辆的转向、加速和刹车；
构造奖励函数，根据应用场景，设计奖励函数，构建初始智能控制模型；
将所述车辆状态及车辆控制动作输入所述初始智能控制模型进行训练和优化，获取智能控制模型。
可选的，将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号的方法包括：
其中，k为离散后的k时刻，为优化后k时刻的车辆控制信号，/>为k时刻原始车辆控制信号，/>为k时刻驾驶员的驾驶意图，M为智能控制模型的权重矩阵，N为人类驾驶员控制的权重矩阵。
另一方面为实现上述目的，本发明提供了基于人机协作控制的脑控驾驶系统，包括：驾驶场景模块、脑电解码模块、智能控制模块、综合决策模块和车辆驱动模块；
所述驾驶场景模块，用于获取带有SSVEP闪烁刺激的驾驶场景信息，驾驶员通过观看所述驾驶场景信息，诱发特征大脑活动并进行车辆控制；
所述脑电解码模块，用于获取驾驶员的所述特征大脑活动对应的所述脑电信号，通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图；
所述智能控制模块，用于将所述驾驶场景信息和车辆状态信息输入智能控制模型，获得原始车辆控制信号；
所述综合决策模块，用于将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号；
所述车辆驱动模块，用于采用所述优化后的车辆控制信号驱动被控车辆，实现被控车辆在驾驶场景中的运动。
一种嵌入式计算机设备，包括图像显示器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
本发明技术效果：本发明公开了基于人机协作控制的脑控驾驶方法及系统，使用脑电解码模型分析所述脑电信号得到驾驶员的驾驶意图(人类意图产生的车辆控制信号)，同时实现了驾驶员对被控车辆的横纵向联合控制，解决了传统方法无法实现横纵向联合控制的问题。将驾驶场景信息与车辆状态信息同时输入给智能控制模型得到原始车辆控制信号，实现了在保障行驶安全的前提下高效的横纵向联合控制，解决了传统方法无法实现高效的横纵向联合控制的问题。将要所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入给综合决策模型，得到优化后的车辆控制信号，使被控车辆在高效行驶的过程中能够规避因人类操作失误带来的交通事故，解决了无法应对交通突发状况的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例基于人机协作控制的脑控驾驶方法的流程示意图；
图2为本发明实施例带有SSVEP闪烁刺激的驾驶场景的示意图；
图3为本发明实施例脑电解码模型的实现步骤；
图4为本发明实施例智能控制模型的实现过程；
图5为本发明实施例基于人机协作控制的脑控驾驶系统的示意图；
图6为本发明实施例一种嵌入式计算机设备的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本实施例中提供基于人机协作控制的脑控驾驶方法，包括以下步骤：
S101，将带有SSVEP闪烁刺激的驾驶场景呈现给驾驶员；
S102，驾驶员通过观看带有SSVEP闪烁刺激的驾驶场景，诱发出特征大脑活动；
S103，使用脑电放大器采集驾驶员的特征大脑活动，得到相应的脑电信号；
S104，使用脑电解码模型分析脑电信号，得到驾驶员的驾驶意图(人类意图产生的车辆控制信号)；
S105，将驾驶场景信息与车辆状态信息同时输入给智能控制模型，得到原始车辆控制信号；
S106，将要驾驶员的驾驶意图、原始车辆控制信号和驾驶场景信息同时输入给综合决策模型，得到优化后的车辆控制信号；
S107，使用优化后的车辆控制信号来驱动车辆进行运动。
具体的，带有SSVEP闪烁刺激的驾驶场景是通过在驾驶场景(S201)上叠加四个闪烁刺激实现的，如图2所示。四个闪烁刺激分别位于驾驶场景中上下左右四个方位。四个闪烁刺激位于6-20赫兹之间。四个闪烁刺激分别对应前进(S202)、左转(S203)、刹车(S204)和右转(S205)的驾驶员控制意图，驾驶员可以通过注视不同的闪烁刺激诱发相应的控制意图，从而实现横纵向联合控制。使用不同频率的闪烁刺激可以诱发出相应的特征脑电信号从而实现频率编码，即当驾驶员受到固定频率的视觉刺激时，大脑皮层也会产生同样频率以及倍频的周期性变化。四个闪烁刺激为大于200px的矩形，相邻刺激的横向间距与纵向间距均大于200px。
如图3所示，脑电解码模型通过以下步骤实现：
S301，分别构造四个闪烁刺激的模板信号
其中，Yi是模板信号，i是刺激目标索引，fi表示刺激频率，Ns表示采样点数量，Fs代表采样频率，t为采样时间点。
S302，分别计算实时获取的脑电信号与模板信号的相关性系数，
其中，SB1代表第1个子频带，SB2代表第2个子频带，SBN代表第N个子频带，CCA代表典型相关性的计算，ρi表示相关性系数矩阵，表示第1个相关性系数，/>表示第2个相关性系数，/>表示第N个相关性系数。
S303，将ρi中N个子频带成分做一个加权平方和融合，
wn＝n-a+b，n∈[1，2，...，N]
其中，a、b为常数，N为子频带的数量，wn为第n个相关系数的权重系数，表示第n个相关性系数，/>为加权平方和融合后的相关系数(即最终的相关系数)。
通过将N个子频带成分做一个加权平方和融合，而不是只采用一个子频带，这种设计方案极大的提高了算法的性能与准确率。
S304，取置信阈值为R(其中，R为常数)，当相关系数的最大值大于R时，则代表驾驶员产生了人类控制意图，否则代表空状态。通过设置阈值，保障了系统的稳定性。
S305，对于速度速度控制，有三种人类意图控制指令，表示为
其中，G(k)为速度控制状态，1为加速状态，0为空状态，-1为刹车状态。
将衰减系数加入到了设计中。离散后的k时刻的车辆加速度表示为：
其中，k为离散后的k时刻，为k时刻的速度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δathrottle_increment为加速度增量常数，Δabrake_increment为刹车增量常数，Δathrottle_decay为加速度减量常数，Δabrake_decay为刹车减量常数。
S306，对于车辆角度控制，有三种人类意图控制指令可用于角速度控制，表示为
其中，H(k)为角度控制状态，1为左转状态，0为空状态，-1为右转状态。
离散后的k时刻的角速度控制指令输出表示为：
其中，k为离散后的k时刻，为k时刻的角度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δδincrement为角速度增量常数，Δδdecay为角速度减量常数。
S307，得到人类意图产生的车辆控制信号，表示为
其中，k为离散后的k时刻，为k时刻的速度控制指令，/>为k时刻的角度控制指令，/>为k时刻人类意图产生的车辆控制信号。
如图4所示，智能控制模型是使用基于策略优化的机器学习方法实现的，其实现过程如下：
S401，使用状态空间描述车辆，确定车辆的状态表示，选择车辆的位置、速度、方向等信息作为状态，采用特征提取的方法将原始状态映射到低维空间；
S402，建立车辆的动作空间，定义车辆可以采取的动作空间，包括转向、加速、刹车控制动作；
S403，构造奖励函数，根据应用场景，设计奖励函数，使车辆学习到合适的驾驶策略同时避免事故；
S404，训练策略网络，建立一个深度神经网络模型作为驾驶策略的表示，该模型可以输入车辆状态，输出车辆控制动作；
S405，强化学习优化，选择基于PPO的强化学习算法，不断更新策略网络中的参数，通过探索-利用策略，逐步优化驾驶策略，从而实现车辆的智能控制；
S406，验证和评估，在实际驾驶场景中，对基于PPO的强化学习方法进行验证和评估，评估结果可以用于优化算法和改进驾驶辅助系统的性能。
S407，输出原始车辆控制信号，
其中，k为离散后的k时刻，为k时刻智能控制模型的速度控制指令，/>为k时刻智能控制模型的角度控制指令，/>为k时刻智能控制模型产生的车辆控制信号。
具体的，奖励函数的设计为
Reward(sk,ak,sk+1)＝w1*Safe(sk)+w2*Efficiency(ak)+w3*Time(sk)
其中，k为离散后的k时刻，k+1为离散后的k时刻，sk和sk+1分别是时间步k和k+1时刻的车辆状态，ak是时间步k时刻车辆的控制动作，Safe(sk)是安全性奖励函数，Efficiency(ak)是能源效率奖励函数，Time(sk)是时间效率奖励函数，Reward(sk,ak,sk+1)是k+1时刻的奖励函数。w1，w2，和w3是不同因素的权重，可以根据具体应用场景进行调整。比如，在安全性较为重要的场景中，可以将w1的值设置得较高，以鼓励车辆尽可能避免事故或危险情况。
智能控制模型可以通过神经网络训练得到高效的智能控制模型，实现对被控车辆的智能控制。其核心是通过不断的强化学习算法更新，实现对驾驶策略的优化和提升，从而提高驾驶的安全性和效率，最终实现高效的横纵向联合控制。
具体的，综合决策模型根据脑电解码模型的输出和智能控制模型的输出，同时结合当前驾驶场景中的环境信息，进行自适应调整输出优化后的车辆控制信号
其中，k为离散后的k时刻，为优化后k时刻的车辆控制信号，/>为k时刻原始车辆控制信号，/>为k时刻驾驶员的驾驶意图，M为智能控制模型的权重矩阵，N为人类驾驶员控制的权重矩阵。
在驾驶过程中，由于人类驾驶行为的不可预知性导致基于脑机接口的人机协作驾驶系统无法应对交通突发状况，而综合决策模型则解决了该问题，使被控车辆在高效行驶的过程中能够规避因人类操作失误带来的交通事故。
具体的，自适应调整是根据tank函数设计的。将其他交通车辆、马路边缘区域定义为危险驾驶区域，当被控车辆进入危险驾驶区域时，逐步降低脑电解码模型的权重，以使得被控车辆在智能控制模型的控制下快速离开危险区域。被控车辆离开危险驾驶区域之后，逐步恢复脑电解码模型的权重。
如图5所示，本实施例中提供基于人机协作控制的脑控驾驶系统，包括：
S501，驾驶场景模块，用于呈现带有SSVEP闪烁刺激的驾驶场景，驾驶员可以通过注视场景中的闪烁刺激来实现车辆控制；
S502，脑电解码模块，用于部署脑电解码模型，通过对驾驶员的脑电信号进行解码，输出人类意图产生的车辆控制信号；
S503，智能控制模块，用于部署智能控制模型，通过训练深度学习算法得到智能控制模型，输出原始车辆控制信号；
S504，综合决策模块，用于部署综合决策模型，结合当前驾驶场景中的环境信息，进行自适应调整输出优化后的车辆控制信号；
S505，车辆驱动模块，使用优化后的车辆控制信号来驱动被控车辆，从而实现被控车辆在驾驶场景中的运动。被控车辆模型有两种实现方式，包括动力学模型和运动学模型。
如图6所示，本发明实施例提供了一种嵌入式计算机设备，包括图像显示器(S601)、存储器(S602)、处理器(S603)及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现基于人机协作控制的脑控驾驶方法及系统的步骤。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行基于人机协作控制的脑控驾驶方法和系统的步骤。
为了验证本申请提出的基于人机协作控制的脑控驾驶方法及系统的有效性和实现效果，进行了实验验证。
本实验的目的是验证本发明提出的基于人机协作控制的脑控驾驶方法及系统的有效性和实现效果。具体而言，本实验旨在评估使用本发明提出的方法和系统与传统方法和系统来实现驾驶控制的可行性和优劣比较。
本实验使用了以下设备：脑机接口设备，采用高精度的SSVEP脑机接口设备，用于检测受试者的脑电信号；工控机处理器(Intel 8700K CPU、16GB-DDR5RAM、Nvidia GeForceRTX2070图形卡)，运行有驾驶控制器的程序，模拟真实驾驶场景。个人电脑，用于运行实验软件和记录实验数据。本实验共招募了若干名受试者，所有受试者均为拥有驾驶经验的成年人。在实验前，所有受试者接受了一次针对驾驶经验、身体健康和脑电信号的初步筛选。通过筛选后，受试者被随机分为两组：实验组和对照组。实验组使用了本申请提出的基于人机协作控制的脑控驾驶方法和系统，对照组则使用传统的手动驾驶控制方法。实验过程如下：受试者进行基本信息登记和签署知情同意书；受试者接受SSVEP脑机接口设备的装置，并进行脑电信号检测和校准；受试者接受实验说明和实验流程的讲解，并进行适应训练；实验组和对照组受试者分别进行不同的驾驶控制任务，任务时间为60分钟；实验结束后，受试者填写问卷调查，包括对实验过程和使用方法的评价，以及对驾驶控制体验的主观反馈。实验结果显示，与传统手动驾驶控制方法相比，基于人机协作控制的脑控驾驶方法和系统具有以下优点：能够显著减少驾驶事故的发生率，提高驾驶的安全性；能够减少车辆的燃油消耗，提高驾驶的能源效率；能够缩短驾驶时间，提高驾驶的时间效率。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.基于人机协作控制的脑控驾驶方法，其特征在于，包括以下步骤：
获取带有SSVEP闪烁刺激的驾驶场景信息，驾驶员通过观看所述驾驶场景信息，诱发特征大脑活动并进行车辆控制；
采集所述驾驶员的所述特征大脑活动，获得对应的脑电信号；通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图；
将所述驾驶场景信息和车辆状态信息输入智能控制模型，获得原始车辆控制信号；
将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号；
采用所述优化后的车辆控制信号驱动被控车辆，实现调度被控车辆在带有SSVEP闪烁刺激的驾驶场景中的运动。
2.如权利要求1所述的基于人机协作控制的脑控驾驶方法，其特征在于，
带有SSVEP闪烁刺激的驾驶场景信息包括：在驾驶场景上叠加四个闪烁刺激，所述四个闪烁刺激分别位于所述驾驶场景的上下左右四个方向，分别表示前进、左转、刹车和右转的驾驶意图。
3.如权利要求2所述的基于人机协作控制的脑控驾驶方法，其特征在于，
通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图的方法包括：
构造四个闪烁刺激的模板信号，计算所述脑电信号与所述模板信号的第一相关系数；
将所述第一相关系数中的若干个子频带成分进行加权平方和融合，获得第二相关系数；
设置信阈值，基于所述第二相关系数与所述信阈值进行比较，获得所述驾驶员的驾驶意图。
4.如权利要求3所述的基于人机协作控制的脑控驾驶方法，其特征在于，
所述驾驶意图包括速度控制指令，表示为：
其中，G(k)为速度控制状态，1为加速状态，0为空状态，-1为刹车状态，k为离散后的k时刻，为k时刻的速度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δathrottle_increment为加速度增量常数，Δabrake_increment为刹车增量常数，Δathrottle_decay为加速度减量常数，Δabrake_decay为刹车减量常数。
5.如权利要求3所述的基于人机协作控制的脑控驾驶方法，其特征在于，
所述驾驶意图还包括角度控制指令，表示为：
其中，H(k)为角度控制状态，1为左转状态，0为空状态，-1为右转状态，k为离散后的k时刻，为k时刻的角度控制指令，k-1为离散后的k时刻，max为取最大值符号，min为取最小值符号，Δδincrement为角速度增量常数，Δδdecay为角速度减量常数。
6.如权利要求1所述的基于人机协作控制的脑控驾驶方法，其特征在于，
获取所述智能控制模型的方法包括：
获取所述被控车辆的车辆状态及车辆控制动作，所述车辆状态包括所述被控车辆的位置、速度和方向，所述车辆控制动作包括所述被控车辆的转向、加速和刹车；
构造奖励函数，根据应用场景，设计奖励函数，构建初始智能控制模型；
将所述车辆状态及车辆控制动作输入所述初始智能控制模型进行训练和优化，获取智能控制模型。
7.如权利要求1所述的基于人机协作控制的脑控驾驶方法，其特征在于，
将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号的方法包括：
其中，k为离散后的k时刻，为优化后k时刻的车辆控制信号，/>为k时刻原始车辆控制信号，/>为k时刻驾驶员的驾驶意图，M为智能控制模型的权重矩阵，N为人类驾驶员控制的权重矩阵。
8.根据权利要求1-7所述的基于人机协作控制的脑控驾驶方法的脑控驾驶系统，其特征在于，包括：驾驶场景模块、脑电解码模块、智能控制模块、综合决策模块和车辆驱动模块；
所述驾驶场景模块，用于获取带有SSVEP闪烁刺激的驾驶场景信息，驾驶员通过观看所述驾驶场景信息，诱发特征大脑活动并进行车辆控制；
所述脑电解码模块，用于获取驾驶员的所述特征大脑活动对应的所述脑电信号，通过脑电解码模型对所述脑电信号进行解码，获得所述驾驶员的驾驶意图；
所述智能控制模块，用于将所述驾驶场景信息和车辆状态信息输入智能控制模型，获得原始车辆控制信号；
所述综合决策模块，用于将所述驾驶员的驾驶意图、所述原始车辆控制信号和所述驾驶场景信息同时输入综合决策模型，获得优化后的车辆控制信号；
所述车辆驱动模块，用于采用所述优化后的车辆控制信号驱动被控车辆，实现被控车辆在驾驶场景中的运动。
9.一种嵌入式计算机设备，包括图像显示器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788748.1A CN116788271B (zh) | 2023-06-30 | 2023-06-30 | 基于人机协作控制的脑控驾驶方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788748.1A CN116788271B (zh) | 2023-06-30 | 2023-06-30 | 基于人机协作控制的脑控驾驶方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116788271A true CN116788271A (zh) | 2023-09-22 |
| CN116788271B CN116788271B (zh) | 2024-03-01 |
Family
ID=88049393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310788748.1A Active CN116788271B (zh) | 2023-06-30 | 2023-06-30 | 基于人机协作控制的脑控驾驶方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116788271B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130108778A (ko) * | 2012-03-26 | 2013-10-07 | 한국과학기술연구원 | Ｓｓｖｅｐ 기반 차량 안전 주행 제어 시스템 및 방법 |
| CN211001203U (zh) * | 2019-11-13 | 2020-07-14 | 蓝色传感（北京）科技有限公司 | 基于脑电信号的人车交互系统 |
| CN112356841A (zh) * | 2020-11-26 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于脑机交互的车辆控制方法及装置 |
| CN112975982A (zh) * | 2021-03-16 | 2021-06-18 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人系统 |
| CN113085851A (zh) * | 2021-03-09 | 2021-07-09 | 傅玥 | 一种动态自适应ssvep脑机接口的实时驾驶避障系统及方法 |
| CN114103974A (zh) * | 2021-11-01 | 2022-03-01 | 北京理工大学 | 一种面向车辆连续控制的脑机接口方法 |
| CN115454238A (zh) * | 2022-08-30 | 2022-12-09 | 重庆长安汽车股份有限公司 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
| CN115716476A (zh) * | 2022-11-18 | 2023-02-28 | 佛山仙湖实验室 | 自动驾驶变道方法、装置、电子设备及存储介质 |
| CN116331221A (zh) * | 2022-09-13 | 2023-06-27 | 佛山仙湖实验室 | 辅助驾驶方法、装置、电子设备及存储介质 |
| KR20230093103A (ko) * | 2021-12-17 | 2023-06-27 | 재단법인대구경북과학기술원 | 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법 |
-
2023
- 2023-06-30 CN CN202310788748.1A patent/CN116788271B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130108778A (ko) * | 2012-03-26 | 2013-10-07 | 한국과학기술연구원 | Ｓｓｖｅｐ 기반 차량 안전 주행 제어 시스템 및 방법 |
| CN211001203U (zh) * | 2019-11-13 | 2020-07-14 | 蓝色传感（北京）科技有限公司 | 基于脑电信号的人车交互系统 |
| CN112356841A (zh) * | 2020-11-26 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于脑机交互的车辆控制方法及装置 |
| CN113085851A (zh) * | 2021-03-09 | 2021-07-09 | 傅玥 | 一种动态自适应ssvep脑机接口的实时驾驶避障系统及方法 |
| CN112975982A (zh) * | 2021-03-16 | 2021-06-18 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人系统 |
| CN114103974A (zh) * | 2021-11-01 | 2022-03-01 | 北京理工大学 | 一种面向车辆连续控制的脑机接口方法 |
| KR20230093103A (ko) * | 2021-12-17 | 2023-06-27 | 재단법인대구경북과학기술원 | 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법 |
| CN115454238A (zh) * | 2022-08-30 | 2022-12-09 | 重庆长安汽车股份有限公司 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
| CN116331221A (zh) * | 2022-09-13 | 2023-06-27 | 佛山仙湖实验室 | 辅助驾驶方法、装置、电子设备及存储介质 |
| CN115716476A (zh) * | 2022-11-18 | 2023-02-28 | 佛山仙湖实验室 | 自动驾驶变道方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116788271B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AT518444B1 (de) | Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers | |
| AT518489B1 (de) | Fahrerassistenzsystem zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs | |
| DE102016113903A1 (de) | Fahrzeugfahrstreckenbestimmung | |
| DE112017006567T5 (de) | Autonomes fahrzeug mit fahrerausbildung | |
| CN111204348A (zh) | 调节车辆行驶参数方法、装置、车辆及存储介质 | |
| JP7241972B2 (ja) | ユーザの運転の好みに適応した自動運転車の制御 | |
| Alamri et al. | An effective bio-signal-based driver behavior monitoring system using a generalized deep learning approach | |
| CN116331221A (zh) | 辅助驾驶方法、装置、电子设备及存储介质 | |
| DE102022003079A1 (de) | Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze | |
| Selvaraj et al. | An ML-aided reinforcement learning approach for challenging vehicle maneuvers | |
| CN116788271B (zh) | 基于人机协作控制的脑控驾驶方法及系统 | |
| Hajiseyedjavadi et al. | Effect of environmental factors and individual differences on subjective evaluation of human-like and conventional automated vehicle controllers | |
| Xu et al. | Modeling Lateral Control Behaviors of Distracted Drivers for Haptic-Shared Steering System | |
| CN114148349B (zh) | 一种基于生成对抗模仿学习的车辆个性化跟驰控制方法 | |
| Chronis et al. | A driving profile recommender system for autonomous driving using sensor data and reinforcement learning | |
| EP4212980A1 (de) | Fahrassistenzeinrichtung und verfahren zum durchführen einer wenigstens teilautomatischen fahrzeugfunktion in abhängigkeit von einer zu bewertenden fahrstrecke | |
| Tarabay et al. | A dynamic hybrid choice model to quantify stress in a simulated driving environment | |
| Kontaratos | A systems analysis of the problem of road casualties in the United States∗ | |
| Levermore et al. | A review of driver modelling | |
| Petit et al. | A pilot study on the dynamics of online risk assessment by the passenger of a self-driving car among pedestrians | |
| Cacciabue et al. | Simple simulation of driver performance for prediction and design analysis | |
| CN108733962A (zh) | 一种无人车的拟人驾驶员控制模型的建立方法和系统 | |
| Kosmides et al. | Bringing trust to autonomous mobility | |
| Qi et al. | Investigating pedestrian crossing decision with autonomous cars in virtual reality | |
| DE102020110092A1 (de) | Verfahren, System sowie ein Computerprogramm zum Steuern einer zumindest teilweise automatisierten Fahrt eines Fahrzeugs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |