CN111976733B - 一种驾驶员转向意图连续预测方法和系统 - Google Patents

一种驾驶员转向意图连续预测方法和系统 Download PDF

Info

Publication number
CN111976733B
CN111976733B CN202010876455.5A CN202010876455A CN111976733B CN 111976733 B CN111976733 B CN 111976733B CN 202010876455 A CN202010876455 A CN 202010876455A CN 111976733 B CN111976733 B CN 111976733B
Authority
CN
China
Prior art keywords
data
layer
prediction
driver
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010876455.5A
Other languages
English (en)
Other versions
CN111976733A (zh
Inventor
刘亚辉
董晴
季学武
李亮
川原禎弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
JTEKT Corp
Original Assignee
Tsinghua University
JTEKT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, JTEKT Corp filed Critical Tsinghua University
Priority to CN202010876455.5A priority Critical patent/CN111976733B/zh
Publication of CN111976733A publication Critical patent/CN111976733A/zh
Priority to JP2021110964A priority patent/JP2022039977A/ja
Application granted granted Critical
Publication of CN111976733B publication Critical patent/CN111976733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种驾驶员转向意图连续预测方法和系统，包括：数据采集层，用于在训练和测试阶段对模拟驾驶场景中驾驶员的肌电信号数据和转向力矩数据进行收集，或在在线使用阶段对真实驾驶场景中驾驶员的肌电信号数据进行收集，并发送到数据处理层；数据处理层，用于对收集的各类数据进行预处理，并发送到模型构建层或转向意图预测层；模型构建层，用于根据训练和测试阶段处理后的肌电信号数据和转向力矩数据建立深度时间序列模型，并发送到转向意图预测层；转向意图预测层，用于根据在线使用阶段处理后的驾驶员肌电信号数据以及深度时间序列模型对驾驶员转向意图进行连续预测，得到驾驶员转向预测结果。本发明可以广泛应用于智能驾驶技术领域。

Description

一种驾驶员转向意图连续预测方法和系统
技术领域
本发明属于智能驾驶技术领域，特别是涉及一种基于肌电信号处理和时间序列建模的驾驶员转向意图连续预测方法和系统。
背景技术
智能和自动驾驶车辆在提高交通安全性、效率和多样性方面已显示出巨大潜力。交通运输和环境效率方面的其他好处以及为老年人和残疾人提供机动性的机会，正在刺激全球对自动驾驶和驾驶员辅助技术的投资。尽管在过去的五年中取得了一系列成就，但是仍然需要回答一个具有挑战性的问题，那就是人类驾驶员/乘客如何在未来的自动驾驶汽车中与自动化设备进行协作和交互。在实现全自动驾驶汽车之前，驾驶员仍将需要与自动化设备共享部分车辆控制权限。在这种情况下，预测驾驶员的转向意图使智能车辆能够提前优化与驾驶员的辅助和协作策略，从而为驾驶员与车辆之间的协作提供了一种智能的相互理解系统。
现有的驾驶员转向意图主要依赖于驾驶员状态估计和车辆动力学识别。现有的大多数研究都集中在基于视觉的方法上，预测离散的转向和换道意图。然而，由于在驾驶员状态和转向扭矩之间缺乏直接的联系，这些方法都不能提供提前和连续的转向意图预测系统。
目前，肌电图(EMG)信号已广泛用于驾驶员转向行为的研究，但大多数研究集中在转向行为建模、驾驶疲劳和转向舒适性评估上。研究发现驾驶过程中人类感知的转向力可能不同于物理力，并且EMG信号可用于感知力估计，但很少有研究基于EMG信号开发精确的转向扭矩预测，以实现驾驶员与自动驾驶车辆之间的智能协作。
发明内容
针对上述问题，本发明的目的是基于肌电图(EMG)信号处理和深层时间序列建模，提供一种具有深层时间序列学习功能的驾驶员转向意图预测方法和系统。
为实现上述目的，本发明采取以下技术方案：
本发明的第一个方面，是提供一种驾驶员转向意图连续预测方法，其包括以下步骤：1)在驾驶模拟平台上进行多模式数据收集，并基于收集的多模式数据建立深度时间序列模型；2)在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型进行连续预测，得到驾驶员转向意图连续预测结果。
进一步地，所述步骤1)中，在驾驶模拟平台上进行多模式数据收集，并基于收集的数据建立深度时间序列模型的方法，包括以下步骤：1.1)在驾驶模拟平台上进行多模式数据收集，采集的数据包括单右手驾驶和双手驾驶两种驾驶模式下三种不同的驾驶姿势对应的肌电信号数据和转向力矩数据；1.2)对采集的多模式数据进行滤除噪声和平滑处理；1.3)对EMG信号、转向力矩和驾驶姿势之间的关系以及肌电信号与转向力矩之间的相关时间延迟进行分析；1.4)基于分析结果建立深度时间序列模型；1.5)根据现有的驾驶员转向意图预测模型对建立的深度时间序列模型进行评估和比较，并根据评估和比较结果对建立的深度时间序列模型进行修改或调整。
进一步地，所述步骤1.1)中，采集肌电信号数据时，电极放置位置为：对于双手驾驶模式，电极分别放置在：左锁骨部分前三角肌、右锁骨部分前三角肌、左三角肌前部、右三角肌前部、左三角肌后部、右三角肌后部、左大三头肌、右大三头肌、左肱三头肌长头和右肱三头肌长头；对于单右手驾驶模式，电极分别放置在：锁骨胸大肌、三角肌前部、三角肌中部外侧、三角肌后部、肱三头肌长头、肱三头肌外侧头、肱二头肌、冈下肌、胸大肌和大圆肌；各所述电极均放置在相关肌肉的中央。
进一步地，所述步骤1.4)中，基于分析结果建立深度时间序列模型的方法，包括以下步骤：1.4.1)确定深度时间序列模型的基本结构；1.4.2)利用处理后模拟驾驶平台上的多模式数据，基于深度学习的方法对建立的深度时间序列模型进行训练，获得深度时间序列模型参数。
进一步地，所述步骤1.4.1)中，所述深度时间序列模型的基本结构包括：前向网络层、联合预测网络模型和个性化转向力矩预测网络模型；所述前向网络层包括肌电信号序列输入层、第一Bi-LSTM层和第二Bi-LSTM层，所述肌电信号序列输入层用于接收模拟驾驶平台上的肌电序列、转向力矩数据，所述第一Bi-LSTM层和第二Bi-LSTM层用于对输入的肌电序列数据和转向力矩进行处理；所述联合预测网络模型用于建立不区分驾驶姿势的转向意图预测模型；所述个性化转向力矩预测网络模型用于针对三种不同驾驶姿势建立不同的转向意图预测模型，其包括转移学习层以及第一～第三个性化转向力矩预测层；所述转移学习层用于根据建立的联合预测网络模型建立所述第一～第三个性化转向力矩预测层；所述第一～第三个性化转向力矩预测层分别对应于一种驾驶姿势，且第一～第三个性化转向力矩预测层的模型结构相同。
进一步地，所述步骤1.4.2)中，基于采集数据进行深度时间序列模型训练时，包括以下步骤：首先；从每个驾驶姿势中随机选择训练和测试数据，其中80％用于模型训练，20％用于模型测试；其次，使用来自所有三个驾驶姿势的训练数据集对联合预测网络模型进行训练，得到联合预测网络模型的模型参数；然后，基于训练好的联合预测网络模型，应用转移学习的方法构建个性化转向力矩预测网络模型；最后，将个性化转向力矩预测网络模型中的三个不同的全连接层分别与前向网络层连接，并使用来自特定组的训练数据进行训练，得到训练后的个性化转向力矩预测网络模型的模型参数。
进一步地，所述步骤2)中，在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型，对驾驶员转向意图进行连续预测的方法，包括以下步骤：2.1)对真实驾驶环境中驾驶员驾驶时的肌电信号进行采集，并发送到数据处理层进行处理；2.2)将在线采集的驾驶员的肌电信号序列作为输入，输入到深度时间序列模型，并输出预测的转向扭矩序列，即：
Y＝CSIP(X)
其中，CSIP()是深度时间序列模型；X是采集的每个时刻的肌电信号序列，Y是预测的未来转向转矩序列。
本发明的第二个方面，是提供一种驾驶员转向意图连续预测系统，其包括：数据采集层、数据处理层、模型构建层以及转向意图预测层；所述数据采集层用于在训练和测试阶段对模拟驾驶场景中驾驶员的肌电信号数据和转向力矩数据进行收集，或在在线使用阶段对真实驾驶场景中驾驶员的肌电信号数据进行收集，并发送到所述数据处理层；所述数据处理层用于对收集的各类数据进行预处理，并发送到所述模型构建层或转向意图预测层；所述模型构建层用于根据训练和测试阶段处理后的肌电信号数据和转向力矩数据建立深度时间序列模型，并发送到所述转向意图预测层；所述转向意图预测层用于根据在线使用阶段处理后的驾驶员肌电信号数据以及深度时间序列模型对驾驶员转向意图进行连续预测，得到驾驶员转向预测结果。
进一步地，所述数据采集层包括驾驶模拟器、肌电信号仪以及转向力矩传感器；所述驾驶模拟器用于在训练和测试阶段进行驾驶场景模拟；所述肌电信号仪用于采集驾驶员的肌电信号数据；所述转向力矩传感器设置在转向柱上，用于收集转向力矩数据。
进一步地，所述模型构建层包括数据分析模块、深度时间序列模型构建模块以及性能评估和比较模块；所述数据分析模块用于对处理后的肌电信号、转向力矩以及驾驶姿势之间的关系进行分析，并将分析结果发送到所述深度时间序列模型构建模块；所述深度时间序列模型构建模块用于根据肌电信号、转向力矩以及驾驶姿势之间的关系建立深度时间序列模型；所述性能评估和比较模块用于对深度时间序列模型的连续预测结果进行性能评估和比较，并根据评估和比较结果进行调整。
本发明由于采取以上技术方案，其具有以下优点：1、本发明建立的深度时间序列中分别设置有联合预测网络模型和各项花转向力矩预测网络模型，能够根据不同的驾驶姿势进行驾驶员转向意图预测，预测结果更准确；2、本发明能够利用肌电图信号实现驾驶员转向意图的连续预测，即预测连续的转向力矩，相比于现有的驾驶员转向意图主要依赖于驾驶员状态估计和车辆动力学识别而言，预测结果更加快捷；3、本发明利用的肌电图信号和驾驶员转向意图之间的关系进行研究，基于EMG信号对转向意图进行精确的转向扭矩预测，预测结果更加准确；4、本发明的网络模型结构简单有效，实时性比已有技术更好。因此，本发明可以广泛应用于驾驶员转向意图预测领域。
附图说明
图1是本发明驾驶员转向意图连续预测系统框架；
图2a～图2d是本发明EMG电极的放置示意图，其中图2a是双手驾驶模式EMG电极在驾驶员正面的放置位置示意图；图2a是双手驾驶模式EMG电极在驾驶员背面的放置位置示意图；图2c是单手驾驶模式EMG电极在驾驶员正面的放置位置示意图；图2d是单手驾驶模式EMG电极在驾驶员背面的放置位置示意图；
图3是本发明建立的深度时间序列模型的结构图；
图中：1、右锁骨部分前三角肌(PMA-C)；2、右三角肌前部(DELT-A)；3、左前三角肌(PMA-C)；4、左三角肌前部(DELT-A)；5、左三角肌后部(DELT-P)；6、左大三头肌(TM)；7、左肱三头肌长头(TB-L)；8、右三角肌后部(DELT-P)；9、右大三头肌(TM)；10、右肱三头肌长头(TB-L)；11、锁骨胸大肌(PMA-C)；12、三角肌前部(DELT-A)；13、肱二头肌(BC)；14、胸大肌(PM)，15、三角肌中部(外侧)(DELT-M)，16、肱三头肌外侧头(TB-LAT)，17、肱三头肌长头(TB-L)，18、三角肌后部(DELT-P)，19、冈下肌(INFT)，20、大圆肌(TM)。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供的一种驾驶员转向意图连续预测系统，其包括数据采集层、数据处理层、模型构建层以及转向意图预测层。其中，数据采集层用于在训练和测试阶段对模拟驾驶场景中驾驶员的肌电信号数据和转向力矩数据进行收集，或在在线使用阶段对真实驾驶场景中驾驶员的肌电信号数据进行收集，并发送到数据处理层；数据处理层用于对收集的各类数据进行预处理，并发送到模型构建层或转向意图预测层；模型构建层用于根据训练和测试阶段处理后的肌电信号数据和转向力矩数据建立深度时间序列模型，并发送到转向意图预测层；转向意图预测层用于根据在线使用阶段处理后的驾驶员肌电信号数据以及深度时间序列模型对驾驶员转向意图进行连续预测，得到驾驶员转向预测结果。
作为一个优选的实施例，数据采集层包括驾驶模拟器、肌电信号仪以及转向力矩传感器。其中，驾驶模拟器用于在训练和测试阶段进行驾驶场景模拟；肌电信号仪用于采集驾驶员的肌电信号数据；转向力矩传感器设置在转向柱上，用于收集转向力矩数据。
作为一个优选的实施例，数据处理层包括高频滤波模块、信号平滑模块和正则化模块，其中，高频滤波和平滑模块用于对采集的肌电信号数据进行滤波和平滑，并将滤除噪声后的肌电信号数据发送到正则化模块；正则化模块用于把肌电信号数据限制在一定区间，对肌电信号数据规范化。
作为一个优选的实施例，模型构建层包括数据分析模块、深度时间序列模型构建模块以及性能评估和比较模块。其中，数据分析模块用于对处理后的肌电信号、转向力矩以及驾驶姿势之间的关系进行分析，并将分析结果发送到深度时间序列模型构建模块；深度时间序列模型构建模块用于根据肌电信号、转向力矩以及驾驶姿势之间的关系建立深度时间序列模型；性能评估和比较模块用于对深度时间序列模型的连续预测结果进行性能评估和比较，并根据评估和比较结果进行调整。
基于上述驾驶员转向意图连续预测系统，本发明还提供一种驾驶员转向意图连续预测方法，包括以下步骤：
1)训练和测试阶段：在驾驶模拟平台上进行多模式数据收集，并基于收集的多模式数据建立深度时间序列模型；
2)在线使用阶段：在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型进行连续预测，得到驾驶员转向意图连续预测结果。
上述步骤1)中，在驾驶模拟平台上进行多模式数据收集，并基于收集的数据建立深度时间序列模型的方法，包括以下步骤：
1.1)在驾驶模拟平台上进行多模式数据收集，采集的数据包括单右手驾驶和双手驾驶两种驾驶模式下三种不同的驾驶姿势对应的肌电信号数据和转向力矩数据。
1.2)对采集的多模式数据进行滤除噪声和平滑处理。
具体的，对采集的多模式数据进行处理时，应用小波变换法来过滤噪声并平滑高频肌电信号，仅使用时域中的数据，并且不考虑频域和时频域中的特征，从而避免了某些切片的特征不完整。
1.3)利用互相关和近似熵(ApEn)这两种算法，对EMG信号、转向力矩和驾驶姿势之间的关系以及肌电信号与转向力矩之间的相关时间延迟进行分析。
具体的，本发明采用互相关和近似熵(ApEn)这两种算法对EMG信号、转向力矩和驾驶姿态之间的关系进行分析时；利用互相关方法研究了来自十种不同肌肉的肌电信号与转向转矩之间的相关时间延迟，根据信号之间的相移确定预测范围为200ms，为驾驶员连续转向意图预测提供支持。
1.4)基于分析结果建立深度时间序列模型，用于对驾驶员转向意图进行连续预测。
1.5)根据现有的驾驶员转向意图预测模型对深度时间序列模型的连续转向扭矩预测结果进行评估和比较，并根据评估和比较结果对深度时间序列模型进行修改或调整。
其中，现有的驾驶员转向意图预测方法包括前馈神经网络(FFNN)、时延神经网络(TDNN)、LSTM模型(LSTM)、双向LSTM模型(Bi-LSTM)等。根据评估比较结果来验证建立的深度时间序列模型，如果效果不好则对建立的深度时间序列模型进行修改或调整。
上述步骤1.1)中，如图2a～图2b所示，对于双手驾驶模式，肌电信号从十块肌肉(每个上肢的五块肌肉)上收集，包括左锁骨部分前三角肌(PMA-C)、右锁骨部分前三角肌(PMA-C)、左三角肌前部(DELT-A)、右三角肌前部(DELT-A)、左三角肌后部(DELT-P)、右三角肌后部(DELT-P)、左大三头肌(TM)、右大三头肌(TM)、左肱三头肌长头(TB-L)和右肱三头肌长头(TB-L)。
如图2c和图2d所示，对于单个右手驾驶模式，将十个电极放置在以下肌肉上：锁骨胸大肌(PMA-C)、三角肌前部(DELT-A)、三角肌中部(外侧)(DELT-M)、三角肌后部(DELT-P)、肱三头肌长头(TB-L)、肱三头肌外侧头(TB-LAT)、肱二头肌(BC)、冈下肌(INFT)、胸大肌(PM)和大圆肌(TM)。电极放置在相关肌肉的中央，并与附近的肌肉保持尽可能远的距离，以防止干扰。
上述步骤1.4)中，基于分析结果建立深度时间序列模型的方法，包括以下步骤：
1.4.1)确定深度时间序列模型的基本结构。
如图3所示，为本发明建立的深度时间序列模型的结构，该深度时间序列模型包含两部分，分别是联合预测网络模型和个性化转向力矩预测网络模型。其中，个性化转向力矩预测网络模型对转向姿势敏感，与联合预测网络模型相比，可以生成更精确的转向意图预测结果。
具体的，深度时间序列模型包括前向网络层、联合预测网络模型和个性化转向力矩预测网络模型。前向网络层包括肌电信号序列输入层、第一Bi-LSTM层和第二Bi-LSTM层，肌电信号序列输入层用于接收模拟驾驶平台上的肌电序列、转向力矩数据，第一Bi-LSTM层和第二Bi-LSTM层用于对输入的肌电序列数据和转向力矩进行处理；联合预测网络模型用于建立不区分驾驶姿势的转向意图预测模型，其包括全连接层、全连接输出层和联合预测层，且各层的模型参数不同。个性化转向力矩预测网络模型用于针对三种不同驾驶姿势建立不同的转向意图预测模型，其包括转移学习层以及第一～第三个性化转向力矩预测层。其中，第一～第三个性化转向力矩预测层分别对应于一种驾驶姿势，且第一～第三个性化转向力矩预测层的模型结构相同，均包括全连接层、全连接输出层和个性化预测层，模型参数不同。
第一Bi-LSTM层和第二Bi-LSTM层结构相同，均包括若干LSTM单元，每一LSTM单元中引入了四个门，分别称为输入门、忘记门、更新门和输出门。LSTM单元中的门通过学习加权参数来控制保留、更新和忘记信息。LSTM单元的输入门，忘记门和输出门描述如下：
it＝σ(Uixt+Wist-1+bi)
ft＝σ(Ufxt+Wfst-1+bf)
ot＝σ(Uoxt+Wost-1+bo)
其中，σ是激活函数sigmoid函数；xt是当前LSTM单元的输入；st-1是上一个LSTM单元的输出；f、i、o分别是忘记门、输入门和输出门，U、W、b分别是相应的权重矩阵。
一个候选的单元状态可以表示为：
Figure BDA0002652759080000071
式中，Uc、Wc、bc分别为当前LSTM单元的权重矩阵。
Ct是LSTM单元最重要的参数，它决定着输出和信息处理过程，是前一个ct-1和当前单元状态的组合，即：
Figure BDA0002652759080000072
最后，输出层是单元状态与输出门的候选输出的乘积。
st＝ot*tanh(Ct)
1.4.2)利用处理后模拟驾驶平台上的多模式数据，基于深度学习的方法对建立的深度时间序列模型进行训练，获得深度时间序列模型参数。
深度时间序列模型搭建完成后，需要利用采集的数据基于学习的方法获得神经网络参数。对于双手驱动模式，在3时钟位置上收集了9193个序列，在10-10时钟位置上收集了8098个序列，在12时钟位置上收集了8042序列。对于单右臂驾驶模式，在3时钟位置上收集了9894个序列，在10-10时钟位置上收集了9200个序列，在12时钟位置上收集了7660序列。总共从21名参与者中收集了来自双手驾驶模式的25333个驾驶序列和来自单手驾驶模式的26750个驾驶序列。
基于采集数据进行深度时间序列模型训练时，包括以下步骤：
首先；从每个驾驶姿势中随机选择训练和测试数据，其中80％用于模型训练，20％用于模型测试；
其次，将使用来自所有三个驾驶姿势的训练数据集对联合预测网络模型进行训练，得到联合预测网络模型的模型参数；
然后，基于训练好的联合预测网络模型，应用转移学习的方法构建个性化转向力矩预测网络模型；
最后，将个性化转向力矩预测网络模型中的三个不同的全连接层(具有100个神经元)分别与前向网络层连接，并使用来自特定组的训练数据进行训练，最终得到训练后的神经网络参数。
上述步骤2)中，在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型，对驾驶员转向意图进行连续预测的方法，包括以下步骤：
2.1)对真实驾驶环境中驾驶员驾驶时的肌电信号进行采集，并发送到数据处理层进行处理。
2.2)将在线采集的驾驶员的肌电信号序列作为输入，输入到深度时间序列模型，并输出预测的转向扭矩序列。
这一连续转向预测模型可以被描述为：
Y＝CSIP(X)
其中，CSIP()是深度时间序列模型；X是采集的每个时刻的肌电信号序列，Y是预测的未来转向转矩序列。
上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (9)

1.一种驾驶员转向意图连续预测方法，其特征在于包括以下步骤：
1）在驾驶模拟平台上进行多模式数据收集，并基于收集的多模式数据建立深度时间序列模型；
所述步骤1）中，在驾驶模拟平台上进行多模式数据收集，并基于收集的数据建立深度时间序列模型的方法，包括以下步骤：
1.1）在驾驶模拟平台上进行多模式数据收集，采集的数据包括单右手驾驶和双手驾驶两种驾驶模式下三种不同的驾驶姿势对应的肌电信号数据和转向力矩数据；
1.2）对采集的多模式数据进行滤除噪声和平滑处理；
1.3）对肌电信号、转向力矩和驾驶姿势之间的关系以及肌电信号与转向力矩之间的相关时间延迟进行分析；
1.4）基于分析结果建立深度时间序列模型；
1.5）根据现有的驾驶员转向意图预测模型对建立的深度时间序列模型进行评估和比较，并根据评估和比较结果对建立的深度时间序列模型进行调整；
2）在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型进行连续预测，得到驾驶员转向意图连续预测结果。
2.如权利要求1所述的一种驾驶员转向意图连续预测方法，其特征在于：所述步骤1.1）中，采集肌电信号数据时，电极放置位置为：
对于双手驾驶模式，电极分别放置在：左锁骨部分前三角肌、右锁骨部分前三角肌、左三角肌前部、右三角肌前部、左三角肌后部、右三角肌后部、左大三头肌、右大三头肌、左肱三头肌长头和右肱三头肌长头；
各所述电极均放置在相关肌肉的中央。
3.如权利要求1所述的一种驾驶员转向意图连续预测方法，其特征在于：所述步骤1.4）中，基于分析结果建立深度时间序列模型的方法，包括以下步骤：
1.4.1）确定深度时间序列模型的基本结构；
1.4.2）利用处理后驾驶模拟平台上的多模式数据，基于深度学习的方法对建立的深度时间序列模型进行训练，获得深度时间序列模型参数。
4.如权利要求3所述的一种驾驶员转向意图连续预测方法，其特征在于：所述步骤1.4.1）中，所述深度时间序列模型的基本结构包括：前向网络层、联合预测网络模型和个性化转向力矩预测网络模型；
所述前向网络层包括肌电信号序列输入层、第一Bi-LSTM层和第二Bi-LSTM层，所述肌电信号序列输入层用于接收驾驶模拟平台上的肌电信号序列、转向力矩数据，所述第一Bi-LSTM层和第二Bi-LSTM层用于对输入的肌电信号序列数据和转向力矩数据进行处理；
所述联合预测网络模型用于建立不区分驾驶姿势的转向意图预测模型；
所述个性化转向力矩预测网络模型用于针对三种不同驾驶姿势建立不同的转向意图预测模型，其包括转移学习层以及第一～第三个性化转向力矩预测层；所述转移学习层用于根据建立的联合预测网络模型建立所述第一～第三个性化转向力矩预测层；所述第一～第三个性化转向力矩预测层分别对应于一种驾驶姿势，且第一～第三个性化转向力矩预测层的模型结构相同，均包括全连接层、全连接输出层和个性化预测层，模型参数不同。
5.如权利要求4所述的一种驾驶员转向意图连续预测方法，其特征在于：所述步骤1.4.2）中，基于采集数据进行深度时间序列模型训练时，包括以下步骤：
首先，从每个驾驶姿势中随机选择训练和测试数据，其中80％用于模型训练，20％用于模型测试；
其次，使用来自所有三个驾驶姿势的训练数据集对联合预测网络模型进行训练，得到联合预测网络模型的模型参数；
然后，基于训练好的联合预测网络模型，应用转移学习的方法构建个性化转向力矩预测网络模型；
最后，将个性化转向力矩预测网络模型中的三个不同的全连接层分别与前向网络层连接，并使用来自特定组的训练数据进行训练，得到训练后的个性化转向力矩预测网络模型的模型参数。
6.如权利要求1所述的一种驾驶员转向意图连续预测方法，其特征在于：所述步骤2）中，在智能车辆上装载深度时间序列模型，并将在线采集的驾驶员肌电信号序列输入到该深度时间序列模型，对驾驶员转向意图进行连续预测的方法，包括以下步骤：
2.1）对真实驾驶环境中驾驶员驾驶时的肌电信号进行采集，并发送到数据处理层进行处理；
2.2）将在线采集的驾驶员的肌电信号序列作为输入，输入到深度时间序列模型，并输出预测的转向扭矩序列，即：
Figure DEST_PATH_IMAGE002
其中，CSIP()
Figure DEST_PATH_IMAGE004
是深度时间序列模型；X是采集的每个时刻的肌电信号序列，Y是预测的未来转向转矩序列。
7.一种采用如权利要求1～6任一项所述方法的驾驶员转向意图连续预测系统，其特征在于，包括：
数据采集层、数据处理层、模型构建层以及转向意图预测层；
所述数据采集层用于在训练和测试阶段对模拟驾驶场景中驾驶员的肌电信号数据和转向力矩数据进行收集，或在在线使用阶段对真实驾驶场景中驾驶员的肌电信号数据进行收集，并发送到所述数据处理层；
所述数据处理层用于对收集的各类数据进行预处理，并发送到所述模型构建层或转向意图预测层；
所述模型构建层用于根据训练和测试阶段采集的肌电信号数据和转向力矩数据建立深度时间序列模型，并发送到所述转向意图预测层；
所述转向意图预测层用于根据在线使用阶段采集的驾驶员肌电信号数据以及深度时间序列模型对驾驶员转向意图进行连续预测，得到驾驶员转向预测结果。
8.如权利要求7所述的一种驾驶员转向意图连续预测系统，其特征在于：所述数据采集层包括驾驶模拟器、肌电信号仪以及转向力矩传感器；
所述驾驶模拟器用于在训练和测试阶段进行驾驶场景模拟；
所述肌电信号仪用于采集驾驶员的肌电信号数据；
所述转向力矩传感器设置在转向柱上，用于收集转向力矩数据。
9.如权利要求7所述的一种驾驶员转向意图连续预测系统，其特征在于：所述模型构建层包括数据分析模块、深度时间序列模型构建模块以及性能评估和比较模块；
所述数据分析模块用于对处理后的肌电信号、转向力矩以及驾驶姿势之间的关系进行分析，并将分析结果发送到所述深度时间序列模型构建模块；
所述深度时间序列模型构建模块用于根据肌电信号、转向力矩以及驾驶姿势之间的关系建立深度时间序列模型；
所述性能评估和比较模块用于对深度时间序列模型的连续预测结果进行性能评估和比较，并根据评估和比较结果进行调整。
CN202010876455.5A 2020-08-27 2020-08-27 一种驾驶员转向意图连续预测方法和系统 Active CN111976733B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010876455.5A CN111976733B (zh) 2020-08-27 2020-08-27 一种驾驶员转向意图连续预测方法和系统
JP2021110964A JP2022039977A (ja) 2020-08-27 2021-07-02 ドライバー方向転換意思連続予測方法およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876455.5A CN111976733B (zh) 2020-08-27 2020-08-27 一种驾驶员转向意图连续预测方法和系统

Publications (2)

Publication Number Publication Date
CN111976733A CN111976733A (zh) 2020-11-24
CN111976733B true CN111976733B (zh) 2021-11-12

Family

ID=73439874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876455.5A Active CN111976733B (zh) 2020-08-27 2020-08-27 一种驾驶员转向意图连续预测方法和系统

Country Status (2)

Country Link
JP (1) JP2022039977A (zh)
CN (1) CN111976733B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114081513B (zh) * 2021-12-13 2023-04-07 苏州大学 基于肌电信号的异常驾驶行为检测方法及系统
CN114863912B (zh) * 2022-05-05 2024-05-10 中国科学技术大学 一种基于表面肌电信号的无声语音解码方法
CN114889686B (zh) * 2022-06-23 2023-05-05 重庆长安汽车股份有限公司 触觉反馈式车辆转向控制方法、系统、介质及电子设备
CN116300410B (zh) * 2023-05-25 2023-08-22 武汉理工大学 数据驱动前馈加反馈补偿的转角优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064083A (ko) * 2005-12-16 2007-06-20 (재)대구경북과학기술연구원 근전도를 이용한 차량 제어 장치 및 방법
CN102961133A (zh) * 2012-11-27 2013-03-13 清华大学 一种汽车驾驶员转向操纵效率评估方法
CN106326873A (zh) * 2016-08-29 2017-01-11 吉林大学 Cacc驾驶员肢体肌电信号表征的操纵意图预测方法
WO2019025000A1 (en) * 2017-08-03 2019-02-07 Toyota Motor Europe METHOD AND SYSTEM FOR DETERMINING A USER DRIVING INTENT IN A VEHICLE USING EEG SIGNALS
CN109480838A (zh) * 2018-10-18 2019-03-19 北京理工大学 一种基于表层肌电信号的人体连续复杂运动意图预测方法
CN110337269A (zh) * 2016-07-25 2019-10-15 开创拉布斯公司 基于神经肌肉信号推断用户意图的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018043580A (ja) * 2016-09-13 2018-03-22 株式会社東芝 移動体の情報処理装置、その情報処理方法、及び、その情報処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064083A (ko) * 2005-12-16 2007-06-20 (재)대구경북과학기술연구원 근전도를 이용한 차량 제어 장치 및 방법
CN102961133A (zh) * 2012-11-27 2013-03-13 清华大学 一种汽车驾驶员转向操纵效率评估方法
CN110337269A (zh) * 2016-07-25 2019-10-15 开创拉布斯公司 基于神经肌肉信号推断用户意图的方法和装置
CN106326873A (zh) * 2016-08-29 2017-01-11 吉林大学 Cacc驾驶员肢体肌电信号表征的操纵意图预测方法
WO2019025000A1 (en) * 2017-08-03 2019-02-07 Toyota Motor Europe METHOD AND SYSTEM FOR DETERMINING A USER DRIVING INTENT IN A VEHICLE USING EEG SIGNALS
CN109480838A (zh) * 2018-10-18 2019-03-19 北京理工大学 一种基于表层肌电信号的人体连续复杂运动意图预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Method for measuring a driver"s steering efficiency using electromyography;Liu Yahui等;《Journal of AUTOMOBILE ENGINEERING》;20140930;第228卷;1170-1184页 *

Also Published As

Publication number Publication date
CN111976733A (zh) 2020-11-24
JP2022039977A (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
CN111976733B (zh) 一种驾驶员转向意图连续预测方法和系统
Sanchez et al. Brain-machine interface engineering
CN102573619B (zh) 用于生成注意力水平表示的设备和方法
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
CN112339766B (zh) 一种基于混合学习的驾驶员转向意图预测方法
CN104382595A (zh) 基于肌电信号与虚拟现实交互技术的上肢康复系统及方法
CN111643321B (zh) 基于sEMG信号的外骨骼关节角度预测方法及系统
CN101221554A (zh) 基于小波变换和bp神经网络的脑电特征提取方法
CN104035563A (zh) 基于w-pca和无监督ghsom的脑电信号识别方法
CN111931656B (zh) 基于迁移学习的用户独立型运动想象分类模型训练方法
CN113158964A (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN110931104A (zh) 基于机器学习的上肢康复机器人智能训练系统及方法
Bisio et al. Closed-loop systems and in vitro neuronal cultures: Overview and applications
Guo et al. Lw‐CNN‐Based Myoelectric Signal Recognition and Real‐Time Control of Robotic Arm for Upper‐Limb Rehabilitation
CN115054272A (zh) 一种面向运动障碍功能重塑的脑电信号识别方法及系统
CN117472183A (zh) 一种个性化动态康复人机交互方法及相关设备
CN116831874A (zh) 一种基于肌电信号的下肢康复器控制方法
Bednar et al. Modeling large cortical networks with growing self-organizing maps
Tolu et al. Perspective on investigation of neurodegenerative diseases with neurorobotics approaches
CN111110268A (zh) 基于随机向量功能连接网络技术的人体肌音信号预测方法
CN114159080B (zh) 上肢康复机器人运动意图识别模型训练、识别方法及装置
Zhang et al. A pruned deep learning approach for classification of motor imagery electroencephalography signals
Yang et al. An sEMG-Based Human-Exoskeleton Interface Fusing Convolutional Neural Networks With Hand-Crafted Features
García-Vellisca et al. Hand-movement prediction from EMG with LSTM-recurrent neural networks
CN114587391A (zh) 一种基于脑机接口的康复训练装置和训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant