CN112438741A - 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 - Google Patents

一种基于脑电特征迁移学习的驾驶状态检测方法及系统 Download PDF

Info

Publication number
CN112438741A
CN112438741A CN202011062150.7A CN202011062150A CN112438741A CN 112438741 A CN112438741 A CN 112438741A CN 202011062150 A CN202011062150 A CN 202011062150A CN 112438741 A CN112438741 A CN 112438741A
Authority
CN
China
Prior art keywords
source
feature set
target
electroencephalogram
sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011062150.7A
Other languages
English (en)
Other versions
CN112438741B (zh
Inventor
谢平
付子豪
杜义浩
陈晓玲
冯录凤
何群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202011062150.7A priority Critical patent/CN112438741B/zh
Publication of CN112438741A publication Critical patent/CN112438741A/zh
Application granted granted Critical
Publication of CN112438741B publication Critical patent/CN112438741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明公开了一种基于脑电特征迁移学习的驾驶状态检测方法及系统,包括:采集被试用户的脑电信号,对所述脑电信号进行预处理,提取特征构建第一目标特征集;从多组第一源数据集中筛选疲劳特征集和情绪数据集,组合成第二源特征集;通过第一迁移学习算法进行实例迁移,得到第三源特征集;基于第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;使用第四源数据集构建多分类判别模型,将第二目标特征集输入多分类判别模型,得到被试用户的驾驶状态结果。本发明在保证准确率的同时减少了样本标注的繁琐工作,大大提高分类识别的鲁棒性和准确性。

Description

一种基于脑电特征迁移学习的驾驶状态检测方法及系统
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于脑电特征迁移学习的驾驶状态检测方法及系统。
背景技术
驾驶员疲劳是公认的导致严重受伤或死亡的车祸的主要原因,因疲劳驾车造成的交通事故占总数的20%左右,占特大交通事故的40%以上。据有关研究表明,若在交通事故发生前提前一秒钟向驾驶员发出警报,则可避免90%的类似交通事故。
目前驾驶员疲劳检测的方法,主要分为主观和客观两种检测方法。
主观检测方法主要是驾驶员根据自己对疲劳/情绪的感受状态记录到调查表上,但是这种方法受到驾驶员主观的影响,难以进行量化。因此主观检测方法尚不能应用在应用中,还需要进一步研究客观检测方法。
客观检测方法就是通过一些设备采集驾驶信息,并通过算法检测驾驶员疲劳情况和情绪状态,这种方法可以有效避免驾驶员主观性的问题,根据不同的检测对象,客观检测方法大致分为以下三种:基于驾驶行为的检测方法,如方向盘转角,方向盘握力,车辆速度等;这种方法由于不同驾驶员驾车操作的差异性,以及行驶环境差异等因素严重影响检测的准确率。基于生理反应的检测方法,如头部、面部特征等;这种方法由于受到光线、眼镜等因素的影响,导致识别算法建立难度较大,准确性较低。基于驾驶员生理信号的检测方法,如脑电、肌电等,这种方法由于采集设备必须与驾驶员接触,这样严重影响驾驶员对车辆的操作,同时基于生理信号进行特征提取的特征种类并未被明确规定,往往也不能达到良好的检测效果。
发明内容
本发明目的在于提供一种基于脑电特征迁移学习的驾驶状态检测方法及系统,以提高驾驶员疲劳检测的准确性和鲁棒性,并降低使用繁琐程度,使检测方法具有更强的实用性和准确性。
为实现上述目的,采用了以下技术方案:
一方面,本发明提供了一种基于脑电特征迁移学习的驾驶状态检测方法,该方法包括以下步骤:
步骤1,基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集被试用户的脑电信号,对所述脑电信号进行预处理,提取特征构建第一目标特征集;所述第一目标特征集包括疲劳特征集和情绪特征集;
步骤2,获取多组第一源数据集,分别计算每组所述第一源数据集与所述第一目标数据集中相应特征集之间的相似度;从所述多组第一源数据集中筛选与所述第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集;
步骤3,通过第一迁移学习算法对所述第二源特征集和所述第一目标特征集进行实例迁移,进行数据筛选,剔除所述第二源特征集中的错误特征,得到第三源特征集;
步骤4,基于所述第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;
步骤5,使用所述第四源数据集构建多分类判别模型,将所述第二目标特征集输入所述多分类判别模型,得到所述被试用户的驾驶状态结果。
进一步的,所述方法还包括:
步骤6,根据所述被试用户的驾驶状态结果以及模拟驾驶中虚拟场景的相关信息分析得到检测结果并给出指导建议,生成驾驶状态评估报表。
进一步的,所述脑电特征包括信号模糊熵、各通道各频段的微分熵和功率谱密度。
进一步的,采集驾驶过程中被试用户的脑电信号,包括:
使用Neuracle64通道脑电采集装置采集被试用户脑电信号,脑电电极采用国际10—20系统标准,以双耳电极作为参考电极。
进一步的,被试用户对脑电信号进行预处理,包括:
基于独立成分分析法对实时采集的脑电信号进行预处理,去除眼电、肌电等伪迹干扰;
对脑电信号通过0~2Hz高通滤波进行基线漂移校正、自适应陷波去除50Hz工频干扰;
提取预处理后的脑电信号的模糊熵,用于疲劳状态判别;
提取预处理后的脑电信号各个通道各个频段的微分熵和功率谱密度大小,用于情绪状态的判别。
进一步的,所述第一迁移学习算法为N-Tradaboost算法(改进的Tradaboost算法),通过对所述第二源特征集构建三个弱分类器,对所述第一目标特征集进行处理得到三组目标特征集标签结果,通过对三组目标特征集标签结果做交集得到可信的目标域标签,然后将得到的有标签的目标特征集和所述第二源特征集通过Tradaboost算法处理,其中若第二源特征集特征被分类错误时,直接将其权重置为0。
进一步的,所述第二迁移学习算法为BDA算法。
进一步的,所述多分类判别模型为基于粒子群优化算法的多分类支持向量机模型。
又一方面,本发明提供了一种基于脑电特征迁移学习的驾驶状态检测系统,所述系统包括:
信号采集及预处理模块,用于基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集驾驶过程中被试用户的脑电信号,对脑电信号进行预处理,提取特征构建第一目标特征集;所述第一目标特征集包括疲劳特征集和情绪特征集;
特征提取及源域选择模块,用于获取多组第一源数据集,分别计算每组所述第一源数据集与所述第一目标数据集中相应特征集之间的相似度;从所述多组第一源数据集中筛选与所述第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集;
特征筛选及迁移学习模块,用于通过第一迁移学习算法对所述第二源特征集和所述第一目标特征集进行实例迁移,进行数据筛选,剔除所述第二源特征集中的错误特征,得到第三源特征集;基于所述第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;
模型构建模块,用于使用所述第四源数据集构建多分类判别模型,将所述第二目标特征集输入所述多分类判别模型,得到所述被试用户的驾驶状态结果。
进一步的,所述系统还包括:
结果判别模块,用于根据所述被试用户的驾驶状态结果以及模拟驾驶中虚拟场景的相关信息分析得到评估结果并给出指导建议,生成驾驶状态评估报表。
与现有技术相比,本发明具有如下优点:
1、依据疲劳、情绪状态变化时,在脑部不同区域发生的变化程度不尽相同,本发明最大限度的减少了脑电采集时的通道数量、特征种类及数量,大大减少了系统的计算量,响应快精度高。
2、本发明通过A_distance衡量目标特征集和源特征集间的相似程度,与目标疲劳状况和情绪状况特征集进行迁移的源特征集可能是来自两组数据,大大提高了系统的准确性。
3、本发明改进了Tradaboost算法,目标特征集无需有标签即可和源特征集进行实例迁移,若源特征集中有特征被误分类,则直接将其权重置为0,得到清洁的源特征集。
4、考虑到样本采集标注的繁琐性,本发明引入迁移学习算法,通过新数据集与旧数据集间进行迁移,使得两组数据尽量满足同分布,在保证准确率的前提下大大减少了繁琐的标注工作,提高了系统的鲁棒性。
5、本发明从生理层面对驾驶者的驾驶状态进行检测,可以得到在不同环境下驾驶员的疲劳状态变化、情绪波动变化等,相比于通过驾驶员驾驶行为方面进行检测更加全面准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于脑电特征迁移学习的驾驶状态检测方法的实现框图;
图2为本发明实施例中一种基于脑电特征迁移学习的驾驶状态检测方法的流程图;
图3为本发明实施例中N-Tradaboost算法原理图;
图4为本发明实施例中驾驶状态评估报表生成流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参图1和图2,其示出了本发明公开的一种基于脑电特征迁移学习的驾驶状态检测方法的实现框图及流程图,该方法包括以下步骤:
步骤1,基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集被试用户的脑电信号,对脑电信号进行预处理,提取特征构建第一目标特征集;第一目标特征集包括疲劳特征集和情绪特征集。
该步骤中,通过模拟驾驶器和虚拟场景还原真实驾驶环境,其中虚拟场景包括恶劣环境、高强度工作环境等多种不同的驾驶环境,可以满足绝大部分需求。
优选地,使用Neuracle64通道脑电采集装置采集驾驶员脑电信号,脑电电极采用国际10—20系统标准,以双耳电极作为参考电极,记录相应的脑电信号并保存至本地。
优选地,预处理包括进行0.5Hz~2Hz高通滤波去除基线漂移,进行自适应陷波去除50Hz工频干扰,使用独立变量分析法去除眼电伪迹;提取处理后信号的模糊熵、各通道各频段微分熵和功率谱密度大小,频段分为五个频段δ波、θ波、α波、β波、γ波,将其构建成为目标特征集。
步骤2,获取多组第一源数据集,分别计算每组第一源数据集与第一目标数据集中相应特征集之间的相似度;从多组第一源数据集中筛选与第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集。
优选地,该步骤中,从数据库中获取第一源数据集,分别计算步骤1中的目标特征集中疲劳特征集和情绪特征集与多组第一源特征集中疲劳特征集和情绪特征集之间的A_distance距离的大小,从中选择A_distance距离最小的疲劳特征集和情绪特征集组成源特征集。其中A_distance的大小被用来衡量两组数据间的相似程度,A_distance被定义为建立一个线性分类器来区分两个数据领域的hinge损失,计算方式是,在源域和目标域上训练一个二分类器f,使得这个分类器可以区分样本是来自于哪个领域,然后用err(f)表示分类器的损失,则A_distance定义为:A(Ds,Dt)=2(1-2err(f)),其中Ds和Dt为源域和目标域。A_distance越小表示两组数据间相似程度越高。
步骤3,通过第一迁移学习算法对第二源特征集和第一目标特征集进行实例迁移,进行数据筛选,剔除第二源特征集中的错误特征,得到第三源特征集。
优选地,该步骤中,对步骤2中得到的第二源特征集与步骤1中的第一目标特征集通过N-Tradaboost算法(改进的Tradaboost算法)进行实例迁移。传统Tradaboost算法需要目标特征集具有标签特征,而N-Tradaboost算法通过对第二源特征集构建三个弱分类器(KNN,C4.5,LDA),对第一目标特征集进行处理得到三组目标特征集标签结果,通过对三组目标特征集标签结果做交集得到可信的目标域标签,然后将得到的有标签的目标特征集和第二源特征集通过Tradaboost算法处理,其中若第二源特征集特征被分类错误时,直接将其权重置为0,对源特征集进行清洁处理,最后得到清洁的源数据集,也就是第三源特征集。
步骤4,基于第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集。
优选地,在步骤4中,对步骤3中得到的清洁的源特征集与步骤1中的第一目标特征集进行平衡分布适配(Balanced Distribution Adaptation,BDA)迁移学习,计算得到迁移后的源特征集和目标特征集。BDA考虑到对于不同任务,边缘分布和条件分布并不是同等重要,此方法能够有效衡量两个分布的权重,从而达到最好的效果。步骤5,使用第四源数据集构建多分类判别模型,将第二目标特征集输入多分类判别模型,得到被试用户的驾驶状态结果。
优选地,在步骤5中,依据步骤4中得到的第四源特征集和驾驶状态标签构建基于粒子群优化的多分类支持向量机模型(PSO-SVMs),粒子群算法优化SVM中惩罚系数C和高斯核函数参数g,可以提高鲁棒性和准确性。将步骤4中得到的第二目标特征集作为构建的PSO-SVMs的输入,输出即为驾驶状态的检测结果。
步骤6,根据被试用户的驾驶状态结果以及模拟驾驶中虚拟场景的相关信息分析得到评估结果并给出指导建议,生成驾驶状态评估报表。
在步骤6中,根据步骤5得到的检测结果,结合虚拟场景中设定的相应场景得到评估结果和指导建议,结合模拟驾驶状态评估报表模版最终生成驾驶状态评估报表。
与上述实施例中的基于脑电特征迁移学习的驾驶状态检测方法相对应的,本发明实施例提供了一种基于脑电特征迁移学习的驾驶状态检测系统,所述系统包括:
信号采集及预处理模块,用于基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集驾驶过程中被试用户的脑电信号,对脑电信号进行预处理,提取特征构建第一目标特征集;所述第一目标特征集包括疲劳特征集和情绪特征集;
特征提取及源域选择模块,用于获取多组第一源数据集,分别计算每组所述第一源数据集与所述第一目标数据集中相应特征集之间的相似度;从所述多组第一源数据集中筛选与所述第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集;
特征筛选及迁移学习模块,用于通过第一迁移学习算法对所述第二源特征集和所述第一目标特征集进行实例迁移,进行数据筛选,剔除所述第二源特征集中的错误特征,得到第三源特征集;基于所述第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;
模型构建模块,用于使用所述第四源数据集构建多分类判别模型,将所述第二目标特征集输入所述多分类判别模型,得到所述被试用户的驾驶状态结果。
进一步的,所述系统还包括:
结果判别模块,用于根据所述被试用户的驾驶状态结果以及模拟驾驶中虚拟场景的相关信息分析得到评估结果并给出指导建议,生成驾驶状态评估报表。
在本发明的一具体实施例中,基于脑电特征迁移学习的驾驶状态检测方法包括信号采集及预处理、特征提取及源域选择、特征筛选及迁移学习、模型构建和结果判别与反馈五个步骤。
1、信号采集及预处理:
主要实现脑电数据的采集,本实施例中通过模拟驾驶器和虚拟场景还原真实驾驶场景,使用脑电采集设备采集驾驶员的脑电数据。
本实施例中所采集的脑电数据既可以是采集驾驶员额叶、顶叶和枕叶脑区的信号,也可以是整个大脑皮层的数据。电极安放位置遵循10/20导联电极的安置方法。对采集到的脑电信号首先基于独立成分分析法对实时采集的脑电信号进行预处理,去除眼电、肌电等伪迹干扰,然后对脑电信号通过0~2Hz高通滤波进行基线漂移校正、自适应陷波去除50Hz工频干扰等。
2、特征提取及源域选择:
本实施例中所检测的驾驶状态包括驾驶员疲劳状态和情绪状态,针对疲劳状态的检测所提取的特征为脑电信号的模糊熵(Fuzzy),针对情绪状态的检测所提取的特征为脑电信号的微分熵(DE)和功率谱密度大小(PSD)。
其中疲劳检测所需的模糊熵计算不依赖数据长度,有助于提高系统实时性,一致性高、样对丢失数据不敏感。变化更加平稳。模糊熵在脑电信号处理中多应用于分析睡眠分期、运动疲劳等方面。
计算方法如下:
(1)、对于一个M点采样序列定义:{u(j):1≤j≤M}。
(2)、按照序号的连续顺序重构,生成一组n维矢量,
Figure BDA0002712698200000091
其中{u(j),u(j+1),....u(j+n-1)},代表第j个点开始连续n个u的值,u0(j)表示均值如下式所示:
Figure BDA0002712698200000092
(3)、定义两个n维矢量
Figure BDA0002712698200000093
Figure BDA0002712698200000094
之间的距离
Figure BDA0002712698200000095
为两者对应元素中差值最大的一个,即
Figure BDA0002712698200000096
其中,i、j、i+k、j+k代表采样序列中各个采样点的序号,k∈(0,n-1)。
(4)、用模糊函数
Figure BDA0002712698200000097
定义两个矢量
Figure BDA0002712698200000098
Figure BDA0002712698200000099
的相似度
Figure BDA00027126982000000910
Figure BDA00027126982000000911
上式中
Figure BDA00027126982000000912
函数为指数函数,m,r分别是指数函数边界的梯度和宽度。
(5)、定义函数
Figure BDA00027126982000000913
式中On(m,r)为n维向量之间的相似度均值。
(6)、重复2~5步骤,按照序号顺序重构一组n+1维矢量,函数定义如下:
Figure BDA00027126982000000914
(7)、模糊熵定义为:
Figure BDA00027126982000000915
当M值为有限值时,按照上述七步得出的序号长度为M的模糊熵的估计:
FuzzyEn(n,m,r)=lnOn(m,r)-lnOn+1(m,r)。
其中情绪检测所需的微分熵(Differential Entropy,DE)类似于信息论中的香农熵,它是对时不变连续源信息熵的度量。本实施例在预处理后的脑电信号各通道信号的5个频段上对微分熵特征进行了提取,分别为delta(1~4Hz)频段、theta(4~8Hz)频段、alpha(8~13Hz)频段、beta(13~30Hz)频段、gamma(36~44Hz)频段。其中微分熵计算的方法如下:
微分熵(DE)是香农信息熵的推广,
Figure BDA0002712698200000101
其中p(x)表示连续信息的概率密度函数,[a,b]表示信息取值的区间。对于一段特定长度的近似服从高斯分布N(μ,σ2)的脑电信息,其微分熵为:
Figure BDA0002712698200000102
其中μ、σ2分别表示脑电信号时间序列的均值和方差。
本实施例中共提取得到了30个微分熵值的大小。
进一步的,提取脑电信号的功率谱密度。由于得到的脑电信号是时序信号,采用离散短时傅里叶变换的算法(short-timeFourier transform,STFT)来将将各通道时序脑电信号映射到频域上,在频域上计算各个频段的功率谱密度大小,共得到30个功率谱密度值的大小。
由于A_distance距离的大小代表两个数据集间的相似程度的大小,所以通过计算预处理后得到的目标信号集和源域信号集之间A_distance距离的大小,选择与目标域数据集相似程度高的源域数据集,其中疲劳检测和情绪检测相关的目标集分别进行,保证两组数据集间相似度最高,不用保证源域数据是否来自同一组数据集。
3、特征筛选及迁移学习:
本实施例中采用N-Tradaboost算法对选择的源特征集进行实例迁移,实现特征筛选得到清洁的源特征集。参见图3,其示出了本发明实施例中N-Tradaboost算法原理图,该方法改进了传统Tradaboost算法需要目标特征集有标签的缺点,通过对源特征集分别构建多个弱分类器模型(KNN、C4.5、LDA),然后使用训练好的弱分类器对目标域数据进行分类,得到三组分类结果,取出三组分类结果中得到的结果相同的特征与分类结果组成有标签的目标域数据,然后将这组有标签的目标域数据和源域数据通过Tradaboost算法进行实例迁移,当一个源特征集中的数据被错误分类后,直接将其权重置为0,最后得到清洁的源特征集。
然后将目标域特征集合和清洁的源域特征集合进行BDA迁移学习,该方法通过采用一种平衡因子μ来动态调整两个分布之间的距离,能够根据特定的数据领域,自适应地调整分布适配过程中边缘分布和条件分布的重要性;DISTANCE(Ds,Dt)≈(1-μ)DISTANCE(P(xs),P(xt))+μDISTANCE(P(ys|xs),P(yt|xt))。
其中Ds为源域数据,Dt为目标域数据,P(xs)、P(ys|xs)为Ds的边缘概率分布和条件概率分布,P(xt)、P(yt|xt)为Dt的边缘概率分布和条件概率分布,μ∈[0,1]表示平衡因子。当μ→1这表示源域和目标域数据本身存在较大的差异性,因此,边缘分布适配更重要;当μ→1时,这表示源域和目标域数据集有较高的相似性,因此,条件概率分布适配更加重要。综合上面的分析可知,平衡因子可以根据实际数据分布的情况,动态地调节每个分布的重要性,并取得良好的分布适配效果。
通过BDA迁移学习计算目标特征集和源特征集中疲劳,经过迁移矩阵处理后得到的目标域特征集和源域特征集的分布情况基本相同,大大减少目标域有标签样本的采集过程,减少人力物力,同时在小样本情况下能够取得较好的准确率。
4、模型构建:
本实施例中使用上述处理后的源域特征集和驾驶状态标签构建基于粒子群优化的多分类支持向量机模型(PSO-SVMs),粒子群算法优化SVM中惩罚系数C和高斯核函数参数g,可以提高鲁棒性和准确性。其中构建的模型为多输出分类模型,输出结果为疲劳状态,包括疲劳及情绪两部分。首先建立一个支持向量机模型根据与疲劳相关的特征集进行驾驶员疲劳状态的检测,然后在根据与情绪相关的特征集进行驾驶员情绪状态的检测,最终得到关于驾驶员疲劳和情绪状态的驾驶状态。应当理解的是,本实施例中将驾驶状态包含两部分内容,在其他实施例中也可以对应增加内容。
5、结果判别与评价报表:
本实施例中将迁移后的目标特征集作为构建的PSO-SVMs模型的输入,输出即为驾驶状态的检测结果,包括驾驶员的疲劳状态及其情绪状态。
参见图4,其示出了本发明实施例中驾驶状态评估报表生成流程图。根据检测结果,结合虚拟场景内容,给出评估结果和指导建议,结合驾驶状态评估报表模板生成驾驶状态评估报表。具体地,驾驶状态评估报表模板如表1所示。
表1
Figure BDA0002712698200000121
由以上技术方案可以看出,本发明具有如下有益效果:
本发明采用A_distance距离选择组合源域特征集,并使用N-Tradaboost算法对源特征集进行清洁处理,保证源域与目标域特征集的相似程度;
本发明采用BDA迁移学习,保证准确率的同时减少了标注样本的繁琐操作,提高了鲁棒性;
本发明采用PSO-SVMs分类模型判断驾驶员的驾驶状态,SVM算法因其算法的独特性而不会产生过拟合问题,保证了分类结果的准确性;相比于深层神经网络,SVM算法的运行速度更快。
本发明通过对驾驶时生理状态进行检测对驾驶员驾驶状态进行检测,相比于其它检测方式更加准确且具有代表性。
应该理解到,在本申请所提供的几个实施例中,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于脑电特征迁移学习的驾驶状态检测方法,其特征在于,所述方法包括以下步骤:
步骤1,基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集被试用户的脑电信号,对所述脑电信号进行预处理,提取特征构建第一目标特征集;所述第一目标特征集包括疲劳特征集和情绪特征集;
步骤2,获取多组第一源数据集,分别计算每组所述第一源数据集与所述第一目标数据集中相应特征集之间的相似度;从所述多组第一源数据集中筛选与所述第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集;
步骤3,通过第一迁移学习算法对所述第二源特征集和所述第一目标特征集进行实例迁移,进行数据筛选,剔除所述第二源特征集中的错误特征,得到第三源特征集;
步骤4,基于所述第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;
步骤5,使用所述第四源数据集构建多分类判别模型,将所述第二目标特征集输入所述多分类判别模型,得到所述被试用户的驾驶状态结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
步骤6,根据所述被试用户的驾驶状态结果以及模拟驾驶中虚拟场景的相关信息分析得到评估结果并给出指导建议,生成驾驶状态评估报表。
3.根据权利要求1所述的方法,其特征在于,所述脑电特征包括信号模糊熵、各通道各频段的微分熵和功率谱密度。
4.根据权利要求1所述的方法,其特征在于,采集驾驶过程中被试用户的脑电信号,包括:
使用Neuracle64通道脑电采集装置采集被试用户脑电信号,脑电电极采用国际10—20系统标准,以双耳电极作为参考电极。
5.根据权利要求1所述的方法,其特征在于,被试用户对脑电信号进行预处理,包括:
基于独立成分分析法对实时采集的脑电信号进行预处理,去除眼电、肌电等伪迹干扰;
对脑电信号通过0~2Hz高通滤波进行基线漂移校正、自适应陷波去除50Hz工频干扰;
提取预处理后的脑电信号的模糊熵,用于疲劳状态判别;
提取预处理后的脑电信号各个通道各个频段的微分熵和功率谱密度大小,用于情绪状态的判别。
6.根据权利要求1所述的方法,其特征在于,所述第一迁移学习算法为N-Tradaboost算法,通过对所述第二源特征集构建三个弱分类器,对所述第一目标特征集进行处理得到三组目标特征集标签结果,通过对三组目标特征集标签结果做交集得到可信的目标域标签,然后将得到的有标签的目标特征集和所述第二源特征集通过Tradaboost算法处理,其中若第二源特征集特征被分类错误时,直接将其权重置为0。
7.根据权利要求1所述的方法,其特征在于,所述第二迁移学习算法为BDA算法。
8.根据权利要求1所述的方法,其特征在于,所述多分类判别模型为基于粒子群优化算法的多分类支持向量机模型。
9.一种基于脑电特征迁移学习的驾驶状态检测系统,其特征在于,所述系统包括:
信号采集及预处理模块,用于基于模拟模拟驾驶平台及虚拟场景模拟真实驾驶环境,采集驾驶过程中被试用户的脑电信号,对脑电信号进行预处理,提取特征构建第一目标特征集;所述第一目标特征集包括疲劳特征集和情绪特征集;
特征提取及源域选择模块,用于获取多组第一源数据集,分别计算每组所述第一源数据集与所述第一目标数据集中相应特征集之间的相似度;从所述多组第一源数据集中筛选与所述第一目标数据集中的疲劳特征集和情绪特征集相似度最高的疲劳特征集和情绪数据集,并组合成第二源特征集;
特征筛选及迁移学习模块,用于通过第一迁移学习算法对所述第二源特征集和所述第一目标特征集进行实例迁移,进行数据筛选,剔除所述第二源特征集中的错误特征,得到第三源特征集;基于所述第三源数据集和第一目标数据集使用第二迁移学习算法进行特征迁移学习,得到第四源特征集、第二目标数据集;
模型构建模块,用于使用所述第四源数据集构建多分类判别模型,将所述第二目标特征集输入所述多分类判别模型,得到所述被试用户的驾驶状态结果。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
结果判别模块,用于根据所述被试用户的驾驶状态结果分析以及模拟驾驶中虚拟场景的相关信息得到评估结果并给出指导建议,生成驾驶状态评估报表。
CN202011062150.7A 2020-09-30 2020-09-30 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 Active CN112438741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011062150.7A CN112438741B (zh) 2020-09-30 2020-09-30 一种基于脑电特征迁移学习的驾驶状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011062150.7A CN112438741B (zh) 2020-09-30 2020-09-30 一种基于脑电特征迁移学习的驾驶状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN112438741A true CN112438741A (zh) 2021-03-05
CN112438741B CN112438741B (zh) 2022-02-11

Family

ID=74736876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011062150.7A Active CN112438741B (zh) 2020-09-30 2020-09-30 一种基于脑电特征迁移学习的驾驶状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN112438741B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224344A (zh) * 2021-12-31 2022-03-25 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110367976A (zh) * 2019-07-30 2019-10-25 腾讯科技(深圳)有限公司 脑电波信号检测方法、相关设备和存储介质
AU2019101142A4 (en) * 2019-09-30 2019-10-31 Dong, Qirui MR A pedestrian detection method with lightweight backbone based on yolov3 network
CN110772268A (zh) * 2019-11-01 2020-02-11 哈尔滨理工大学 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法
CN111401130A (zh) * 2020-02-11 2020-07-10 江苏比特达信息技术有限公司 一种基于连续头部姿势估计的驾驶员分神检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110367976A (zh) * 2019-07-30 2019-10-25 腾讯科技(深圳)有限公司 脑电波信号检测方法、相关设备和存储介质
AU2019101142A4 (en) * 2019-09-30 2019-10-31 Dong, Qirui MR A pedestrian detection method with lightweight backbone based on yolov3 network
CN110772268A (zh) * 2019-11-01 2020-02-11 哈尔滨理工大学 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法
CN111401130A (zh) * 2020-02-11 2020-07-10 江苏比特达信息技术有限公司 一种基于连续头部姿势估计的驾驶员分神检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
王斐等: "基于脑电信号深度迁移学习的驾驶疲劳检测", 《电子与信息学报》 *
谢平等: "基于多生理信息及迁移学习的驾驶疲劳评估", 《仪器仪表学报》 *
陈军等: "基于级联卷积神经网络的驾驶员分心驾驶行为检测", 《科学技术与工程》 *
魏玮等: "基于迁移学习的人脸姿态分类方法", 《测控技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224344A (zh) * 2021-12-31 2022-03-25 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统
CN114224344B (zh) * 2021-12-31 2024-05-07 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统

Also Published As

Publication number Publication date
CN112438741B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
Lewicki A review of methods for spike sorting: the detection and classification of neural action potentials
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN107518894A (zh) 一种动物脑电分类模型的构建方法及装置
CN110390272B (zh) 一种基于加权主成分分析的eeg信号特征降维方法
CN112656431A (zh) 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112884063B (zh) 基于多元时空卷积神经网络的p300信号检测识别方法
CN108567418A (zh) 一种基于PCANet的脉搏信号亚健康检测方法及检测系统
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
Zhang et al. DWT-Net: Seizure detection system with structured EEG montage and multiple feature extractor in convolution neural network
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification
CN112438741B (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
Feng et al. Support matrix machine with pinball loss for classification
CN113869382A (zh) 基于领域嵌入概率的半监督学习癫痫脑电信号识别方法
CN111772629B (zh) 一种脑认知技能移植的方法
CN113288157A (zh) 基于深度可分离卷积和改进损失函数的心律失常分类方法
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
CN110516711B (zh) Mi-bci系统的训练集质量评估方法和单次训练样本的优化方法
CN112200228A (zh) 一种基于二维卷积神经网络的癫痫发作状态识别方法
CN110174947A (zh) 基于分形几何和概率协作的运动想象任务识别方法
Zailan et al. Comparative Analysis Of Machine Learning Algorithms For Optimizing Variable Step-Size Least Mean Square In Motion Artifact Reduction
Ding et al. EEG-fest: few-shot based attention network for driver's drowsiness estimation with EEG signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant