CN110507288A - 基于一维卷积神经网络的视觉诱导晕动症检测方法 - Google Patents

基于一维卷积神经网络的视觉诱导晕动症检测方法 Download PDF

Info

Publication number
CN110507288A
CN110507288A CN201910809375.5A CN201910809375A CN110507288A CN 110507288 A CN110507288 A CN 110507288A CN 201910809375 A CN201910809375 A CN 201910809375A CN 110507288 A CN110507288 A CN 110507288A
Authority
CN
China
Prior art keywords
dimensional convolutional
layer
neural networks
convolutional neural
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910809375.5A
Other languages
English (en)
Inventor
刘然
赵洋
郑杨婷
刘亚琼
陈希
崔珊珊
王斐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910809375.5A priority Critical patent/CN110507288A/zh
Publication of CN110507288A publication Critical patent/CN110507288A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及虚拟现实技术领域，具体涉及一种基于一维卷积神经网络的视觉诱导晕动症检测方法，包括使用头戴设备Muse的四个通道采集受试者在驾驶车辆驾驶模拟器过程中诱发产生的EEG数据及从受试者的口头报告中采集主观VIMS级别数据的步骤，对EEG数据进行时域滤波的数据预处理步骤，使用训练优化后的一维卷积神经网络对预处理后的EEG数据进行特征提取和特征分类，达到检测晕动症级别的程度。本申请采用头戴设备Muse采集连续的EEG数据，因而成本较低，采集数据的通道数较少，且采用基于一维卷积神经网络对晕动症级别进行分类，因而无论在准确率上还是在Kappa指标上都取得了很好的分类性能，相比传统机器学习方法具有更好的分类效果。

Description

基于一维卷积神经网络的视觉诱导晕动症检测方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种基于一维卷积神经网络的视觉诱导晕动症检测方法。
背景技术
近年来，虚拟现实技术已经取得了很大进步，市场上出现了各种各样的平台和产品，例如洞穴状自动虚拟环境、头戴式显示器和车辆驾驶模拟器，尤其是3D电影最近的流行。然而视觉诱导晕动症(Visually Induced Motion Sickness，VIMS)经常发生在我们使用这些平台和产品中，严重影响着我们使用虚拟现实产品过程中的舒适度体验。VIMS症状包括典型的主观症状如疲劳、头痛、胃部不适、恶心和呕吐，以及生理不适的迹象如出汗、打嗝、干呕、定向障碍、面色苍白和胃张力减弱。如果在晕动症发生的早期或者发生时就进行检测，能够极大程度上减少VIMS带给我们的影响。
一般认为感知冲突是VIMS症状发生的主要原因，这一认为如果人的前庭系统和视觉系统接收到的运动信息不匹配，那么当大脑尝试整合不匹配的信息时，就会发生冲突，而这一冲突就会引起VIMS症状的发生。视觉晕动的刺激按感觉形态分为前庭刺激和视觉刺激，常见的诱发VIMS的方法都比较简单：使用VR和幕投影等技术来呈现视觉流或旋转视频，从而产生晕动症状，这种视觉诱导所采用的VR渲染本质上仍然是感知冲突。
目前，许多学者利用脑电波(Electroencephalogram，EEG)研究VIMS检测，并得出了一些有意义的结论。Yu等人使用KNN对是否发生晕动症进行了评估。Wei等人利用线性回归(LR)、径向基函数神经网络(RBFNN)和支持向量机回归(SVR)来对VIMS症状进行检测。Lin等人提出了一种动态驾驶环境下基于EEG的晕动级别评估系统，该系统从五个与晕动相关的大脑区域在线提取EEG特征，然后使用自组织神经模糊推理网络(Self-OrganizingNeural Fuzzy Inference Network，SONFIN)来估算受试者的晕动级别。而在其他一些领域也有很多基于机器学习的EEG信号研究，对于视觉诱导晕动症的检测具有一定的参考价值。
但是，本发明的发明人经过研究发现，前述研究方法采用了医用级别的EEG设备，价格昂贵，需要采集的通道数较多，在VR环境中使用不方便，并且检测依然采用传统的分类方法，往往准确率不高，使得对于VIMS症状的分类性能不高。
发明内容
针对现有VIMS症状研究方法采用医用级别的EEG设备，价格昂贵，需要采集的通道数较多，在VR环境中使用不方便，并且检测依然采用传统分类方法，准确率不高，使得对于VIMS症状分类性能不高的技术问题，本发明提供一种基于一维卷积神经网络的视觉诱导晕动症检测方法。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于一维卷积神经网络的视觉诱导晕动症检测方法，所述方法包括以下步骤：
S1、EEG数据采集：采用头戴设备Muse的FP1、FP2、TP9和TP10四个通道采集受试者在驾驶车辆驾驶模拟器过程中诱发产生的EEG数据，并从受试者的口头报告中采集主观VIMS级别数据，将VIMS级别数据作为EEG数据相关的标签；
S2、数据预处理：使用时间窗对EEG数据下采样进行时域滤波；
S3、一维卷积神经网络构建：所述一维卷积神经网络包括适于接收预处理后EEG数据的功率谱密度的输入层，并列位于所述输入层之后的第一一维卷积层和第二一维卷积层，顺序位于所述第一一维卷积层之后的第一一维池化层和第一拉平层，顺序位于所述第二一维卷积层之后的第二一维池化层和第二拉平层，位于所述第一拉平层和第二拉平层之后适于将卷积池化拉平后的提取特征与输入至输入层的原始特征进行融合的融合层，顺序位于所述融合层之后的第一全连接层、第二全连接层和第三全连接层，所述第一至第三全连接层的维度大小逐级递减且第三全连接层是一个Softmax或Sigmoid激活的全连接层；
S4、网络训练与参数优化：将预处理后的EEG数据划分为训练集与测试集，通过训练集训练构建完的一维卷积神经网络，使用随机梯度下降算法优化训练一维卷积神经网络参数，保存分类效果最好的网络模型；
S5、网络结果测试：采用保存的网络模型，对测试集的EEG数据功率谱密度进行测试，最终产生VIMS每个类别的预测概率，选择概率最大的类别作为EEG数据最终的预测类别，并选择相应指标来对模型分类性能进行评价。
进一步，所述步骤S2中，进行时域滤波的时间窗大小为1s。
进一步，所述步骤S3中，在第一一维卷积层和第二一维卷积层之后分别添加有批归一化层。
进一步，所述第一一维卷积层的卷积核大小为8，步长为4，卷积核个数为16；所述第一一维池化层的池化核大小为2，步长为2；所述第二一维卷积层的卷积核大小为12，步长为6，卷积核个数为24；所述第二一维池化层的池化核大小为2，步长为2。
进一步，所述步骤S3中，在第一全连接层和第二全连接层之后分别添加有Dropout层。
进一步，所述第一全连接层、第二全连接层和第三全连接层的维度大小分别为512、128和4。
进一步，所述步骤S5中，预测类别包括无晕动、轻微晕动、中等晕动和严重晕动。
进一步，所述步骤S5中，采用准确率Acc和kappa指标k来评价一维卷积神经网络模型分类性能；其中，
式中，TP为真阳性，代表被正确分类的正样本；TN为真阴性，代表被正确分类的负样本；FP为假阳性，代表被错误分类的正样本；FN为假阴性，代表被错误分类的负样本；po为总体分类准确率，pe代表机会一致概率。
与现有技术相比，本发明提供的基于一维卷积神经网络的视觉诱导晕动症检测方法具有以下优点：
1、采用头戴设备Muse的FP1、FP2、TP9和TP10四个通道采集连续的EEG数据，相比于现有采用医用级别的EEG设备，本发明采用的可穿戴便携式设备Muse成本较低，且只需要从FP1、FP2、TP9和TP10四个通道采集EEG数据，因而采集的通道数较少，在VR环境中使用非常方便；
2、在一维卷积神经网络中，首先同时使用两个不同的一维卷积层和一维池化层对预处理后EEG数据提取特征，以此增加了提取EEG数据特征的网络宽度，然后将提取特征和原始特征进行融合作为新的特征，最后再用三个全连接层对新的特征进行分类，得到VIMS症状的级别或者晕动症的程度，实验结果表明，本方法对于VIMS检测的准确率和Kappa指标能够分别高达0.834和0.706；
3、通过一维卷积神经网络能够同时完成特征提取和状态分类的功能，避免了复杂的数据预处理工作，提高了分类效率；
4、相比于传统的机器学习方法，使用卷积神经网络对EEG数据进行VIMS级别的评估表现出更高的分类性能，具有更好的分类效果。
附图说明
图1是本发明提供的基于一维卷积神经网络的视觉诱导晕动症检测方法流程示意图。
图2是本发明提供的一维卷积神经网络模型结构示意图。
图3是本发明提供的一维卷积神经网络中一维卷积层的卷积过程示意图。
图4是本发明提供的一维卷积神经网络训练过程中准确率变化的曲线图。
图5是本发明提供的一维卷积神经网络训练过程中loss函数变化曲线图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1至图5所示，本发明提供一种基于一维卷积神经网络的视觉诱导晕动症检测方法，所述方法包括以下步骤：
S1、EEG数据采集：采用头戴设备Muse的FP1、FP2、TP9和TP10四个通道采集受试者在驾驶车辆驾驶模拟器过程中诱发产生的EEG数据，并从受试者的口头报告中采集主观VIMS级别数据，将VIMS级别数据作为EEG数据相关的标签。具体地，本申请使用现有的可穿戴无线设备MuseTM(InteraXon Inc.,Ontario Canada)来记录连续的EEG数据，它通过蓝牙与笔记本电脑、智能手机或平板等电子设备进行无线连接；设备Muse共包含了FP1、FP2、TP9和TP10四个通道，即本申请从四个通道FP1、FP2、TP9、TP10来采集数据，例如以10bit量化位数、220Hz的采样频率以进行采样。与传统的EEG数据采集设备不同，设备Muse不需要涂抹导电膏，能够无创伤的、实时地反映人类的脑电活动。
EEG数据采集前首先需要诱导VIMS的产生，而本申请用于诱发VIMS症状的设备是一台基于VR的车辆驾驶模拟器(VDS,生产商FAAC Inc.,Ann Arbor,MI)，该VDS由多个显示屏幕拼接成220°的视野，共同模拟动态的交通场景。与其他VR设备相似，本申请提供的VDS可以诱发受试者产生VIMS症状，当受试者处于多段蜿蜒绕行的场景时，VIMS症状尤为强烈；其产生VIMS症状的原因可能是感知冲突引起的，即驾驶人员在驾驶过程中会出现视觉信息与肢体运动信息不一致，从而诱发VIMS症状。作为一种具体实施方式，本申请在实验过程中邀请到了8名受试者(S0-S7)来参与研究，使用前述Muse设备采集受试者的EEG数据，并从受试者的口头报告中采集主观VIMS级别数据，如果没有感受到晕动，则VIMS级别为0；当受试者一旦感觉到晕动级别发生变化时，则报告晕动是轻微、中等还是严重晕动，VIMS级别分别为1、2、3，并记录作为VIMS级别数据，且将VIMS级别作为与EEG数据相关的标签。
S2、数据预处理：使用时间窗对EEG数据下采样进行时域滤波。具体在构造一维卷积神经网络前，本申请首先需要对EEG数据进行预处理，主要是使用时间窗的方式对EEG数据进行时域滤波，这是因为相邻的脑电信号可能会存在很多的冗余数据，例如同一秒采集的脑电信号在很多维度上其实都是保持不变的，如果使用全部的数据，可能会对分类结果产生很大的影响，所以本申请使用时间窗的方式再次对EEG数据进行时域滤波，即通过使用时间窗对数据集进行下采样，来对实验数据进行不重叠的滑动窗口来消除冗余数据。而通过使用时间窗对数据集进行下采样的具体采样方法为本领域技术人员所熟知，具体进行时域滤波的时间窗大小设置为1s。
S3、一维卷积神经网络构建：所述一维卷积神经网络包括适于接收预处理后EEG数据的功率谱密度的输入层，并列位于所述输入层之后的第一一维卷积层和第二一维卷积层，顺序位于所述第一一维卷积层之后的第一一维池化层和第一拉平层，顺序位于所述第二一维卷积层之后的第二一维池化层和第二拉平层，位于所述第一拉平层和第二拉平层之后适于将卷积池化拉平后的提取特征与输入至输入层的原始特征进行融合的融合层，顺序位于所述融合层之后的第一全连接层、第二全连接层和第三全连接层，所述第一至第三全连接层的维度大小逐级递减且第三全连接层是一个Softmax激活或Sigmoid激活的全连接层。
具体地，一维卷积神经网络和二维卷积神经网络具有相同的特征并且遵循相同的方法，其主要区别在于输入数据的维度以及滤波器如何在数据中滑动。在维度差异方面，二维卷积神经网络主要用于处理图像，通常输入数据为4维：第一维表示样本数，其他的三个维度分别代表图片的宽度、高度和通道数；而一维卷积神经网络的输入为3维，和二维卷积神经网络类似，第一维代表样本数，第二维代表特征数，第三维代表每组数据所选择的样本数目。
作为具体实施例，本申请提供的前述一维卷积神经网络中，输入的是预处理后EEG数据的功率谱密度，即所述输入层用于接收预处理后EEG数据的功率谱密度，包括绝对功率谱和相对功率谱共40个特征，每一条样本数据作为一组输入数据，所以本申请的输入层维度为(40，1)；其中，绝对功率谱和相对功率谱的具体计算请参考文献S.W.Chuang,C.H.Chuang,Y.H.Yu,J.T.King,C.T.Lin,E.E.G.alpha and gamma modulators mediatemotion sickness-related spectral responses,Int.J.Neural Syst.26(2016),1650007.；EEG信号数据根据频率大小分为5个频段：delta(0-4Hz)，theta(4-8Hz)，alpha(8-13Hz)，beta(13-30Hz)和gamma(30-44Hz)，在每个频段连接有四个电极用于测量EEG信号数据，通过计算每个频段在四个电极上的功率谱密度，包括绝对功率谱与相对功率谱，由此可得到共40个具体特征。所述一维卷积层用于通过滤波器自动进行特征提取，一个滤波器学习一层的单个特征，设置多个滤波器来学习多个特征，图3表示使用两个滤波器卷积的结果，一维卷积层包括多个固定长度的卷积核，通过对输入节点以步长为2进行滑动，再与每个滤波器进行矩阵的点乘运算，如第一个输出节点是4×1+3×(-1)+1×0＝1，即可得到输出层；由于序列数据的隐藏特征主要是浅层特征，因而本申请只用一层卷积层提取特征。所述一维池化层用于在卷积滤波完成后，对每一个卷积层进行下采样操作，本申请选择的下采样操作是最大池化，即通过最大滤波器提取重叠或非重叠子区域的最大特征值，池化层还用来对卷积层输出的特征进行降维映射，从而减少网络参数，防止数据过拟合。所述拉平层用于把二维特征变成一维特征。所述一维卷积层在卷积操作后提取了更深层次的特征，但卷积前的输入脑电信号同样也包含了影响实验结果的有效特征，所以本申请将输入至输入层的原始特征与卷积池化拉平后的提取特征通过融合(Concatenate)层进行融合后作为新的全部特征。所述全连接层在一维卷积神经网络中起到分类器的作用，用于将提取到的特征映射到样本标记空间，一维卷积神经网络的最后一层即第三全连接层一般是一个Softmax或者Sigmoid激活的全连接层。
作为优选实施例，所述步骤S3中，在第一一维卷积层和第二一维卷积层之后分别添加有批归一化层，由此可以在第一一维卷积层和第二一维卷积层输出后的数据的每个批次和每个维度上进行归一化处理，一方面加快了训练速度，另一方面不用太依赖L1、L2等正则化处理方法，提高了网络的泛化能力。具体批归一化层采用其内部封装的现有z-score归一化方法来对EEG数据进行标准化，标准化后所有EEG数据都被映射到[0，1]，新的数据均值为0，标准差为1。
作为优选实施例，所述第一一维卷积层的卷积核大小为8，步长为4，卷积核个数为16；所述第一一维池化层的池化核大小为2，步长为2；所述第二一维卷积层的卷积核大小为12，步长为6，卷积核个数为24；所述第二一维池化层的池化核大小为2，步长为2。
作为优选实施例，所述步骤S3中，在第一全连接层和第二全连接层之后分别添加有Dropout层，用于随机失活(失活概率＝0.3)，由此可以在网络中避免产生过拟合的问题。
作为具体实施例，所述第一全连接层、第二全连接层和第三全连接层的维度大小分别为512、128和4。具体在将提取的特征与输入的原始特征融合作为最终提取的特征后，还需要继续进行分类，以检测晕动症是否发生；本申请使用三个全连接层进行分类，三个全连接层的维度大小逐级递减，其中第三全连接层(Dense_3)是Softmax激活的全连接层，维度大小为4，代表所有的预测类别，分别是无晕动、轻微晕动、中等晕动和严重晕动，最终产生每个类别的预测概率，选择概率最大的类别作为最终的预测类别。
整个一维卷积神经网络各层的维度如下表1所示。
表1一维卷积网络各层的维度
本申请使用一维卷积神经网络作为一个自动的特征提取器和一个学习分类器：首先提取特征，不同于二维卷积神经网络通过增加网络深度来对图像进行特征提取，本申请通过增加网络宽度来提取EEG数据特征，即同时使用两个不同的一维卷积层和一维池化层来对EEG数据提取特征，对两个一维卷积层和一维池化层分别设置不同的参数，如滤波器大小(卷积核个数)、步长和卷积核大小来分别提取到不同的特征；然后将所提取的特征与输入的原始特征进行融合作为新的特征，新的特征共有192个；最后再用一维卷积神经网络对提取的特征进行分类，检测晕动症的程度。
S4、网络训练与参数优化：将预处理后的EEG数据划分为训练集与测试集，通过训练集训练构建完的一维卷积神经网络，使用随机梯度下降算法优化训练一维卷积神经网络参数，保存分类效果最好的网络模型，具体本申请在训练优化过程中，以准确率和loss(损失)值为指标，保存效果最好的网络模型，其中准确率与后续步骤S5中的准确率Acc相同，因而在此不做详细说明。作为具体实施方式，所述一维卷积神经网络中参数优化部分超参数的设置如下表2所示。
表2一维卷积网络优化器的超参数设置
具体在网络模型训练时，总共迭代了200次，并且保存了每次训练后的准确率及loss值，在最后绘制了整个训练过程中这两个指标的变化过程。其中，准确率的变化曲线如图4所示，在训练集上准确率可以达到95％，而在验证集上准确率最终稳定在80％以上，选择验证集准确率最高的模型保存，而训练过程中loss曲线的变化过程如图5所示。
S5、网络结果测试：采用保存的网络模型，对测试集的EEG数据功率谱密度进行测试，最终产生VIMS每个类别的预测概率，选择概率最大的类别作为EEG数据最终的预测类别，并选择相应指标来对模型分类性能进行评价。具体对于VIMS的检测，不仅要检测在受试者中是否出现，而且希望对VIMS的严重程度进行评估。作为优选实施例，所述步骤S5中，预测类别包括无晕动、轻微晕动、中等晕动和严重晕动。而VIMS检测的四级分类可以更加细致地识别受试者的感受，从而帮助申请人确定在一些虚拟现实应用中，受试者的VIMS症状在经过一些治疗后是否有所减轻。而四分类的主要区别在于将晕动症进一步划分为三类，分别代表轻微晕动、中等晕动和严重晕动。
作为具体实施例，所述步骤S5中，采用准确率Acc和kappa指标k来评价一维卷积神经网络模型分类性能；其中，
式中，TP为真阳性，代表被正确分类的正样本；TN为真阴性，代表被正确分类的负样本；FP为假阳性，代表被错误分类的正样本；FN为假阴性，代表被错误分类的负样本；po为总体分类准确率，pe代表机会一致概率。
其中，Cohen's kappa指标k是一种用于多分类中衡量模型评估准确度的指标，用于一致性检验，纠正期望一致性；本申请中kappa指标k的范围在[0，1]之间，且值越高代表模型的分类准确度越高。
使用训练的最佳精度的网络模型在测试集上进行测试，通过计算其准确率Acc与kappa两个指标来衡量实验的结果。表3为一维卷积神经网络与其他传统分类方法如RF(随机森林)、kNN(k最近邻)、SVM(支持向量机)与XGBoost(极端梯度提升)等的结果对比。从表3可以看出，一维卷积神经网络的准确率和kappa指标要明显优于单个的分类器，其准确率高达0.834，kappa指标则是提高到了0.706，由此说明本申请提出的一维卷积神经网络用于晕动症的检测相比传统机器学习方法具有更好的分类效果或分类性能。
表3不同分类器多受试者四分类的结果
与现有技术相比，本发明提供的基于一维卷积神经网络的视觉诱导晕动症检测方法具有以下优点：
1、采用头戴设备Muse的FP1、FP2、TP9和TP10四个通道采集连续的EEG数据，相比于现有采用医用级别的EEG设备，本发明采用的可穿戴便携式设备Muse成本较低，且只需要从FP1、FP2、TP9和TP10四个通道采集EEG数据，因而采集的通道数较少，在VR环境中使用非常方便；
2、在一维卷积神经网络中，首先同时使用两个不同的一维卷积层和一维池化层对预处理后EEG数据提取特征，以此增加了提取EEG数据特征的网络宽度，然后将提取特征和原始特征进行融合作为新的特征，最后再用三个全连接层对新的特征进行分类，得到VIMS症状的级别或者晕动症的程度，实验结果表明，本方法对于VIMS检测的准确率和Kappa指标能够分别高达0.834和0.706；
3、通过一维卷积神经网络能够同时完成特征提取和状态分类的功能，避免了复杂的数据预处理工作，提高了分类效率；
4、相比于传统的机器学习方法，使用卷积神经网络对EEG数据进行VIMS级别的评估表现出更高的分类性能，具有更好的分类效果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述方法包括以下步骤：
S1、EEG数据采集：采用头戴设备Muse的FP1、FP2、TP9和TP10四个通道采集受试者在驾驶车辆驾驶模拟器过程中诱发产生的EEG数据，并从受试者的口头报告中采集主观VIMS级别数据，将VIMS级别数据作为EEG数据相关的标签；
S2、数据预处理：使用时间窗对EEG数据下采样进行时域滤波；
S3、一维卷积神经网络构建：所述一维卷积神经网络包括适于接收预处理后EEG数据的功率谱密度的输入层，并列位于所述输入层之后的第一一维卷积层和第二一维卷积层，顺序位于所述第一一维卷积层之后的第一一维池化层和第一拉平层，顺序位于所述第二一维卷积层之后的第二一维池化层和第二拉平层，位于所述第一拉平层和第二拉平层之后适于将卷积池化拉平后的提取特征与输入至输入层的原始特征进行融合的融合层，顺序位于所述融合层之后的第一全连接层、第二全连接层和第三全连接层，所述第一至第三全连接层的维度大小逐级递减且第三全连接层是一个Softmax或Sigmoid激活的全连接层；
S4、网络训练与参数优化：将预处理后的EEG数据划分为训练集与测试集，通过训练集训练构建完的一维卷积神经网络，使用随机梯度下降算法优化训练一维卷积神经网络参数，保存分类效果最好的网络模型；
S5、网络结果测试：采用保存的网络模型，对测试集的EEG数据功率谱密度进行测试，最终产生VIMS每个类别的预测概率，选择概率最大的类别作为EEG数据最终的预测类别，并选择相应指标来对模型分类性能进行评价。
2.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述步骤S2中，进行时域滤波的时间窗大小为1s。
3.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述步骤S3中，在第一一维卷积层和第二一维卷积层之后分别添加有批归一化层。
4.根据权利要求1或3所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述第一一维卷积层的卷积核大小为8，步长为4，卷积核个数为16；所述第一一维池化层的池化核大小为2，步长为2；所述第二一维卷积层的卷积核大小为12，步长为6，卷积核个数为24；所述第二一维池化层的池化核大小为2，步长为2。
5.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述步骤S3中，在第一全连接层和第二全连接层之后分别添加有Dropout层。
6.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述第一全连接层、第二全连接层和第三全连接层的维度大小分别为512、128和4。
7.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述步骤S5中，预测类别包括无晕动、轻微晕动、中等晕动和严重晕动。
8.根据权利要求1所述的基于一维卷积神经网络的视觉诱导晕动症检测方法，其特征在于，所述步骤S5中，采用准确率Acc和kappa指标k来评价一维卷积神经网络模型分类性能；其中，
式中，TP为真阳性，代表被正确分类的正样本；TN为真阴性，代表被正确分类的负样本；FP为假阳性，代表被错误分类的正样本；FN为假阴性，代表被错误分类的负样本；po为总体分类准确率，pe代表机会一致概率。
CN201910809375.5A 2019-08-29 2019-08-29 基于一维卷积神经网络的视觉诱导晕动症检测方法 Pending CN110507288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910809375.5A CN110507288A (zh) 2019-08-29 2019-08-29 基于一维卷积神经网络的视觉诱导晕动症检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910809375.5A CN110507288A (zh) 2019-08-29 2019-08-29 基于一维卷积神经网络的视觉诱导晕动症检测方法

Publications (1)

Publication Number Publication Date
CN110507288A true CN110507288A (zh) 2019-11-29

Family

ID=68628043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910809375.5A Pending CN110507288A (zh) 2019-08-29 2019-08-29 基于一维卷积神经网络的视觉诱导晕动症检测方法

Country Status (1)

Country Link
CN (1) CN110507288A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257746A (zh) * 2020-09-15 2021-01-22 深圳数联天下智能科技有限公司 痘痘类型识别模型训练方法、识别方法及相关装置
CN116130086A (zh) * 2023-04-20 2023-05-16 湖南大学 一种晕动症的预测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN108959895A (zh) * 2018-08-16 2018-12-07 广东工业大学 一种基于卷积神经网络的脑电信号eeg身份识别方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109272988A (zh) * 2018-09-30 2019-01-25 江南大学 基于多路卷积神经网络的语音识别方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN110033021A (zh) * 2019-03-07 2019-07-19 华中科技大学 一种基于一维多路卷积神经网络的故障分类方法
CN110163180A (zh) * 2019-05-29 2019-08-23 长春思帕德科技有限公司 运动想象脑电数据分类方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN108959895A (zh) * 2018-08-16 2018-12-07 广东工业大学 一种基于卷积神经网络的脑电信号eeg身份识别方法
CN109272988A (zh) * 2018-09-30 2019-01-25 江南大学 基于多路卷积神经网络的语音识别方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN110033021A (zh) * 2019-03-07 2019-07-19 华中科技大学 一种基于一维多路卷积神经网络的故障分类方法
CN110163180A (zh) * 2019-05-29 2019-08-23 长春思帕德科技有限公司 运动想象脑电数据分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李德豪: "基于EEG的视觉诱导晕动症评估与检测", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257746A (zh) * 2020-09-15 2021-01-22 深圳数联天下智能科技有限公司 痘痘类型识别模型训练方法、识别方法及相关装置
CN116130086A (zh) * 2023-04-20 2023-05-16 湖南大学 一种晕动症的预测系统
CN116130086B (zh) * 2023-04-20 2024-05-17 湖南大学 一种晕动症的预测系统

Similar Documents

Publication Publication Date Title
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Gao et al. A recurrence network-based convolutional neural network for fatigue driving detection from EEG
Wang et al. Central and peripheral vision for scene recognition: A neurocomputational modeling exploration
CN110069958A (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN110163180A (zh) 运动想象脑电数据分类方法及系统
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN105393252A (zh) 生理数据采集和分析
CN104636580A (zh) 一种基于人脸的健康监控手机
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
Jemal et al. An interpretable deep learning classifier for epileptic seizure prediction using EEG data
Araújo et al. Glaucoma diagnosis in fundus eye images using diversity indexes
CN110200626A (zh) 一种基于投票分类器的视觉诱导晕动症检测方法
Das et al. CA-Net: A novel cascaded attention-based network for multi-stage glaucoma classification using fundus images
CN110507288A (zh) 基于一维卷积神经网络的视觉诱导晕动症检测方法
Stuchi et al. Frequency learning for image classification
Karami et al. A dictionary learning based method for detection of diabetic retinopathy in color fundus images
Yadav et al. Computer‐aided diagnosis of cataract severity using retinal fundus images and deep learning
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Kauppi et al. Decoding magnetoencephalographic rhythmic activity using spectrospatial information
Zhao et al. Research and development of autism diagnosis information system based on deep convolution neural network and facial expression data
CN117409407A (zh) 一种多层次感知注意力机制的细胞微核分类方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Li et al. Saliency consistency-based image re-colorization for color blindness
Mao et al. Design of deep convolutional networks for prediction of image rapid serial visual presentation events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191129