CN117530662A - 一种晕车识别的特征提取方法 - Google Patents
一种晕车识别的特征提取方法 Download PDFInfo
- Publication number
- CN117530662A CN117530662A CN202311495084.6A CN202311495084A CN117530662A CN 117530662 A CN117530662 A CN 117530662A CN 202311495084 A CN202311495084 A CN 202311495084A CN 117530662 A CN117530662 A CN 117530662A
- Authority
- CN
- China
- Prior art keywords
- motion sickness
- signal
- carsickness
- signals
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000003152 motion sickness Diseases 0.000 title claims abstract description 175
- 238000000605 extraction Methods 0.000 title claims abstract description 34
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 65
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 65
- 239000001301 oxygen Substances 0.000 claims abstract description 65
- 210000004369 blood Anatomy 0.000 claims abstract description 57
- 239000008280 blood Substances 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 47
- 210000004556 brain Anatomy 0.000 claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 230000005611 electricity Effects 0.000 claims abstract description 14
- 230000006698 induction Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 210000001061 forehead Anatomy 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012880 independent component analysis Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 4
- 230000009257 reactivity Effects 0.000 claims description 3
- 238000002496 oximetry Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 17
- 230000010363 phase shift Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 102000001554 Hemoglobins Human genes 0.000 description 5
- 108010054147 Hemoglobins Proteins 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000002835 absorbance Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000010998 test method Methods 0.000 description 4
- 101000872083 Danio rerio Delta-like protein C Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 108091026922 FnrS RNA Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 206010009866 Cold sweat Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 241000566260 Trypeta flaveola Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000006706 cellular oxygen consumption Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006392 deoxygenation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 230000000147 hypnotic effect Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种晕车识别的特征提取方法，涉及脑机交互、晕车识别等领域，该方法通过开展两种驾驶模式下的乘车测试，对三类人群进行晕动诱发反应，并进行受试者的生理信号采集，同步记录受试者的FMS评分，然后对所采集的信号进行处理，再进一步的分析判断；采用ΔCOE作为血氧晕车状态参数进行分析，锁定血氧信号的晕车识别特征提取的通道以及fNIRS信号检测位置，对于EEG源信号，采用PSDδ和PSDα作为脑电晕车状态参数进行分析，锁定脑电信号和血氧信号的晕车识别特征提取的通道以及EEG信号检测位置；最后通过所选定的晕车识别特征提取的通道，提取相应的血氧特征和脑电特征进行晕车状态分析。该方法能够简单、有效的进行晕车识别的特征提取。
Description
技术领域
本发明涉及脑机交互、晕车识别等领域，具体为一种晕车识别的特征提取方法。
背景技术
随着电车舒适性要求的不断提高，以驾驶员为中心的汽车设计一直无法满足消费者的需求。乘客在乘坐过程中的舒适性需求也成为一个重要的指标。因此，乘客晕车的问题迫切需要解决。由于不同的人晕动病的原因不同，很难从源头解决晕动病问题。但是，由晕动病引起的人类症状往往是相同的。这些症状一般表现为冷汗、头晕、恶心、呕吐等，人类症状的出现导致了生理信号的变化。因此，生理信号的测量是进一步研究晕动病的可靠方法。通过生理信号的变化来预测晕车水平的变化后，可以引入干预措施，有效地避免了乘车过程中晕车水平的加深。目前，相关研究已经提出了一些与晕动病有关的生理特征。这些生理特征已被证明是有效的识别晕车水平。然而，这些生理特征主要是从血压、心率等方面进行的分析和判断，与前庭冲突理论所涉及的前庭系统相距较远，对晕车程度的反应不直接。另外，在乘客实际乘车过程中，无法方便的进行准确预测和判断晕车状态，一是无法持续监测，二是指标较笼统。因此，本发明提出了一种能够在乘客乘车过程中进行持续监测、并且对乘客乘车无影响的晕车识别的特征提取方法。
发明内容
为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种晕车识别的特征提取方法，是一种基于不同人群在乘坐汽车过程中的生理信号进行的处理、分析，进而提取出与晕车状态相关的特征提取方法，进而根据所提取的特征进行晕车状态的分析，并且还通过CNN-BiLSTM的分析确定了该晕车识别特征提取方法以及采用该方法所提取的晕车识别特征的有效性和准确性。
本发明目的之一，在于提供一种晕车识别的特征提取方法的技术方案。
一种晕车识别的特征提取方法，包括以下四个步骤：
第一步，进行晕车诱发与生理信号采集：在至少两种驾驶模式下采集若干人员头部不同脑区的生理信号，所述生理信号为fNIRS信号和EEG信号；
第二步，将所述生理信号进行预处理及信号转化：对所述fNIRS信号和所述EEG信号分别进行预处理，以去除噪声和干扰，获得fNIRS源信号和EEG源信号，并将所述fNIRS源信号转化为血氧信号；
第三步，进行主客观对比分析及特征提取通道确定：将所述血氧信号和所述EEG源信号分别进行晕车识别特征提取通道的合理性分析，并确定用于晕车识别特征提取的通道；
第四步，确定晕车识别特征中的血氧特征和脑电特征：根据所述晕车识别特征提取通道所对应的所述血氧信号和所述EEG源信号，确定血氧特征和脑电特征作为晕车识别的特征，用于晕车状态识别。
优选的，第二步中，所述fNIRS信号的预处理，首先采用2Hz的20阶低通FIR滤波器滤除噪声数据，用于删除一些明显存在局部干扰的数据段，然后采用滑动窗口运动伪影抑制算法，将光强数据中的运动伪影删除，获得所述fNIRS源信号。
进一步优选的，第二步中，所述fNIRS源信号的光强信号转化为血氧信号。
优选的，第二步中，所述EEG信号的预处理，首先对采集的EEG信号进行0.5Hz到45Hz的滤波处理，用于去除来自外界环境的干扰，然后采用独立成分分析去除运动伪迹，获得所述EEG源信号。
优选的，第三步中，主客观对比分析为：通过所述血氧信号和/或所述EEG源信号，计算分析不同大脑区域对晕车水平变化的反应性，获得晕车状态参数，再结合相应的晕动病FMS评分，确定主客观评价结论一致的信号通道作为所述晕车识别特征提取的通道。
优选的，第四步中，所述血氧特征为区域脑氧饱和度rSO2，所述脑电特征为晕车水平指标PSDδ/α。
本发明的目的之二，在于提供一种晕车识别特征的应用方法的技术方案。
一种晕车识别特征的应用方法，是上述一种晕车识别的特征提取方法的应用，包括如下步骤：
利用fNIRS设备在右前额阳白穴采集fNIRS信号，所述fNIRS信号经过预处理去除噪声和干扰后，获得fNIRS源信号，将所述fNIRS源信号的光强信号转化为血氧信号，并确定晕车识别的血氧特征；
利用EEG设备在右前额的本神穴及其与阳白穴中间的位置，分别采集EEG信号，所述EEG信号经过预处理去除噪声和干扰后，获得EEG源信号，确定晕车识别的脑电特征；
将所述血氧特征和所述脑电特征用于晕车识别。
本发明目的之三，提供一种用于晕车识别的特征的有效性验证方法的技术方案。
一种用于晕车识别的特征的有效性验证方法，包括如下步骤：
第一步，构建卷积神经网络结合双向长短时神经网络，将提取的血氧晕车状态参数、脑电晕车状态参数、血氧特征和脑电特征进行两两特征组合，输入卷积神经网络结合双向长短时神经网络中进行识别和分类；
第二步，将每个所述特征组合输入所述卷积神经网络结合双向长短时神经网络进行训练，以晕动病标签作为训练精度评价对比依据，获得所述特征组合的分类精度；
第三步，以其中一个所述特征组合为基准，用于与另一所述特征组合进行精度区间的对比，判断所述特征组合的晕车水平识别能力。
优选的，所述晕动病标签为两类，是根据晕动病FMS评分进行划分的，一类为无明显晕动病的类别，另一类为有明显晕动病的类别。
与现有技术相比，本发明的有益效果是：
本发明提出了一种晕车识别的特征提取方法，通过开展两种驾驶模式下的乘车测试，对三类人群进行晕动诱发反应，采用fNIRS设备与EEG设备进行受试者的生理信号采集，并且同步记录受试者的FMS评分，然后对所采集的信号进行预处理和/或转化，获得血氧信号和EEG源信号作为作为基础信号进行进一步的分析判断；采用ΔCOE作为血氧晕车状态参数进行分析，锁定血氧信号的晕车识别特征提取的通道以及fNIRS信号检测位置，对于EEG源信号，采用PSDδ和PSDα作为脑电晕车状态参数进行分析，锁定脑电信号的晕车识别特征提取的通道以及EEG信号检测位置；最后通过所选定的晕车识别特征提取的通道，提取相应的血氧特征和脑电特征进行晕车状态分析。该方法能够简单、有效的进行晕车识别的特征提取。
本发明提出了一种晕车识别特征的应用方法，是基于上述一种晕车识别的特征提取方法所确定的fNIRS信号检测位置以及血氧信号的晕车识别特征提取的通道和EEG信号检测位置以及脑电信号的晕车识别特征提取的通道，应用于晕车识别特征的方法，该方法能够简单、有效的对晕车状态进行识别。
本发明提出了一种用于晕车识别的特征的有效性验证方法，是对上述一种晕车识别的特征提取方法以及一种晕车识别特征的应用方法的有效性和准确性的验证。
附图说明
图1为本发明中提供的晕车识别的特征提取方法的流程图；
图2为本发明中的fNIRS设备、EEG设备各自的检测通道位置分布示意图；
图3为本发明中的部分时间段内的SMAR算法的运动伪影抑制效果示意图；
图4为本发明中的ICA去伪迹效果示意图；
图5为本发明中的测试过程第三阶段中的最后15分钟内ΔCOE箱型图统计图；
图6为本发明中的CNN-BiLSTM的网络架构示意图；
图7为本发明中的BiLSTM模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便理解，首先对下文中所提及的名词或者缩写词进行解释：
目前市面上的电车的乘车模式主要包含：舒享模式和激进模式，其中，
舒享模式：该模式下动力响应比较平缓，不会太突兀的动力介入，该模式下晕动病不易发作；
激进模式：动力提升特别快，不论是加油还是刹车都有着更快的响应，也有的电车中称为运动模式，该模式下晕动病更易发作。
fNIRS设备：功能性近红外光谱，本发明中选用了需要有线连接的fNIRS设备进行实验。
EEG设备：脑电图机，本发明中选用了佩戴支持无线数据传输的Emotiv脑电设备进行实验。
FMS：快速运动量表。
SMAR：滑动窗口运动伪影抑制，是Sliding-window Motion Artifact Rejection的缩写。
如图1所示，一种晕车识别的特征提取方法，包括以下四个步骤：
第一步、晕车诱发与生理信号采集：在至少两种驾驶模式下提取若干人员头部不同脑区的生理信号，生理信号为fNIRS信号和EEG信号；
第二步、预处理及信号转化：对所采集到的生理信号分别进行预处理，去除噪声和干扰，获得fNIRS源信号和EEG源信号，并将fNIRS源信号转化为血氧信号；
第三步、主客观分析及特征提取通道确定：将血氧信号和EEG源信号分别进行晕车识别特征提取通道的合理性分析，并确定用于晕车识别特征提取的通道；
第四步，确定晕车识别特征中的血氧特征和脑电特征：根据所确定的晕车识别特征提取通道的血氧信号和EEG源信号，确定血氧特征和脑电特征作为晕车识别的特征，用于晕车状态识别。
第一步中：
进一步的，选用三名以上的受试者(需涵盖不容易患晕动病、一般和易患晕动病三类人群)乘坐电车，并且在测试过程中，同时配备一名驾驶员(负责在白天、普通马路上进行正常驾驶)和一名记录者(记录两名受试者的状态)，受试者分别佩戴fNIRS设备与EEG设备，用于采集受试者的生理信号，在舒享模式和激进模式两种驾驶模式下进行乘车实验。
本实施例中，选择了十名受试者，每次两名受试者同时进行测试，其中一名受试者坐在前排副驾驶位置，佩戴EEG设备，另一名受试者坐在后排右侧(副驾驶后方)位置，佩戴fNIRS设备，然后开始进行驾驶，并同步记录行驶过程中受试者的测试数据，测试过程为三个阶段：第一阶段为30分钟的舒享模式驾驶，第二阶段为休息阶段，休息20分钟，第三阶段为30分钟的激进模式的驾驶；测试数据为：每隔五分钟通过口头询问并记录受试者的晕动状态主观数据(FMS)，以及受试者所佩戴的设备所记录的生理信号数据。如此，共进行五轮实验测试。
本实施例中，晕动状态主观数据(FMS)：采用的是FMS量表设置为李克特6点量表，评分区间设置合理，且可快速获得实验过程中受试者的晕动病评分。
本实施例中，测试数据来源：如图2所示，fNIRS设备通过两个发射器和六个检测器实时监测受试者的前额状态，检测器通道如图2(b)中的黄色点所示，两个发射器分别位于通道5和通道1之间以及通道6和通道4之间，EEG设备通过十四个信号采集通道和两个参考电极采集受试者，十四个采集通道实时监测受试者颅顶两侧状态，检测位置如图2(a)至(c)中绿色点所示。
第二步中：
1、采集的fNIRS信号预处理，获得fNIRS源信号，并转化为血氧信号，具体为：
(1)采集的fNIRS信号预处理：信号来源于fNIRS设备的监测数据，预处理包括两种处理手段：
①采用2Hz的20阶低通FIR滤波器滤除噪声数据，用于删除一些明显存在局部干扰的数据段；
②采用滑动窗口运动伪影抑制(SMAR)算法，将光强数据中的运动伪影删除，获得干净的fNIRS信号(即fNIRS源信号)，这是由于信号采集的过程中，受试者的头部会出现不可避免的移动，因此，滤波后的光强数据仍然存在运动伪迹的干扰，测量过程中的运动伪影会导致光源和探测器之间的耦合或者压力变化，这个压力的变化在光强信号中显示为突发的噪声，这个噪声与常规皮层活动相关的光强信号不同。
具体的，SMAR算法为：
将近红外光强信号定义为xλ(n)。其中，λ表示波长，x表示测量位置，n表示测量过程中的时间序列点。xd(n)表示与xλ(n)一起测量得到的暗电流信号。其中，d表示暗电流。计算每个n的局部变异系数CV。
式中，N+1表示窗口样本量。根据CVd(n)的计算，可以得到CVλ1(n)和CVλ2(n)。然后计算信号和/>其中，/>和/>表示由xd,/>经过阈值比较处理后的干净信号，λ1和λ2表示的波长分别为730nm与850nm。
式中，表示以n为中心的窗口均值；
其中，表示暗电流的上限阈值，/>对应暗电流的下限阈值。
需要说明的是，上限阈值和下限阈值，取决于实际操作时的需求，阈值设置得越宽可能会把一些有用的信号也给压制掉；阈值设置得越窄可能会有较多的残余伪影，因此一般为实际操作中经过经验和调试后确定。
如图3，为本实施例中部分时间段内的经过SMAR算法进行运动尾影抑制后的效果示意图。
(2)采集的fNIRS信号经过预处理后，再通过修正后的朗博-比尔(Beer-Lambert)定律将光强信号转化为血氧信号。
Beer-Lambert定律被用来描述光在生物组织中的传播。但是这一定律忽略了光在生物组织中的散射。由于生物组织具有强散射特性，生物组织对于光的散射衰减远远大于吸收衰减，光子在生物组织的传播过程中，发生多次散射，且这一散射的过程具有随机性。因此，在修正的Beer-Lambert定律中，引入了差分路径因子DPF对光子的实际光程进行修正，因此吸光度A表示为：
其中，I0为入射光的光强，I为出射光的光强，ελ表示波长为λ时被测物质的吸光系数，r为光源和光电探测器的距离，C为被检测物质的摩尔浓度，DPF(λ)为差分路径因子，G表示水等其他物质的吸收引起的衰减。
由于氧和血红蛋白(HbO)和还原血红蛋白(HbR)在不同波长下消光系数有所不同，因此，当监测到两个以上的波长数据时，可以借助修正后的朗博-比尔定律求解出两种血红蛋白的摩尔浓度变化量。因此，针对HbO和HbR两种物质，上述吸光度A的公式变形为：
其中，通过下角标表示被测物质的相应参数。
设置一个参考状态，然后检测参考状态之后HbO和HbR浓度相对于参考状态的变化，吸光度的变化量ΔA表示为：
其中，ΔCHbO和ΔCHbR分别表示HbO和HbR的摩尔浓度变化量。I和I′分别表示参考状态和参考状态之后的出射光光强。
需要说明的是，这里的参考状态，为当前时间点的前一个时间点的状态作为当前时间点的参考状态，通过计算两者之间的差值，使得整体计算出的变化量为随时间变化的函数。
当选用两种不同波长(λ1和λ2)的光时，可以得到如下所示。
联立以上两式就能够得到ΔGHbO和ΔCHbR的值。在这里为了计算的方便，将不同波长下的DPF值近似相等，最终就能够求得HbO和HbR的浓度变化量：
2、采集的EEG信号预处理：信号来源于EEG设备的监测数据，预处理包括两种处理手段：
(1)对采集的EEG信号进行0.5Hz到45Hz的滤波处理，用于去除来自外界环境的干扰(或称为非生理伪迹)。
(2)采用独立成分分析(ICA)去除运动伪迹(或称为生理伪迹，比如眼动、舌动、肌肉运动等)。
ICA是近年来的一种盲源分离信号处理方法，核心思想是在源信号未知的情况下，基于相关准则，将源信号从所采集的EEG信号中分离的过程。该方法去除运动伪迹的基本思想是通过线性变换等计算，求解去除运动伪迹后的EEG的源信号，也可以称为去除干扰后的干净的EEG信号。本实施例中，采用ICA对所采集的EEG信号进行去伪迹的效果。本实施例中，首先将十四个通道的相应数据分解为十四个独立的信号源，然后将两个与眼动有关的信号源剔除，剩余十二个如图4所示。
第三步中：
进一步的，血氧信号和/或EEG源信号，均是通过分析不同大脑区域对晕车水平变化的反应性，进而提取相关通道的信号用于晕车水平的分析。
更进一步的，通过血氧信号和/或EEG源信号计算出晕车状态参数，并通过对比分析记录者同时间段所记录的相应的受试者的晕动病评分(FMS)，选择与FMS结论相一致的通道作为晕车识别特征提取通道，相应的前额位置作为血氧和/或脑电监测位置。
在本实施例中，分别计算舒适模式试验和激进模式在测试过程中的第三阶段中的最后15分钟(30分钟测试中的第16-20分钟、21-25分钟和26-30分钟)的FMS得分，如表1所示，可以看出，舒适模式下晕动病持续加深的趋势并不明显。而激进模式下的晕动病持续加深趋势明显。横向比较两种模式的FMS分数。激进模式下的FMS评分每5分钟大于舒适模式下的FMS评分。这表明，在同一时间内，激进模式下的受试者的晕动病水平更高。
表1测试过程第三阶段中后15分钟的FMS评分
在本实施例中，血氧晕车状态参数，选择脑氧交换参数(ΔCOE)来表示血氧信号对晕车状态的反应，具体为：
ΔCOE的变化反应晕车的状态变化，ΔCOE升高表明神经细胞耗氧导致毛细血管脱氧反应，表现为血管缺氧，晕车加重，ΔCOE下降意味着动脉中含氧红细胞的供应，表明血管中含氧水平高。ΔCOE的计算方法为：
经过ΔCOE参数的分析，如图5所示，在舒适模式和激进模式的测试过程第三阶段中的最后十五分钟中，相应时间段的ΔCOE箱型图统计图，可以看出，通过六个检测器通道(通道1对应图2中的黄色标记1，以此类推)，通过检验每个通道上的数据分布，发现通道4在16-20分钟和21-25分钟内表现最好，在26-30分钟内也基本达到了与FMS评分相一致的趋势。因此，来自右前额的通道4(如图2所示)被认为是一个与晕动病密切相关的大脑区域。因此，右前额阳白穴位置作为血氧监测位置，相应的通道4作为晕车识别特征中的血氧特征的提取通道。
在本实施例中，选用EEG源信号中的delta波段和alpha波段的PSD(功率谱密度)作为脑电晕车状态参数，delta频段与无意识、深度睡眠和催眠有关，alpha频段与身心放松和对周围环境的意识有关。因此，可以预见，随着晕动病水平的加深，delta频段的PSD应保持上升趋势。而alpha波段的PSD应呈下降趋势。
因此，提取测试过程第三阶段中最后15分钟的经过预处理所获得EEG源信号，每五分钟计算一次delta波段和alpha波段的PSD(功率谱密度)(作为脑电晕车状态参数)，采用两个参数的PSD的平均值和中位数进行分析，如表2至表7所示，可以看出AF3、F3、P8、F4、F8和AF4通道在16～20分钟内满足了delta频段PSD增加和alpha频段PSD下降的趋势，在21～25分钟内，AF3、F3、T7、P7、P8、F4和AF4通道满足了delta频段PSD增加和alpha频段PSD下降的趋势，在26～30分钟内，F4、F8和AF4通道满足了delta频段PSD增加和alpha频段PSD下降的趋势，根据这十五分钟的PSD的表现，可以判断出F4通道和AF4通道对应的大脑区域与晕动病密切相关。如图2所示，F4通道(阳白穴和本神穴中间)和AF4通道(位于本神穴)均属于右前额，它们也靠近fNIRS通道的通道4的位置。因此，确定右前额大脑区与晕车水平有关，右前额本神穴以及其与阳白穴中间的位置，作为脑电监测位置，相应的通道AF4通道和F4通道作为晕车识别特征中的脑电特征的提取通道。
表2测试过程中，第三阶段中的第16至20分钟的delta频段的PSD值(107)
表3测试过程中，第三阶段中的第21至25分钟的delta频段的PSD值(107)
表4测试过程中，第三阶段中的第26至30分钟的delta频段的PSD值(107)
表5测试过程中，第三阶段中的第16至20分钟的alpha频段的PSD值(107)
表6测试过程中，第三阶段中的第21至25分钟的alpha频段的PSD值(107)
表7测试过程中，第三阶段中的第21至30分钟的alpha频段的PSD值(107)
/>
第四步中：
血氧特征为：区域脑氧饱和度rSO2，
rSO2：监测不同于脉搏血氧饱和度(SpO2)监测，因为rSO2数据不需要动脉脉动就可以测量，rSO2的计算方法为：
根据公式，rSO2表示CHbO和CHbR两者之间的关系，当乘车人员的晕车状态发生变化时，两者之间的关系也将发生改变，因此，rSO2的变化反应晕动病状态，降低表示饱和度较低，为晕车状态；
脑电特征为：晕车水平指标PSDδ/α，
PSDδ/α：当晕动病加深时，PSDδ增加，PSDα减少，这种变化趋势可以用PSDδ/α的变化来表示，PSDδ/α的计算公式为：
根据公式，较大的PSDδ/α表示晕动病状态相对较重，减小则表示晕动病状态相对较轻。
本具体实施方式中还提供一种晕车识别特征的应用方法，是采用上述一种晕车识别的特征提取方法所提取的血氧特征和脑电特征在晕车识别中的应用方法，具体为：
在右前额阳白穴采集fNIRS信号，并将所采集的信号进行预处理去除噪声和干扰，再进行光强信号转化为血氧信号，包括氧合血红蛋白的浓度和还原血红蛋白的浓度，并确定晕车识别的血氧特征：区域脑氧饱和度rSO2；
在右前额的本神穴及其与阳白穴中间的位置，分别采集EEG信号，并将所采集的信号进行预处理去除噪声和干扰获得EEG源信号，间隔一段时间提取EEG源信号的delta波段和alpha波段的PSD(分别表示为PSDδ和PSDα)，并确定晕车识别的脑电特征：晕车水平指标PSDδ/α。
本具体实施方式中还提供一种用于晕车识别的特征的有效性验证方法，是采用CNN-BiLSTM用于验证晕车识别特征(区域脑氧饱和度rSO2和晕车水平指标PSDδ/α)是否能有效地识别晕动病水平，也是右前额的三个所提取的相应的通道数据用于晕车识别特征的提取方法的有效性的判断，利用深度学习网络获得了晕动病水平分类参数的准确性，分类精度区间用于说明rSO2和PSDδ/α对晕车识别的有效性，具体步骤为：
第一步，构建卷积神经网络结合双向长短时神经网络(CNN-BiLSTM)，将提取的血氧晕车状态参数、脑电晕车状态参数、血氧特征和脑电特征进行两两特征组合，输入卷积神经网络中进行识别和分类；
第二步，将每个特征组合输入CNN-BiLSTM进行训练，以晕动病标签作为训练精度评价对比依据，获得特征组合的分类精度；
第三步，以其中一个特征组合为基准，用于与另一特征组合进行精度区间的对比，判断特征组合的晕车水平识别能力。
第一步中，结合卷积神经网络(CNN)和双向长短时记忆网络(BiLSTM)，构建卷积神经网络结合双向长短时神经网络(CNN-BilSTM)，CNN-BiLSTM的网络结构如图6所示。
假设x＝{x1；x2；...；xt；...；xT}是给定的输入序列。其中，t表示第t个框架。帧数的总数为T。
ht＝σh(Wxhxt+Whhxt-1+bh)
其中，ht表示在时间t时隐藏层的输出。Wxh表示从输入层到隐藏层对应的权重矩阵。Whh是从隐藏层到隐藏层的权重矩阵。bh是隐藏层的偏差，σh是激活函数。.
yt＝σy(Whoht+bo)
其中，yt为序列的第t个预测值，Who为从隐藏层到输出层的权重矩阵。bo是误差。σy是激活函数。这些方程式如下。
其中，ct表示时间t时的存储单元。ht表示隐藏图层的输出。bα表示偏差，其中α∈{i，f，c，o}。W表示通过时间反向传播获得的加权参数。
W＝{Wxi；Wxo；Wxf；Wci；Wco；Wcf；Whi；Who；Whf}
BiLSTM可以通过两个完全独立的LSTM从两个方向处理前后的特征信息。BiLSTM的模型如图7所示，第一层是正向LSTM，第二层是反向LSTM，最终的输出可通过以下公式计算出来。
式中，为正向LSTM层的输出。取从x1到xT的序列作为输入。/>是向后的LSTM的输出，将序列从xT取到x1作为输入。α和β是控制正向LSTM和反向LSTM的因素，α+β＝1。ht是时间t时两个单向LSTM的元素的和。σ是softmax函数。yt为预测值。
通过CNN，可以从原始特征中自动提取出具有较强表达能力的高级特征。最终的分类结果可以通过softmax层输出。作为顶层输出，通过softmax获得的分类效果明显更好。另外，添加全连接层，将稀疏连接权值衰减项得到的特征积分到损失函数中，以减少训练过程中的过拟合。
第一步中，构建至少两个特征组合，为从右前额通道4提取fNIRS信号的ΔCOE和rSO2，从AF4和F4通道中提取脑电图信号PSDδ，PSDα和PSDδ/α，并进行组合，本实施例中组合了四个特征组合，具体为：
特征组合一：ΔCOE，PSDδ和PSDα；
特征组合二：ΔCOE和PSDδ/α；
特征组合三：rSO2、PSDδ和PSDα；
特征组合四：rSO2和PSDδ/α。
第二步中的，晕动病标签，具体为：
采用二元分类法，根据FMS评分，将晕动病的水平分为两类，一类为无明显晕动病的类别，另一类为有明显晕动病的类别，并将这两类类别作为CNN-BiLSTM训练的标签。
具体的，将FMS评分分别为1、2、3的晕车状态定义为无明显晕动病的类别，将FMS评分分别为4、5、6的晕车状态定义为有明显晕动病的类别。
第二步中，每个输入特征组合连续训练8次。分类准确率为8次，从表8中可以看出，特征组合1的分类准确率属于[58.3，91.7]。特征组合2的分类精度区间[75.0，91.7]。特征组合3的分类精度区间[66.7，91.7]。特征组合4的分类精度区间[75.0,100]。
表8CNN-BiLSTM分类准确率结果
| 训练次数 | 特征组合一 | 特征组合二 | 特征组合三 | 特征组合四 |
| 1 | 75.0 | 75.0 | 91.7 | 75.0 |
| 2 | 66.7 | 91.7 | 83.3 | 75.0 |
| 3 | 83.3 | 91.7 | 66.7 | 83.3 |
| 4 | 91.7 | 83.3 | 83.3 | 83.3 |
| 5 | 83.3 | 75.0 | 91.7 | 83.3 |
| 6 | 66.7 | 75.0 | 83.3 | 83.3 |
| 7 | 58.3 | 83.3 | 91.7 | 100 |
| 8 | 83.3 | 75.0 | 91.7 | 83.3 |
第三步中，以特征组合一为基准，通过其与其余特征组合的对比，验证其余特征组合是否能提高晕车水平的识别能力。
具体为：
通过对特征组合一和特征组合二的比较，从AF4和F4通道获得的脑电图特征可以有效地提高晕车识别的准确性。
从特征组合一和特征组合三的比较，rSO2可以用于晕车等级识别。
通过比较特征组合一和特征组合四，血氧特征和脑电特征可以有效地应用于晕动病的识别和分类。
基于CNN-BiLSTM的二值分类器的分类准确率可达到100％。
需要注意的是，在测试过程中，如果受试者出现晕车程度无法忍受，需立即停止驾驶实验。
以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种晕车识别的特征提取方法，其特征在于，包括以下四个步骤：
第一步，进行晕车诱发与生理信号采集：在至少两种驾驶模式下采集若干人员头部不同脑区的生理信号，所述生理信号为fNIRS信号和EEG信号；
第二步，将所述生理信号进行预处理及信号转化：对所述fNIRS信号和所述EEG信号分别进行预处理，以去除噪声和干扰，获得fNIRS源信号和EEG源信号，并将所述fNIRS源信号转化为血氧信号；
第三步，进行主客观对比分析及特征提取通道确定：将所述血氧信号和所述EEG源信号分别进行晕车识别特征提取通道的合理性分析，并确定用于晕车识别特征提取的通道；
第四步，确定晕车识别特征中的血氧特征和脑电特征：根据所述晕车识别特征提取通道所对应的所述血氧信号和所述EEG源信号，确定血氧特征和脑电特征作为晕车识别的特征，用于晕车状态识别。
2.根据权利要求1所述的晕车识别的特征提取方法，其特征在于，第二步中，所述fNIRS信号的预处理，首先采用2Hz的20阶低通FIR滤波器滤除噪声数据，用于删除一些明显存在局部干扰的数据段，然后采用滑动窗口运动伪影抑制算法，将光强数据中的运动伪影删除，获得所述fNIRS源信号。
3.根据权利要求2所述的晕车识别的特征提取方法，其特征在于，第二步中，所述fNIRS源信号的光强信号转化为血氧信号。
4.根据权利要求1所述的晕车识别的特征提取方法，其特征在于，第二步中，所述EEG信号的预处理，首先对采集的EEG信号进行0.5Hz到45Hz的滤波处理，用于去除来自外界环境的干扰，然后采用独立成分分析去除运动伪迹，获得所述EEG源信号。
5.根据权利要求1所述的晕车识别的特征提取方法，其特征在于，第三步中，主客观对比分析为：通过所述血氧信号和/或所述EEG源信号，计算分析不同大脑区域对晕车水平变化的反应性，获得晕车状态参数，再结合相应的晕动病FMS评分，确定主客观评价结论一致的信号通道作为所述晕车识别特征提取的通道。
6.根据权利要求1所述的晕车识别的特征提取方法，其特征在于，第四步中，所述血氧特征为区域脑氧饱和度rSO2，所述脑电特征为晕车水平指标PSDδ/α。
7.一种晕车识别特征的应用方法，其特征在于，包括步骤：
利用fNIRS设备在右前额阳白穴采集fNIRS信号，所述fNIRS信号经过预处理去除噪声和干扰后，获得fNIRS源信号，将所述fNIRS源信号的光强信号转化为血氧信号，并确定晕车识别的血氧特征；
利用EEG设备在右前额的本神穴及其与阳白穴中间的位置，分别采集EEG信号，所述EEG信号经过预处理去除噪声和干扰后，获得EEG源信号，确定晕车识别的脑电特征；
将所述血氧特征和所述脑电特征用于晕车识别。
8.一种用于晕车识别的特征的有效性验证方法，其特征在于，包括如下步骤：
第一步，构建卷积神经网络结合双向长短时神经网络，将血氧晕车状态参数、脑电晕车状态参数、血氧特征和脑电特征进行两两特征组合，输入卷积神经网络结合双向长短时神经网络中进行识别和分类；
第二步，将每个所述特征组合输入所述卷积神经网络结合双向长短时神经网络进行训练，以晕动病标签作为训练精度评价对比依据，获得所述特征组合的分类精度；
第三步，以其中一个所述特征组合为基准，用于与另一所述特征组合进行精度区间的对比，判断所述特征组合的晕车水平识别能力。
9.根据权利要求8所述的用于晕车识别的特征的有效性验证方法，其特征在于，所述晕动病标签为两类，是根据晕动病FMS评分进行划分的，一类为无明显晕动病的类别，另一类为有明显晕动病的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311495084.6A CN117530662A (zh) | 2023-11-10 | 2023-11-10 | 一种晕车识别的特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311495084.6A CN117530662A (zh) | 2023-11-10 | 2023-11-10 | 一种晕车识别的特征提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117530662A true CN117530662A (zh) | 2024-02-09 |
Family
ID=89783452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311495084.6A Pending CN117530662A (zh) | 2023-11-10 | 2023-11-10 | 一种晕车识别的特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117530662A (zh) |
-
2023
- 2023-11-10 CN CN202311495084.6A patent/CN117530662A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111466876B (zh) | 一种基于fNIRS和图神经网络的阿尔兹海默症辅助诊断系统 | |
| Kayikcioglu et al. | Fast and accurate PLS-based classification of EEG sleep using single channel data | |
| KR102237466B1 (ko) | 맥박산소측정기를 이용한 수면단계 분류 장치 및 방법 | |
| US7186217B2 (en) | Biological photometer | |
| US20070202477A1 (en) | Emotional state determination method | |
| KR20180001367A (ko) | 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 | |
| JP2006095266A5 (zh) | ||
| Sato et al. | Wavelet analysis for detecting body-movement artifacts in optical topography signals | |
| Ahmadi et al. | Automated detection of driver fatigue from electroencephalography through wavelet-based connectivity | |
| KR102482796B1 (ko) | 원격 광용적맥파 측정을 이용한 비접촉 심박 변이도 분석 장치 및 방법 | |
| CN112057087B (zh) | 精神分裂症高风险人群自主神经功能数据处理方法及装置 | |
| CN114974566B (zh) | 一种认知功能评估方法和系统 | |
| CN106974660B (zh) | 基于脑功能活动检测中的血氧特征实现性别判定的方法 | |
| CN114795171A (zh) | 基于人工智能技术和近红外技术的颅内压无创测量方法 | |
| Karmakar et al. | Real time detection of cognitive load using fNIRS: A deep learning approach | |
| Rundo et al. | Innovative saliency based deep driving scene understanding system for automatic safety assessment in next-generation cars | |
| CN113208613B (zh) | 基于fhls特征选择的多模态bci时序优化方法 | |
| Patashov et al. | fNIRS: Non-stationary preprocessing methods | |
| Cherif et al. | Detection of artifacts on photoplethysmography signals using random distortion testing | |
| CN117530662A (zh) | 一种晕车识别的特征提取方法 | |
| CN112587796B (zh) | 脑深部电刺激促醒效果量化方法及设备 | |
| Eke et al. | Fractal analysis of spontaneous fluctuations in human cerebral hemoglobin content and its oxygenation level recorded by NIRS | |
| CN117530661A (zh) | 一种晕车程度评价模型的构建方法 | |
| Rundo et al. | Deep bio-sensing embedded system for a robust car-driving safety assessment | |
| CN116671908A (zh) | 一种群体决策风险偏好预测评估方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |