CN115349872A - 基于脑电的红外背景下飞机识别的大脑认知机制研究方法 - Google Patents

基于脑电的红外背景下飞机识别的大脑认知机制研究方法 Download PDF

Info

Publication number
CN115349872A
CN115349872A CN202210982320.6A CN202210982320A CN115349872A CN 115349872 A CN115349872 A CN 115349872A CN 202210982320 A CN202210982320 A CN 202210982320A CN 115349872 A CN115349872 A CN 115349872A
Authority
CN
China
Prior art keywords
brain
airplane
electroencephalogram
infrared background
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210982320.6A
Other languages
English (en)
Inventor
王文
冯静雯
张军鹏
李雨婷
陈柱鸿
孙婧婷
张驰
韩家诚
尚宇轩
颜林枫
崔光彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Air Force Medical University of PLA
Original Assignee
Sichuan University
Air Force Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Air Force Medical University of PLA filed Critical Sichuan University
Priority to CN202210982320.6A priority Critical patent/CN115349872A/zh
Publication of CN115349872A publication Critical patent/CN115349872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法，包括：选取实验对象并确定实验流程；对实验得到的数据进行预处理；对预处理得到的数据通过机器学习进行解码分类；对脑电进行溯源分析；构建格兰杰因果网络，通过脑网络的构建，对飞机识别认知过程中各个脑区之间的协作情况展开研究。本发明针对红外背景下的飞机这一人造物的物体识别过程，基于飞机识别实验进程中的任务态脑电构建脑网络，尝试对人脑识别飞机的认知机制展开解析。

Description

基于脑电的红外背景下飞机识别的大脑认知机制研究方法
技术领域
本发明涉及机器学习及脑电认知技术领域，特别是一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法。
背景技术
在信息化和科技化的现代战争中，制空权有着极其重要的地位。在作战过程中，精确打击敌方飞机具有十分深远的战略意义，迫切需要制导武器系统具备实时准确地识别飞机的能力。目前，武器系统的飞机识别技术主要基于机器视觉，对红外背景下包含飞机的图像展开处理和识别。红外探测成像技术由于具有灵敏度高、抗电磁干扰能力强、环境适应性好、大动态范围以及全天候工作能力等优势，已被广泛应用于红外制导等军事场景中。然而，军事场景往往十分复杂，飞机等目标物体通常运动速度快且目标弱小，使得机器视觉对于目标物体的识别效果往往受图像噪声和飞机姿态、尺寸等诸多不确定性因素限制，导致其准确性、实时性很难得到保证。
相比传统的机器视觉，人脑更能根据大脑内部存储的理论知识和实际经验迅速作出反应，这正是我国脑科学计划中，类脑研究的原因与价值所在。类脑研究同样可以应用于飞机等物体的识别中，如果能够理解人脑对物体识别的认知机制，将有助于加深理解和优化神经网络。因此，深入探索人脑在进行飞机识别过程中的认知神经机制，形成类脑模型，帮助实现相关神经网络算法的优化，也许就能使得制导武器精确识别飞机的能力获得有效提升。对此，前期的研究工作需要对大脑识别飞机的认知过程充分展开，只有对其认知神经机制实现充分理解，才能为后续的类脑建模提供基本依据。
大脑的物体识别首先需要视觉系统的参与，最早的研究也主要针对这方面展开。David Hubel和Torsten Wiesel初步发现位于大脑枕叶距状裂周围的视觉皮层的信息处理在可视皮层是分级的。随着此后几十年来研究的不断深入，大脑的视觉皮层被分为初级视觉皮层(V1，也称纹状皮层)和纹外皮层(V2、V3、V4、V5)，V1的功能包括识别边缘、短线条和线条终点，其输出信息有两条通道，分别为腹侧通路(Ventral Pathway，VP)和背侧通路(Dorsal Pathway，DP)，腹侧通路从V1出发，经由V2、V4进入下颞叶(Inferior Temporallobe)，对物体识别有着至关重要的作用，背侧通路则主要帮助实现运动识别。
除对大脑进行物体识别的基础生理结构展开研究之外，研究进一步发现，高级视觉皮层，即腹侧枕颞叶皮层(ventral occipital temporal cortex,VOTC)，对不同物体信息有不同的处理方式，且对应着VOTC内不同子区域的激活。对于这一现象，一些研究认为是自下而上的信息导致的结果，即自视觉层面输入的多种类型的视觉特征使得VOTC内对于不同物体类别存在不同脑区的激活情况。也有研究通过对比先天盲人和正常对照的物体识别表现，发现这种现象并不完全依靠视觉特征驱动；而对比人脑对于动物和人造物的识别机制发现，对动物进行识别的脑区更加依赖视觉的输入，而对人造物进行识别的脑区则并不依赖于视觉经验。
对于不依靠视觉经验的物体识别过程，研究者们开始思考，人脑面对包含丰富特征的各类物体时，往往会结合自身记忆与经验，其工作机制可能包含了更多的脑区。一项针对脑损伤患者的物体识别和理解能力的研究发现，脑损伤患者额叶中部分白质的损伤对其物体识别和理解能力存在显著影响，结果说明物体识别和理解可能依赖于远程脑区之间的结构连接。
总的来说，大脑对于各类物体的识别存在不同的信息处理机制，虽然普遍情况下主要基于腹侧通路得以实现，但往往还需更多高级皮层的联合参与(如额叶等)，与初级视觉皮层、腹侧枕颞叶皮层构建更为复杂的网络，使得物体识别得以实现。对于大脑的物体识别认知机制的深入研究，使得研究者们不仅能够基于大脑的认知活动实现各类物体的解码分类，还有机会仿照大脑由低层到高层逐层迭代、抽象的视觉信息处理机制，构建各种计算机网络模型，使得人工智能算法得到更加有解释意义、有应用价值的发展。
然而，目前对于物体识别认知过程的研究大多基于功能磁共振成像(functionalmagnetic resonance imaging,fMRI)展开，虽然为解释大脑认知活动和类脑研究提供了很多有效参考，但对于物体识别中认知活动随时间的演化缺少研究，且还可进一步根据大尺度功能网络连接为类脑模型提供更多框架性参考。多数基于脑电信号展开的相关研究则主要是直接应用脑电的频域、时频特征对各类物体展开解码，尤其是基于事件相关电位(event related potential,ERP)的特征直接利用固有的机器学习或深度学习算法展开物体识别，对于大脑具体的认知机制探索则主要是通过频谱分析发现物体识别过程中伴随着gamma频段活动的增强。因此，可基于脑电信号构建各脑区间的功能连接网络，对各类物体识别的认知进程展开研究。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法，本发明针对红外背景下的飞机这一人造物的物体识别过程，基于飞机识别实验进程中的任务态脑电构建脑网络，尝试对人脑识别飞机的认知机制展开解析。
为实现上述目的，本发明采用的技术方案是：一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法，包括以下步骤：
步骤1、选取实验对象并确定实验流程；
步骤2、对实验得到的数据进行预处理；
步骤3、对预处理得到的数据通过机器学习进行解码分类；
步骤4、对脑电进行溯源分析；
步骤5、构建格兰杰因果网络，通过脑网络的构建，对飞机识别认知过程中各个脑区之间的协作情况展开研究。
作为一种优选的实施方式，在步骤1中，所述的实验流程具体如下：
采用含有大小、姿态不同的飞机目标以及环境干扰因素的红外背景图片作为目标图片进行测试，并以仅含环境干扰因素不含飞机的红外背景图片作为对照图片；要求被试识别到含有飞机的目标图片时，所述实验对象通过惯用手进行按键，识别到非目标图片则不按键；其中，所述目标图片和对照图片的比例为1:2，每组间隔一定时间循环播放多次。
作为一种优选的实施方式，实验过程中，脑电信号采集采用EGI的64导联脑电采集设备，电极分布为GSN-Hydrocel64，采样率为1kHz，电极阻抗在采集过程中保持在30KΩ以下。
作为一种优选的实施方式，所述步骤2具体包括：
首先，排除数据存在问题的被试实验对象；其次，通过EGI设备配套软件NetStation去除fMRI带来的伪迹；然后，使用EEGLAB做进一步预处理。
作为一种优选的实施方式，使用EEGLAB做进一步预处理具体包括以下步骤：
(1)定位电极并删除四个无用电极，无用电极包括用于采集心电的E32、E43以及用于采集眼电的E62、E63；
(2)通过周围三个电极的信号平均值对接触不良的坏导进行插值替换；
(3)采用0.3-45Hz的FIR带通滤波器进行滤波，其中陷波为50Hz；
(4)降采样，将采样率降低到500Hz以提高计算速度；
(5)重参考，将各通道脑电的参考方式转换为平均参考；
(6)分段，截取正确反应的数据段，其中，正确识别到飞机并按了键，定义为yes1；正确识别到没有飞机并未按键，定义为no1，将yes1、no1两种情况下图片刺激前后的(-20,300)ms作为目标数据段并进行基线校正；
(7)删除坏段并基于ICA进行伪迹的识别与剔除，最终得到有效数据段的数量。
作为一种优选的实施方式，所述步骤3具体如下：
将yes1、no1两种情况下的时域脑电信号作为两类样本，分别在各个时间点取样进行模型训练，对是否识别到飞机展开分类；其中，机器学习模型采用Brainstorm提供的SVM模型，并通过三折交叉验证的方式对模型进行验证；此外，为保证两类样本量的平衡，模型训练前已通过随机抽样的方式使两种情况下的数据段数量相同；最后，根据分类准确率进行模型评估。
作为一种优选的实施方式，所述步骤3还包括：
将全脑分为前、中、后三个部分，分别基于全脑和三个部分分区内的多通道脑电时域信号进行解码，以初步探索大脑的飞机识别过程中，除位于大脑后部的枕颞叶参与之外，是否还有其它远程的脑区对飞机的有效识别作出贡献。
作为一种优选的实施方式，在步骤4中，通过Brainstorm工具箱对各个被试的各段数据采用分布式源模型进行溯源反演，具体包括以下步骤：
首先，将源空间约束在大脑皮层，并采用OpenMEEG BEM算法计算头模型；然后，采用最小范数估计的方法进行源估计，并采用sLORETA算法进行归一化；同时，使用Desikan-Killiany图谱将大脑皮层分为68个脑区。
作为一种优选的实施方式，在步骤5中，利用基于MATLAB的Brainstorm工具包，将溯源后的68个脑区作为网络节点，构建了68*68的格兰杰因果网络，即GC网络连接矩阵。
本发明的有益效果是：
本发明通过机器学习解码和脑网络分析，证明飞机识别过程中，不仅需要枕颞叶视觉系统的参与，还需要顶叶、扣带回等更远程的脑区参与，此外，本发明也证明，人脑能在极短时间内实现飞机的有效识别，其认知神经机制对后续搭建类脑模型实现机器对飞机的快速识别具有重要意义。
附图说明
图1为本发明实施例中实验刺激图片示例图，图1中(a)为含飞机的目标图片，(b)不含飞机的对照图片；
图2为本发明实施例中的大脑分区示意图；
图3为本发明实施例中各个时间点下对yes1、no1的机器学习分类准确率曲线图，图3中(a)为基于全脑脑电信号的分类结果曲线图，(b)为基于前部脑区脑电信号的分类结果曲线图，(c)为基于中部脑区脑电信号的分类结果曲线图，(d)为基于后部脑区脑电信号的分类结果曲线图；
图4为本发明实施例中识别到有(yes1)或无(no1)飞机两种情况下0-100ms、100-200ms、200-300ms三个阶段的组平均格兰杰因果网络连接矩阵图，图4中(a)对应yes10-100ms，(b)对应yes1100-200ms，(c)对应yes1200-300ms，(d)对应no10-100ms，(e)对应no1100-200ms，(f)对应no1200-300ms；
图5为本发明实施例中识别到有(yes1)、无(no1)飞机两种情况下0-100ms、100-200ms、200-300ms三个阶段的组平均格兰杰因果网络拓扑图，图5中(a)对应yes10-100ms，(b)对应yes1100-200ms，(c)对应yes1200-300ms，(d)对应no10-100ms，(e)对应no1100-200ms，(f)对应no1200-300ms。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例
一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法，包括：
1、实验对象与实验流程：
本实施例所有实验对象均为第四军医大学的大学生，且对每个被试进行了基本信息问卷调查。基本信息调查包括年龄、性别、惯用手、是否色盲、是否吸烟、是否喝酒、是否有精神病遗传史、是否有脑外伤史等，根据基本信息调查筛选出右利手，非色盲，无吸烟、饮酒习惯，无无精神病遗传史、脑外伤史的被试共31名。
如图1所示，实验采用含有大小、姿态不同的飞机目标以及环境干扰因素的红外背景图片进行测试，并以仅含环境干扰因素不含飞机的红外背景图片作为对照。要求被试识别到含有飞机目标的图片时，通过惯用手进行按键；识别到非目标图片则不按键。图片共30张，目标图片和对照图片的比例为1:2，循环播放三次，每组间隔30s。实验过程中，脑电信号采集采用EGI的64导联脑电采集设备，电极分布为GSN-Hydrocel64，采样率为1kHz，电极阻抗在采集过程中保持在30KΩ以下。
2、数据预处理：
首先，排除数据存在问题的被试两名，最终纳入29名被试展开分析。此外，由于EEG是与fMRI同步采集，通过EGI设备配套软件NetStation去除fMRI带来的伪迹。然后，使用EEGLAB做进一步预处理，主要包括如下步骤：(1)定位电极并删除了四个无用电极(这里E32、E43被用于采集心电，E62、E63被用于采集眼电)；(2)通过周围三个电极的信号平均值对接触不良的坏导进行插值替换；(3)滤波(0.3-45Hz的FIR带通滤波，50Hz陷波)；(4)降采样，将采样率降低到500Hz以提高计算速度；(5)重参考，将各通道脑电的参考方式转换为平均参考；(6)分段，截取正确反应的数据段(包括正确识别到飞机并按了键，定义为yes1；正确识别到没有飞机并未按键，定义为no1)，将yes1、no1两种情况下图片刺激前后的(-20,300)ms作为目标数据段并进行基线校正；(7)删除坏段并基于ICA进行伪迹的识别与剔除，最终有效数据段数量：yes1情况下有617个有效数据段，no1情况下有1310个有效数据段。
3、机器学习解码：
为研究红外背景下飞机识别的认知过程，直接将yes1、no1两种情况下的时域脑电信号作为两类样本，分别在各个时间点取样进行模型训练，对是否识别到飞机展开分类。机器学习模型采用Brainstorm提供的SVM模型，并通过三折交叉验证的方式对模型进行验证。此外，为保证两类样本量的平衡，模型训练前已通过随机抽样的方式使两种情况下的数据段数量均为617个。最后，根据分类(解码)准确率进行模型评估。
同时，为初步探究认知过程中大脑各区域的协作参与机制，如图2所示，将全脑大致分为前、中、后三个部分，分别基于全脑和三个分区内的多通道脑电时域信号进行解码，以初步探索大脑的飞机识别过程中，除位于大脑后部的枕颞叶参与之外，是否还有其它远程的脑区对飞机的有效识别作出贡献。
4、脑电的溯源分析：
在头表采集的脑电信号实际上是大脑中的很多神经元所释放的信号在记录电极上的叠加，若想更好地将大脑神经活动情况映射到大脑皮层，则需要借助溯源分析这一方法，根据头表脑电逆向推算出大脑皮层的活动源的位置、方向和强度。在实际应用中，脑电的溯源分析被近似为一种线性问题，即Y＝AX，其中：Y为头表实际记录到的信号；X为待进行空间定位的源信息向量；A为传递矩阵(增益矩阵)，反映了脑脊液、脑膜、颅骨、头皮等对信号的传导作用，可通过构造合适的头模型获得。
溯源分析的常用求解方法包含两大类：等效电流偶极子模型和分布式源模型，前者最适用于刺激后潜伏期内的早期反应，不能泛化以捕获长时间内的复杂动态，后者则更能推广应用。本实施例通过Brainstorm工具箱对各个被试的各段数据采用分布式源模型进行溯源反演。首先，将源空间约束在大脑皮层，并采用OpenMEEG BEM算法计算头模型。然后，采用最小范数估计的方法进行源估计，并采用sLORETA算法进行归一化。同时，使用Desikan-Killiany图谱将大脑皮层分为68个脑区。由此，通过溯源分析将头表60个电极通道上的脑电信号反演到大脑皮层的68个脑区中，更有利于后续基于皮层脑区构建脑网络连接矩阵后的分析和解释。5、格兰杰因果网络的构建：
通过脑网络的构建，对飞机识别认知过程中各个脑区之间的协作情况展开探索。相比无向网络，有向的因效性网络还能进一步提供信息的流向。因此，本实施例利用基于MATLAB的Brainstorm工具包，将溯源后的68个脑区作为网络节点，构建了68*68的格兰杰因果网络(GC网络)连接矩阵。
格兰杰因果关系由Clive Granger提出作为一种线性相关性的度量，它检验在添加第二个信号y(t)的线性模型估计时，信号x(t)的线性自回归模型估计的误差方差是否可以降低。若有所降低，则信号y(t)对第一个信号x(t)有格兰杰因果效应，即y(t)过去的独立信息提高了x(t)的可预测性，超出了x(t)过去包含的信息。格兰杰因果关系的度量是非负的，没有格兰杰因果关系时为零。
格兰杰因果关系的计算方式如下：
首先，通过以下两种方式使用线性AR模型对x(t)进行建模，其中p为模型阶数，表示包含在对未来样本的预测中的过去信息的量：
Figure BDA0003800762110000101
Figure BDA0003800762110000102
然后得到格兰杰因果关系的计算方式为：
Figure BDA0003800762110000103
下面对本实施例作进一步的说明：
1、红外背景下飞机识别认知过程解码：
对于识别到红外图片中是否有飞机目标两种情况(即yes1、no1)，在各个时间点下，基于全脑、前部、中部、后部脑区的在每个采样时间点上的时域脑电信号数据展开的分类结果如图3所示。
在基于全脑特征的分类结果中，解码准确率(decoding accuracy)存在逐渐升高的整体趋势，且大致可分为0-100ms、100-200ms、200-300ms三个阶段。
(1)阶段一：0-100ms，基于全脑的解码准确率基本低于60％，但在50ms出现明显峰值且准确率达到81.5％。50ms左右，基于三个分区的准确率曲线也存在相应的峰值，其中基于前部和后部的解码准确率达到70.5％的明显峰值，基于中部的准确率虽有峰值却低于60％。此外，100ms附近，基于全脑和三个分区的解码准确率开始明显上升，其中基于后部的解码准确率最先在98ms达到80.5％的峰值。
(2)阶段二：100-200ms，基于全脑的解码准确率整体上升，从100ms的75％上升至200ms的93％，并在106ms存在79％的峰值，在148ms存在84％的峰值。基于前部的准确率变化趋势与基于全脑的十分相似，从100ms的62.5％上升到200ms的86.5％，且在104ms存在70％的峰值，在150ms存在92％的明显峰值。基于后部的解码准确率虽整体呈上升趋势但经波动后变化不大，且在150ms处不存在峰值，而是提前在138ms存在76.5％的峰值。基于中部的解码准确率除在110ms达到80.5％的明显峰值以外，整体呈下降趋势。
(3)阶段三：200-300ms，基于全脑的解码准确率基本趋于稳定，尤其是在前50ms，准确率基本高于90％，最高达到97.5％，虽在250ms附近有所下滑，但最终又基本稳定在90％左右。基于前部的解码准确率变化趋势依然与全脑十分相似，在前50ms内最高达到94.5％，经下滑后最终稳定在85％左右。基于后部的解码准确率变化趋势与全脑的相似程度次之，在前50ms内最高达到92％，经下滑后稳定在80％左右。基于中部的解码准确率则完全跌落至50％以下。
2、红外背景下飞机识别过程的脑网络分析：
为进一步探索大脑中各个脑区的协作情况，根据解码结果中的0-100ms、100-200ms、200-300ms三个阶段，分别对于识别到有(yes1)、无(no1)飞机两种情况下各个被试的各个数据段，基于68个脑区内的溯源信号构建GC网络连接矩阵，两种情况下三个阶段的组平均网络连接矩阵如图4所示，图4中，F：额叶；P：顶叶；C：中央区；T：颞叶；O：枕叶；L：扣带回；网络连接方向为矩阵横向脑区→矩阵纵向脑区。
对比各个时间阶段中yes1、no1之间的连接矩阵可知，识别到没有飞机的连接矩阵中，较强的GC连接主要为多个脑区指向中央区的连接；在正确识别到飞机的连接矩阵中，不仅相应的多个脑区指向中央区的GC连接更强，且在其他脑区之间也存在较强的GC连接。在yes1、no1两种情况下对比三个不同阶段的连接矩阵可知，随着识别进程的进行，GC连接(尤其是指向中央区的连接)呈现逐渐变强的趋势，且200-300ms阶段GC网络整体的增强最为明显。例外的是，在yes1情况中，相比100-200ms，0-100ms的连接矩阵中多个脑区指向额叶、顶叶的连接更强。
为了解各脑区协作过程中最主要的信息流向，进一步从网络连接矩阵中提取每种情况下每个时间阶段中的强GC连接(GC值大于其连接矩阵中最大GC值的95％)，绘制脑网络连接拓扑图，如图5所示。
未识别到飞机时，三个阶段中强GC连接的起点主要位于大脑后部(枕叶、顶叶、扣带回后部、颞叶)，终点均为右侧中央区的中央旁小叶，且都存在左侧枕叶距状旁回到右侧中央旁小叶这一连接。此外，最大GC连接随识别进程而增大(0-100ms：GCmax＝11.5；100-200ms：GCmax＝11.6；200-300ms：GCmax＝12.1)，这可能意味着认知进程中信息交换的不断增强。
识别到飞机时，最大GC连接同样随识别进程逐渐增大且在任一阶段都大于为识别到飞机时的相应值(0-100ms：GCmax＝12.1；100-200ms：GCmax＝12.9；200-300ms：GCmax＝13.7)。此外，识别到飞机时强GC连接的分布情况更为复杂多变。0-100ms阶段，强连接在全脑有广泛分布，包括左侧枕叶距状旁回到右侧顶叶楔前叶、左侧顶叶上回到右侧扣带回峡部(位于扣带回后部)、右侧前扣带回上部(位于扣带回前部)到右侧中央旁小叶、右侧颞叶颞极到右侧颞叶嗅皮质。100-200ms，强连接数量减少为两条，包括左侧枕叶距状旁回到右侧中央旁小叶、右侧顶叶上回到右侧顶叶楔前叶。200-300ms，强连接数量为两条，包括左侧岛回到左侧顶叶上回、左侧颞叶嗅皮质到右侧颞叶嗅皮质。
本实施例提取了红外背景下的飞机识别实验过程中正确识别到有飞机(yes1)、正确识别到没有飞机(no1)两种情况下，图片刺激前后(-20,300)ms的脑电数据段。期望对飞机识别的认知过程与脑区协作机制展开研究。
首先，分别基于大脑的前部、中部、后部以及全脑四个区域内各电极上的时域脑电信号，利用SVM分类器对是否识别到飞机进行了解码，最高的解码准确率达到97.5％，并且在50ms就达到81.5％的准确率。对比基于各个区域得到的解码准确率随时间的变化曲线可知：
(1)基于前部脑区、后部脑区的解码准确率与基于全脑的解码准确率的变化曲线较为相似，前部脑区中主要包含了大脑额叶(frontal lobe,F)和少部分中央区(centrallobe,C)，推测额叶、中央区可能在飞机识别的认知过程中起到了重要作用；后部脑区主要包含了大脑枕叶(occipital lobe,O)、颞叶(temporal lobe,T)和少部分顶叶(parietallobe,P)，说明顶叶、枕颞叶也在飞机识别过程中也起到了重要的作用。这与已有研究的结论相符，即大脑对物体(尤其是对人造物)进行识别时，不仅有枕颞叶中视觉皮层、高级视觉皮层的参与，还有顶叶、额叶等脑区的参与。
(2)基于后部脑区的解码准确率曲线的峰值往往比其他曲线更早出现，尤其是在阶段一和阶段二，说明后部脑区可能最先参与信息的加工处理，这可能与位于后部脑区的枕颞叶视觉皮层最先接收视觉信息有关。
(3)基于中部脑区的解码准确率在阶段一的变化趋势也与基于全脑的解码准确率的变化曲线类似，但在110ms达到最高准确率(80％)之后整体呈下降趋势，与基于全脑的结果明显区别开来。中部脑区中主要包括中央区和顶叶，因此，推测中央区和顶叶同样在飞机识别过程中有所参与，但贡献主要体现在物体呈现的短时间内(0-100ms)。因此，红外背景下的飞机识别过程中，存在大脑前、中、后多个部位的共同参与，飞机的有效识别是全脑范围内多个脑区共同协作的结果。
然后，根据解码准确率曲线划分出0-100ms、100-200ms、200-300ms三个阶段，基于溯源分析得到的大脑皮层68脑区的源信号，构建68*68的格兰杰因果网络连接矩阵。在同一阶段下对比yes1、no1之间的连接矩阵可知，识别到没有飞机的连接矩阵中，较强的GC连接主要为多个脑区指向中央区的连接；在正确识别到飞机的连接矩阵中，不仅相应的多个脑区指向中央区的GC连接更强，且在其他脑区之间也存在较强的GC连接。因此，飞机的有效识别可能需要更强的信息交换以及更多的脑区参与协作。在同种识别情况下对比三个不同阶段的连接矩阵可知，随着识别进程的进行，GC连接(尤其是指向中央区的连接)呈现逐渐变强的趋势，且200-300ms阶段GC网络整体的增强最为明显。例外的是，在yes1情况中，相比100-200ms，0-100ms的连接矩阵中多个脑区指向额叶、顶叶的连接更强。由此可知，大脑在物体识别的认知过程中，各脑区间的协作情况是不断发展变化的，随着认知过程的深入，脑区间的信息交换往往会更加广泛活跃。而对于yes1中的特殊情况，结合0-100ms阶段内基于全脑信号对yes1、no1的解码结果(50ms时准确率达到80％)，推测大脑可能在0-100ms的短时间内就已调动多个脑区初步对飞机进行了有效识别，是快速实现飞机识别的关键阶段。经过100-200ms阶段信息进一步流向中央区，以及200-300ms阶段更多脑区参与信息处理，使得对yes1、no1的解码准确率最高达到97.5％，且最终稳定在90％左右，从而实现对飞机的准确识别。
进一步从连接矩阵中提取强GC连接(GC值大于其连接矩阵中最大GC值的95％)，对比发现，涉及记忆、环境感知信息整合的楔前叶，涉及注意与视觉感知的顶叶，涉及记忆的扣带回后部、嗅皮质也在两种情况下均对认知活动有重要贡献，说明在飞机的识别过程中，不仅需要视觉系统参与，还需要与记忆相关的其它脑区参与。不同的是，在未识别到飞机的情况下，这些脑区在强GC连接中都作为起点直接向中央旁小叶传递信息，而在识别到飞机的情况下，这些脑区之间则存在更丰富的信息交换。
值得注意的是，不同于未识别到飞机时集中在大脑中后部的强GC连接，在有效识别到飞机时的0-100ms，位于大脑前部的前扣带回也作为一条强GC连接的起点，将信息传递至中央旁小叶，参与飞机识别工作。已有研究表明，前扣带回在认知过程中具有重要作用，能够联合周围脑区完成信息加工。因此，物体识别过程中的确存在远程脑区的参与，并且可能在物体呈现的短时间内(0-100ms)起到了重要的信息整合作用，为最终决策提供支持。
此外，在飞机识别实验的认知过程中，距状旁回和中央旁小叶在多数情况下均在识别活动中作出了重要贡献。距状旁回的参与可能是因为初级视觉皮层主要位于此处，这让左侧距状旁回作为各阶段强GC连接的起点参与活动成为可能。中央旁小叶的参与则可能因其与躯体运动相关，本实验要求被试需要在识别到飞机时按键、未识别到飞机时不按键，故中央旁小叶可能需要接收其它脑区加工视觉信息进行识别的结果，然后对是否按键进行决策。
本实施例提取了红外背景下的飞机识别实验过程中正确识别到有飞机、正确识别到没有飞机两种情况下，图片刺激前后(-20,300)ms的脑电数据段。期望对飞机识别的认知过程与脑区协作机制展开研究。
首先，分别基于大脑的前部、中部、后部以及全脑四个区域内各电极上的时域脑电信号，利用SVM分类器对是否识别到飞机进行了解码，最高的解码准确率达到97.5％，并且在50ms就达到81.5％的准确率。然后，根据解码准确率曲线划分出0-100ms、100-200ms、200-300ms三个阶段，基于大脑皮层68脑区的源信号构建格兰杰因果网络。对比发现，飞机的有效识别可能需要更多的脑区参与更强的信息交换与协作，包括与视觉相关的距状旁回以及与记忆相关的楔前叶、顶叶、扣带回、嗅皮质等。同时，大脑在0-100ms的短时间内就已调动枕叶、颞叶、顶叶、扣带回等多个部位的多个脑区初步对飞机进行了有效识别，这一阶段可能是实现飞机的快速识别的关键阶段。
总的来说，本实施例通过机器学习解码和脑网络分析，证明飞机识别过程中，不仅需要枕颞叶视觉系统的参与，还需要顶叶、扣带回等更远程的脑区参与。此外，研究结果也证明，人脑能在极短时间内实现飞机的有效识别，其认知神经机制对后续搭建类脑模型实现机器对飞机的快速识别具有重要意义。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，包括以下步骤：
步骤1、选取实验对象并确定实验流程；
步骤2、对实验得到的数据进行预处理；
步骤3、对预处理得到的数据通过机器学习进行解码分类；
步骤4、对脑电进行溯源分析；
步骤5、构建格兰杰因果网络，通过脑网络的构建，对飞机识别认知过程中各个脑区之间的协作情况展开研究。
2.根据权利要求1所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，在步骤1中，所述的实验流程具体如下：
采用含有大小、姿态不同的飞机目标以及环境干扰因素的红外背景图片作为目标图片进行测试，并以仅含环境干扰因素不含飞机的红外背景图片作为对照图片；要求被试识别到含有飞机的目标图片时，所述实验对象通过惯用手进行按键，识别到非目标图片则不按键；其中，所述目标图片和对照图片的比例为1:2，每组间隔一定时间循环播放多次。
3.根据权利要求2所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，实验过程中，脑电信号采集采用EGI的64导联脑电采集设备，电极分布为GSN-Hydrocel64，采样率为1kHz，电极阻抗在采集过程中保持在30KΩ以下。
4.根据权利要求1或2或3所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，所述步骤2具体包括：
首先，排除数据存在问题的被试实验对象；其次，通过EGI设备配套软件NetStation去除fMRI带来的伪迹；然后，使用EEGLAB做进一步预处理。
5.根据权利要求4所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，使用EEGLAB做进一步预处理具体包括以下步骤：
(1)定位电极并删除四个无用电极，无用电极包括用于采集心电的E32、E43以及用于采集眼电的E62、E63；
(2)通过周围三个电极的信号平均值对接触不良的坏导进行插值替换；
(3)采用0.3-45Hz的FIR带通滤波器进行滤波，其中陷波为50Hz；
(4)降采样，将采样率降低到500Hz以提高计算速度；
(5)重参考，将各通道脑电的参考方式转换为平均参考；
(6)分段，截取正确反应的数据段，其中，正确识别到飞机并按了键，定义为yes1；正确识别到没有飞机并未按键，定义为no1，将yes1、no1两种情况下图片刺激前后的(-20,300)ms作为目标数据段并进行基线校正；
(7)删除坏段并基于ICA进行伪迹的识别与剔除，最终得到有效数据段的数量。
6.根据权利要求5所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，所述步骤3具体如下：
将yes1、no1两种情况下的时域脑电信号作为两类样本，分别在各个时间点取样进行模型训练，对是否识别到飞机展开分类；其中，机器学习模型采用Brainstorm提供的SVM模型，并通过三折交叉验证的方式对模型进行验证；此外，为保证两类样本量的平衡，模型训练前已通过随机抽样的方式使两种情况下的数据段数量相同；最后，根据分类准确率进行模型评估。
7.根据权利要求6所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，所述步骤3还包括：
将全脑分为前、中、后三个部分，分别基于全脑和三个部分分区内的多通道脑电时域信号进行解码，以初步探索大脑的飞机识别过程中，除位于大脑后部的枕颞叶参与之外，是否还有其它远程的脑区对飞机的有效识别作出贡献。
8.根据权利要求7所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，在步骤4中，通过Brainstorm工具箱对各个被试的各段数据采用分布式源模型进行溯源反演，具体包括以下步骤：
首先，将源空间约束在大脑皮层，并采用OpenMEEGBEM算法计算头模型；然后，采用最小范数估计的方法进行源估计，并采用sLORETA算法进行归一化；同时，使用Desikan-Killiany图谱将大脑皮层分为68个脑区。
9.根据权利要求8所述的基于脑电的红外背景下飞机识别的大脑认知机制研究方法，其特征在于，在步骤5中，利用基于MATLAB的Brainstorm工具包，将溯源后的68个脑区作为网络节点，构建了68*68的格兰杰因果网络，即GC网络连接矩阵。
CN202210982320.6A 2022-08-16 2022-08-16 基于脑电的红外背景下飞机识别的大脑认知机制研究方法 Pending CN115349872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210982320.6A CN115349872A (zh) 2022-08-16 2022-08-16 基于脑电的红外背景下飞机识别的大脑认知机制研究方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210982320.6A CN115349872A (zh) 2022-08-16 2022-08-16 基于脑电的红外背景下飞机识别的大脑认知机制研究方法

Publications (1)

Publication Number Publication Date
CN115349872A true CN115349872A (zh) 2022-11-18

Family

ID=84001221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210982320.6A Pending CN115349872A (zh) 2022-08-16 2022-08-16 基于脑电的红外背景下飞机识别的大脑认知机制研究方法

Country Status (1)

Country Link
CN (1) CN115349872A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116491958A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 靶点确定设备、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116491958A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 靶点确定设备、电子设备及存储介质
CN116491958B (zh) * 2023-06-28 2023-09-19 南昌大学第一附属医院 靶点确定设备、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Zhang et al. Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface
Zhang et al. Learning spatial–spectral–temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment
Kachenoura et al. ICA: a potential tool for BCI systems
CN112932502B (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
Li et al. Multi-modal bioelectrical signal fusion analysis based on different acquisition devices and scene settings: Overview, challenges, and novel orientation
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
Grandchamp et al. Stability of ICA decomposition across within-subject EEG datasets
Zhao et al. On the improvement of classifying EEG recordings using neural networks
Qian et al. Decision-level fusion of EEG and pupil features for single-trial visual detection analysis
CN115349872A (zh) 基于脑电的红外背景下飞机识别的大脑认知机制研究方法
Ghonchi et al. Spatio-temporal deep learning for EEG-fNIRS brain computer interface
Geng et al. A fusion algorithm for EEG signal processing based on motor imagery brain-computer interface
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
Frank et al. A Framework to Evaluate Independent Component Analysis applied to EEG signal: testing on the Picard algorithm
Dimitrov et al. Increasing the classification accuracy of EEG based brain-computer interface signals
CN111671421A (zh) 一种基于脑电图的儿童需求感知方法
Buvaneswari et al. A review of EEG based human facial expression recognition systems in cognitive sciences
Elgharabawy et al. Decoding of finger movement using kinematic model classification and regression model switching
CN111772629A (zh) 一种脑认知技能移植的方法
Akrout et al. Artificial and convolutional neural network of EEG-based motor imagery classification: A comparative study
Wang et al. Combining multiple ERP components for detecting targets in remote-sensing images
Mohamed et al. Recurrent Neural Networks (RNNs) to improve EEG-based person identification
Hallez et al. Muscle and eye movement artifact removal prior to EEG source localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination