CN113017622A - 基于fNIRS的想象物体位移方向的解码方法 - Google Patents
基于fNIRS的想象物体位移方向的解码方法 Download PDFInfo
- Publication number
- CN113017622A CN113017622A CN202110236412.5A CN202110236412A CN113017622A CN 113017622 A CN113017622 A CN 113017622A CN 202110236412 A CN202110236412 A CN 202110236412A CN 113017622 A CN113017622 A CN 113017622A
- Authority
- CN
- China
- Prior art keywords
- displacement direction
- decoding
- information
- signal acquisition
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 55
- 210000004556 brain Anatomy 0.000 claims abstract description 63
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 34
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000002068 genetic effect Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 36
- 239000008280 blood Substances 0.000 claims description 36
- 210000004369 blood Anatomy 0.000 claims description 36
- 229910052760 oxygen Inorganic materials 0.000 claims description 36
- 239000001301 oxygen Substances 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 7
- 206010029216 Nervousness Diseases 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000002490 cerebral effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000002496 oximetry Methods 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009087 cell motility Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001095 motoneuron effect Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001379 nervous effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于fNIRS的想象物体位移方向的解码方法，其包括：采集受试者进行物体位移想象试验时大脑中的血红蛋白信息；对采集到的血红蛋白信息进行预处理；根据预处理后的血红蛋白信息计算出识别特征；利用信息价值排序法和自适应遗传算法对识别特征进行筛选；利用机器学习的方法对筛选后的识别特征进行识别处理而识别出物体的位移方向，从而完成物体位移的想象状态的连续解码。本发明可以对外部物体的直接连续想象下的位移方向进行连续的在线识别，提升了运动想象方法对于复杂多变的外部环境的适应性和灵活性。
Description
技术领域
本发明涉信息处理技术领域，尤其是指一种基于fNIRS的想象物体位移方向的解码方法。
背景技术
运动想象是一类常用的脑电研究范式，其生理学基础在于，人的肢体运动会在大脑感觉运动区引发运动节律的能量变化，这一现象不仅会出现在实际运动中，在想象运动的过程中，运动功能发育正常的被试者也会产生该类现象。运动想象分为第一人称、第三人称以及动觉想象，无论是哪一种运动想象，都需要充分集中注意力并且想象相应的运动效果，运动想象对人的注意力锻炼以及脑部运动相关区域的激活有着重要作用。而运动想象脑机接口借助脑电信号采集和解码技术在人脑与计算机设备之间建立直连通路，实现与外界环境的交互，可以作为辅助工具参与中风患者的康复治疗。
目前常见的运动想象的检测方式包括基于EEG的运动想象检测方法、基于MEG的运动想象检测方法和基于fMRI运动想象检测方法等，其中，基于EEG的运动想象检测方法，对测试环境的电磁影响有较高的要求，且需要外部刺激触发，还需要大量训练，时间成本较高；基于MEG的运动想象检测方法，对测试环境要求较高且设备笨重；基于fMRI运动想象检测方法，同样存在对测试环境要求高的问题，并且移植性较差。
与上述运动想象检测方法相比，脑机接口中涉及的基于近红外成像技术(Functional Near-infrared Spectroscopy,简称FNIRS)能够更好地保证信号采集的客观性、安全性和实时性。脑机接口作为一种新的人机交互方式，其借助脑电信号采集和解码技术在人脑与计算机设备之间建立直连通路，实现与外界环境的交互，能够绕开神经传输通道和肌肉部分的作用，直接在大脑与外界环境之间建立信息沟通渠道。
现有的基于FNIRS运动想象解码方法虽能够较好地识别出想象状态，但是仅仅是局限于单种类想象识别，无法实现多种类连续想象的识别区分；并且现有的运动想象的内容多为假肢或者身体部位的运动，而对于外部物体的直接连续想象一直是个空缺，无法较好的适应复杂多变的外部环境。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于FNIRS运动想象解码方法无法有效解码识别外部物体直接连续运动想象下的位移方向的问题。
为解决上述技术问题，本发明提供了一种基于fNIRS的想象物体位移方向的解码方法，包括以下步骤：
S1)采集受试者进行物体位移想象试验时大脑中的血红蛋白信息；
S2)对采集到的血红蛋白信息进行预处理；
S3)根据预处理后的血红蛋白信息计算出识别特征；
所述识别特征包括脑区血氧相关性、正则化后的血氧数据、正则化后血氧数据的Teager-Kaiser能量算子和坡度特征；
S4)利用信息价值排序法和自适应遗传算法对所述识别特征进行筛选；
S5)利用机器学习的方法对筛选后的识别特征进行识别处理而识别出物体的位移方向，从而实现了物体位移的想象状态的连续解码。
在本发明的一个实施例中，所述步骤S2)中，对采集到的血红蛋白信息进行预处理的方法包括带通滤波处理，所述带通滤波处理是对采集到的血红蛋白信息的相应频段进行带通滤波的处理。
在本发明的一个实施例中，所述带通滤波处理运用切比雪夫带通滤波方法对采集到的血红蛋白信息的相应频段进行多频段带通滤波的处理。
在本发明的一个实施例中，在对采集到的血红蛋白信息进行带通滤波处理之前，还对采集到的血红蛋白信息进行以下处理：剔除在物体位移想象试验时受试者在干扰状态下获得的血红蛋白信息。
在本发明的一个实施例中，所述干扰状态包括外界干扰状态和生理干扰状态，所述生理干扰状态是指受试者自身发生体动、情绪紧张、呼吸加快、走神或体力下降时的状态；所述外界干扰状态是指存在外界噪声或试验设备接头松动时的状态。
在本发明的一个实施例中，所述步骤S3)中脑区血氧相关性的计算方法包括：运用熵权法对同一脑区内不同的信号采集通道重新分配权重，并根据重新分配的权重计算出脑区的血氧值，然后根据不同脑区的血氧值，计算出不同脑区之间的血氧值的皮尔森相关系数。
在本发明的一个实施例中，每个脑区包括多个信号采集通道，每个信号采集通道内设置有多个采样点，运用熵权法对同一脑区内不同的信号采集通道重新分配权重的方法包括以下步骤：
A1)采用最大最小归一化公式逐个地对每个信号采集通道的每个采样点进行归一化；
A2)归一化完成后，计算出每个脑区内的每个采样点的概率值；
A3)根据采样点的概率值以及信息熵公式计算出每个信号采集通道的信息熵；
A4)根据每个信号采集通道的信息熵，计算出每个信号采集通道的权重。
在本发明的一个实施例中，每个信号采集通道的权重由以下公式得到：
其中，wj表示第j个信号采集通道的权重，ej表示第j个信号采集通道的信息熵。
在本发明的一个实施例中，所述机器学习的方法对筛选后的识别特征进行识别处理时会对所述识别特征进行两种处理，第一种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向上和向下两类；第二种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向左和向右两类。
在本发明的一个实施例中，所述信息价值排序法是利用卡方分箱方式对所述识别特征进行筛选。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于fNIRS的想象物体位移方向的解码方法可以对外部物体的直接连续想象下的位移方向进行连续的在线识别，可直接通过想象物体位移来达到直接控制物体连续运动效果，提升了基于fNIRS的运动想象方法对于复杂多变的外部环境的适应性和灵活性。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明基于fNIRS的想象物体位移方向的解码方法的流程图；
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本实施例公开了一种基于fNIRS的想象物体位移方向的解码方法，包括以下步骤：
S1)采集受试者进行物体位移想象试验时大脑中的血红蛋白信息；
其中，受试者在物体位移想象试验时是进行对外部物体位移的直接连续想象。
S2)对采集到的血红蛋白信息进行预处理，以去除血红蛋白信息中无关信息的干扰，从而保留利于区分不同想象方向的关键生理信息频段，提升系统的实时性能；
S3)根据预处理后的血红蛋白信息计算出识别特征；
识别特征包括脑区血氧相关性、正则化后的血氧数据、正则化后血氧数据的Teager-Kaiser能量算子和坡度特征；识别特征包括上述多个维度的特征，为后续进行位移方向识别奠定了基础，且利用提升识别准确率。
其中，脑区血氧相关性可以很好的反映两个测试脑区之间的变化趋势的异同；Teager-Kaiser能量算子可以很好地反应信号地瞬时振幅和瞬时频率，这有利于区分行走状态和休息状态；坡度特征可以较好的体现出血氧的瞬时变化；
S4)利用信息价值(Information Value，IV)排序法和自适应遗传算法对识别特征进行筛选；
利用信息价值排序法可以先剔除部分不利于区分位移方向的特征，能够有效降低后续机器学习建模的时间成本、提高模型的识别准确率，并降低识别延迟；而自适应遗传算法则可以进一步加快后续建模的进程，从而达到模型参数和特征空间的最优组合，进一步提高模型性能。
S5)利用机器学习的方法对筛选后的识别特征进行识别处理而识别出物体的位移方向，从而实现了对位移方向的连续的在线识别，也即实现了物体位移的想象状态的连续解码。
在其中一个实施方式中，步骤S2)中，对采集到的血红蛋白信息进行预处理的方法包括带通滤波处理，带通滤波处理是对采集到的血红蛋白信息的相应频段进行带通滤波的处理，以保留运动想象相关生理信息频段，在保留信号原有数学形态的同时去除高频噪声以及血红蛋白信息采集过程中的信号零漂现象。
其中，零漂现象会对待分析的低频神经元活动造成干扰。高频噪声主要来源于工频干扰和受试者体动以及设备探头松动等问题。
在其中一个实施方式中，带通滤波处理运用切比雪夫带通滤波方法对采集到的血红蛋白信息的相应频段进行多频段带通滤波的处理。
不同频段的大脑血氧信息可以表征出不同的生理相关信息，将不同频段信号按照其生理特点作如下划分，如表1所示。为准确获取和神经活动高度相关频段的脑血氧信息，可对零漂现象进行修正并去除无关频段信息的干扰，基于功率谱分析结果和表1中描述信息确定滤波频段为0.005Hz-0.052Hz，应用切比雪夫滤波器结合形态学滤波对信号进行带通滤波。
表1不同频段信号按照其生理特点进行划分的划分情况表
| 频段编号 | 频段范围(Hz) | 生理意义 |
| I | 0.005-0.0095 | 内皮细胞活动 |
| II | 0.0095-0.021 | 内皮细胞新陈代谢活动 |
| III | 0.021-0.052 | 神经性作用 |
在其中一个实施方式中，在对采集到的血红蛋白信息进行带通滤波处理之前，还对采集到的血红蛋白信息进行以下处理：剔除在物体位移想象试验时受试者在干扰状态下获得的血红蛋白信息，以便于最大程度的保证在后续分析过程中保留下最优质的实验数据，剔除可能干扰实验结果的数据，从而提升后续解码识别的准确率。
在其中一个实施方式中，干扰状态包括外界干扰状态和生理干扰状态，生理干扰状态是指受试者自身发生体动、情绪紧张、呼吸加快、走神或体力下降时的状态；外界干扰状态是指存在外界噪声或试验设备接头松动时的状态。
进一步地，为更好地记录生理干扰状态，可在物体位移想象试验后，完成主观评价量表和实验人员观察表的记录，主观评价表用于记录受试者的主观感受及时间节点，主观感受则包括自我感知的大幅体动，情绪紧张、呼吸加快、走神或体力下降等，实验人员观察表用于记录实验人员观察到的受试者在试验中的体动、注意力状态、试验中出现的外界干扰(外界噪声、试验设备接头松动等)以及相应的时间节点。通过主观评价量表和实验人员观察表可综合主观和客观两个维度来对干扰试验结果的因素进行统计分析，能够更好地筛选出可能干扰实验结果的数据并予以剔除。
在其中一个实施方式中，步骤S3)中脑区血氧相关性的计算方法包括：运用熵权法对同一脑区内不同的信号采集通道重新分配权重，并根据重新分配的权重计算出脑区的血氧值，然后根据不同脑区的血氧值，计算出不同脑区之间的血氧值的皮尔森相关系数。
若皮尔森相关系数值大于0，则表示两个测试脑区的血氧信息变化趋势正相关；若相关系数值小于0，则表示变化趋势负相关；若相关系数为趋近0，则两测试脑区信息不相关；皮尔森相关系数的数值差异，可以反映出被试者不同测试脑区之间大脑血氧含量连接性或协同程度。
可以理解地，预处理后的血红蛋白信息对应不同大脑皮层，因此，将大脑划分为多个脑区，每个脑区表征一个感兴趣区域(ROI，Region of Interest)，以此来避免由于被试者个体差异导致的信号采集通道位置对应的大脑区域不同的问题，减少被试者头颅个体差异对测试的影响。
另外，基于熵权法计算脑区整体血氧值，利于减小个体差异的影响，增加模型的鲁棒性。
例如，可将表2所示的5个原始脑区划分成表3所示的11个脑区，表3中，字母u,w,l,m,r分别表示上、下、左、中、右；如muPFC表示PFC区域的中上部分。
表2原始脑区划分表
| ROI编号 | ROI名称 | 内含通道编号 |
| 1 | PFC | 1,2,3,4,5,6,7 |
| 2 | PEC | 8,9,10 |
| 3 | PMCL | 11,15,18,22 |
| 4 | SMA | 12,13,16,19,20,23 |
| 5 | PMCR | 14,17,21,24 |
表3脑区重新划分表
| ROI编号 | ROI名称 | 内含通道 | ROI编号 | ROI名称 | 内含通道 |
| 1 | luPFC | 1,4,5 | 7 | rwPMC | 17,21,24 |
| 2 | muPFC | 2,5,6 | 8 | muSMA | 12,13,16 |
| 3 | ruPFC | 3,6,7 | 9 | mmSMA | 16,19,20 |
| 4 | luPMC | 11,15,18 | 10 | mwSMA | 19,20,23 |
| 5 | lwPMC | 15,18,25 | 11 | PEC | 8,9,10 |
| 6 | ruPMC | 17,17,21 |
在其中一个实施方式中，每个脑区包括多个信号采集通道，信号采集通道用于采集大脑的血红蛋白信息，每个信号采集通道内设置有多个采样点，运用熵权法对同一脑区内不同的信号采集通道重新分配权重的方法包括以下步骤：
A1)采用最大最小归一化公式逐个地对每个信号采集通道的每个采样点进行归一化；归一化公式如下：
xij∈X,i＝1,2,…,N,j＝1,2,…,M；
其中，N为待计算脑区内的采样点总数，M为待计算脑区内的信号采集通道的总数，x′ij表示第j个信号采集通道内第i个采样点在归一化后的大脑血氧数据，xij表示第j个信号采集通道内第i个采样点的大脑原始血氧数据，xtj表示第j个信号采集通道内第t个采样点的大脑原始血氧数据。
A2)归一化完成后，计算出每个脑区内的每个采样点的概率值，计算工公式如下：
i＝1,2,…,N,j＝1,2,…,M
其中，pij表示第j个信号采集通道内第i个采样点的概率值，x′tj表示第j个信号采集通道内第t个采样点在归一化后的大脑血氧数据；
A3)根据采样点的概率值以及信息熵公式计算出每个信号采集通道的信息熵,并将其数值规范到[0,1]内，计算公式如下：
其中，ej表示第j个信号采集通道的信息熵，n为第j个信号采集通道内的采样点数量；
A4)根据每个信号采集通道的信息熵，计算出每个信号采集通道的权重，每个信号采集通道的权重由以下公式得到：
其中，wj表示第j个信号采集通道的权重，ej表示第j个信号采集通道的信息熵。
最终，根据上述权重，便可以计算出包含N个采样点的某个脑区(ROI区域)的血氧值YROI：
YROI＝∑jxijωj
上述方式计算每一个脑区对应的血氧值时采用熵权的加权平均法，该方法通过计算脑区内各通道的信息熵数值，自适应的分配各通道对应的权重，以此来计算对应脑区的整体血氧值，能够更利于减少个体差异对结果的影响，增加模型的鲁棒性。
在其中一个实施方式中，不同脑区之间的皮尔森相关系数计算公式如下：
其中，R表示皮尔森相关系数,xi表示数组X＝{x0,x1,...xn-1}中第i个数，μx表示数组X的平均值，σx表示数组X的标准差，yi表示数组Y＝{y0,y1,...yn-1}中第i个数，μy表示数组Y的平均值，σy表示数组Y的标准差，n表示用于计算相关系数的数组X或者Y的数据点个数。
在其中一个实施方式中，正则化后血氧数据的Teager-Kaiser能量算子的计算过程为：
取准备阶段的部分时间作为Baseline，将后续的信号根据这段Baseline进行正则化，标准化的方法则采用Z-Score标准化，其计算方法为：
其中，μ和δ分别表示Baseline段信号的均值和标准差，x表示原始信号值，x*表示正则化后的信号值。
在对信号进行Z-Score标准化后，利用以下公式计算Teager-Kaiser能量算子
xt表示t时刻的血氧信号值，xt+1表示t+1时刻的血氧信号值，xt-1表示t-1时刻的血氧信号值，Teager-Kaiser能量算子计算非常迅速，对计算机占用资源小，非常适合于实时的特征提取。
在其中一个实施方式中，机器学习的方法对筛选后的识别特征进行识别处理时对进行两种处理，第一种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向上和向下两类；第二种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向左和向右两类，第一种处理和第二种处理是各自独立进行的。
在其中一个实施方式中，坡度特征的计算公式为：
其中，m表示第m个信号采样点的位置，n表示第n个信号采样点的位置，samplingperiod表示采样周期，xm表示第m个信号采样点的信号值，xn表示第n个信号采样点的信号值，X表示坡度特征值。
在其中一个实施方式中，信息价值排序法是利用卡方分箱方式对识别特征进行筛选。
卡方分箱方式以卡方分布和卡方值为基础，判断某个因素是否会影响目标变量，即对所有样本点进行随机分箱，然后采取自底向上不断合并的方法完成分箱操作。在每一步的合并过程中，依靠最小的卡方值来寻找最优的合并项。其核心思想是，如果某两个区间可以被合并，那么这两个区间的坏样本需要有最接近的分布，进而意味着两个区间的卡方值是最小的。
卡方分箱方式的过程示例如下：
步骤C1),将特征变量A排序后分成区间较多的若干组，设为A_1,A_2,…,A_n。
步骤C2),计算A_1与A_2合并后的卡方值，A_2与A_3合并后的卡方值，直至A_(n-1)与A_n合并后的卡方值。
步骤C3),找出上一步所有合并后的卡方值中最小的一个，假设为A_(i-1)与A_i,将其合并形成新的A_(i-1)。
步骤C4),不断重复步骤C2)和C3，直至满足终止条件。
终止条件是：1.某次合并后，最小的卡方值的p值超过0.9(或0.95，0.99等)(卡方值越大，P值越小，相关性越强，对Y的解释性越好)。2.某侧合并后，总的未合并的区间数达到指定的数目。
另外，自适应遗传算法的迭代停止条件为：首先，在每轮迭代后，算法从种群中保留最优的N个个体，作为当前轮的最优个体；其次，计算当前轮的N个最优个体和算法全局的N个最优个体的适应度的均方误差，如果均方误差小于设定的阈值，则退出迭代；否则，对算法全局的前N个最优个体进行更新，并继续迭代，直到满足条件退出迭代。其中N可以由用户自行设置。通过上述迭代停止条件，可弥补遗传算法容易早熟的现象，并且使得遗传算法能够保留运行过程中所有的较优解。
自适应遗传算法中的交叉概率和变异概率随着染色体进化的代数而自适应的变化，保证算法的收敛性。
交叉概率pc的计算公式如下：
变异概率pm的计算公式如下：
其中，pc1，pc2均表示交叉概率的临界值，pm1，pm2均表示变异概率的临界值，f'表示待交叉的两个个体中适应度值较大者，f表示待变异的个体的适应度值，favg表示当代群体的适应度均值，fmax表示当代群体中最大的适应度值。
采用本实施例的基于fNIRS的想象物体位移方向的解码方法，实现了外部物体位移的想象状态的连续解码，由此可以分析出直接想象外部物体连续运动的脑区动态变化，例如，运动想象开始后的脑区发生以下变化：前额区(PFC)、左运动前区(PMCL)和辅助运动区(SMA)均激活明显，由此可见，运动想象开始后几乎是全脑区的激活，属于比较复杂的神经运动；而右运动前区(PMCL)相比并没有明显的激活，可能在于受试者均为右利手，对应的左脑更容易激活且更为活跃。
本实施例的基于fNIRS的想象物体位移方向的解码方法能够较好地适用于想象目标物是外部物体的直接想象的情况，而并非借助于想象肢体或是舌头等身体部位的运动来映射外部物体的运动，后期可应用价值高，另外，能够对想象物体位移方向进行连续的在线判别，而并非离线的离散状态判别，对于实现人体对物体的实时控制具有更高的实际应用价值。
综上，通过本实施例的基于fNIRS的想象物体位移方向的解码方法可以直接通过想象物体位移来达到直接控制物体连续运动效果，而非想象假肢或者身体其他部位的运动进行间接控制，提升了基于fNIRS的运动想象方法对于复杂多变的外部环境的适应性和灵活性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于fNIRS的想象物体位移方向的解码方法，其特征在于：包括以下步骤：
S1)采集受试者进行物体位移想象试验时大脑中的血红蛋白信息；
S2)对采集到的血红蛋白信息进行预处理；
S3)根据预处理后的血红蛋白信息计算出识别特征；
所述识别特征包括脑区血氧相关性、正则化后的血氧数据、正则化后血氧数据的Teager-Kaiser能量算子和坡度特征；
S4)利用信息价值排序法和自适应遗传算法对所述识别特征进行筛选；
S5)利用机器学习的方法对筛选后的识别特征进行识别处理而识别出物体的位移方向，从而实现了物体位移的想象状态的连续解码。
2.根据权利要求1所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述步骤S2)中，对采集到的血红蛋白信息进行预处理的方法包括带通滤波处理，所述带通滤波处理是对采集到的血红蛋白信息的相应频段进行带通滤波的处理。
3.根据权利要求2所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述带通滤波处理运用切比雪夫带通滤波方法对采集到的血红蛋白信息的相应频段进行多频段带通滤波的处理。
4.根据权利要求2所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：在对采集到的血红蛋白信息进行带通滤波处理之前，还对采集到的血红蛋白信息进行以下处理：剔除在物体位移想象试验时受试者在干扰状态下获得的血红蛋白信息。
5.根据权利要求4所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述干扰状态包括外界干扰状态和生理干扰状态，所述生理干扰状态是指受试者自身发生体动、情绪紧张、呼吸加快、走神或体力下降时的状态；所述外界干扰状态是指存在外界噪声或试验设备接头松动时的状态。
6.根据权利要求1所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述步骤S3)中脑区血氧相关性的计算方法包括：运用熵权法对同一脑区内不同的信号采集通道重新分配权重，并根据重新分配的权重计算出脑区的血氧值，然后根据不同脑区的血氧值，计算出不同脑区之间的血氧值的皮尔森相关系数。
7.根据权利要求6所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：每个脑区包括多个信号采集通道，每个信号采集通道内设置有多个采样点，运用熵权法对同一脑区内不同的信号采集通道重新分配权重的方法包括以下步骤：
A1)采用最大最小归一化公式逐个地对每个信号采集通道的每个采样点进行归一化；
A2)归一化完成后，计算出每个脑区内的每个采样点的概率值；
A3)根据采样点的概率值以及信息熵公式计算出每个信号采集通道的信息熵；
A4)根据每个信号采集通道的信息熵，计算出每个信号采集通道的权重。
8.根据权利要求7所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：每个信号采集通道的权重由以下公式得到：
其中，wj表示第j个信号采集通道的权重，ej表示第j个信号采集通道的信息熵。
9.根据权利要求1所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述机器学习的方法对筛选后的识别特征进行识别处理时会进行两种处理，第一种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向上和向下两类；第二种处理用于利用机器学习的方法将筛选后的识别特征按照位移方向区分为向左和向右两类。
10.根据权利要求1所述的基于fNIRS的想象物体位移方向的解码方法，其特征在于：所述信息价值排序法是利用卡方分箱方式对所述识别特征进行筛选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110236412.5A CN113017622A (zh) | 2021-03-03 | 2021-03-03 | 基于fNIRS的想象物体位移方向的解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110236412.5A CN113017622A (zh) | 2021-03-03 | 2021-03-03 | 基于fNIRS的想象物体位移方向的解码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113017622A true CN113017622A (zh) | 2021-06-25 |
Family
ID=76466589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110236412.5A Pending CN113017622A (zh) | 2021-03-03 | 2021-03-03 | 基于fNIRS的想象物体位移方向的解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113017622A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104224466A (zh) * | 2014-09-25 | 2014-12-24 | 桂林电子科技大学 | 一种基于脑近红外功能信息检测的轮椅控制系统 |
| JP2015116213A (ja) * | 2013-12-16 | 2015-06-25 | 株式会社国際電気通信基礎技術研究所 | 脳活動訓練装置および脳活動訓練方法 |
| CN106901751A (zh) * | 2017-01-06 | 2017-06-30 | 苏州大学 | 一种基于大脑血红蛋白信息的运动速度状态的识别方法 |
| CN107550491A (zh) * | 2017-09-11 | 2018-01-09 | 东北大学 | 一种多类别运动想象分类识别方法 |
| CN107563298A (zh) * | 2017-08-08 | 2018-01-09 | 苏州大学 | 基于大脑血红蛋白信息的想象运动阶段的蹲起走状态的识别方法 |
| CN108523883A (zh) * | 2018-03-19 | 2018-09-14 | 天津大学 | 一种基于实际动作建模的左右食指连续运动想象识别系统 |
| CN109087693A (zh) * | 2018-06-29 | 2018-12-25 | 苏州大学 | 基于大脑信息判别转身运动意图的方法 |
| CN109243569A (zh) * | 2018-06-29 | 2019-01-18 | 苏州大学 | 基于大脑信息识别被试自发想象物体位移方位的识别方法 |
| CN109567818A (zh) * | 2018-11-20 | 2019-04-05 | 苏州大学 | 基于血红蛋白信息的多种行走步态调整意图的识别方法 |
| CN111950441A (zh) * | 2020-08-10 | 2020-11-17 | 苏州大学 | 上肢运动意图的fnirs实时解码方法及系统 |
-
2021
- 2021-03-03 CN CN202110236412.5A patent/CN113017622A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015116213A (ja) * | 2013-12-16 | 2015-06-25 | 株式会社国際電気通信基礎技術研究所 | 脳活動訓練装置および脳活動訓練方法 |
| CN104224466A (zh) * | 2014-09-25 | 2014-12-24 | 桂林电子科技大学 | 一种基于脑近红外功能信息检测的轮椅控制系统 |
| CN106901751A (zh) * | 2017-01-06 | 2017-06-30 | 苏州大学 | 一种基于大脑血红蛋白信息的运动速度状态的识别方法 |
| CN107563298A (zh) * | 2017-08-08 | 2018-01-09 | 苏州大学 | 基于大脑血红蛋白信息的想象运动阶段的蹲起走状态的识别方法 |
| CN107550491A (zh) * | 2017-09-11 | 2018-01-09 | 东北大学 | 一种多类别运动想象分类识别方法 |
| CN108523883A (zh) * | 2018-03-19 | 2018-09-14 | 天津大学 | 一种基于实际动作建模的左右食指连续运动想象识别系统 |
| CN109087693A (zh) * | 2018-06-29 | 2018-12-25 | 苏州大学 | 基于大脑信息判别转身运动意图的方法 |
| CN109243569A (zh) * | 2018-06-29 | 2019-01-18 | 苏州大学 | 基于大脑信息识别被试自发想象物体位移方位的识别方法 |
| CN109567818A (zh) * | 2018-11-20 | 2019-04-05 | 苏州大学 | 基于血红蛋白信息的多种行走步态调整意图的识别方法 |
| CN111950441A (zh) * | 2020-08-10 | 2020-11-17 | 苏州大学 | 上肢运动意图的fnirs实时解码方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| LIUJIN HE等人: "Motion Intention Classification of Multi-class Upper Limbs Actions for Brain Machine Interface Applications", 《PROCEEDINGS OF 2018 IEEE 8TH ANNUAL INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS》 * |
| 崔威: "脑卒中患者预期运动康复训练状态的判别和人机交互控制研究", 《苏州大学硕士学位论文》 * |
| 杜凯等人: "应用fNIＲS 技术对运动执行与运动想象脑激活模式的研究", 《第三军医大学学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abbas et al. | DeepMI: Deep learning for multiclass motor imagery classification | |
| Cheng et al. | A motor imagery EEG feature extraction method based on energy principal component analysis and deep belief networks | |
| CN107260166A (zh) | 一种实用化在线脑电伪迹剔除方法 | |
| Kirar et al. | Relevant feature selection from a combination of spectral-temporal and spatial features for classification of motor imagery EEG | |
| Fatimah et al. | Mental arithmetic task classification using fourier decomposition method | |
| CN111091074A (zh) | 最优区域共空间模式的运动想象脑电信号分类方法 | |
| CN110390272B (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
| CN113128552A (zh) | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 | |
| CN113951903B (zh) | 基于脑电数据测定的高速铁路调度员超负荷状态识别方法 | |
| Mustafa et al. | The analysis of eeg spectrogram image for brainwave balancing application using ann | |
| CN112488002A (zh) | 基于n170的情绪识别方法及识别系统 | |
| Hosseini et al. | Classification of emotional stress using brain activity | |
| Li et al. | Optimized artificial neural network based performance analysis of wheelchair movement for ALS patients | |
| CN115562488A (zh) | 运动想象脑机接口通信方法、装置、系统、介质及设备 | |
| Herman et al. | Investigation of the type-2 fuzzy logic approach to classification in an EEG-based brain-computer interface | |
| CN113208613B (zh) | 基于fhls特征选择的多模态bci时序优化方法 | |
| CN113017622A (zh) | 基于fNIRS的想象物体位移方向的解码方法 | |
| Bhimraj et al. | Autonomous noise removal from EEG signals using independent component analysis | |
| CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
| CN114343679A (zh) | 基于迁移学习的表面肌电信号上肢动作识别方法及系统 | |
| CN113558643A (zh) | 基于vmd和nltwsvm的多特征癫痫信号分类方法 | |
| Zhang et al. | Feature detection algorithm combined with machine learning applied to abnormal ECG diagnosis system | |
| CN115687898B (zh) | 基于多模态信号的步态参数自适应拟合方法 | |
| CN116595455B (zh) | 基于时空频特征提取的运动想象脑电信号分类方法及系统 | |
| Tahira et al. | Eeg based mental stress detection using deep learning techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |
|
| RJ01 | Rejection of invention patent application after publication |