CN116092673B - 一种便携式多信息融合分析及干预评估系统及其方法 - Google Patents

一种便携式多信息融合分析及干预评估系统及其方法 Download PDF

Info

Publication number
CN116092673B
CN116092673B CN202310368422.3A CN202310368422A CN116092673B CN 116092673 B CN116092673 B CN 116092673B CN 202310368422 A CN202310368422 A CN 202310368422A CN 116092673 B CN116092673 B CN 116092673B
Authority
CN
China
Prior art keywords
brain
data
mode
intervention
feature set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310368422.3A
Other languages
English (en)
Other versions
CN116092673A (zh
Inventor
吴凯
李兆波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310368422.3A priority Critical patent/CN116092673B/zh
Publication of CN116092673A publication Critical patent/CN116092673A/zh
Application granted granted Critical
Publication of CN116092673B publication Critical patent/CN116092673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及多模态处理技术领域，具体公开了一种便携式多信息融合分析及干预评估系统及方法，利用便携式多模态非侵入式数据采集装置进行数据采集得到多模态生理信号数据集；进行多模态生理信号数据预处理和多维度动态融合分析，得到动态融合特征集；并结合集成学习方法建立脑部病症辅助识别模型，构建动态融合特征集对应的脑部症状标准映射表；进一步进行早期干预刺激，根据脑部症状标准映射表获得对应不同程度的脑部症状类型，以量化早期干预治疗评价结果，辅助脑部神经性疾病的早期诊断和干预治疗，以达到延缓慢性症状发展的目的。

Description

一种便携式多信息融合分析及干预评估系统及其方法
技术领域
本发明涉及多模态数据处理技术领域，具体涉及一种便携式多信息融合分析及干预评估系统及其方法。
背景技术
目前，神经退行性精神疾病的传统辅助检测方法包括磁共振成像、计算机断层成像、认知功能临床筛查、认知评估、脑脊液标志物和基因检测等方法，但利用认知量表对症状量化评价的主观性判断，其准确性受限于医生的判定水平，会导致较高的误诊率；利用神经影像学检查及体液标志物检测费用昂贵，需要到大型医疗机构就诊检查才能完成，难以满足方便患者日常监测病症的早期检测和干预需求。而患者在病症初期仅表现为一般的认知功能障碍，若不能早期发生会导致错过最佳延缓病症的窗口期。
而传统医学检测的生理参数数量少或模态较为单一，利用脑电信号或脑氧信号进行单独评价只能间接从单一维度评估病症，缺乏全面准确地反映脑部神经环路的受损情况。因此，目前针对阿尔茨海默症等神经退行性精神疾病亟需一种便携式、低成本、且评估准确的早期病症检测和干预评价方法及体系，以辅助实现在社区场景下的早期干预治疗。
发明内容
鉴于以上所述现有方法的局限，本发明的目的在于提供一种便携式多信息融合分析及干预评估系统及其方法，利用便携式多模态非侵入式数据采集装置进行数据采集得到多模态生理信号数据集，其中便携式采集装置以满足在社区医疗机构的检测需求；对多模态信息数据集进行信号预处理和多维度动态融合分析，得到动态融合特征集；并结合集成学习方法建立脑部病症辅助识别模型，构建动态融合特征集对应的脑部症状标准映射表；进一步对患者进行早期干预刺激，根据脑部症状标准映射表获得对应不同程度的脑部症状类型，以量化早期干预治疗评价结果，从而辅助脑部神经性疾病如阿尔茨海默症的早期诊断和预测，以达到尽早发现病症并进行有效的早期干预治疗，以延缓神经退行性精神疾病症状发展的目的。
为了实现上述目的，根据本公开的一方面，提供一种便携式多信息融合分析及干预评估系统，所述系统包括：存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
生理信号数据采集单元，利用一种便携式多模态非侵入式数据采集装置采集获得待测者的大脑以及视网膜的多模态生理信号数据集；
多模态数据预处理单元，用于对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
多维度动态融合处理单元，用于对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
脑部病症辅助识别模型建立单元，用于根据所述动态融合特征集，结合集成学习方法构建集成初级模型，将集成初级模型的输出作为集成次级模型的输入，进行优化训练得到脑部病症辅助识别模型；
干预治疗量化评估单元，根据所述脑部病症辅助识别模型，构建所述动态融合特征集对应的脑部症状标准映射表，进一步量化早期干预治疗评价结果；
所述系统运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。
进一步地，在所述生理信号数据采集单元中，所述一种便携式多模态非侵入式数据采集装置，包括脑电信号采集设备、近红外光谱脑氧采集设备和光学相干断层扫描视网膜数据采集设备；
进一步地，在所述生理信号数据采集单元中，所述多模态生理信号数据集包括：脑氧数据、脑电数据和视网膜结构数据；其中，所述脑氧数据通过近红外光谱仪采集待测者大脑皮层的散射光强度连续变化，计算得到动态的脑氧数据，包括与氧合血红蛋白和脱氧血红蛋白的相对浓度变化有关的光强度；所述脑电数据为放置在大脑头皮多个电极之间随时间变化的电位差的采样值；所述视网膜结构数据通过光学相干断层扫描仪对待测者的视网膜进行静态采集，在采集时间段内获得待测者的视网膜血流量、视网膜神经纤维层厚度和神经节细胞层厚度（近红外光谱能够检测大脑皮层的浅层血氧动力学指标，主要用于检测大脑在进行认知以及记忆等生理活动时局部血流变化；神经电生理检测是一种可以对大脑的复杂神经活动进行研究的方法，大量研究表明认知功能与 theta 振荡和gamma 振荡这两种节律振荡存在密切联系；视网膜和大脑有共同的发育起源，被认为是中枢神经系统的延伸，因此神经性疾病早期病理改变可在视网膜上有所呈现）。
进一步地，在所述多模态数据预处理单元中，对所述多模态生理信号数据集进行数据预处理的具体步骤包括：异常剔除处理、去噪处理和基线校正，其中所述去噪处理至少包括采用小波滤波用于去除运动伪影、采用低通滤波和高通滤波用于去除生理噪声、采用主成分分析方法用于滤除眼电、心电以及其他伪迹成分中的其中一种。
进一步地，在所述多维度动态融合处理单元中，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集的具体步骤为：
S301，根据所述多模态信息数据集，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集，用于表征待测者的神经性病症特征；所述神经血管耦合特征集包括多模态相关系数、相位耦合度、多维度耦合变化序列和互相关指数；
S302，根据所述多模态信息数据集，基于FIR基函数的一般线性模型构建所述脑氧数据和所述脑电数据之间的连接函数，利用耦合分析回归系数表征二者的拟合关系，其计算公式为：
Figure SMS_1
；
其中， γ为计算得到的耦合分析回归系数，X为所述脑电数据的脑电信号中alpha、beta、gamma节律与FIR基函数卷积得到的矩阵，ε是误差项，β为所述脑氧数据与所述脑电数据之间的回归系数值；
S303，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列；
S304，构建动态融合特征集，包括所述神经血管耦合特征集、所述耦合分析回归系数以及所述多模态融合相似度序列（在步骤S300中，为了解决现有方法中利用单一生理参数进行病症识别的识别准确度较低且提取特征与病症相关性较差的问题，本申请提出对多种不同模态的生理信号进行数据采集，相较于单一的信号数据能更全面且更完整表征脑部缓慢出现的病症特征，其中通过计算多模态信号之间的交叉耦合特征能够反应更深层次的生理信号与慢性病症的相关程度，所述脑电数据和所述脑氧数据在集成采集系统中同步采集，可计算两者之间在不同维度的耦合关系如所述神经血管耦合特征集和所述耦合分析回归系数，从而表征大脑皮层的神经血管耦合关系；与此同时，视网膜结构数据包括视网膜血流的动力学信息，进一步计算视网膜结构数据与所述脑电数据和所述脑氧数据之间的动态关联特征如所述多模态融合相似度序列，能够反映不同大脑功能区域之间的病症表达信息，以达到辅助全方位显示慢性病症的病变过程的目的，进一步提高在步骤S400中构建脑部病症辅助识别模型的预测精度）。
进一步地，在S301中，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集的方法为：将所述神经血管耦合特征集记作NCC，NCC={MCC, PCV, MCE, R(△t)}；其中，所述脑氧数据包括在时域上与血红蛋白的相对浓度变化有关的光强度值，所述脑电数据包括在时域上脑电信号的采样值，计算NCC的具体方法为：
S3011，MCC表示为所述脑氧数据和所述脑电数据的多模态相关系数，其计算公式为：
Figure SMS_2
；
其中，x(t)为某一通道或某一节律上的脑电数据在时刻为变量t上的采样值，t∈[t1,t2]，t1为初始采集时刻，t2为结束采集时刻；
Figure SMS_3
为所述脑电数据在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为同一通道对应的脑氧数据在时刻为t上的光强度值，/>
Figure SMS_4
为所述脑氧数据在t∈[t1,t2]的采集时间段内y(t)的平均值；
S3012，PCV表示为所述脑氧数据和所述脑电数据的相位耦合度，其计算公式为：
Figure SMS_5
；
其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电数据的x(t)在t时刻的瞬时相位值，∅y(t)为所述脑氧数据的y(t)在t时刻的瞬时相位值, t∈[t1,t2]；
S3013，MCE表示为所述脑氧数据和所述脑电数据的多维度耦合变化序列，其计算公式为：
Figure SMS_6
；
Figure SMS_7
；
其中，对总采集时长为N的所述脑电数据在时刻为i上的采样值记作x(i)做粗粒化预处理，i∈[1, N]，N为在采集时间段内所述脑电数据在时域上的采样值总数；构造出计算长度为N/d的所述脑氧数据在时刻为j上的采样值记作y(j)，j ∈[1, N/d]，d为粗粒化处理的维度因子；e为y(j)的标准容许偏差，p为所述脑氧数据对应的常系数，STD为标准偏差函数，STD(y(j))表示为计算y(j)对应的标准偏差；以n为时间窗大小，将y(j)在j ∈[1, N/d]范围内分为（N/d-n+1）个序列，即令y(j)重构成n维的空间向量Y(k)，n∈[1, N/d]，k为序列变量，k∈[1, N/d-n+1]，n为重构的空间向量Y(k)的维数；Pbk(e)为空间向量Y(k)的第k个序列中计算各个元素与其余元素之间的距离中小于e值的统计数目，Pbk n(e)表示为Pbk(e)与在n维的空间向量Y(k)内各个元素与其余元素之间的距离总数的比值；Pbn(e)表示为在k值范围内计算Pbk n(e)值的平均值；进一步将重构的空间向量Y(k)增加为n+1维，重复计算Pbn+1(e)值，最后计算Pbn+1(e)与Pbn(e)的比值求ln自然对数并取其反值得到MCE(d)值，表示为维度因子为d对应的耦合变化度；分别计算多个d值对应的MCE(d)值构成多维度耦合变化序列MCE；
S3014，R(△t)表示为所述脑氧数据和所述脑电数据在时域上滞后时间差为△t的互相关指数，其计算公式为：
Figure SMS_8
；
其中，x(t)为所述脑电数据在t时刻的采样值，y(t)为所述脑氧数据在t时刻的光强度值，△t为所述脑氧数据相对于所述脑电数据的滞后时间差；在t∈[t1,t2]的采样时间段内计算对应的R(△t)值（为了提高多模态信息融合的关联性，所述脑电数据和所述脑氧数据在集成采集系统中同步采集，在步骤S301中在时间序列上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集，通过上述计算得到不同模态的两者之间的多模态相关系数、相位耦合度、多维度耦合变化序列以及互相关指数，能更全面准确地反映由脑氧脑电同时检测大脑皮层的神经血管得到的交叉耦合特征，能够反应更深层次的生理信号与慢性病症的相关程度，用于表征与脑部病症的耦合关系）。
进一步地，在S303中，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列的具体方法为：
S3031，分别计算所述脑电数据和所述脑氧数据在各个时刻上对应的欧氏距离，构成多模态距离矩阵记作ED，其计算公式为：
Figure SMS_9
；
其中，x(i)表示为所述脑电数据或者所述脑氧数据在时域上第i个时刻对应的信号序列，其中i∈[1,n]，n为所述脑电数据或者所述脑氧数据在时域上的采样值总数，记为n维；y(j)表示为所述视网膜结构数据在时域上第j个时刻对应的信号序列，其中j∈[1,m]，m为所述视网膜结构数据在时域上的采样值总数，记为m维； ED(i,j)表示为所述多模态距离矩阵在第i行第j列的元素大小，所述多模态距离矩阵大小为n×m；
S3032，根据所述多模态距离矩阵，进一步计算多模态累计距离矩阵记作DP，其计算公式为：
Figure SMS_10
；
Figure SMS_11
；
其中，DP(i,j)表示为所述多模态累计距离矩阵在第i行第j列的元素大小，min函数为取最小值，即计算从第1行第1列起平移至当前位置为第i行第j列的ED(i,j)的元素对应的累计欧式距离，并取当前位置的上下相邻元素中的最小值作为对应的DP(i,j)，重复计算矩阵大小为n×m个位置构建得到所述多模态累计距离矩阵DP；
S3033，所述多模态累计距离矩阵中对应第i行第j列的元素大小，即为所述脑氧数据或者所述脑电数据在第i个时刻与所述视网膜结构数据在第j个时刻对应的多模态融合相似度量值；其中所述脑氧数据或者所述脑电数据在i∈[1,n]的采集时间段内对应的多模态融合相似度量值构成多模态融合相似度序列（在步骤S303中，进一步计算视网膜结构数据分别与脑电数据和脑氧数据之间的动态关联特征，用多模态累计距离矩阵表征其相关程度，选择累计距离最小值为多模态融合相似度量值，能够较好反映视网膜血流量等与不同大脑功能区域之间的病症表达特征，有效避免单一生理参数测量误差导致的噪声干扰）。
根据本公开的另一方面，还提供一种便携式多信息融合分析及干预评估方法，所述方法包括以下步骤：
S100，利用非侵入式测量方法采集待测者的大脑以及视网膜的多模态生理信号数据集，其中所述多模态生理信号数据集包括脑氧数据、脑电数据和视网膜结构数据；
S200，对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
S300，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
S400，根据所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表，得到对应的脑部病症类别；
S500，基于所述脑部病症类别对待测者进行早期干预评估。
进一步地，在S400中，根据所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表，得到对应的脑部病症类别的方法为：
S401，设定一定比例将所述动态融合特征集划分为训练数据集、测试数据集和验证数据集，然后使用训练数据集利用分类算法进行模型训练，构建初级分类模型；
S402，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；
S403，利用 BP神经网络模型、多层感知网络(MLP)、卷积神经网络(CNN)作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为脑部病症辅助识别初级模型；
S404，利用测试数据集进一步对所述脑部病症辅助识别初级模型进行优化训练，得到最优的脑部病症辅助识别模型；并利用验证数据集对所述脑部病症辅助识别模型进行评估得到识别准确率；
S405，判断所述识别准确率大于或等于预设精度阈值时，获得对应的所述动态融合特征集中的各个特征与各个脑部症状表征的映射关系，构建得到所述动态融合特征集对应的脑部症状标准映射表，所述脑部病症辅助识别模型输出得到对应的脑部病症类别。
进一步地，在S500中，基于所述脑部病症类别对待测者进行早期干预评估的具体方法为：基于所述脑部病症的分类结果，对多个待测者制定多种组合形式的干预治疗方案，进行多种早期干预刺激；并重复步骤S100~S300的计算过程，获得干预后的动态融合特征集，根据所述脑部症状标准映射表，得到对应干预后的脑部病症类别；进一步比较所述动态融合特征集与所述干预后的动态融合特征集之间的变化情况，以量化早期干预治疗的评价结果（现有的量化评价方式，即对比不同阶段采集计算的识别特征，用于表达早期干预治疗的量化效果，但是存在识别特征与病症演化的相关度较低的问题，一般只能用于区分病症与健康被试的识别因子；本申请提出采用事件相关的早期干预刺激范式实验，同步采集待测者脑电和脑氧数据，计算两个时序信号的同步耦合时差特征，用以表达大脑反应能力和脑血管能力水平，通过步骤S400计算获得的动态融合特征集对应的脑部症状标准映射表，其与脑部症状的关联性更强，作为对病症干预治疗后的量化评价会更加准确）。
如上所述，本发明所述的一种便携式多信息融合分析及干预评估系统及方法，具有以下有益效果：（1）数据采集设备可便携集成一体化，检测场景简易便捷，减轻患者的问诊负担和检测难度，令神经退行性精神疾病实现及时早期诊断和治疗；（2）利用多维度动态融合分析得到动态融合特征集，能够反映不同大脑功能区域之间的病症表达信息，以达到辅助全方位显示慢性病症的病变过程的目的；（3）在一定程度上解决单一生理参数进行病症识别的识别准确度较低且特征与病症相关性较差的问题，有效避免单一生理参数测量误差导致的噪声干扰；（4）多维度进行早期干预治疗，能够大幅提升大脑多区域的同步性神经振荡，提高了干预治疗的效果；（5）其量化结果能作为辅助阿尔茨海默症患者早期诊断的重要指标和评估标准。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种便携式多信息融合分析及干预评估方法于一实施例中的流程图；
图2所示为一种便携式多信息融合分析及干预评估系统于一实施例中的系统结构图；
图3所述为一种便携式多模态非侵入式数据采集装置于一实施例中的数据交互示意图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本发明的一种便携式多信息融合分析及干预评估方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种便携式多信息融合分析及干预评估方法。本公开提出一种便携式多信息融合分析及干预评估方法，所述方法具体包括以下步骤：
S100，利用非侵入式测量方法采集待测者的大脑以及视网膜的多模态生理信号数据集，其中所述多模态生理信号数据集包括脑氧数据、脑电数据和视网膜结构数据；
S200，对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
S300，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
S400，根据所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表，得到对应的脑部病症类别；
S500，基于所述脑部病症类别对待测者进行早期干预评估。
进一步地，在S100中，所述非侵入式测量方法包括脑电信号检测、近红外光谱检测、光学相干断层扫描检测；所述脑氧数据通过近红外光谱仪采集待测者大脑皮层的散射光强度连续变化，计算得到动态的脑氧数据，包括与氧合血红蛋白和脱氧血红蛋白的相对浓度变化有关的光强度；所述脑电数据为放置在大脑头皮多个电极之间随时间变化的电位差的采样值；所述视网膜结构数据通过光学相干断层扫描仪对待测者的视网膜进行静态采集，在采集时间段内获得待测者的视网膜血流量、视网膜神经纤维层厚度和神经节细胞层厚度。
优选地，在本具体实施例中，所述计算得到动态的脑氧数据的具体方法包括：根据计算与血红蛋白的相对浓度变化有关的光强度的动态变化，其中光强度的计算公式为：
Figure SMS_12
；
其中，OD为与血红蛋白的相对浓度变化有关的光强度的大小，I0为所述近红外光源的发光强度，I为由探测器获取散射的测量光强度，
Figure SMS_13
为衰减系数，[X]为血红蛋白的相对浓度，包括氧合血红蛋白和脱氧血红蛋白；L为近红外光源与探测器之间的源探距离，DPF为差分路径长度因子，用于校正待测者的血红蛋白浓度变化大小由于个体年龄差异带来的计算误差，GJ为与散射相关的几何因子；其中，DPF的计算公式为：
Figure SMS_14
；
其中， Age为待测者的个体年龄值。
进一步地，在S200中，对所述多模态生理信号数据集进行数据预处理的具体方法包括：异常剔除处理、去噪处理和基线校正，其中所述去噪处理至少包括采用小波滤波用于去除运动伪影、采用低通滤波和高通滤波用于去除生理噪声、采用主成分分析方法用于滤除眼电、心电以及其他伪迹成分中的其中一种。
优选地，在本具体实施例中，对所述多模态生理信号数据集进行信号预处理的步骤包括：对所述多模态生理信号数据集进行异常剔除处理如插值计算，删除异常波动的时间段信号，以及进行去噪处理；具体地，包括采用小波滤波去除运动伪影，50Hz工频降噪和0.5-90Hz带通滤波处理；其次对所述脑电数据进行基线校正和REST重参考，使用ICA滤除眼电、心电以及其他伪迹成分，进一步集合预处理后的脑氧数据、脑电数据和视网膜结构数据得到所述多模态信息数据集。
进一步地，在S300中，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集的方法为：
S301，根据所述多模态信息数据集，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集，用于表征待测者的神经性病症特征；所述神经血管耦合特征集包括多模态相关系数、相位耦合度、多维度耦合变化序列和互相关指数；
S302，根据所述多模态信息数据集，基于FIR基函数的一般线性模型构建所述脑氧数据和所述脑电数据之间的连接函数，利用耦合分析回归系数表征二者的拟合关系，其计算公式为：
Figure SMS_15
；
其中， γ为计算得到的耦合分析回归系数，X为所述脑电数据的脑电信号中alpha、beta、gamma节律与FIR基函数卷积得到的矩阵，ε是误差项，β为所述脑氧数据与所述脑电数据之间的回归系数值；
S303，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列；
S304，构建动态融合特征集，包括所述神经血管耦合特征集、所述耦合分析回归系数以及所述多模态融合相似度序列。
进一步地，在S301中，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集的方法为：将所述神经血管耦合特征集记作NCC，NCC={MCC, PCV, MCE, R(△t)}；其中，所述脑氧数据包括在时域上与血红蛋白的相对浓度变化有关的光强度值，所述脑电数据包括在时域上脑电信号的采样值，计算NCC的具体方法为：
S3011，MCC表示为所述脑氧数据和所述脑电数据的多模态相关系数，其计算公式为：
Figure SMS_16
；
其中，x(t)为某一通道或某一节律上的脑电数据在时刻为t上的采样值，t∈[t1,t2]，t1为初始采集时刻，t2为结束采集时刻；
Figure SMS_17
为所述脑电数据在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为同一通道对应的脑氧数据在时刻为t上的光强度值，/>
Figure SMS_18
为所述脑氧数据在t∈[t1,t2]的采集时间段内y(t)的平均值；
S3012，PCV表示为所述脑氧数据和所述脑电数据的相位耦合度，其计算公式为：
Figure SMS_19
；
其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电数据的x(t)在t时刻的瞬时相位值，∅y(t)为所述脑氧数据的y(t)在t时刻的瞬时相位值, t∈[t1,t2]；
S3013，MCE表示为所述脑氧数据和所述脑电数据的多维度耦合变化序列，其计算公式为：
Figure SMS_20
；
Figure SMS_21
；
其中，对总采集时长为N的所述脑电数据在时刻为i上的采样值记作x(i)做粗粒化预处理，i∈[1, N]，N为在采集时间段内所述脑电数据在时域上的采样值总数；构造出计算长度为N/d的所述脑氧数据在时刻为j上的采样值记作y(j)，j ∈[1, N/d]，d为粗粒化处理的维度因子；e为y(j)的标准容许偏差，p为所述脑氧数据对应的常系数，STD为标准偏差函数，STD(y(j))表示为计算y(j)对应的标准偏差；以n为时间窗大小，将y(j)在j ∈[1, N/d]范围内分为（N/d-n+1）个序列，即令y(j)重构成n维的空间向量Y(k)，n∈[1, N/d]，k为序列变量，k∈[1, N/d-n+1]，n为重构的空间向量Y(k)的维数；Pbk(e)为空间向量Y(k)的第k个序列中计算各个元素与其余元素之间的距离中小于e值的统计数目，Pbk n(e)表示为Pbk(e)与在n维的空间向量Y(k)内各个元素与其余元素之间的距离总数的比值；Pbn(e)表示为在k值范围内计算Pbk n(e)值的平均值；进一步将重构的空间向量Y(k)增加为n+1维，重复计算Pbn+1(e)值，最后计算Pbn+1(e)与Pbn(e)的比值求ln自然对数并取其反值得到MCE(d)值，表示为维度因子为d对应的耦合变化度；分别计算多个d值对应的MCE(d)值构成多维度耦合变化序列MCE；
S3014，R(△t)表示为所述脑氧数据和所述脑电数据在时域上滞后时间差为△t的互相关指数，其计算公式为：
Figure SMS_22
；
其中，x(t)为所述脑电数据在t时刻的采样值，y(t)为所述脑氧数据在t时刻的光强度值，△t为所述脑氧数据相对于所述脑电数据的滞后时间差；在t∈[t1,t2]的采样时间段内计算对应的R(△t)值。
进一步地，在S303中，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列的具体方法为：
S3031，分别计算所述脑电数据和所述脑氧数据在各个时刻上对应的欧氏距离，构成多模态距离矩阵记作ED(n,m)，其计算公式为：
Figure SMS_23
；
其中，x(i)表示为所述脑电数据或者所述脑氧数据在时域上第i个时刻对应的信号序列，其中i∈[1,n]，n为所述脑电数据或者所述脑氧数据在时域上的采样值总数，记为n维；y(j)表示为所述视网膜结构数据在时域上第j个时刻对应的信号序列，其中j∈[1,m]，m为所述视网膜结构数据在时域上的采样值总数，记为m维； ED(i,j)表示为所述多模态距离矩阵在第i行第j列的元素大小，所述多模态距离矩阵大小为n×m；
S3032，根据所述多模态距离矩阵，进一步计算多模态累计距离矩阵记作DP(n,m)，其计算公式为：
Figure SMS_24
；
Figure SMS_25
；
其中，DP(i,j)表示为所述多模态累计距离矩阵在第i行第j列的元素大小，min函数为取最小值，即计算从第1行第1列起平移至当前位置为第i行第j列的ED(i,j)的元素对应的累计欧式距离，并取当前位置的上下相邻元素中的最小值作为对应的DP(i,j)，重复计算矩阵大小为n×m个位置构建得到所述多模态累计距离矩阵DP(n,m)；
S3033，所述多模态累计距离矩阵中对应第i行第j列的元素大小，即为所述脑氧数据或者所述脑电数据在第i个时刻与所述视网膜结构数据在第j个时刻对应的多模态融合相似度量值；其中所述脑氧数据或者所述脑电数据在i∈[1,n]的采集时间段内对应的多模态融合相似度量值构成多模态融合相似度序列。
进一步地，在S400中，根据所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表，得到对应的脑部病症类别的方法为：
S401，设定一定比例将所述动态融合特征集划分为训练数据集、测试数据集和验证数据集，然后使用训练数据集利用分类算法进行模型训练，构建初级分类模型；优选地，所述分类算法包括但不限于支持向量机(SVM)、随机森林、K近邻算法（KNN）、多层感知网络(MLP)、卷积神经网络(CNN)等机器学习方法；
S402，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；
S403，利用 BP神经网络模型、多层感知网络(MLP)、卷积神经网络(CNN)作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为脑部病症辅助识别初级模型；
S404，利用测试数据集进一步对所述脑部病症辅助识别初级模型进行优化训练，得到最优的脑部病症辅助识别模型；并利用验证数据集对所述脑部病症辅助识别模型进行评估得到识别准确率；
S405，判断所述识别准确率大于或等于预设精度阈值时，获得对应的所述动态融合特征集中的各个特征与各个脑部症状表征的映射关系，构建得到所述动态融合特征集对应的脑部症状标准映射表，所述脑部病症辅助识别模型输出得到对应的脑部病症类别。
优选地，在本具体实施例中，所述脑部症状的类别包括：正常（NC）、主观记忆抱怨（SMC）、轻度认知功能障碍早期（EMCI）、轻度认知功能障碍晚期（LMCI）和阿尔茨海默症（AD）。
具体地，在一种可能的实施例中，需要考虑所述脑部病症辅助识别模型的识别准确率和运算时间，自行选择使用所述动态融合特征集中的某一项或多项特征作为训练数据集，从而尽可能地提高模型的识别效率；在步骤S300中所述动态融合特征集的计算过程需根据实际采样数量和采集样本特征以及所表现的特征明显度不同，在建立所述脑部病症辅助识别模型时对其训练数据集进行优化选择。
进一步地，在S500中，基于所述脑部病症类别对待测者进行早期干预评估的具体方法为：基于所述脑部病症的分类结果，对多个待测者制定多种组合形式的干预治疗方案，进行多种早期干预刺激；并重复步骤S100~S300的计算过程，获得干预后的动态融合特征集，根据所述脑部症状标准映射表，得到对应干预后的脑部病症类别；进一步比较所述动态融合特征集与所述干预后的动态融合特征集之间的变化情况，以量化早期干预治疗的评价结果。
具体地，在本具体实施例中，所述脑部病症辅助识别模型的输出为脑部病症类别，而实际进行早期干预刺激的待测者包括但不限于SMC、EMCI、LMCI三种类别的患者。因为对于早期阿尔茨海默症的病症表现，进行合理的干预治疗是可以延缓病症的发展，提升老年生活的幸福感，而对于已经确诊或者病症比较严重的阶段，进行辅助干预治疗的效果并不明显，可能需要通过前往医院进行专业的病症治疗以及口服特定药物的方式进行病症的治疗。而目前针对阿尔茨海默症以及早期认知功能障碍的病症，治愈的方式和药物仍在进一步研究和验证。
具体地，在本具体实施例中，所述早期干预刺激包括光声耦合刺激结合主动认知任务训练，选择40Hz的光声耦合刺激方案，其中光闪烁刺激包括但不限于白光、红光、紫光和蓝光，在实际干预场景中，可以是在待测者前方放置闪烁的灯带、灯泡或者一个颜色显示屏；声音方案可以将40Hz的音频融合进较为悦耳的音乐或者自然声音中，通过在场景中放置播放音响实现音频的播放；在进行40Hz光声耦合刺激方案的同时，进行简单认知任务训练，以增强大脑认知功能区域中，光声耦合刺激对同频认知功能脑区的神经同步振荡强度，提高干预刺激的治疗效果。
优选地，在另一种可能的实施例中，可以将光声耦合刺激合并为一个装置，即类似头戴式盔壳装置，佩戴于受试者头上，在两侧耳朵部位分别有音频输出，在目视的正前方有颜色显示；从而能够起到反复激活大脑认知功能区域的神经振荡活力，尽可能恢复大脑的认知功能，以延缓脑部神经性病症的病变发展。
优选地，在另一种可能的实施例中，进行简单认知任务训练包括以下内容：
1）记忆力训练，通过简单问询的方法，包括今天吃了什么东西、今天的日期、亲人的名字及患者过去使用的物品等；
2）语言和理解力训练，包括从显示器中识数、识字、识图或观看一段视频，并通过口述讲出看到的内容；
3）综合认知能力训练，使用头戴式虚拟现实设备，包括VR、AR或MR技术设备，生成不同生活或娱乐场景，包括简单拼图、下五子棋、切水果游戏、指定任务的超市购物和家庭常用物品的摆放等。
优选地，在另一种可能的实施例中，所述早期干预刺激的时长应针对不同的病症程度和待测者人群，进行合理的时间调整；其中，单次干预刺激的时间控制在1小时以内，每天的干预刺激次数控制在2次以内，刺激疗程以一个月为一个干预刺激周期。
优选地，在另一种可能的实施例中，所述量化早期干预治疗的评价结果可对干预治疗过程分为前中后三个不同阶段进行治疗效果的量化评价，即所述早期干预刺激的前后两个时间节点以及干预过程的中期时间点（也即干预刺激两周左右）；完成事件相关的干预刺激范式实验，如观看视频或者听音频的刺激方式进行数据信号采集，具体地，观看的视频内容可以是静态数字的认知刺激、家庭常用物品的刺激或家庭成员姓名的刺激等，音频刺激可以是数字阅读、文字阅读或者音乐欣赏等；同步采集不同阶段对应的所述脑电数据、所述脑氧数据和所述视网膜结构数据，进行时序上的多模态多维度耦合分析，例如采集获得脑电信号EEG和近红外脑氧信号fNIRS，对比EEG在干预刺激后多久产生反应和fNIRS在EEG反应后多久产生激增，从而表征大脑的反应能力水平和脑血管供血能力强度；同时比较视网膜血流动力学信息和结构上的变化情况，能更直观地体现大脑反应能力和脑血管功能恢复效果，使得干预治疗效果的量化评价结果更加客观真实。
如图2所示为本公开的一种便携式多信息融合分析及干预评估系统结构图，所述处理器执行所述计算机程序运行在以下系统的单元中：
生理信号数据采集单元，利用一种便携式多模态非侵入式数据采集装置采集获得待测者的大脑以及视网膜的多模态生理信号数据集；
多模态数据预处理单元，用于对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
多维度动态融合处理单元，用于对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
脑部病症辅助识别模型建立单元，用于根据所述动态融合特征集，结合集成学习方法构建集成初级模型，将集成初级模型的输出作为集成次级模型的输入，进行优化训练得到脑部病症辅助识别模型；
干预治疗量化评估单元，根据所述脑部病症辅助识别模型，构建所述动态融合特征集对应的脑部症状标准映射表，进一步量化早期干预治疗评价结果。
优选地，在本具体实施例中，本发明提出一种便携式多模态非侵入式数据采集装置以满足社区医疗机构的便携诊断需求，所述便携式多模态非侵入式数据采集装置包括脑电信号采集设备、近红外光谱脑氧采集设备和光学相干断层扫描视网膜数据采集设备，如图3所示。其中，所述脑电采集电极装置的脑电采集电极头与所述近红外光谱脑氧采集设备的光感应模块分别交叉安放，集成在一个头戴式采集帽上，以覆盖待测者的大脑全头皮区域，也可优化安置区域集中在大脑左右半球的前额叶区域和后额叶区域，因为该特定脑区主要是大脑负责精神和思维功能的区域，与病症的发展相关。所述脑电采集电极头包括分为湿式电极头和干式电极头，优选使用湿式电极头。所述光学相干断层扫描视网膜数据采集设备设于待测者的面部正前方，在数据采集时待测者下巴放在设备指定位置处，调整设备采集中心与待测者的瞳孔位置对齐，且保持睁眼状态进行静态采集。
优选地，在另一种可能的实施例中，所述脑电信号采集设备和所述近红外光谱脑氧采集设备进行同步数据获取，同步动态采集连续十分钟的脑氧数据和脑电数据。所述光学相干断层扫描视网膜数据采集设备在所述脑氧数据和脑电数据采集完成之后开始采集操作，采集待测者静息态的视网膜结构数据，采集时长优选持续一分钟以上。
优选地，在另一种可能的实施例中，所述脑电信号采集设备和所述近红外光谱脑氧采集设备具有静息态和任务态两种采集方式，根据实际待测者的参与度和病症严重程度进行统一化选择。其中，选择静息态数据采集时，待测者保持放松坐姿状态，可以闭眼但需保持清醒，采集过程中避免交谈且不可入睡；选择任务态数据采集时，根据待测者的年龄、性别、智力水平、肢体运动能力和病症状态，制定相对简单的认知任务和刺激任务，待测者在参与任务的过程中完成数据采集。
优选地，在另一种可能的实施例中，所述脑电信号采集设备、近红外光谱脑氧采集设备和光学相干断层扫描视网膜数据采集设备可选择性地电性连接于同一上位机控制模块，或通过蓝牙或无线传输的方式将数据发送到同一上位机控制模块，与所述一种便携式多信息融合分析及干预评估系统的生理信号数据采集单元建立数据传输，如图3所示。所述便携式多模态非侵入式数据采集装置的操作较为简单，满足普通社区医疗工作人员经过简单培训便可操作使用的需求。
优选地，在另一种可能的实施例中，在采集获得待测者的大脑以及视网膜的多模态生理信号数据集之前，应对待测者的基本身体信息和既往病史等进行登记，包括年龄、性别、身高、体重、文化程度、既往慢性病史、近期不适症状、是否有记忆衰退或肢体运动不协调现象等，记录构建各个待测者对应的病症监护随身日记。
优选地，在本具体实施例中，所述近红外光谱脑氧采集设备使用多通道近红外光谱采集系统，选用连续波照射模式测量待测者头部并采集大脑皮层散射的光衰减；其中，所述连续波照射模式选用恒定频率和恒定振幅作为近红外光源，利用探测器采集大脑皮层散射的测量光强度数据，进一步通过计算得到动态的脑氧数据，包括氧合血红蛋白HbO2和脱氧血红蛋白数据HbR的浓度动态变化。
优选地，在本具体实施例中，所述脑电信号采集设备选用脑电图10-20系统，通过脑电图10-20系统的64通道脑电信号采集得到动态的脑电数据，选用3厘米的源-探测器距离，设定采集频率为1000Hz。
优选地，在本具体实施例中，所述光学相干断层扫描视网膜数据采集设备使用光学相干断层扫描血管成像（OCT/A）进行视网膜结构数据获取，使用相关配套软件在采集时间段内计算在3mm×3mm和6mm×6mm网格图像中对应的视网膜血流量，包括平均血管密度（VD）和灌注密度（PD）；进一步测量对应的神经纤维层厚度和神经节细胞层厚度。
所述一种便携式多信息融合分析及干预评估系统可以运行于桌上型计算机、笔记本、掌上电脑及云端数据中心等计算设备中。所述一种便携式多信息融合分析及干预评估系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种便携式多信息融合分析及干预评估系统及方法的示例，并不构成对一种便携式多信息融合分析及干预评估系统及方法的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种便携式多信息融合分析及干预评估系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-ProgrammHCO3-le Gate Array，FPGA) 或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种便携式多信息融合分析及干预评估系统的控制中心，利用各种接口和线路连接整个一种便携式多信息融合分析及干预评估系统的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种便携式多信息融合分析及干预评估系统及方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (9)

1.一种便携式多信息融合分析及干预评估系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序包括以下单元：
生理信号数据采集单元，用于利用一种便携式多模态非侵入式数据采集装置采集获得待测者的大脑以及视网膜的多模态生理信号数据集；
多模态数据预处理单元，用于对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
多维度动态融合处理单元，用于对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
脑部病症辅助识别模型建立单元，用于根据所述动态融合特征集，结合集成学习方法构建集成初级模型，将集成初级模型的输出作为集成次级模型的输入，进行优化训练得到脑部病症辅助识别模型；
干预治疗量化评估单元，根据所述脑部病症辅助识别模型，构建所述动态融合特征集对应的脑部症状标准映射表，进一步量化早期干预治疗评价结果；
其中，所述一种便携式多模态非侵入式数据采集装置，包括脑电信号采集设备、近红外光谱脑氧采集设备和光学相干断层扫描视网膜数据采集设备；
其中，在所述多维度动态融合处理单元中，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集的具体步骤为：
S301，根据所述多模态信息数据集，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集，用于表征待测者的神经性病症特征；所述神经血管耦合特征集包括多模态相关系数、相位耦合度、多维度耦合变化序列和互相关指数；
S302，根据所述多模态信息数据集，基于FIR基函数的一般线性模型构建所述脑氧数据和所述脑电数据之间的连接函数，利用耦合分析回归系数表征二者的拟合关系，其计算公式为：
Figure QLYQS_1
；
其中， γ为计算得到的耦合分析回归系数，X为所述脑电数据的脑电信号中alpha、beta、gamma节律与FIR基函数卷积得到的矩阵，ε是误差项，β为所述脑氧数据与所述脑电数据之间的回归系数值；
S303，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列；
S304，构建动态融合特征集，包括所述神经血管耦合特征集、所述耦合分析回归系数以及所述多模态融合相似度序列；
所述系统运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。
2.根据权利要求1所述的一种便携式多信息融合分析及干预评估系统，其特征在于，在所述生理信号数据采集单元中，所述多模态生理信号数据集至少包括脑氧数据、脑电数据和视网膜结构数据；其中，
所述脑氧数据通过近红外光谱仪采集待测者大脑皮层的散射光强度连续变化，计算得到动态的脑氧数据，包括与氧合血红蛋白和脱氧血红蛋白的相对浓度变化有关的光强度；
所述脑电数据为放置在大脑头皮多个电极之间随时间变化的电位差的采样值；
所述视网膜结构数据通过光学相干断层扫描仪对待测者的视网膜进行静态采集，在采集时间段内获得待测者的视网膜血流量、视网膜神经纤维层厚度和神经节细胞层厚度。
3.根据权利要求1所述的一种便携式多信息融合分析及干预评估系统，其特征在于，在所述多模态数据预处理单元中，对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集的具体步骤包括：异常剔除处理、去噪处理和基线校正，其中所述去噪处理至少包括采用小波滤波用于去除运动伪影、采用低通滤波和高通滤波用于去除生理噪声、采用主成分分析方法用于滤除眼电、心电以及其他伪迹成分中的其中一种。
4.根据权利要求1所述的一种便携式多信息融合分析及干预评估系统，其特征在于，在所述S301中，根据所述多模态信息数据集，在时域上计算所述脑氧数据和脑电数据之间的神经血管耦合特征集的具体步骤为：将所述神经血管耦合特征集记作NCC，NCC={MCC, PCV,MCE, R(△t)}；其中，所述脑氧数据包括在时域上与血红蛋白的相对浓度变化有关的光强度值，所述脑电数据包括在时域上脑电信号的采样值，计算NCC的具体方法为：
S3011，MCC表示为所述脑氧数据和所述脑电数据的多模态相关系数，其计算公式为：
Figure QLYQS_2
；
其中，x(t)为某一通道或某一节律上的脑电数据在时刻为变量t上的采样值，t∈[t1,t2]，t1为初始采集时刻，t2为结束采集时刻；
Figure QLYQS_3
为所述脑电数据在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为同一通道对应的脑氧数据在时刻为t上的光强度值，/>
Figure QLYQS_4
为所述脑氧数据在t∈[t1,t2]的采集时间段内y(t)的平均值；
S3012，PCV表示为所述脑氧数据和所述脑电数据的相位耦合度，其计算公式为：
Figure QLYQS_5
；
其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电数据的x(t)在t时刻的瞬时相位值，∅y(t)为所述脑氧数据的y(t)在t时刻的瞬时相位值, t∈[t1,t2]；
S3013，MCE表示为所述脑氧数据和所述脑电数据的多维度耦合变化序列，其计算公式为：
Figure QLYQS_6
；
Figure QLYQS_7
；
其中，对总采集时长为N的所述脑电数据在时刻为i上的采样值记作x(i)做粗粒化预处理，i∈[1, N]，N为在采集时间段内所述脑电数据在时域上的采样值总数；构造出计算长度为N/d的所述脑氧数据在时刻为j上的采样值记作y(j)，j ∈[1, N/d]，d为粗粒化处理的维度因子；e为y(j)的标准容许偏差，p为所述脑氧数据对应的常系数，STD为标准偏差函数，STD(y(j))表示为计算y(j)对应的标准偏差；以n为时间窗大小，将y(j)在j ∈[1, N/d]范围内分为（N/d-n+1）个序列，即令y(j)重构成n维的空间向量Y(k)，n∈[1, N/d]，k为序列变量，k∈[1, N/d-n+1]，n为重构的空间向量Y(k)的维数；Pbk(e)为空间向量Y(k)的第k个序列中计算各个元素与其余元素之间的距离中小于e值的统计数目，Pbk n(e)表示为Pbk(e)与在n维的空间向量Y(k)内各个元素与其余元素之间的距离总数的比值；Pbn(e)表示为在k值范围内计算Pbk n(e)值的平均值；进一步将重构的空间向量Y(k)增加为n+1维，重复计算Pbn+1(e)值，最后计算Pbn+1(e)与Pbn(e)的比值求ln自然对数并取其反值得到MCE(d)值，表示为维度因子为d对应的耦合变化度；分别计算多个d值对应的MCE(d)值构成多维度耦合变化序列MCE；
S3014，R(△t)表示为所述脑氧数据和所述脑电数据在时域上滞后时间差为△t的互相关指数，其计算公式为：
Figure QLYQS_8
；
其中，x(t)为所述脑电数据在t时刻的采样值，y(t)为所述脑氧数据在t时刻的光强度值，△t为所述脑氧数据相对于所述脑电数据的滞后时间差；在t∈[t1,t2]的采样时间段内计算对应的R(△t)值。
5.根据权利要求1所述的一种便携式多信息融合分析及干预评估系统，其特征在于，在S303中，根据所述多模态信息数据集，分别计算所述脑氧数据、所述脑电数据与视网膜结构数据之间的多模态融合相似度序列的具体方法为：
S3031，分别计算所述脑电数据和所述脑氧数据在各个时刻上对应的欧氏距离，构成多模态距离矩阵记作ED，其计算公式为：
Figure QLYQS_9
；
其中，x(i)表示为所述脑电数据或者所述脑氧数据在时域上第i个时刻对应的信号序列，其中i∈[1,n]，n为所述脑电数据或者所述脑氧数据在时域上的采样值总数，记为n维；y(j)表示为所述视网膜结构数据在时域上第j个时刻对应的信号序列，其中j∈[1,m]，m为所述视网膜结构数据在时域上的采样值总数，记为m维； ED(i,j)表示为所述多模态距离矩阵在第i行第j列的元素大小，所述多模态距离矩阵大小为n×m；
S3032，根据所述多模态距离矩阵，进一步计算多模态累计距离矩阵记作DP，其计算公式为：
Figure QLYQS_10
；
Figure QLYQS_11
；
其中，DP(i,j)表示为所述多模态累计距离矩阵在第i行第j列的元素大小，min函数为取最小值，即计算从第1行第1列起平移至当前位置为第i行第j列的ED(i,j)的元素对应的累计欧式距离，并取当前位置的上下相邻元素中的最小值作为对应的DP(i,j)，重复计算矩阵大小为n×m个位置构建得到所述多模态累计距离矩阵DP；
S3033，所述多模态累计距离矩阵中对应第i行第j列的元素大小，即为所述脑氧数据或者所述脑电数据在第i个时刻与所述视网膜结构数据在第j个时刻对应的多模态融合相似度量值；其中所述脑氧数据或者所述脑电数据在i∈[1,n]的采集时间段内对应的多模态融合相似度量值构成多模态融合相似度序列。
6.一种便携式多信息融合分析及干预评估方法，采用如权利要求1-5中任一项所述的一种便携式多信息融合分析及干预评估系统，其特征在于，所述方法包括以下步骤：
S100，利用非侵入式测量方法采集待测者的大脑以及视网膜的多模态生理信号数据集，其中所述多模态生理信号数据集包括脑氧数据、脑电数据和视网膜结构数据；
S200，对所述多模态生理信号数据集进行信号预处理，得到多模态信息数据集；
S300，对所述多模态信息数据集进行多维度动态融合分析，建立动态融合特征集；
S400，根据所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表，得到对应的脑部病症类别。
7.根据权利要求6所述一种便携式多信息融合分析及干预评估方法，其特征在于，在S100中，所述非侵入式测量方法包括：脑电信号检测、脑氧近红外光谱检测、视网膜光学相干断层扫描检测。
8.根据权利要求7所述一种便携式多信息融合分析及干预评估方法，其特征在于，在S400中，具体的方法为，输入所述动态融合特征集建立脑部病症辅助识别模型，构建得到所述动态融合特征集对应的脑部症状标准映射表：
S401，设定一定比例将所述动态融合特征集划分为训练数据集、测试数据集和验证数据集，然后使用训练数据集利用分类算法进行模型训练，构建初级分类模型；
S402，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；
S403，利用 BP神经网络、多层感知网络(MLP)或卷积神经网络(CNN)模型作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为脑部病症辅助识别初级模型；
S404，利用测试数据集进一步对所述脑部病症辅助识别初级模型进行优化训练，得到最优的脑部病症辅助识别模型；并利用验证数据集对所述脑部病症辅助识别模型进行评估得到识别准确率；
S405，判断所述识别准确率大于或等于预设精度阈值时，获得对应的所述动态融合特征集中的各个特征与各个脑部症状表征的映射关系，构建得到所述动态融合特征集对应的脑部症状标准映射表，所述脑部病症辅助识别模型输出得到对应的脑部病症类别。
9.根据权利要求6所述一种便携式多信息融合分析及干预评估方法，其特征在于，所述方法还包括：S500，基于所述脑部病症类别对待测者进行早期干预评估，其具体方法为：基于所述脑部病症的分类结果，对多个待测者制定多种组合形式的干预治疗方案，进行多种早期干预刺激；并重复步骤S100~S300的计算过程，获得干预后的动态融合特征集，根据所述脑部症状标准映射表，得到对应干预后的脑部病症类别；进一步比较所述动态融合特征集与所述干预后的动态融合特征集之间的变化情况，以量化早期干预治疗的评价结果。
CN202310368422.3A 2023-04-10 2023-04-10 一种便携式多信息融合分析及干预评估系统及其方法 Active CN116092673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310368422.3A CN116092673B (zh) 2023-04-10 2023-04-10 一种便携式多信息融合分析及干预评估系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310368422.3A CN116092673B (zh) 2023-04-10 2023-04-10 一种便携式多信息融合分析及干预评估系统及其方法

Publications (2)

Publication Number Publication Date
CN116092673A CN116092673A (zh) 2023-05-09
CN116092673B true CN116092673B (zh) 2023-06-16

Family

ID=86206775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310368422.3A Active CN116092673B (zh) 2023-04-10 2023-04-10 一种便携式多信息融合分析及干预评估系统及其方法

Country Status (1)

Country Link
CN (1) CN116092673B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN117238483B (zh) * 2023-11-10 2024-02-27 哈尔滨海鸿基业科技发展有限公司 一种儿童脑瘫诊断设备
CN117648572B (zh) * 2024-01-30 2024-04-05 西南石油大学 基于虚拟现实和集成学习的认知评估方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193497A1 (zh) * 2016-05-09 2017-11-16 包磊 基于融合模型的智能化健康管理服务器、系统及其控制方法
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN113539493A (zh) * 2021-06-23 2021-10-22 吾征智能技术(北京)有限公司 一种利用多模态风险因素推断癌症风险概率的系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283070A1 (en) * 2004-06-21 2005-12-22 Celina Imielinska Systems and methods for qualifying symmetry to evaluate medical images
US10531806B2 (en) * 2013-12-17 2020-01-14 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
US20210338092A1 (en) * 2019-04-01 2021-11-04 The Regents Of The University Of California Portable device for quantitative measurement of tissue autoregulation and neurovascular coupling using eeg, metabolism, and blood flow diagnostics
CN111477299B (zh) * 2020-04-08 2023-01-03 广州艾博润医疗科技有限公司 结合脑电检测分析控制的声电刺激神经调控方法及装置
CN115131328A (zh) * 2022-07-14 2022-09-30 天津大学 一种多模态mri多病灶分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193497A1 (zh) * 2016-05-09 2017-11-16 包磊 基于融合模型的智能化健康管理服务器、系统及其控制方法
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN113539493A (zh) * 2021-06-23 2021-10-22 吾征智能技术(北京)有限公司 一种利用多模态风险因素推断癌症风险概率的系统

Also Published As

Publication number Publication date
CN116092673A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Hussain et al. Big-ECG: Cardiographic predictive cyber-physical system for stroke management
Anikwe et al. Mobile and wearable sensors for data-driven health monitoring system: State-of-the-art and future prospect
CN116092673B (zh) 一种便携式多信息融合分析及干预评估系统及其方法
Christie et al. Autonomic specificity of discrete emotion and dimensions of affective space: A multivariate approach
Wei et al. A multi-class automatic sleep staging method based on long short-term memory network using single-lead electrocardiogram signals
CN111386068A (zh) 基于摄像机的压力测量系统与方法
US20220095955A1 (en) Method and system to assess disease using multi-sensor signals
Al-Shargie Early detection of mental stress using advanced neuroimaging and artificial intelligence
Pereira et al. Biometric recognition: A systematic review on electrocardiogram data acquisition methods
CA3229112A1 (en) Methods and systems for engineering conduction deviation features from biophysical signals for use in characterizing physiological systems
Fernandez Rojas et al. A systematic review of neurophysiological sensing for the assessment of acute pain
Ahamad System architecture for brain-computer interface based on machine learning and internet of things
Hossain et al. A preliminary study on automatic motion artifact detection in electrodermal activity data using machine learning
CN116186502B (zh) 一种多模态视觉神经功能检测方法及其系统
Zhao et al. Wearable EEG-based real-time system for depression monitoring
Komal et al. A systematic review of the literature reporting on remote monitoring epileptic seizure detection devices
US20230055617A1 (en) Methods and Systems for Engineering Photoplethysmographic-Waveform Features From Biophysical Signals for Use in Characterizing Physiological Systems
Ribeiro et al. A New Intelligent Approach for Automatic Stress Levels Assessment based on Multiple Physiological Parameters Monitoring
Borik et al. On the cardiorespiratory coordination assessed by the photoplethysmography imaging technique
Czyżewski et al. Multifactor consciousness level assessment of participants with acquired brain injuries employing human–computer interfaces
Pérez Valero Automated Detection of Alzheimer's disease and other neurophysiological applications based on EEG
Wieser et al. Quantification of clinical scores through physiological recordings in low-responsive patients: a feasibility study
Arsalan et al. Human Stress Assessment: A Comprehensive Review of Methods Using Wearable Sensors and Non-wearable Techniques
Persiani et al. Biometric Data as Real-Time Measure of Physiological Reactions to Environmental Stimuli in the Built Environment. Energies 2021, 14, 232
홍승혁 Drowsiness Detection Based on Unconstrained Measurement of Biosignals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant