CN116525109A - 一种缺血性脑卒中患者康复预测模型建立方法 - Google Patents
一种缺血性脑卒中患者康复预测模型建立方法 Download PDFInfo
- Publication number
- CN116525109A CN116525109A CN202310246686.1A CN202310246686A CN116525109A CN 116525109 A CN116525109 A CN 116525109A CN 202310246686 A CN202310246686 A CN 202310246686A CN 116525109 A CN116525109 A CN 116525109A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- steps
- establishing
- following
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 208000006011 Stroke Diseases 0.000 title claims abstract description 23
- 230000000302 ischemic effect Effects 0.000 title claims abstract description 20
- 230000002490 cerebral effect Effects 0.000 title claims abstract description 18
- 206010008190 Cerebrovascular accident Diseases 0.000 title claims abstract description 17
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000011084 recovery Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 230000007774 longterm Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 210000004556 brain Anatomy 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 11
- 206010061216 Infarction Diseases 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 230000007574 infarction Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 9
- 210000004885 white matter Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 210000004884 grey matter Anatomy 0.000 claims description 4
- 210000000976 primary motor cortex Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims description 3
- 210000001638 cerebellum Anatomy 0.000 claims description 3
- 238000000546 chi-square test Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000007917 intracranial administration Methods 0.000 claims description 3
- 230000008449 language Effects 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 210000002637 putamen Anatomy 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 210000001103 thalamus Anatomy 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000019771 cognition Effects 0.000 claims 1
- 208000032382 Ischaemic stroke Diseases 0.000 abstract description 5
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 3
- 230000004064 dysfunction Effects 0.000 description 8
- 238000004393 prognosis Methods 0.000 description 4
- 206010020772 Hypertension Diseases 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004159 blood analysis Methods 0.000 description 2
- 230000003920 cognitive function Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 208000024806 Brain atrophy Diseases 0.000 description 1
- 238000000585 Mann–Whitney U test Methods 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000009535 clinical urine test Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及预测模型建立，尤其涉及一种缺血性脑卒中患者康复预测模型建立方法。其基于卒中患者的临床信息、检查评定、LIS检验结果、结构磁共振成像、和功能磁共振成像等，分别提取不同的数据特征和影像特征，并采取多任务学习和相互学习的思想，以深度学习为手段预测缺血性脑卒中患者在发病后三个月、六个月以及一年后的ADL恢复情况。其包括：S1、数据预处理。包括：数据特征提取、影像特征提取、深度特征提取。S2、基于深度互相学习的长期康复预测。包括：多模态特征融合、模型搭建、模型训练。
Description
技术领域
本发明涉及预测模型建立，尤其涉及一种缺血性脑卒中患者康复预测模型建立方法。
背景技术
缺血性脑卒中(脑梗)中有接近90％的患者的预后会存在不同的功能障碍，包括：运动功能障碍、感觉功能障碍、认知障碍、情绪障碍、言语和语言障碍、吞咽障碍、排泄障碍及心肺功能障碍，而这些功能障碍的恢复情况是影响患者预后日常生活活动能力(ADL)的主要因素。
循证医学证实，脑卒中康复是降低致残率最有效的方法。适应、再生和神经重塑是卒中恢复的三个基本机制，康复治疗可以有效辅助患者对受损功能进行补偿、帮助神经细胞恢复功能、对神经系统连接和排布进行重塑，是减轻并发症的最有效手段，及时、科学、系统的康复治疗可以有效帮助卒中患者重塑或修复大脑神经功能，降低致残率，恢复患者自主生活能力，减轻家庭负担，提升预后生活品质等。神经系统的恢复遵循非线性的对数模式，一般发病一年内的康复训练都被认为是有意义的，但是前三个月为最佳康复时间，前六个月为有效康复时间，如果能准确预测三个月、六个月和一年后患者的康复状态有助于医生制定康复方案，增强患者信心，合理安排康复进度等。
临床上，一般使用美国国立卫生研究院卒中量表(NIHSS)、简易精神状态检查(MMSE)、肌张力痉挛评定量表(Ashworth)、Fugl-Meyer运动功能评定量表(FMA)等多种量表来评估患者的功能受损情况、生活能力等，使用电子计算机断层扫描(CT)、结构磁共振成像(sMRI)、功能磁共振成像(fMRI)、脑电图(EEG)、脑磁图(MEG)和功能近红外谱成像(fNIRS)等医学影像对患者的发病位置、严重程度等进行定性和定量分析，使用临床指标评估患者的身体状态、基础疾病等。为了实现缺血性脑卒中的精准康复预测，考虑采用不同时期的多种数据模态对整个康复进程进行预测。
发明内容
本发明就是针对现有技术存在的缺陷，提供一种缺血性脑卒中患者康复预测模型建立方法。其基于卒中患者的临床信息、检查评定、LIS检验结果、结构磁共振成像(sMRI)和功能磁共振成像(fMRI)等，分别提取不同的数据特征和影像特征，并采取多任务学习和相互学习的思想，以深度学习为手段预测缺血性脑卒中患者在发病后三个月、六个月以及一年后的ADL恢复情况(用Barthel量表得分作为评价金标准)。
为实现上述目的，本发明采用如下技术方案，包括：
S1、数据预处理。
其包括：数据特征提取、影像特征提取、深度特征提取。
S2、基于深度互相学习(DSML)的长期康复预测。
其包括：多模态特征融合、模型搭建、模型训练。
进一步地，所述数据预处理中，选择一定数量的缺血性脑卒中患者，每名患者均接受LIS检查(血检、尿检等)、临床信息采集(年龄、性别、糖尿病病史、高血压病史等)、检查评定(NIHSS评分、MMSE评分、Ashworth评分、Fugl-Meyer评分、十米步行测试时间等)、sMRI影像(T1WI、FLAIR)、fMRI影像(DWI、DTI、Blood-fMRI)、ADL评估(Barthel量表)。
其中，LIS检查包括血检、尿检。
临床信息采集包括年龄、性别、糖尿病病史、高血压病史。
检查评定包括NIHSS评分、MMSE评分、Ashworth评分、Fugl-Meyer评分、十米步行测试时间。
进一步地，所述数据特征提取包括：对于LIS检查数据，筛选出超过70％患者都进行的检查项目，缺失值选择中位数填充，并按照标准值的上限和下限进行数据标准化；对于患者的临床信息，进行独热编码，对于病史信息缺乏的按照无病史进行处理；对于检查评定中的各种量表得分，按照0-满分进行归一化，十米步行测试按照最大最小值进行归一化操作；并对连续变量(如年龄、LIS检验、量表得分等)进行曼-惠特尼秩和检验(MannWhitney U检验)，其中，连续变量包括年龄、LIS检验、量表得分，对离散特征(病史等)采用卡方检验进行特征筛选，其中，离散特征包括病史。
进一步地，所述影像特征提取包括：
对于sMRI影像，进行空间归一化、配准和偏置场校正，对齐影像的空间位置，对于fMRI影像，分别进行时间层校正、头动校正、配准、平滑、去线性偏移和带通滤波，去除干扰。
采用SPM12中的计算解剖学工具包(CAT)对T1WI、FLAIR序列进行处理，得到颅内总容积(TIV)、灰质体积(GM)、白质体积(WM)、脑容量(CSF)、白质高信号区体积(WMH)。
对于fMRI影像中的DWI序列，对DWI图像按弥散敏感系数b(简称b值)进行拆分，分别提取b＝0和b＝1500的影像，并根据b0图像和b1500图像计算梗死区域体积、缺血半暗带体积。
对于DTI序列，利用3D-Slicer软件计算DTI序列中梗塞灶中梗死核心、半暗带以及健侧对应区的平均各向异性分数(FA)和平均弥散率(MD)。
对于Blood-fMRI序列，利用静息态fMRI数据分析工具包(rest1.8)工具包，选择Blood-fMRI序列中与运动、平衡、感觉、语言、认知功能具有相关性的(即相关性较强的)双侧中央前回、中央后回、额上回、颞下回、小脑、丘脑、壳核以及尾状核，分别计算这些解剖结构的局部一致性(ReHo)、低频波动振幅(ALFF)、低频振荡分数(fALFF)。
进一步地，所述深度特征提取包括：对于sMRI影像，将T1WI、FLAIR序列进行配准；对于DWI序列，按照b＝0和b＝1500进行拆分；对于DTI序列，利用3D-Slicer生成全脑的FA图和MD图；对于Blood-fMRI序列，考虑大脑初级运动皮层(M1区)是大脑中负责直接控制躯体运动的系统，利用Resting State fMRIData Analysis Toolkit(rest1.8)工具包，选择双侧的M1区作为种子点，计算双侧M1区与全脑的功能连接(FC)图；将得到的T1WI图像、FLAIR图像、b0图像、b1500图像、FA图像、MD图像、左侧FC图像和右侧FA图像这9个序列重采样到相同的spacing，保证所有图像的空间一致性，并进行标准化处理，按照维度进行concatenate拼接，并采用3D-Inception_v3提取影像的深度特征。
进一步地，所述多模态特征融合包括：利用数据预处理步骤得到的数据特征、影像特征和深度特征，搭建长期康复预测模型，分别预测康复治疗三个月、六个月和一年后患者的Barthel得分(ADL)。
建立基于Multi-Head Attention的特征融合模块，对于每一个模态的特征向量，QKV三个矩阵只有Q送入了自己模态的attention层，而K和V矩阵分别送入另两个模态的attention层，也就是在不同模态的特征之间做了一个信息的交互，在交互之后，各自走自己独立的Transformer结构，并将各自的输出进行拼接，得到结合了多模态信息的融合特征。
进一步地，所述模型搭建包括：建立深度相互学习模型来预测患者的长期康复情况；分别选择ConvNext这一基于卷积神经网络的模型和Swin-T这一基于Transformer的模型作为相互学习的两个基准模型，两个模型同时训练。
每个网络在训练过程中拥有两个损失函数，一个是监督损失函数，另一个是利用KL散度计算的与同伴网络预测概率之间的交互损失函数。
进一步地，所述模型训练包括将544例患者随机分成训练集和测试集(444:100)，模型的初始学习率设置为0.003，并制定学习律衰减策略，两个模型连续10个epoch的loss值没有变化时，学习率变为之前的0.1倍，每个epoch训练结束保存最佳模型和最新模型，ConvNext模型采用SDG优化器，Swin-T模型采用AdamW优化器，二者训练的epochs同为200。
与现有技术相比本发明有益效果。
本发明基于ADL的长期康复预测，以Barthel作为最终结局的评价指标，Barthel是一个满分为100分的用于评估患者预后生活自理能力的量表，本发明基于多模态数据，采取深度同步学习策略对Barthel评分进行回归预测，选择R2分数作为模型性能的评估。在测试集上，采用深度同步学习策略时，ConvNext网络在三个月、六个月、一年后预测的R2分数分别为0.9137、0.8616、0.8838，Swin-T在三个月、六个月、一年后预测的R2分数分别为0.7713、0.7892、0.8028；同时，本发明做了对照实验，验证本发明方法的有效性，在不使用深度同步学习策略时，ConvNext网络不同时期预测的R2分数分别为0.8813、0.8608、0.8627，Swin-T的不同时期预测的R2分数分别为：0.7543、0.7717、0.7948。
附图说明
下面结合附图和具体实施方式对本发明做进一步说明。本发明保护范围不仅局限于以下内容的表述。
图1是影像特征提取示意图。
图2是深度特征提取示意图。
图3是多模态特征融合模块原理示意图。
图4是技术路线图。
具体实施方式
缺血性脑卒中患者康复预测模型建立方法包括：
1、数据预处理。
本发明选择了2016年1月-2021年12月接受康复治疗的缺血性脑卒中患者，共计544例，每名患者都接受了LIS检查(血检、尿检等)、临床信息采集(年龄、性别、糖尿病病史、高血压病史等)、检查评定(NIHSS评分、MMSE评分、Ashworth评分、Fugl-Meyer评分、十米步行测试时间等)、sMRI影像(T1WI、FLAIR)、fMRI影像(DWI、DTI、Blood-fMRI)、ADL评估(Barthel量表)。
(1)数据特征提取对于LIS检查数据，筛选出超过70％患者都进行的项目，缺失值选择中位数填充，并按照标准值的上限和下限进行数据标准化；对于患者的临床信息，进行独热编码，对于病史信息缺乏的按照无病史进行处理；对于检查评定中的各种量表得分，按照0-满分进行归一化，十米步行测试按照最大最小值进行归一化操作。并对连续变量(如年龄、LIS检验、量表得分等)进行MannWhitney U检验，对离散特征(病史等)采用卡方检验进行特征筛选。
(2)影像特征提取对于所有的sMRI影像，进行空间归一化、配准和偏置场校正等预处理，对齐影像的空间位置，对于fMRI影像，分别进行时间层校正、头动校正、配准、平滑、去线性偏移和带通滤波等预处理，去除干扰，便于后续操作。考虑到缺血性脑卒中后结局密切相关的影像标记物一般包括患者的患侧初级运动皮层(M1)灰质体积是否减小、脑白质是否呈高信号和脑萎缩严重程度，采用SPM12中的Computational Anatomy Toolbox(CAT)对T1WI、FLAIR序列进行处理，得到颅内总容积(TIV)、灰质体积(GM)、白质体积(WM)、脑容量(CSF)、白质高信号区体积(WMH)；对于fMRI影像中的DWI序列，对DWI图像按弥散敏感系数b(简称b值)进行拆分，分别提取b＝0和b＝1500的影像，并根据b0图像和b1500图像计算梗死区域体积、缺血半暗带体积；对于DTI序列，利用3D-Slicer软件计算DTI序列中梗塞灶中梗死核心、半暗带以及健侧对应区的平均各向异性分数(FA)和平均弥散率(MD)；对于Blood-fMRI序列，利用Resting State fMRI Data Analysis Toolkit(rest1.8)工具包，选择Blood-fMRI序列中与运动、平衡、感觉、语言、认知功能相关性较强的双侧中央前回、中央后回、额上回、颞下回、小脑、丘脑、壳核以及尾状核的局部一致性(ReHo)、低频波动振幅(ALFF)、低频振荡分数(fALFF)。详细提取过程如图1所示。
(3)深度特征提取对于sMRI影像，将T1WI、FLAIR序列进行统一的预处理；对于DWI序列，按照b＝0和b＝1500进行拆分；对于DTI序列，利用3D-Slicer生成全脑的FA图和MD图；对于Blood-fMRI序列，考虑大脑初级运动皮层(M1区)是大脑中负责直接控制躯体运动的系统，利用Resting State fMRI Data Analysis Toolkit(rest1.8)工具包，选择双侧的M1区作为种子点，计算双侧M1区与全脑的功能连接(FC)图；将得到的T1WI图像、FLAIR图像、b0图像、b1500图像、FA图像、MD图像、左侧FC图像和右侧FA图像这9个序列都重采样到相同的spacing，保证所有图像的空间一致性，并进行标准化处理，按照维度进行concatenate拼接，并采用3D-Inception_v3提取影像的深度特征。详细提取过程如图2。
2.基于深度相互学习(DSML)的长期康复预测。
(1)多模态特征融合利用数据处理步骤得到的数据特征、影像特征和深度特征，搭建长期康复预测模型，分别预测康复治疗三个月、六个月和一年后患者的Barthel得分(ADL)。首先设计了基于Multi-Head Attention(图3)的特征融合模块，对于每一个模态的特征向量，QKV三个矩阵只有Q送入了自己模态的attention层，而K和V矩阵分别送入另两个模态的attention层，也就是在不同模态的特征之间做了一个信息的交互，在交互之后，各自走自己独立的Transformer结构，并将各自的输出进行拼接，得到结合了多模态信息的融合特征。
(2)模型搭建考虑到康复预测这一回归任务的复杂性，设计了深度相互学习模型来预测患者的长期康复情况。分别选择ConvNext这一基于卷积神经网络的模型和Swin-T这一基于Transformer的模型作为相互学习的两个基准模型，两个模型同时训练，既可以接受来自标签真值的监督，又可以参考同伴网络的预测结果，提升网络的泛化能力，同时，又避免了使用传统知识蒸馏网络需要预先训练大规模教师网络的弊端。每个网络在训练过程中拥有两个损失函数，一个是监督损失函数，另一个是利用KL散度计算的与同伴网络预测概率之间的交互损失函数，二者不断互相借鉴，可以有效挖掘不同的特征，提升模型准确性。
考虑到同一患者不同时期ADL之间的强相关性，采用多任务学习的思想对患者进行康复预测，仅通过入院时的全面检查结果，采用一个主干网络即可实现不同时期ADL的预测，可以有效降低模型复杂度、减少计算资源、降低内存依赖、增加推理速度、增强监督学习的信息共享和互相监督力度。
(3)模型训练将544例患者随机分成训练集和测试集(444:100)，模型的初始学习率设置为0.003，并制定学习律衰减策略，两个模型连续10个epoch的loss值没有变化时，学习率变为之前的0.1倍，每个epoch训练结束保存最佳模型和最新模型，ConvNext模型采用SDG优化器，Swin-T模型采用AdamW优化器，二者训练的epochs同为200。
可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。
Claims (8)
1.一种缺血性脑卒中患者康复预测模型建立方法，其特征在于，包括：
S1、数据预处理；
其包括：数据特征提取、影像特征提取、深度特征提取；
S2、基于深度互相学习(DSML)的长期康复预测；
其包括：多模态特征融合、模型搭建、模型训练。
2.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述数据预处理中，选择一定数量的缺血性脑卒中患者，每名患者均接受LIS检查、临床信息采集、检查评定、sMRI影像、fMRI影像、ADL评估。
3.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述数据特征提取包括：对于LIS检查数据，筛选出超过70％患者都进行的检查项目，缺失值选择中位数填充，并按照标准值的上限和下限进行数据标准化；对于患者的临床信息，进行独热编码，对于病史信息缺乏的按照无病史进行处理；对于检查评定中的各种量表得分，按照0-满分进行归一化，十米步行测试按照最大最小值进行归一化操作；并对连续变量进行曼-惠特尼秩和检验，其中，连续变量包括年龄、LIS检验、量表得分，对离散特征采用卡方检验进行特征筛选，其中，离散特征包括病史。
4.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述影像特征提取包括：
对于sMRI影像，进行空间归一化、配准和偏置场校正，对齐影像的空间位置，对于fMRI影像，分别进行时间层校正、头动校正、配准、平滑、去线性偏移和带通滤波，去除干扰；
采用SPM12中的计算解剖学工具包对T1WI、FLAIR序列进行处理，得到颅内总容积、灰质体积、白质体积、脑容量、白质高信号区体积；
对于fMRI影像中的DWI序列，对DWI图像按弥散敏感系数b进行拆分，分别提取b＝0和b＝1500的影像，并根据b0图像和b1500图像计算梗死区域体积、缺血半暗带体积；
对于DTI序列，利用3D-Slicer软件计算DTI序列中梗塞灶中梗死核心、半暗带以及健侧对应区的平均各向异性分数和平均弥散率；
对于Blood-fMRI序列，利用静息态fMRI数据分析工具包工具包，选择Blood-fMRI序列中与运动、平衡、感觉、语言、认知功能具有相关性的双侧中央前回、中央后回、额上回、颞下回、小脑、丘脑、壳核以及尾状核，分别计算这些解剖结构的局部一致性、低频波动振幅、低频振荡分数。
5.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述深度特征提取包括：
对于sMRI影像，将T1WI、FLAIR序列进行配准；对于DWI序列，按照b＝0和b＝1500进行拆分；对于DTI序列，利用3D-Slicer生成全脑的FA图和MD图；对于Blood-fMRI序列，考虑大脑初级运动皮层是大脑中负责直接控制躯体运动的系统，利用Resting State fMRIDataAnalysis Toolkit工具包，选择双侧的M1区作为种子点，计算双侧M1区与全脑的功能连接(FC)图；将得到的T1WI图像、FLAIR图像、b0图像、b1500图像、FA图像、MD图像、左侧FC图像和右侧FA图像这9个序列重采样到相同的spacing，保证所有图像的空间一致性，并进行标准化处理，按照维度进行concatenate拼接，并采用3D-Inception_v3提取影像的深度特征。
6.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述多模态特征融合包括：利用数据预处理步骤得到的数据特征、影像特征和深度特征，搭建长期康复预测模型，分别预测康复治疗三个月、六个月和一年后患者的Barthel得分；
建立基于Multi-Head Attention的特征融合模块，对于每一个模态的特征向量，QKV三个矩阵只有Q送入了自己模态的attention层，而K和V矩阵分别送入另两个模态的attention层，也就是在不同模态的特征之间做了一个信息的交互，在交互之后，各自走自己独立的Transformer结构，并将各自的输出进行拼接，得到结合了多模态信息的融合特征。
7.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述模型搭建包括：建立深度相互学习模型来预测患者的长期康复情况；分别选择ConvNext这一基于卷积神经网络的模型和Swin-T这一基于Transformer的模型作为相互学习的两个基准模型，两个模型同时训练；
每个网络在训练过程中拥有两个损失函数，一个是监督损失函数，另一个是利用KL散度计算的与同伴网络预测概率之间的交互损失函数。
8.根据权利要求1所述的一种缺血性脑卒中患者康复预测模型建立方法，其特征在于：所述模型训练包括将544例患者随机分成训练集和测试集，其中，训练集与测试集的比例为444:100，模型的初始学习率设置为0.003，并制定学习律衰减策略，两个模型连续10个epoch的loss值没有变化时，学习率变为之前的0.1倍，每个epoch训练结束保存最佳模型和最新模型，ConvNext模型采用SDG优化器，Swin-T模型采用AdamW优化器，二者训练的epochs同为200。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310246686.1A CN116525109A (zh) | 2023-03-15 | 2023-03-15 | 一种缺血性脑卒中患者康复预测模型建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310246686.1A CN116525109A (zh) | 2023-03-15 | 2023-03-15 | 一种缺血性脑卒中患者康复预测模型建立方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116525109A true CN116525109A (zh) | 2023-08-01 |
Family
ID=87403631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310246686.1A Pending CN116525109A (zh) | 2023-03-15 | 2023-03-15 | 一种缺血性脑卒中患者康复预测模型建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116525109A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116884623A (zh) * | 2023-09-06 | 2023-10-13 | 西南医科大学附属医院 | 基于激光扫描成像的医疗康复预测系统 |
| CN117726626A (zh) * | 2024-02-12 | 2024-03-19 | 简阳市人民医院 | 一种基于Orem自理理论的急性脑卒中患者延续性护理系统 |
| CN117953027A (zh) * | 2024-03-22 | 2024-04-30 | 首都医科大学附属北京天坛医院 | 一种dwi-flair不匹配评估方法、装置、介质及产品 |
| CN118412125A (zh) * | 2024-04-22 | 2024-07-30 | 江苏科技大学 | 一种基于轻量级BERT的mRS预测方法及装置 |
-
2023
- 2023-03-15 CN CN202310246686.1A patent/CN116525109A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116884623A (zh) * | 2023-09-06 | 2023-10-13 | 西南医科大学附属医院 | 基于激光扫描成像的医疗康复预测系统 |
| CN116884623B (zh) * | 2023-09-06 | 2023-12-15 | 西南医科大学附属医院 | 基于激光扫描成像的医疗康复预测系统 |
| CN117726626A (zh) * | 2024-02-12 | 2024-03-19 | 简阳市人民医院 | 一种基于Orem自理理论的急性脑卒中患者延续性护理系统 |
| CN117726626B (zh) * | 2024-02-12 | 2024-04-19 | 简阳市人民医院 | 一种基于Orem自理理论的急性脑卒中患者延续性护理系统 |
| CN117953027A (zh) * | 2024-03-22 | 2024-04-30 | 首都医科大学附属北京天坛医院 | 一种dwi-flair不匹配评估方法、装置、介质及产品 |
| CN118412125A (zh) * | 2024-04-22 | 2024-07-30 | 江苏科技大学 | 一种基于轻量级BERT的mRS预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116525109A (zh) | 一种缺血性脑卒中患者康复预测模型建立方法 | |
| CN109447183B (zh) | 预测模型训练方法、装置、设备以及介质 | |
| WO2021020198A1 (ja) | 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法 | |
| Aerts et al. | Modeling brain dynamics after tumor resection using The Virtual Brain | |
| Várkuti et al. | Resting state changes in functional connectivity correlate with movement recovery for BCI and robot-assisted upper-extremity training after stroke | |
| Johnson et al. | Cardiorespiratory fitness is positively correlated with cerebral white matter integrity in healthy seniors | |
| Maglanoc et al. | Multimodal fusion of structural and functional brain imaging in depression using linked independent component analysis | |
| Chaki et al. | Deep learning for neurodegenerative disorder (2016 to 2022): A systematic review | |
| Shan et al. | Mapping the heterogeneous brain structural phenotype of autism spectrum disorder using the normative model | |
| Bermudez et al. | Anatomical context improves deep learning on the brain age estimation task | |
| CN111312401B (zh) | 一种基于多标签学习的体检后慢性疾病预后系统 | |
| CN113284126B (zh) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 | |
| Pal et al. | Deep learning techniques for prediction and diagnosis of diabetes mellitus | |
| Sreedharan et al. | Self-regulation of language areas using real-time functional MRI in stroke patients with expressive aphasia | |
| JPWO2019172181A1 (ja) | 診断支援装置、プログラム、学習済みモデル、および学習装置 | |
| Kong et al. | Multi-stage graph fusion networks for major depressive disorder diagnosis | |
| CN114400086A (zh) | 一种基于深度学习的关节盘前移辅助诊断系统和方法 | |
| CN110415812A (zh) | 基于人工智能和互联网技术的智能脑卒中辅助诊疗机器人系统 | |
| Wang et al. | Multi modality fusion transformer with spatio-temporal feature aggregation module for psychiatric disorder diagnosis | |
| Malik et al. | Deep Learning Architectures for Medical Diagnosis | |
| Li et al. | An Assisted Diagnosis of Alzheimer's Disease Incorporating Attention Mechanisms Med-3D Transfer Modeling. | |
| Liu | Alzheimer’s disease classification using hippocampus and improved DenseNet | |
| Barrios-Anderson et al. | Decoding nociception in the spinal cord: Computer modeling and machine learning | |
| Ma et al. | [Retracted] Self‐Attention‐Guided Recurrent Neural Network and Motion Perception for Intelligent Prediction of Chronic Diseases | |
| Chrysanthakopoulou et al. | Intelligent Integration of Assessment Tools for Specialized Prognosis in Spinal Cord Injuries: A scoping review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |