CN114711717A - 基于多模态影像组学的癫痫药物治疗结局预测方法和装置 - Google Patents

基于多模态影像组学的癫痫药物治疗结局预测方法和装置 Download PDF

Info

Publication number
CN114711717A
CN114711717A CN202210228783.3A CN202210228783A CN114711717A CN 114711717 A CN114711717 A CN 114711717A CN 202210228783 A CN202210228783 A CN 202210228783A CN 114711717 A CN114711717 A CN 114711717A
Authority
CN
China
Prior art keywords
epilepsy
magnetic resonance
image
prediction model
drug treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210228783.3A
Other languages
English (en)
Inventor
蒋典
王海峰
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210228783.3A priority Critical patent/CN114711717A/zh
Priority to PCT/CN2022/080826 priority patent/WO2023168728A1/zh
Publication of CN114711717A publication Critical patent/CN114711717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Neurosurgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种癫痫药物治疗结局预测方法和装置，包括：获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像；把TSC患者按比例随机分为训练集和测试集；基于U‑net++网络对每一种模态磁共振影像进行区域分割，获取感兴趣区域；对每一个感兴趣区域进行特征提取，获取高维影像组学特征；对高维影像组学特征进行分析筛选得到目标影像组学特征；对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型并在验证模型；利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。本发明能够快速、有效地预测癫痫患者的药物治疗结局，辅助医生制定更好的治疗方案。

Description

基于多模态影像组学的癫痫药物治疗结局预测方法和装置
技术领域
本发明涉及计算机辅助诊断技术领域，具体涉及一种基于多模态影像组学的癫痫药物治疗结局预测方法和装置、终端设备。
背景技术
结节性硬化症(TSC)是一种罕见的常染色体显性遗传病，由TSC1或TSC2mTOR通路基因功能丧失突变引起。TSC是一种影响脑、皮肤、心脏、肺、肾脏和癫痫的神经精神疾病。癫痫是TSC患者中最普遍和最具挑战性的症状，影响了大约85％的患者，而且其中将近三分之二的患者在一岁左右会伴随着癫痫首次发作。在TSC诊断后，患者尽早进行癫痫治疗可以预防或控制癫痫发作，改善TSC患者的认知神经发育并提高患者的生活质量。
在所有TSC患者中，几乎都可以在脑部影像上观察到神经系统表现，而磁共振成像(MRI)具有丰富的软组织对比度，是用于临床诊断TSC的先进的成像工具。皮质结节和皮质下结节是主要的TSC相关的脑部病灶，在MRI的液体衰减反转恢复(FLAIR)序列中和T2W序列中能够清晰观察到异常高或低信号。T1W能够观察患者的脑部结构和其他病变、T2W和FLAIR提供了较高的病变和大脑对比度，这三个序列通常包含在常规TSC诊断的MRI扫描方案中。在MRI上不仅可以清晰的观察到脑部病灶，也能够观察患者的脑部结构，是目前临床上认可的成像方法。
目前临床上癫痫药物治疗结果诊断的主要途径是：确诊TSC后，对患者进行抗癫痫药物(AEDs)治疗，由医生随访观察患者是否一年之内仍有癫痫发作，来判断药物治疗结局，如果一年之内仍有癫痫发作，则为药物难治型患者，否则为药物控制型患者。药物难治型患者需要更换治疗方法，比如手术。这种方式有以下几个缺点：人力成本高，由于药物治疗的特殊性，所以需要经过专业训练的医师才能够对患者进行药物治疗；时间成本高，药物治疗结局一般需要一年以上的治疗，才能知道患者是否耐药，然后再对耐药患者更换治疗方案，这对患者治疗很不利，可能会耽误患者的最佳治疗时间。
因此，研究一种预测癫痫药物治疗结局的智能模型来区分药物治疗控制型癫痫和未控制型(药物难治)的TSC癫痫患者，能够辅助医生对两种类型的患者制定针对性的治疗方案，降低患者的死亡率以及提高患者的生活质量，具有重要的意义。
发明内容
有鉴于此，本发明提供了一种基于多模态影像组学的癫痫药物治疗结局预测方法和装置，以解决如何对TSC癫痫患者的癫痫药物治疗结局进行预测的问题，能够快速区分药物治疗控制型和未控制型(药物难治)的TSC癫痫患者。
为了解决上述技术问题，本发明的一方面是提供一种基于多模态影像组学的癫痫药物治疗结局预测方法，其包括步骤：
获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理；
把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能；
基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域；
对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征；
对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征；
对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型；
利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。
具体地，所述多种模态磁共振影像包括磁共振影像中的T1加权影像、T2加权影像和液体衰减反转恢复影像。
具体地，所述TSC患者的入组标准需要至少满足以下3个条件：1)患者在使用抗癫痫药物治疗前进行了多种模态磁共振影像扫描；2)患者使用抗癫痫药物治疗1年以上；3)患者未进行病灶切除手术。
具体地，所述训练集和所述测试集的数量比例为8:2或7:3。
具体地，在基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割之后，通过人工检查并修改完善影像的分割轮廓，进而获取每一种模态磁共振影像对应的感兴趣区域。
具体地，所述高维影像组学特征至少包括以下3类特征：1)用于描述结节病灶尺寸和形状的三维形态特征；2)用于描述病灶区域强度分布的一阶统计特征；3)用于描述病灶区域空间分布信息的纹理特征，包括灰度共生矩阵、灰度游程矩阵、灰度区域大小矩阵、相邻灰度差分矩阵和灰度共生矩阵。
具体地，所述对高维影像组学特征进行分析筛选，降维后得到目标影像组学特征的步骤包括：首先采用了双变量分析算法对高维影像组学特征进行初步筛选：计算每个组学特征与药物治疗的治疗结局之间的斯皮尔曼相关系数p值，筛选出p值<0.05的组学特征，获得初步影像组学特征；然后使用套索算法对所述初步影像组学特征进行进一步筛选，筛选出与病灶分类有显著关系的影像组学特征，获得所述目标影像组学特征。
具体地，所述对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型的步骤包括：采用多种机器学习算法分别建立模型，获得多种类型的预测模型；所述多种机器学习算法包括支持向量机算法、随机森林算法、Logistic回归分析算法、Ada Boost算法、Gradient Boosting算法和Decision Tree算法；对于每一类型的预测模型，采用十折交叉验证进行训练，训练过程使用网格搜索算法选择最优超参数；根据确定的最优超参数，在整个训练集上训练各个类型的预测模型，训练得到候选预测模型，并在测试集上测试验证；基于AUC、准确性、敏感性和特异性的性能参数对候选预测模型进行性能评估，选取性能最佳的候选预测模型作为所述癫痫药物治疗结局预测模型。
为了解决上述技术问题，本发明的另一方面是提供一种基于多模态影像组学的癫痫药物治疗结局预测装置，其包括：
影像获取模块，用于获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理；
分组模块，用于把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能；
影像分割模块，用于基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域；
特征提取模块，用于对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征；
特征筛选模块，用于对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征；
模型构建模块，用于对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型；
治疗结局预测模块，用于利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。
为了解决上述技术问题，本发明还提供一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的基于多模态影像组学的癫痫药物治疗结局预测方法的步骤。
本发明实施例提供的癫痫药物治疗结局预测方法和装置，通过基于U-net++网络对多种模态磁共振影像进行精确的区域分割，再提取感兴趣区域的影像组学特征，根据影像组学特征建立预测模型，能够快速、有效地预测TSC癫痫患者的药物治疗结局，在药物治疗开始之前就通过MRI影像来预测患者是否耐药，能够辅助医生进行更准确的临床决策，给患者争取时间进行更合适的治疗，患者不需要长达一年以上的耐药性测试，能够极大地降低医生的人力成本和患者的时间成本。
附图说明
图1是本发明实施例中的癫痫药物治疗结局预测方法的流程图示；
图2是本发明实施例中的U-net++网络的结构图示；
图3是本发明实施例中的癫痫药物治疗结局预测装置的结构图示；
图4是本发明实施例中的一种终端设备的结构图示。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明并不限于这些实施方式。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
图1是本发明实施例中的基于多模态影像组学的癫痫药物治疗结局预测方法的流程图示。
本申请的基于多模态影像组学的癫痫药物治疗结局预测方法应用于一种终端设备，其中，所述的终端设备可以为服务器，也可以为移动设备，还可以为由服务器和移动设备相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于移动设备中，还可以分别设置于服务器和移动设备中。所述终端设备例如是计算机设备。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成由多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块。
实施例1
参阅图1，本实施例提供的一种基于多模态影像组学的癫痫药物治疗结局预测方法，其中主要包括构建癫痫药物治疗结局预测模型以及利用构建获得癫痫药物治疗结局预测模型对待治疗患者进行预测两大部分。
其中，构建癫痫药物治疗结局预测模型的部分包括以下步骤：
步骤S1、获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理。
在本发明具体实施例中，所述多种模态磁共振影像包括磁共振影像中的T1加权影像(T1W)、T2加权影像(T2W)和液体衰减反转恢复影像(FLAIR)。
在本发明具体实施例中，所述TSC患者的入组标准需要至少满足以下3个条件：1)患者在使用抗癫痫药物治疗前进行了多种模态磁共振影像扫描(至少包括T1W、T2W和FLAIR三个序列的影像)；2)患者使用抗癫痫药物治疗1年以上；3)患者未进行病灶切除手术。其中，治疗原则由资深的结节性硬化症专家根据经验和指南确定。
进一步地，对入组的TSC患者的癫痫药物治疗结局进行标签，分为控制组和未控制组。癫痫药物治疗结局根据1981年的ILAE分类来定义：如果患者在AED治疗的1年之内没有临床癫痫发作，则将其视为控制组；如果患者在一年内至少有一次癫痫发作或死亡，则将其视为未控制组。
其中，对所述多种模态磁共振影像进行预处理具体是：使用深度学习工具HD-bet(或者FSL、SPM等预处理工具)去除了多对比度MRI(T1W、T2W和FLAIR)影像中与病灶无关的颅骨。
步骤S2、把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能。
具体地，所述训练集和所述测试集的数量比例优选为8:2或7:3。例如，在本发明的具体实施例中，入组了某儿童医院的300个TSC患者的T1W、T2W和FLAIR的数据作为数据集，其中，训练集240个患者，测试集60个患者。即，训练集和测试集的比例为8:2。
步骤S3、基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域。
结节性硬化症(TSC)的病灶定义为皮质和皮质下结节，本发明实施例中采用U-net++网络来对结节性硬化症的结节病灶进行分割，获取对应的感兴趣区域。
U-net++网络的结构如图2所示，网络结构是端到端的结构，即原始二维多对比影像数据输入，输出分割后的结节。U-net++是一个全卷积的神经网络，无全连接层，在数据集小的时候仍然有很好的分割效果。U-net++网络的对影像的分割过程主要涉及三个步骤：上采样、下采样和特征拼接。
在具体实施例中，下采样的第一层网络为：输入图片大小为(512，512)，对图片进行两次卷积和激活，卷积核大小为(3，3)，激活函数用relu函数：
Figure BDA0003539786840000061
然后进行最大池化，池化核大小设置为(2，2)，步长设置为2，池化后特征图大小减半，即完成下采样操作。下采样其余各层网络结构与第一层一致，唯一区别是卷积核个数，各层卷积核数依次分别为64、128、256、512。
上采样的目的就是把抽象的特征再还原解码到原图的尺寸，最终得到分割结果。仅一步操作，即为进行转置卷积，卷积核大小设置为(2，2)，步长设置为2，即上采样后图像特征大小加倍。
特征拼接操作则是将前面的特征图拼接到当前特征图后面即concatenate操作，然后进行两次卷积和激活，卷积核大小为(3，3)，激活函数为relu，padding为same，最后输出(512，512)的图像。
基于以上的操作，到此整个网络搭建完成，接下来就是训练。采用SGD算法(随机梯度下降算法)进行训练网络，在特征图后面加一个1×1的卷积核，此卷积使用sigmoid函数激活：
Figure BDA0003539786840000071
损失函数使用交叉熵损失函数：
Figure BDA0003539786840000072
对前面每个1×1卷积分别计算loss后求和为此次前向传播的损失值，然后在结节病灶数据集上进行训练，更新迭代优化参数。
在优选的方案中，为确保病灶分割正确，在基于U-net++网络对预处理后的每一种模态磁共振影像进行自动分割完毕之后，再通过人工检查并修改完善影像的分割轮廓，最终获取每一种模态磁共振影像对应的感兴趣区域。即，本发明优选实施例中是采用半自动分割的方式对每一种模态磁共振影像进行分割。
步骤S4、对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征。
具体地，由于MRI影像的层厚和像素间距等设备参数的差异，首先将所有影像都被重采样到1×1×1mm3。然后分别对T1W和T2W以及FLAIR影像采用pyradiomics软件包提取影像组学特征。
其中，pyradiomics是一个开源的python软件包，可以作为一种特征提取的工具，用于医学图像的影像组学特征提取。可以通过指定图像类别、特征类别、特定滤波器自定义特征提取参数进行特征提取。
在步骤S4中提取获得的所述高维影像组学特征至少包括以下3类特征：1)用于描述结节病灶尺寸和形状的三维形态特征；2)用于描述病灶区域强度分布的一阶统计特征；3)用于描述病灶区域空间分布信息的纹理特征，包括灰度共生矩阵(GLCM)、灰度游程矩阵(GLRLM)、灰度区域大小矩阵(GLSZM)、相邻灰度差分矩阵(NGTDM)和灰度共生矩阵(GLDM)等特征。
步骤S5、对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征。
具体地，如上步骤S4中从一种模态提取的组学特征就上千个，对于三种模态的特征可能数量达到几千。为了降低预测模型过拟合风险，提高模型预测性能，所以需要对高维影像组学特征进行分析筛选，降维处理。
在具体的方案，所述步骤S5包括：
首先采用了双变量分析算法对高维影像组学特征进行初步筛选：计算每个组学特征与药物治疗的治疗结局之间的斯皮尔曼相关系数p值，筛选出p值<0.05(p值<0.05被认为有统计意义)的组学特征，获得初步影像组学特征；
然后使用套索算法(Lasso算法)对所述初步影像组学特征进行进一步筛选，筛选出与病灶分类有显著关系的影像组学特征，获得所述目标影像组学特征。
步骤S6、对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型。
在本发明实施例中，所述步骤S6包括以下子步骤：
S61、采用多种机器学习算法分别建立模型，获得多种类型的预测模型；所述多种机器学习算法包括支持向量机算法、随机森林算法、Logistic回归分析算法、Ada Boost算法、Gradient Boosting算法和Decision Tree算法。
S62、对于每一类型的预测模型，采用十折交叉验证进行训练，训练过程使用网格搜索算法选择最优超参数，具体是根据受试者工作曲线(ROC)下面积(AUC)逆向选择最佳模型参数；根据确定的最优超参数，在整个训练集上训练各个类型的预测模型，训练得到候选预测模型，并在测试集上测试验证。
S63、基于AUC、准确性、敏感性和特异性的性能参数对候选预测模型进行性能评估，选取性能最佳的候选预测模型作为所述癫痫药物治疗结局预测模型。
基于以上步骤S1至S6，本发明实施例构建获得一种基于多模态影像组学的癫痫药物治疗结局预测模型。
本发明实施例提供的预测方法中，对待治疗患者进行预测的部分包括以下步骤：
步骤S7、利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。
具体地，医生采集TSC患者的T1W、T2W和FLAIR序列影像，提取三种模态对应的目标影像组学特征输入到所述癫痫药物治疗结局预测模型中进行预测，获得预测的癫痫药物治疗结局。
实施例2
本实施例提供一种基于多模态影像组学的癫痫药物治疗结局预测装置，如图3所示，该装置100包括影像获取模块1、分组模块2、影像分割模块3、特征提取模块4、特征筛选模块5、模型构建模块6和治疗结局预测模块7。其中，
所述影像获取模块用于获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理；即实施例1中步骤S1对应的工作过程。
所述分组模块用于把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能；即实施例1中步骤S2对应的工作过程.
所述影像分割模块用于基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域；即实施例1中步骤S3对应的工作过程。
所述特征提取模块用于对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征；即实施例1中步骤S4对应的工作过程。
所述特征筛选模块用于对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征；即实施例1中步骤S5对应的工作过程。
所述模型构建模块用于对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型；即实施例1中步骤S6对应的工作过程。
所述治疗结局预测模块用于利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局；即实施例1中步骤S7对应的工作过程。
实施例3
基于如上实施例提供的基于多模态影像组学的癫痫药物治疗结局预测方法，本实施例提供了一种终端设备，如图4所示，所述终端设备包括：处理器10、存储器20、输入装置30和输出装置40，处理器10中设置有GPU，处理器10的数量可以是一个或多个，图2中以一个处理器10为例。终端设备中的处理器10、存储器20、输入装置30和输出装置40可以通过总线或其他方式连接。
其中，存储器20作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块。处理器10通过运行存储在存储器20中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现本发明前述实施例中所述的基于多模态影像组学的癫痫药物治疗结局预测方法的步骤。输入装置30用于接收图像数据、输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置40可包括显示屏等显示设备，例如是用于显示图像。
本发明如上实施例提供的癫痫药物治疗结局预测方法和装置以及相应的终端设备，通过基于U-net++网络对多种模态磁共振影像进行精确的区域分割，再提取感兴趣区域的影像组学特征，根据影像组学特征建立预测模型，能够快速、有效地预测TSC癫痫患者的药物治疗结局，在药物治疗开始之前就通过MRI影像来预测患者是否耐药，能够辅助医生进行更准确的临床决策，给患者争取时间进行更合适的治疗，患者不需要长达一年以上的耐药性测试，能够极大地降低医生的人力成本和患者的时间成本。
需要指出的是，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多模态影像组学的癫痫药物治疗结局预测方法，其特征在于，包括步骤：
获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理；
把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能；
基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域；
对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征；
对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征；
对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型；
利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。
2.根据权利要求1所述的癫痫药物治疗结局预测方法，其特征在于，所述多种模态磁共振影像包括磁共振影像中的T1加权影像、T2加权影像和液体衰减反转恢复影像。
3.根据权利要求1或2所述的癫痫药物治疗结局预测方法，其特征在于，所述TSC患者的入组标准需要至少满足以下3个条件：1)患者在使用抗癫痫药物治疗前进行了多种模态磁共振影像扫描；2)患者使用抗癫痫药物治疗1年以上；3)患者未进行病灶切除手术。
4.根据权利要求1所述的癫痫药物治疗结局预测方法，其特征在于，所述训练集和所述测试集的数量比例为8:2或7:3。
5.根据权利要求1所述的癫痫药物治疗结局预测方法，其特征在于，在基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割之后，通过人工检查并修改完善影像的分割轮廓，进而获取每一种模态磁共振影像对应的感兴趣区域。
6.根据权利要求1所述的癫痫药物治疗结局预测方法，其特征在于，所述高维影像组学特征至少包括以下3类特征：1)用于描述结节病灶尺寸和形状的三维形态特征；2)用于描述病灶区域强度分布的一阶统计特征；3)用于描述病灶区域空间分布信息的纹理特征，包括灰度共生矩阵、灰度游程矩阵、灰度区域大小矩阵、相邻灰度差分矩阵和灰度共生矩阵。
7.根据权利要求1所述的癫痫药物治疗结局预测方法，其特征在于，所述对高维影像组学特征进行分析筛选，降维后得到目标影像组学特征的步骤包括：
首先采用了双变量分析算法对高维影像组学特征进行初步筛选：计算每个组学特征与药物治疗的治疗结局之间的斯皮尔曼相关系数p值，筛选出p值<0.05的组学特征，获得初步影像组学特征；
然后使用套索算法对所述初步影像组学特征进行进一步筛选，筛选出与病灶分类有显著关系的影像组学特征，获得所述目标影像组学特征。
8.根据权利要求1或7所述的癫痫药物治疗结局预测方法，其特征在于，所述对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型的步骤包括：
采用多种机器学习算法分别建立模型，获得多种类型的预测模型；所述多种机器学习算法包括支持向量机算法、随机森林算法、Logistic回归分析算法、Ada Boost算法、Gradient Boosting算法和Decision Tree算法；
对于每一类型的预测模型，采用十折交叉验证进行训练，训练过程使用网格搜索算法选择最优超参数；根据确定的最优超参数，在整个训练集上训练各个类型的预测模型，训练得到候选预测模型，并在测试集上测试验证；
基于AUC、准确性、敏感性和特异性的性能参数对候选预测模型进行性能评估，选取性能最佳的候选预测模型作为所述癫痫药物治疗结局预测模型。
9.一种基于多模态影像组学的癫痫药物治疗结局预测装置，其特征在于，包括：
影像获取模块，用于获取TSC患者在进行抗癫痫药物治疗前的多种模态磁共振影像，并对所述多种模态磁共振影像进行预处理；
分组模块，用于把TSC患者按比例随机分为训练集和测试集，所述训练集用于训练预测模型，所述测试集用于验证预测模型的性能；
影像分割模块，用于基于U-net++网络对预处理后的每一种模态磁共振影像进行区域分割，获取每一种模态磁共振影像对应的感兴趣区域；
特征提取模块，用于对每一种模态磁共振影像的每一个感兴趣区域进行特征提取，获取每一个感兴趣区域对应的高维影像组学特征；
特征筛选模块，用于对所述高维影像组学特征进行分析筛选，降维后得到目标影像组学特征；
模型构建模块，用于对训练集中的目标影像组学特征运用机器学习算法训练预测模型，构建获得癫痫药物治疗结局预测模型，并在测试集中验证模型；
治疗结局预测模块，用于利用构建获得癫痫药物治疗结局预测模型对待治疗患者的目标影像组学特征进行预测，获得预测的癫痫药物治疗结局。
10.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的基于多模态影像组学的癫痫药物治疗结局预测方法的步骤。
CN202210228783.3A 2022-03-10 2022-03-10 基于多模态影像组学的癫痫药物治疗结局预测方法和装置 Pending CN114711717A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210228783.3A CN114711717A (zh) 2022-03-10 2022-03-10 基于多模态影像组学的癫痫药物治疗结局预测方法和装置
PCT/CN2022/080826 WO2023168728A1 (zh) 2022-03-10 2022-03-15 基于多模态影像组学的癫痫药物治疗结局预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210228783.3A CN114711717A (zh) 2022-03-10 2022-03-10 基于多模态影像组学的癫痫药物治疗结局预测方法和装置

Publications (1)

Publication Number Publication Date
CN114711717A true CN114711717A (zh) 2022-07-08

Family

ID=82237164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210228783.3A Pending CN114711717A (zh) 2022-03-10 2022-03-10 基于多模态影像组学的癫痫药物治疗结局预测方法和装置

Country Status (2)

Country Link
CN (1) CN114711717A (zh)
WO (1) WO2023168728A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825382A (zh) * 2023-02-23 2023-09-29 深圳市儿童医院 一种基于多模态融合的癫痫药物有效性检测方法及装置
WO2024119372A1 (zh) * 2022-12-06 2024-06-13 深圳先进技术研究院 结合感兴趣区域距离度量学习和迁移学习的心肌检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875401B (zh) * 2017-01-10 2019-10-25 中国科学院深圳先进技术研究院 多模态影像组学的分析方法、装置及终端
US11315685B2 (en) * 2017-01-25 2022-04-26 UCB Biopharma SRL Method and system for predicting optimal epilepsy treatment regimes
CN111462116A (zh) * 2020-05-13 2020-07-28 吉林大学第一医院 基于影像组学特征的多模态参数模型优化融合方法
CN112927187A (zh) * 2021-01-27 2021-06-08 张凯 —种自动识别定位局灶性皮质发育不良癫痫病灶的方法
CN113222915B (zh) * 2021-04-28 2022-09-23 浙江大学 基于多模态磁共振影像组学的pd诊断模型的建立方法
CN113571195B (zh) * 2021-07-20 2022-08-16 南京脑科医院 基于小脑功能连接特征的阿尔茨海默病早期的预测模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024119372A1 (zh) * 2022-12-06 2024-06-13 深圳先进技术研究院 结合感兴趣区域距离度量学习和迁移学习的心肌检测方法
CN116825382A (zh) * 2023-02-23 2023-09-29 深圳市儿童医院 一种基于多模态融合的癫痫药物有效性检测方法及装置

Also Published As

Publication number Publication date
WO2023168728A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
Celebi et al. Dermoscopy image analysis: overview and future directions
Remeseiro et al. A review of feature selection methods in medical applications
Behrad et al. An overview of deep learning methods for multimodal medical data mining
Guo et al. Improving cardiac MRI convolutional neural network segmentation on small training datasets and dataset shift: A continuous kernel cut approach
Chaki et al. Deep learning for neurodegenerative disorder (2016 to 2022): A systematic review
Yan et al. Cortical surface biomarkers for predicting cognitive outcomes using group l2, 1 norm
CN114711717A (zh) 基于多模态影像组学的癫痫药物治疗结局预测方法和装置
RU2681280C2 (ru) Процесс обработки медицинских изображений
Nisha et al. Applications of deep learning in biomedical engineering
Rahim et al. Prediction of Alzheimer's progression based on multimodal deep-learning-based fusion and visual explainability of time-series data
Reddy et al. Joint DR-DME classification using deep learning-CNN based modified grey-wolf optimizer with variable weights
Zhang et al. Multi-relation graph convolutional network for Alzheimer’s disease diagnosis using structural MRI
Coupet et al. A multi-sequences MRI deep framework study applied to glioma classfication
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Wang et al. SEEG-Net: An explainable and deep learning-based cross-subject pathological activity detection method for drug-resistant epilepsy
Haider et al. Exploring deep feature-blending capabilities to assist glaucoma screening
Alshehri et al. A few-shot learning-based ischemic stroke segmentation system using weighted MRI fusion
Duan et al. [Retracted] Prediction of Hearing Prognosis of Large Vestibular Aqueduct Syndrome Based on the PyTorch Deep Learning Model
Li et al. AMD-Net: Automatic subretinal fluid and hemorrhage segmentation for wet age-related macular degeneration in ocular fundus images
Selvaraj et al. Artificial intelligence in biomedical image processing
US20220223231A1 (en) Systems and Methods for Improved Prognostics in Medical Imaging
Mehmood et al. Utilizing Siamese 4D-AlzNet and Transfer Learning to Identify Stages of Alzheimer’s Disease
Wan et al. Ceus-net: Lesion segmentation in dynamic contrast-enhanced ultrasound with feature-reweighted attention mechanism
CN114170162A (zh) 一种图像预测方法、图像预测装置以及计算机存储介质
Jin et al. Feature level-based group lasso method for amnestic mild cognitive impairment diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination