CN116363438B - 一种基于多模态的儿童脑炎分类系统 - Google Patents

一种基于多模态的儿童脑炎分类系统 Download PDF

Info

Publication number
CN116363438B
CN116363438B CN202310399334.XA CN202310399334A CN116363438B CN 116363438 B CN116363438 B CN 116363438B CN 202310399334 A CN202310399334 A CN 202310399334A CN 116363438 B CN116363438 B CN 116363438B
Authority
CN
China
Prior art keywords
encephalitis
image
feature matrix
clinical information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310399334.XA
Other languages
English (en)
Other versions
CN116363438A (zh
Inventor
俞刚
黄坚
周海春
沈忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310399334.XA priority Critical patent/CN116363438B/zh
Publication of CN116363438A publication Critical patent/CN116363438A/zh
Application granted granted Critical
Publication of CN116363438B publication Critical patent/CN116363438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现以下步骤：将待分类的儿童脑部临床信息和MR影像输入训练好的分类模型中，得到其属于病毒性脑炎、化脓性脑炎、非脑炎的分类结果。其中，分类模型中，临床信息通过Student T检验进行关键特征筛选，MR影像部分通过MM‑SENet网络模型实现三维特征和不同状位的二维特征的提取、筛选，最终将两部分特征进行拼接，并通过全连接层和Softmax层获得最后的分类结果。利用本发明，可以实现无创的儿童脑炎临床诊断，减少对儿童患者的伤害。

Description

一种基于多模态的儿童脑炎分类系统
技术领域
本发明属于医学人工智能领域，尤其是涉及一种基于多模态的儿童脑炎分类系统。
背景技术
儿童脑炎是儿科一种较为常见但后果严重的疾病，重症脑炎常常导致患儿遗留如脑积水、癫痫、智力低下、肢体臃肿等不可逆的神经系统后遗症，严重情况会导致儿童死亡。
现阶段脑炎诊断的决定指定是脑脊液检测，但其依赖腰椎穿刺技术且耗时较长，且其作为一种侵入性检查，会给患儿带来极大痛苦和创伤。除此之外，医生也会通过临床症状、影像学和脑电图检测等方法进行检查，但前者不太准确，后者只能观察到重症。且病毒性脑炎与化脓性脑炎在某些方面表现不是特别明显，容易造成诊断错误，继而采用错误的诊疗方案，延误患儿的精准诊治，甚至造成严重后果。因此，运用新的方法和无创技术实现儿童多类脑炎早期精准诊断和治疗并改善患儿预后，具有重要的临床价值。
人工智能和深度学习技术在医学很多方向都实现了良好应用，比如基于医学影像的病灶分割、疾病分类、疾病检测等。如公开号为CN112132808A的中国专利文献公开了一种基于常态模型学习的乳腺X线图像病变检测方法和装置；公开号为CN109165667A的中国专利文献公开了一种基于自注意力机制的脑疾病分类系统。
因此，可应用深度学习技术实现儿童多类脑炎的精准诊断具有较高可行性。然而，对于部分案例而言，病毒性脑炎与化脓性脑炎在影像上表现差异较小，常规的深度学习方法很难识别出两者的差异，实现脑炎之间、脑炎与非脑炎之间的准确诊断。
发明内容
本发明提供了一种基于多模态的儿童脑炎分类系统，基于MR图像和临床信息进行病毒性脑炎、化脓性脑炎、非脑炎的三分类诊断，具有较高的准确率。
一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：
将待分类的儿童脑部临床信息与MR影像数据输入训练好的分类模型中，预测得到病毒性脑炎、化脓性脑炎、非脑炎的三分类结果；
具体的，所述的分类模型采用多模态数据作为输入，包含临床信息处理模块、MR影像处理模块、预测模块；
临床信息处理模块中，对预处理的临床信息进行单因素分析，提取与分类强相关的因素，组成一维特征矩阵Xclic；
MR影像处理模块中，通过MM-SENet(Multi-dimension and Multi-plane Squeezeand Excitation Net))网络模型对MR影像进行特征提取，具体为：先通过3D网络提取影像的三维特征矩阵；接着对MR影像分别按横状位、矢状位、冠状位进行切片，采用2D网络提取二维特征矩阵；然后将三维特征矩阵和二维特征矩阵进行拼接；拼接后的特征经过SE模块，通过压缩-扩张通道数来筛选出有效特征；经过SE部分后的筛选出的有效特征输入到全连接层，得到来自于MR影像的一维特征矩阵Xmr；
预测模块中，将筛选的临床信息的一维特征矩阵Xclic与MR影像的一维特征矩阵Xmr进行拼接，然后输入到Softmax层，得到属于病毒性脑炎、化脓性脑炎、非脑炎的概率，以最大概率值的类别作为预测类别。
进一步地，所述分类模型的训练过程如下：
(1)收集患有病毒性脑炎、化脓性脑炎和正常儿童患者的临床信息数据与T2W序列MR影像数据，对MR影像数据和临床信息数据分别进行预处理；
(2)将所有案例随机划分为训练集、验证集和测试集；
(3)将训练集送入到构建的分类模型中进行训练，利用验证集对分类模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分类模型，并在测试集上进行验证。
对MR影像数据进行预处理的具体过程如下：
对所有图像采用脑部分割算法提取脑部区域；然后对分割后的脑部区域进行校正，减少图像采集过程对图像的噪声影响；最后通过3D连通域对脑部图像进行裁剪，减少无关区域，使模型集中于关键区域，然后缩放到统一的尺寸64*64*64。
对临床信息数据进行预处理的具体过程如下：将文本数据转变为数字序列或者数字类别，然后进行归一化。
临床信息处理模块中，采用Student T检验对所有预处理的临床信息进行单因素分析，过滤出P值小于0.05的因素进入下一轮分析；这些因素特征组成一维特征矩阵Xclic。
通过3D网络提取影像的三维特征矩阵具体包括：
提取过程为五次相同操作，每次操作包括大小为5*5*5的3D卷积核的卷积层、批正则化层和ReLU的非线性激活层，最终获取三维特征矩阵X3d。
采用2D网络提取二维特征矩阵具体包括：
将原始图像分别按照横状位、矢状位、冠状位进行切片；每个状位中，均将图像分为64张大小为64*64的切片，然后通过ResNet-18网络进行特征提取，最终将每一切片的特征矩阵进行拼接，分别获得大小一致的三个状位面的特征矩阵Xc，Xs，Xa。
SE模块的具体结构如下：
输入表示为X(c*w*h)，其中c,w,h分别代表特征矩阵的通道数、宽、高；首先用大小为1*1的核进行全局池化，获得大小相同的特征矩阵F1＝GobelPool(X)，然后进行全连接卷积，输出通道数为1/16*c，获得大小为c/16*w*h的特征矩阵F2＝FC(F1)，然后用c通道数的卷积层进行卷积，获得大小为c*1*1的特征向量F3＝FC(F2)，然后用sigmoid激活函数将权重归一化到0-1之间，获得大小为c*1*1的权重向量F4＝Sigmoid(F3)，最后对
输入数据进行加权，获得大小为c*w*h的特征矩阵
与现有技术相比，本发明具有以下有益效果：
1、本发明创新性地提出了基于多模态的深度学习模态，通过将儿童脑部MR图像和临床信息进行有效整合和学习，实现了对儿童病毒性脑炎、化脓性脑炎、非脑炎的三分类诊断，既不需要具有伤害的腰穿脑脊液检查，也可以准确区分脑炎类别，为后续治疗方案的选择提供有力参考，从而实现儿童脑炎的早期诊断、早期干预，从而减少儿童脑炎的危害。
2、本发明中采用MM-SENe网络模型进行MR影像关键特征的提取，此模型分为两部分，第一部分是多维度多平面的特征提取，包括三维特征和不同状位的二维的特征提取，其中二维特征提取分别按照横状位、矢状位、冠状位进行特征提取，这一部分可以保证模型充分提取了影像的各种特征。第二部分采用SE模块，通过给特征赋权重的方式筛选出对结果有高度相关的特征，从而提升模型的学习能力，避免过拟合，进而提升了模型的分类性能。
附图说明
图1为本发明中对MR影像数据进行预处理的示意图；
图2为本发明中分类模型的网络结构图；
图3为分类模型中ResNet-18的网络结构图；
图4为分类模型中SE模块的网络结构图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存储有训练好的分类模型；计算机处理器执行计算机程序时实现以下步骤：
将待分类的儿童脑部临床信息与MR影像数据输入训练好的分类模型中，预测得到病毒性脑炎、化脓性脑炎、非脑炎的三分类结果。
本发明实施例中，儿童脑炎分类系统实施的流程如下：
1、图像预处理
收集患有病毒性脑炎、化脓性脑炎和正常儿童临床信息和T2W期MR影像数据，分别对其进行预处理。
影像的预处理包括以下三步：第一步，对所有图像采用脑部分割算法提取脑部区域。第二步，对分割后的脑部区域进行校正，减少图像采集过程对图像的噪声影响。第三步，通过3D连通域对脑部图像进行裁剪，减少无关区域，使模型集中于关键区域，然后缩放到统一的尺寸64*64*64，提升模型的效率和性能。具体效果如图1所示。
临床信息的预处理包括以下两步：第一步，对文本数据转变为数字序列或者数字类别，比如将性别男/女改为0/1，从而使模型能进行识别处理。第二步，对所有临床数据进行归一化，减少极端案例对模型的影响。
2、数据分组
数据集包括本中心数据集D1以及其它三家合作医院的数据集[D2,D3,D4]，在建立模型阶段，以本中心数据集D1作为训练库，其中，随机选取70％的数据作为训练集，随机选取10％的数据集作为验证集，剩下的20％的数据和其它三个数据集[D2,D3,D4]的数据作为测试集。外部数据的测试可以检测模型的泛化性。
3、模型构建
如图2所示，构建分类模型，分类模型采用多模态数据作为输入，主要分为临床信息处理模块、MR影像处理模块、预测模块。
临床信息处理模块中，采用Student T检验(Student's t test)对所有预处理的临床信息进行单因素分析，过滤出P值小于0.05的因素进入下一轮分析。这些特征组成一维特征矩阵Xclic。
MR影像处理模块中，采用多维多平面的MM-SENet网络模型对网络进行特征提取。此网络先通过3D网络提取影像的三维特征矩阵，然后对MR影像分别按横状位、矢状位、冠状位进行切片，然后采用2D网络二维特征提取，然后将两部分的特征进行拼接，然后网络采用了SE模块，此模块通过压缩-扩张通道数来筛选出有效特征，从而实现对MR影像的特征筛选。
MR影像处理模块的具体过程有以下三步：
第一步，进行三维特征提取和二维特征提取。首先是三维特征的提取，提取过程为五次相同操作，每次操作包括大小为5*5*5的3D卷积核的卷积层、批正则化层和ReLU的非线性激活层，最终获取三维特征矩阵X3d。其次是二维特征的提取，将原始图像分别按照横状位、矢状位、冠状位进行切片，以横状位为例，将图像分为64张大小为64*64的切片，然后通过ResNet-18网络进行特征提取，最终将每一切片的特征矩阵进行拼接，分别获得大小一致的三个位面的特征矩阵Xc，Xs，Xa。
ResNet-18网络具体结构如图3所示，它是一种加入Res模块的CNN网络，通过跳跃连接将不同深度的特征信息进行组合，避免过拟合。
第二步，将X3d，Xc，Xs，Xa四部分特征矩阵拼接，然后通过SE模块对特征进行筛选。SE模块具体结构如图4所示，其中，输入表示为X(c*w*h)，其中c,w,h分别代表特征矩阵的通道数、宽、高。首先用大小为1*1的核进行全局池化，获得大小相同的特征矩阵F1＝GobelPool(X)，然后进行全连接卷积，输出通道数为1/16*c，获得大小为c/16*w*h的特征矩阵F2＝FC(F1)，然后用c通道数的卷积层进行卷积，获得大小为c*1*1的特征向量F3＝FC(F2)，然后用sigmoid激活函数将权重归一化到0-1之间，获得大小为c*1*1的权重向量F4＝Sigmoid(F3)，最后对输入数据进行加权，获得大小为c*w*h的特征矩阵SE部分会抑制与结果相关性较小的特征矩阵，从而实现模型注意力的集中。
第三步，将经过SE部分后的特征输入到全连接层，得到来自于MR影像的的一维特征矩阵Xmr。
预测模块中，将筛选的临床信息的特征Xclic与MR影像的特征Xmr进行拼接，然后输入到Softmax层，得到输入案例属于各类的概率，以最大概率值的类别作为预测类别。
4、模型训练和分类测试
分类模型训练时，将训练集送入到分类模型中，按照16个案例一批，分为若干个批次，全部案例训练结束后，用模型在验证集上进行验证，根据验证结果优化模型。此过程为一轮训练，经过若干轮训练后结束训练。用训练好的模型在测试集上进行测试，用来评估模型的最终性能。
5、评估阶段
在测试集上，对模型的分类效果进行评估：我们采用平均特异性、平均敏感性和平均AUC值对模型进行评估。特异性是此类患者中，被模型诊断到此类的比例。敏感性是非此类患者中，被模型诊断到非此类的比例。AUC值是以假正率(FP_rate)和假负率(TP_rate)为轴的ROC(Receiver Operating Characteristic)曲线下面的面积。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：
将待分类的儿童脑部临床信息与MR影像数据输入训练好的分类模型中，预测得到病毒性脑炎、化脓性脑炎、非脑炎的三分类结果；
具体的，所述的分类模型采用多模态数据作为输入，包含临床信息处理模块、MR影像处理模块、预测模块；
临床信息处理模块中，对预处理的临床信息进行单因素分析，提取与分类强相关的关键因素，组成一维特征矩阵Xclic；
MR影像处理模块中，通过MM-SENet网络模型对MR影像进行特征提取，具体为：先通过3D网络提取影像的三维特征矩阵；接着对MR影像分别按横状位、矢状位、冠状位进行切片，采用2D网络提取二维特征矩阵；然后将三维特征矩阵和二维特征矩阵进行拼接；拼接后的特征经过SE模块，通过压缩-扩张通道数来筛选出有效特征；经过SE部分后的筛选出的有效特征输入到全连接层，得到来自于MR影像的一维特征矩阵Xmr；
预测模块中，将筛选的临床信息的一维特征矩阵Xclic与MR影像的一维特征矩阵Xmr进行拼接，然后输入到Softmax层，得到属于病毒性脑炎、化脓性脑炎、非脑炎的概率，以最大概率值的类别作为预测类别。
2.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，所述分类模型的训练过程如下：
(1)收集患有病毒性脑炎、化脓性脑炎和正常儿童患者的临床信息数据与T2W序列MR影像数据，对MR影像数据和临床信息数据分别进行预处理；
(2)将所有案例随机划分为训练集、验证集和测试集；
(3)将训练集送入到构建的分类模型中进行训练，利用验证集对分类模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分类模型，并在测试集上进行验证。
3.根据权利要求2所述的基于多模态的儿童脑炎分类系统，其特征在于，步骤(1)中，对MR影像数据进行预处理的具体过程如下：
对所有图像采用脑部分割算法提取脑部区域；然后对分割后的脑部区域进行校正，减少图像采集过程对图像的噪声影响；最后通过3D连通域对脑部图像进行裁剪，减少无关区域，使模型集中于关键区域，然后缩放到统一的尺寸64*64*64。
4.根据权利要求2所述的基于多模态的儿童脑炎分类系统，其特征在于，步骤(1)中，对临床信息数据进行预处理的具体过程如下：将文本数据转变为数字序列或者数字类别，然后进行归一化。
5.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，临床信息处理模块中，采用Student T检验对所有预处理的临床信息进行单因素分析，过滤出P值小于0.05的因素进入下一轮分析；这些关键因素特征组成一维特征矩阵Xclic。
6.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，通过3D网络提取影像的三维特征矩阵具体包括：
提取过程为五次相同操作，每次操作包括大小为5*5*5的3D卷积核的卷积层、批正则化层和ReLU的非线性激活层，最终获取三维特征矩阵X3d。
7.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，采用2D网络提取二维特征矩阵具体包括：
将原始图像分别按照横状位、矢状位、冠状位进行切片；每个状位中，均将图像分为64张大小为64*64的切片，然后通过ResNet-18网络进行特征提取，最终将每一切片的特征矩阵进行拼接，分别获得大小一致的三个状位面的特征矩阵Xc，Xs，Xa。
8.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，SE模块的具体结构如下：
输入表示为X，X中的三个维度c,w,h分别代表特征矩阵的通道数、宽、高；首先用大小为1*1的核进行全局池化，获得大小相同的特征矩阵F1＝GobelPool(X)，然后进行全连接卷积，输出通道数为1/16*c，获得大小为c/16*w*h的特征矩阵F2＝FC(F1)，然后用c通道数的卷积层进行卷积，获得大小为c*1*1的特征向量F3＝FC(F2)，然后用Sigmoid激活函数将权重归一化到0-1之间，获得大小为c*1*1的权重向量F4＝Sigmoid(F3)，最后对输入数据进行加权，获得大小为c*w*h的特征矩阵
CN202310399334.XA 2023-04-14 2023-04-14 一种基于多模态的儿童脑炎分类系统 Active CN116363438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310399334.XA CN116363438B (zh) 2023-04-14 2023-04-14 一种基于多模态的儿童脑炎分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310399334.XA CN116363438B (zh) 2023-04-14 2023-04-14 一种基于多模态的儿童脑炎分类系统

Publications (2)

Publication Number Publication Date
CN116363438A CN116363438A (zh) 2023-06-30
CN116363438B true CN116363438B (zh) 2023-09-15

Family

ID=86933298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310399334.XA Active CN116363438B (zh) 2023-04-14 2023-04-14 一种基于多模态的儿童脑炎分类系统

Country Status (1)

Country Link
CN (1) CN116363438B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636064B (zh) * 2023-12-21 2024-05-28 浙江大学 一种基于儿童病理切片的神经母细胞瘤智能分类系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN114092794A (zh) * 2021-11-22 2022-02-25 上海海洋大学 一种海冰图像分类方法、系统、介质、设备及处理终端
CN114693719A (zh) * 2022-03-30 2022-07-01 南京航空航天大学 基于3D-SE-Vnet的脊柱图像分割方法及系统
CN114821176A (zh) * 2022-04-28 2022-07-29 浙江大学 一种儿童脑部mr图像病毒性脑炎分类系统
CN115205599A (zh) * 2022-07-25 2022-10-18 浙江大学 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统
CN115331071A (zh) * 2022-07-19 2022-11-11 长沙理工大学 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
CN115937604A (zh) * 2022-12-27 2023-04-07 西南大学 一种基于多模态特征融合的抗nmdar脑炎预后分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN114092794A (zh) * 2021-11-22 2022-02-25 上海海洋大学 一种海冰图像分类方法、系统、介质、设备及处理终端
CN114693719A (zh) * 2022-03-30 2022-07-01 南京航空航天大学 基于3D-SE-Vnet的脊柱图像分割方法及系统
CN114821176A (zh) * 2022-04-28 2022-07-29 浙江大学 一种儿童脑部mr图像病毒性脑炎分类系统
CN115331071A (zh) * 2022-07-19 2022-11-11 长沙理工大学 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
CN115205599A (zh) * 2022-07-25 2022-10-18 浙江大学 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统
CN115937604A (zh) * 2022-12-27 2023-04-07 西南大学 一种基于多模态特征融合的抗nmdar脑炎预后分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的儿童病毒性脑炎磁共振影像分类与早期诊断研究;黄坚 等;磁共振成像;第14卷(第1期);第54-60页 *

Also Published As

Publication number Publication date
CN116363438A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
Mohankumar Analysis of different wavelets for brain image classification using support vector machine
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN116363438B (zh) 一种基于多模态的儿童脑炎分类系统
CN114926477A (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
Rachmatullah et al. Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view
Vij et al. A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification
CN112364920A (zh) 基于深度学习的甲状腺癌病理图像分类方法
Ur Rehman et al. Diabetic retinopathy fundus image classification using discrete wavelet transform
Shrivastava et al. Control or autism-classification using convolutional neural networks on functional MRI
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Shi et al. Automatic detection of pulmonary nodules in CT images based on 3D Res-I network
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Singh et al. Detection and classification of brain tumor using hybrid feature extraction technique
Lakshmi Devasena et al. Efficient computer aided diagnosis of abnormal parts detection in magnetic resonance images using hybrid abnormality detection algorithm
CN114821176B (zh) 一种儿童脑部mr图像病毒性脑炎分类系统
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测系统
URAL Computer aided deep learning based assessment of stroke from brain radiological ct images
Singh et al. Detection of Brain Tumors Through the Application of Deep Learning and Machine Learning Models
Xu et al. Retinal vessel segmentation with vae reconstruction and multi-scale context extractor
CN114723937A (zh) 一种基于核磁共振影像的血管周围间隙分类方法及系统
CN110189299B (zh) 一种基于MobileNet的脑血管事件自动识别方法及系统
Şengül et al. Performance Evaluation of Basic Capsule Network Architecture in Classification of Biomedical Images
CN117636064B (zh) 一种基于儿童病理切片的神经母细胞瘤智能分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant