CN112330645A - 基于注意力机制的胶质瘤分级方法以及装置 - Google Patents

基于注意力机制的胶质瘤分级方法以及装置 Download PDF

Info

Publication number
CN112330645A
CN112330645A CN202011253926.3A CN202011253926A CN112330645A CN 112330645 A CN112330645 A CN 112330645A CN 202011253926 A CN202011253926 A CN 202011253926A CN 112330645 A CN112330645 A CN 112330645A
Authority
CN
China
Prior art keywords
glioma
classification
magnetic resonance
nuclear magnetic
resonance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011253926.3A
Other languages
English (en)
Inventor
曹卓群
杜姗姗
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202011253926.3A priority Critical patent/CN112330645A/zh
Publication of CN112330645A publication Critical patent/CN112330645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种基于注意力机制的胶质瘤分级方法以及装置,用于对胶质瘤患者的待分级核磁共振影像进行分析得到胶质瘤分级结果从而为医师提供参考依据,其特征在于,包括如下步骤:步骤S1,获取待训练核磁共振影像并进行预处理;步骤S2,构建基于ResNet的分类网络并输入预处理数据;步骤S3,获取注意力图并与特征图进行像素相乘;步骤S4,建立由输出分类与真实分类构成的损失函数;步骤S5,更新分类网络直到达到收敛条件得到收敛的分类网络作为输出模型;步骤S6,将待分级核磁共振影像输入输出模型得到胶质瘤分级结果。其中,分类网络包括由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核、激活层以及归一化层。

Description

基于注意力机制的胶质瘤分级方法以及装置
技术领域
本发明属于计算机视觉领域,具体涉及一种基于注意力机制的胶质瘤分级方法以及装置。
背景技术
胶质瘤是最常见的中枢神经方法肿瘤,它根据浸润性病理学结果以及基因特征被分为I至IV级。而在所有四个等级中,胶质母细胞瘤(简称GBM,等级为IV级)发生率最高,占总的胶质瘤发生率的46.1%,与较低等级的神经胶质瘤相比,它具有更高的恶性和异质性。医师在设计治疗方案前需要先对病患的胶质瘤进行分级,根据不同的等级制定治疗计划,并且对预后预测拥有指导性的作用。尤其是针对低级别神经胶质瘤(简称LGG,等级为I和II级)以及高级别神经胶质瘤(简称HGG,等级为III和IV级)的分级。
近年来,核磁共振影像成为胶质瘤的术前诊断主流研究方向,其不同模态的序列为医师提供了不同信息。医师一般通过观察与比较不同核磁共振影像模态之间的互补信息、影像特征等,并结合临床经验得到胶质瘤分级结果。然而,医师在观察与比较不同核磁共振影像时需要花费大量时间与精力,并且对医师的阅片经验有较高门槛,从而造成了不小的压力。
影像组学方法可以为上述问题提供一条解决思路,其主要是一种先提取核磁共振影像中的感兴趣区域(ROI),然后计算其中像素级别的方差、直方图特征以及纹理特征从而实现对多参数核磁共振影像的分析的方法。通过这种方法可以捕捉到不同级别胶质瘤之间的影像特征差异从而得到胶质瘤对应的等级。
然而,现有的影像组学仍存在诸多问题,例如:稀缺的医疗数据集、不同设备采集到的核磁共振影像存在差异等。上述问题会导致影像组学方法所提取的特征不够抽象,使得该方法无法在实际应用中无有较好的表现。另外,不同模态之间的互补信息也没有得到好的利用。
发明内容
为解决上述问题,提供了一种模拟放射科医师的阅片方式对核磁共振影像中的异常区域的单个切片进行分析得到胶质瘤的分级结果的分级方法,本发明采用了如下技术方案:
本发明提供了一种基于注意力机制的胶质瘤分级方法以及装置,用于对胶质瘤患者的待分级核磁共振影像进行分析得到胶质瘤分级结果从而为医师提供参考依据,其特征在于,包括如下步骤:步骤S1,获取待训练核磁共振影像,并对待训练核磁共振影像进预处理得到预处理数据;步骤S2,构建基于ResNet的分类网络,并将预处理数据输入该分类网络得到输出分类以及特征图F;步骤S3,步骤S3,通过下式从特征图F中获取注意力图Mc,并将该注意力图Mc与特征图F进行像素相乘得到优化后的特征图F':
Figure BDA0002772497940000021
式中,C为特征图F的通道数,r为特征图F的缩放倍数,σ为Sigmoid激活函数层,δ为ReLU激活函数层,Fc为特征图F池化后的池化特征图;步骤S4,建立由输出分类以及与胶质瘤分级结果相关的真实分类构成的损失函数;步骤S5,根据损失函数以及优化后的特征图F'通过预定网络优化算法更新分类网络直到满足收敛条件得到收敛的分类网络作为输出模型;步骤S6,将待分级核磁共振影像输入输出模型得到胶质瘤分级结果从而为医师提供参考依据,其中,步骤S2中的分类网络包括由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核、激活层以及归一化层。
根据本发明提供的基于注意力机制的胶质瘤分级方法以及装置,还可以具有这样的技术特征,其中,步骤S1包括如下子步骤:步骤S1-1,获取待训练核磁共振影像;步骤S1-2,对待训练核磁共振影像进行归一化处理得到归一化影像;步骤S1-3,以归一化影像中的胶质瘤区域为中心进行体素块提取得到多个体素块;步骤S1-4,将所有体素块拼接在通道维度上进行拼接得到预处理数据。
根据本发明提供的基于注意力机制的胶质瘤分级方法以及装置,还可以具有这样的技术特征,其中,步骤S4中的损失函数Loss为:Loss=Y(-log(Ypred))+(1-Y)(-log(1-Ypred))式中,Y为真实分类,Ypred为输出分类。
根据本发明提供的基于注意力机制的胶质瘤分级方法以及装置,还可以具有这样的技术特征,其中,在步骤S5中网络优化算法为Adam算法。
根据本发明提供的基于注意力机制的胶质瘤分级方法以及装置,其特征在于,包括:图像获取部,用于获取待分级核磁共振影像;图像分析部,通过权利要求1至4中任意一项的基于注意力机制的胶质瘤分级方法对待分级核磁共振影像进行分析得到胶质瘤分级结果;以及分级结果输出部,用于输出胶质瘤分级结果。
发明作用与效果
根据本发明的基于注意力机制的胶质瘤分级方法以及装置,由于在基于ResNet的分类网络中引入了基于层的注意力模块,对特征图进行优化,因此可以模拟医师将注意力放在包含胶质瘤区域的阅片流程从而达到提升分类网络的诊断精度的目的。
另外,由于分类网络包含由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核从而代替了3×3×3三维卷积核,因此在保证分类网络有较高的精度的前提下节约了计算成本以及内存消耗,加快了推理时间。
附图说明
图1为本发明实施例的基于注意力机制的胶质瘤分级方法的流程图;
以及
图2为本发明实施例的胶质瘤分级装置的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的基于注意力机制的胶质瘤分级方法作具体阐述。
<实施例>
本实施例中的基于注意力机制的胶质瘤分级方法是基于Python语言完成,并且在Linux平台上运行,而该平台至少具有一张图形处理单元1080TiGPU卡。
本实施例中的基于注意力机制的胶质瘤分级方法可以对待分级核磁共振影像进行分析得到胶质瘤分级结果。
图1为本发明实施例的基于注意力机制的胶质瘤分级方法的流程图。
如图1所示,基于注意力机制的胶质瘤分级方法包括如下步骤:
步骤S1,获取待训练核磁共振影像,并对待训练核磁共振影像进预处理得到预处理数据。
其中,步骤S1包括如下子步骤:
步骤S1-1,获取待训练核磁共振影像。
其中,待训练核磁共振影像为BRATS2017,该BRATS2017提供了285例神经胶质瘤患者的临床影像数据,共有210例高级别胶质瘤患者和75例低级别神经胶质瘤患者的临床影像数据。每例患者的临床影像数据均为来自多个机构的常规术前多参数MRI扫描(T1,T1ce,T2,Flair),并且该MRI扫描均经过组织学诊断。
本实施例中,待训练核磁共振影像共分为五等分。
待训练核磁共振影像经过配准、重采样至1mm体素、头骨剥离、计算机辅助分割、手动矫正等一系列操作后得到与胶质瘤区域相关的四个序列,分别为胶质瘤核心的增强部分、胶质瘤核心的非增强部分、坏死组织部分以及胶质瘤周围的水肿部分。
本实施例中,待训练核磁共振影像通过SimpleITK读取以及上述的一系列操作
步骤S1-2,对待训练核磁共振影像进行归一化处理得到归一化影像。
待训练核磁共振影像的四个序列经过归一化处理后成为归一化影像。具体地,序列中的每个体素减去整个序列所有体素的平均值,然后除以整个序列体素的标准差从而得到归一化影像,该归一化影像中的体素服从均值为0标准差为1的正态分布。
步骤S1-3,以归一化影像中的胶质瘤区域为中心进行体素块提取得到多个体素块。
本实施例中,体素块是以归一化影像中的胶质瘤区域为中心,在每个序列中提取大小为(128,128,128)的体素块。
步骤S1-4,将所有体素块拼接在通道维度上进行拼接得到预处理数据。
步骤S2,构建基于ResNet的分类网络,并将预处理数据输入该分类网络得到输出分类以及特征图F。
其中,分类网络包括由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核、激活层以及归一化层。
本实施例中,分类网络的构建通过PyTorch完成。
步骤S3,通过下式从特征图F中获取注意力图Mc,并将该注意力图Mc与特征图F进行像素相乘得到优化后的特征图F':
Figure BDA0002772497940000071
式中,C为特征图F的通道数,r为特征图F的缩放倍数,σ为Sigmoid激活函数层,δ为ReLU激活函数层,Fc为特征图F池化后的池化特征图。
具体地,先对大小为C×D×H×W的特征图F进行池化操作得到C×D×1×1大小的池化特征图Fc,然后在该池化特征图Fc施加两个卷积层从而完成编解码操作得到特征图中各个层的注意力图Mc,接着将注意力图Mc与特征图F进行像素乘得到优化后的特征图F'。
步骤S4,建立由输出分类以及与胶质瘤分级结果相关的真实分类构成的损失函数。
步骤S4中的损失函数Loss为:
Loss=Y(-log(Ypred))+(1-Y)(-log(1-Ypred))
式中,Y为真实分类,Ypred为输出分类。
步骤S5,根据损失函数以及优化后的特征图F'通过预定网络优化算法更新分类网络直到满足收敛条件得到收敛的分类网络作为输出模型。
其中,网络优化算法为Adam算法。
本实施例中,通过五折交叉验证的方法调整网络超参数,该超参数包括迭代次数,激活函数,网络深度,网络初始化方式,学习率等。具体地,初始学习率设为0.0003,训练迭代数为100轮,在第20轮和50轮以0.1为因子,进行学习率衰减,批大小为4。
步骤S6,将待分析核磁共振影像输入输出模型得到胶质瘤分级结果从而为医师提供参考依据。
图2为本发明实施例的胶质瘤分级装置的结构框图。
上述基于注意力机制的胶质瘤分级方法可以应用在计算机中并形成一个胶质瘤分级装置,该胶质瘤分析装置1包括图像获取部11、图像分析部12、分级结果输出部13以及控制部14(如图2所示)。
图像获取部11可以获取待分级核磁共振影像。
其中,待分级核磁共振影像为需要分级的胶质瘤患者的核磁共振影像。
图像分析部12通过上述的基于注意力机制的胶质瘤分级方法对待分级核磁共振影像进行分析得到胶质瘤分级结果。
分级结果输出部13可以输出胶质瘤分级结果。
控制部14用于控制上述各个部运行实现相应功能。
实施例作用与效果
根据本实施例提供的基于注意力机制的胶质瘤分级方法,由于在基于ResNet的分类网络中引入了基于层的注意力模块,对特征图进行优化,因此可以模拟医师将注意力放在包含胶质瘤区域的阅片流程从而达到提升分类网络的诊断精度的目的。
另外,实施例中,由于分类网络包含由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核从而代替了3×3×3三维卷积核,因此在保证分类网络有较高的精度的前提下节约了计算成本以及内存消耗,加快了推理时间。
另外,实施例中,由于待训练核磁共振影像会经过配准、重采样至1mm体素、头骨剥离、计算机辅助分割、手动矫正等一系列操作后得到与胶质瘤区域相关的四个序列,因此提高了待训练核磁共振影像的质量,为后续获得高精度的输出模型打下基础。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
在上述实施例中,步骤S5中网络优化算法为Adam算法,在本发明的其他方案中,也可以使用其他常规的网络参数优化算法进行超参数的调整。

Claims (5)

1.一种基于注意力机制的胶质瘤分级方法,用于对胶质瘤患者的待分级核磁共振影像进行分析得到胶质瘤分级结果从而为医师提供参考依据,其特征在于,包括如下步骤:
步骤S1,获取待训练核磁共振影像,并对所述待训练核磁共振影像进预处理得到预处理数据;
步骤S2,构建基于ResNet的分类网络,并将所述预处理数据输入该分类网络得到输出分类以及特征图F;
步骤S3,通过下式从所述特征图F中获取注意力图Mc,并将该注意力图Mc与所述特征图F进行像素相乘得到优化后的特征图F':
Figure FDA0002772497930000011
式中,C为所述特征图F的通道数,r为所述特征图F的缩放倍数,σ为Sigmoid激活函数层,δ为ReLU激活函数层,Fc为所述特征图F池化后的池化特征图;
步骤S4,建立由所述输出分类以及与所述胶质瘤分级结果相关的真实分类构成的损失函数;
步骤S5,根据所述损失函数以及所述优化后的特征图F'通过预定网络优化算法更新所述分类网络直到满足收敛条件得到收敛的分类网络作为输出模型;
步骤S6,将所述待分级核磁共振影像输入所述输出模型得到所述胶质瘤分级结果从而为所述医师提供所述参考依据,
其中,所述步骤S2中的所述分类网络包括由3×3×1二维卷积核以及1×1×3二维卷积核组成的伪三维卷积核、激活层以及归一化层。
2.根据权利要求1所述的基于注意力机制的胶质瘤分级方法,其特征在于:
其中,所述步骤S1包括如下子步骤:
步骤S1-1,获取所述待训练核磁共振影像;
步骤S1-2,对所述待训练核磁共振影像进行归一化处理得到归一化影像;
步骤S1-3,以所述归一化影像中的胶质瘤区域为中心进行体素块提取得到多个体素块;
步骤S1-4,将所有所述体素块拼接在通道维度上进行拼接得到所述预处理数据。
3.根据权利要求1所述的基于注意力机制的胶质瘤分级方法,其特征在于:
其中,所述步骤S4中的所述损失函数Loss为:
Loss=Y(-log(Ypred))+(1-Y)(-log(1-Ypred))
式中,Y为所述真实分类,Ypred为所述输出分类。
4.根据权利要求1所述的基于注意力机制的胶质瘤分级方法,其特征在于:
其中,在所述步骤S5中所述网络优化算法为Adam算法。
5.一种基于注意力机制的胶质瘤分级装置,其特征在于,包括:
图像获取部,用于获取待分级核磁共振影像;
图像分析部,通过权利要求1至4中任意一项所述的基于注意力机制的胶质瘤分级方法对所述待分级核磁共振影像进行分析得到胶质瘤分级结果;以及
分级结果输出部,用于输出所述胶质瘤分级结果。
CN202011253926.3A 2020-11-11 2020-11-11 基于注意力机制的胶质瘤分级方法以及装置 Pending CN112330645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011253926.3A CN112330645A (zh) 2020-11-11 2020-11-11 基于注意力机制的胶质瘤分级方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011253926.3A CN112330645A (zh) 2020-11-11 2020-11-11 基于注意力机制的胶质瘤分级方法以及装置

Publications (1)

Publication Number Publication Date
CN112330645A true CN112330645A (zh) 2021-02-05

Family

ID=74318406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011253926.3A Pending CN112330645A (zh) 2020-11-11 2020-11-11 基于注意力机制的胶质瘤分级方法以及装置

Country Status (1)

Country Link
CN (1) CN112330645A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610857A (zh) * 2021-08-24 2021-11-05 济南大学 一种基于残差网络的苹果分级方法及系统
CN114677537A (zh) * 2022-03-06 2022-06-28 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PALASH GHOSAL ET AL.: "Brain Tumor Classification Using ResNet-101 Based Squeeze and Excitation Deep Neural Network", 《ICACCP》 *
ZHAOFAN QIU ET AL.: "Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610857A (zh) * 2021-08-24 2021-11-05 济南大学 一种基于残差网络的苹果分级方法及系统
CN113610857B (zh) * 2021-08-24 2024-02-06 济南大学 一种基于残差网络的苹果分级方法及系统
CN114677537A (zh) * 2022-03-06 2022-06-28 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法
CN114677537B (zh) * 2022-03-06 2024-03-15 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法

Similar Documents

Publication Publication Date Title
Amin et al. Brain tumor detection and classification using machine learning: a comprehensive survey
EP3916674B1 (en) Brain image segmentation method, apparatus, network device and storage medium
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Lei et al. Brain tumor segmentation in MR images using a sparse constrained level set algorithm
CN111798425B (zh) 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法
CN110782427B (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN115393269A (zh) 一种基于多模态影像数据的可扩展多层级图神经网络模型
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
Wang et al. A data augmentation method for fully automatic brain tumor segmentation
CN112330645A (zh) 基于注意力机制的胶质瘤分级方法以及装置
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
Ansari et al. Multiple sclerosis lesion segmentation in brain MRI using inception modules embedded in a convolutional neural network
Tong et al. A dual tri-path CNN system for brain tumor segmentation
Tyagi et al. Identification and classification of prostate cancer identification and classification based on improved convolution neural network
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN117422916A (zh) 基于弱监督学习的mr医学影像结直肠癌分期算法及系统
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN115760900A (zh) 基于ResNet-GCN网络模型的脑胶质瘤恶性程度分级方法
Shanthi et al. Neuro-fuzzy approach toward segmentation of brain MRI based on intensity and spatial distribution
Bhadani et al. Fuzzy volumetric delineation of brain tumor and survival prediction
CN114332037A (zh) 一种自动分割胰腺癌病理切片中多类组织的方法及装置
CN114419309A (zh) 一种基于大脑T1-w磁共振影像的高维特征自动提取方法
Kalaivani et al. A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images
CN115619810B (zh) 一种前列腺分区分割方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205