CN116152560A - 一种基于多任务学习的胶质瘤图像分类方法及系统 - Google Patents

一种基于多任务学习的胶质瘤图像分类方法及系统 Download PDF

Info

Publication number
CN116152560A
CN116152560A CN202310174891.1A CN202310174891A CN116152560A CN 116152560 A CN116152560 A CN 116152560A CN 202310174891 A CN202310174891 A CN 202310174891A CN 116152560 A CN116152560 A CN 116152560A
Authority
CN
China
Prior art keywords
classification
network
segmentation
image
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310174891.1A
Other languages
English (en)
Inventor
耿道颖
项睿
李郁欣
刘晓
罗啸
陈泓亦
周锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310174891.1A priority Critical patent/CN116152560A/zh
Publication of CN116152560A publication Critical patent/CN116152560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多任务学习的胶质瘤图像分类方法及系统，该方法包括以下步骤：步骤S1、采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；步骤S2、构建基于多任务学习的多模态磁共振成像图像分类与分割联合网络，其损失函数为分割网络损失函数和分类网络损失函数的加权和；采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；步骤S3、采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出胶质瘤多模态磁共振成像图像自动分割结果以及分类结果。与现有技术相比，本发明具有分类准确性高的优点。

Description

一种基于多任务学习的胶质瘤图像分类方法及系统
技术领域
本发明涉及医学图像识别技术领域，尤其是涉及一种基于多任务学习的胶质瘤分割和分类方法及系统。
背景技术
脑胶质瘤是指起源于脑神经胶质细胞的肿瘤，是最为常见的原发性颅内肿瘤，具有发病率高、死亡率高的特点。胶质瘤的生存率和对治疗反应的差异主要归因于其基因和组织学特征，特别是异柠檬酸脱氢酶(IDH)突变状态、1p/19q共缺失状态和肿瘤等级，2016年，世界卫生组织(WHO)更新了脑肿瘤分类标准，根据这些基因和组织学特征对胶质瘤进行分类。
目前，胶质瘤的准确分级和分类只能通过病理检查获得，而这主要运用手术活检方式获取组织样本。非侵入性检查产生的多模态MRI图像(T1WI模态、CE-T1WI模态、T2WI模态以及T2Flair模态等)具有诊断信息丰富、软组织对比度高等优点。通过对感兴趣区域(ROI)应用大量的图像特征算法从图像提取量化的特征，使用机器学习方法来预测组织学特征的方法被称为影像组学。将影像组学应用于多模态的MRI图像胶质瘤的精准分级和基因分类预测，更能为术前治疗提供诊断支持。
然而，这种方法仍然存在一些局限性。一方面，一些影像组学的工作是基于人工勾画的ROI，这对放射科医生而言费时费力。另一方面，所有的图像特征都是通过计算机算法提取的，这可能无法捕捉到所有有用的特征。基于卷积神经网络(CNN)的方法已经取得了比传统计算机视觉方法更准确的分割结果，其中一些方法已经成功地被用来提取图像的深层特征以进一步分析。但这种循序渐进的方法还存在一个问题，因为CNN网络的训练只是为了进行分割，它所提取的特征并没有为分类任务进行优化，最终的分类准确度有待提高。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于多任务学习的胶质瘤图像分类方法及系统，在CNN神经网络提取深层特征的同时，使用影像组学特征进行特征融合，同时进行胶质瘤的分割和分类，既可以提高胶质瘤分类的准确性，也可以为分割任务生成多标签的自动分割结果。
本发明的目的可以通过以下技术方案来实现：
根据本发明的第一方面，提供了一种基于多任务学习的胶质瘤图像分类方法，该方法包括以下步骤：
步骤S1、采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
步骤S2、构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
步骤S3、采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出脑胶质瘤的多模态磁共振成像图像自动分割结果以及分类结果。
优选地，所述步骤S1中的多模态磁共振成像图像数据包括T1WI、CE-T1WI、T2WI、T2Flair模态磁共振成像图像数据。
优选地，所述步骤S1还包括对脑胶质瘤的多模态磁共振成像图像数据进行包括数据脱敏、重采样和颅骨剥离的预处理，以及肿瘤mask金标准的标注处理。
优选地，所述步骤S2中的多模态磁共振成像图像分类与分割联合网络包括基于卷积神经网络的分割网络，以及融合影像组学特征的分类网络，所述基于卷积神经网络的分割网络包括分割网络编码器和分割网络解码器。
分割和分类任务实现具体为：
将多模态磁共振成像图像和对应的标注输入至基于卷积神经网络的分割网络，输出脑胶质瘤多标签的分割结果；
分类网络将分割网络解码器的共享特征与影像组学方法提取的特征融合，输出胶质瘤分类结果。
优选地，所述分割网络编码器为U型网络结构，包括三维卷积层和三维最大池化层，使用ReLu作为激活函数。
优选地，所述分割网络解码器具体为：从分割网络编码器的最后一层开始，包括三个解码块，每个解码块都有三个三维转置卷积层，与分割网络解码器输出的相应卷积层进行跳跃连接，以及两个三维卷积层，最后通过softmax函数作为激活函数生成分割预测结果。
优选地，所述步骤S2包括以下子步骤：
步骤S2.1、采用影像组学方法在多模态磁共振成像图像于对应的分割感兴趣区域ROI上提取影像组学特征Frad；
步骤S2.2、分类网络共享分割网络编码器，对每层卷积层的输出进行平均池化，形成分割得到的一维深层特征FC，将步骤S2.1中得到的影像组学特征作为一维输入向量应用ReLu层后与一维深层特征FC相连接，然后使用具有softmax函数的全连接层来得到分类预测结果；
步骤S2.3、采用分割网络损失函数和分类网络损失函数的加权和作为多模态磁共振成像图像分类与分割联合网络，对网络进行训练：
Lgross＝w1Ldice+w2Lce
其中，Ldice、Lce分别为分割网络损失函数和分类网络损失函数，w1和w2为可调整的权重系数。
优选地，所述基于卷积神经网络的分割网络的损失函数为Dice损失函数，表达式为：
Figure BDA0004100547260000031
式中，u是分割网络输出的分割预测结果，v是经过编码后的肿瘤mask金标准M标签，下标i是体素的索引，上标k是目标样本，K为目标样本总数。
优选地，所述分类网络采用交叉熵作为损失函数，表达式为：
Figure BDA0004100547260000032
式中，u是分类网络输出的分类预测结果，v是经过编码后的金标准标签，k是目标样本，K为目标样本总数。
根据本发明的第二方面，提供了一种基于多任务学习的胶质瘤图像分类系统，其特征在于，采用所述的方法，该系统包括：
图像数据采集模块，用于采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
图像分割与分类联合网络构建与训练模块，用于构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
图像分割与分类模块，用于采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出胶质瘤多模态磁共振成像图像自动分割结果以及分类结果。
本发明利用多任务学习结合CNN网络，对脑胶质瘤多模态MRI图像进行影像组学特征提取的同时，通过设计共享网络参数的分割网络和分类网络，结合影像组学特征和深度网络特征完成胶质瘤分割和分类的任务。与其它多模态MRI图像分割分类模型相比，通过多任务学习方法改变了逐步分阶段进行的单任务学习方法，进行网络自动分割的同时结合影像组学特征和深度特征优化分类网络来获取更高的分类准确度，为医生的临床诊断和患者个性化治疗方案的制定提供更大的帮助，具有更好的临床实用性。
与现有技术相比，本发明具有以下优点：
1、利用影像组学方法开展了基于影像组学的脑胶质瘤无损分类预测，采用深度学习方法建立分类模型并识别提取图像特征，使得预测模型能够适应图像噪声，相较于传统的方法，提升了准确率。
2、基于CNN架构构建多任务的胶质瘤分割和分类方法及系统，与单任务学习网络相比，在胶质瘤分割和分类方面都能有所提升，因为多任务学习可以使共享特征实现更准确的定位和精准分类；分割任务致力于胶质瘤区域的定位，而分类任务则致力于从胶质瘤表征中实现分类；因此，胶质瘤的定位和表示与分类任务密切相关。
3、本发明方法及系统，能够不断自我迭代、优化，从而使得预测正确率、计算速率不断提升，也能够有效帮助到临床医师对胶质瘤情况进行诊断。
附图说明
图1为本发明的方法流程图；
图2为实施例中的方法流程详图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1所示，本发明给出了一种基于多任务学习的胶质瘤图像分类方法，该方法包括以下步骤：
步骤S1、采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
步骤S2、构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
步骤S3、采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出脑胶质瘤的多模态磁共振成像图像自动分割结果以及分类结果。
接下来，结合图2的具体实施例对本发明的方法进行详细介绍。
一种基于多任务学习的胶质瘤图像分割和分类方法，该方法包括以下步骤：
步骤M1：收集获取脑胶质瘤多模态磁共振成像MRI图像数据(包括：T1WI，CE-T1WI，T2WI，T2Flair等模态)并进行数据预处理，通过数据脱敏、重采样和颅骨剥离等预处理方法获得分辨率统一、灰度分布大致相同的脑胶质瘤多模态MRI数据为IGlioma，且每种模态.nii.gz数据大小均为256×256×16。
此外，每个病例还包括由放射科医生人工标注的与MRI图像对应的肿瘤mask金标准，记作M；每种模态.nii.gz数据大小均为256×256×16。
此外，每个病例还包括与之对应的胶质瘤IDH基因分型结果，包括IDH野生型和IDH突变型两种。
预处理包括由放射科医生进行脑肿瘤ROI的标注。
步骤M2：构建一个多模态MRI脑肿瘤分割和分类的联合网络完成分割和分类任务。多模态MRI图像IGlioma和对应标注M、IDH基因分型结果被送入本发明构建的多模态MRI分割和分类网络进行特征提取和特征融合；
多模态MRI胶质瘤分割网络CNN编码器。该网络由U型网络结构组成，包括3×3×3三维卷积层和三维最大池化层，使用ReLu作为激活函数。
步骤M3：分割网络CNN编码器获取的分割金标准M构建感兴趣区域ROI和背景之间的关系，通过损失函数优化网络。
利用分割网络获得的脑胶质瘤金标准M构建分割网络的Dice损失函数，如式所示：
Figure BDA0004100547260000061
其中，u是分割网络输出的分割预测结果，v是经过编码后的金标准标签，i是体素的索引，k是目标样本。
步骤M4：分割网络解码器输出胶质瘤多标签的分割结果，具体为：
分割网络解码器，从编码器的最后一层开始，包括三个解码块，每个解码块都有三个三维转置卷积层，与解码器输出的相应卷积层进行跳跃连接，以及3×3×3的三维卷积层和最后1×1×1的三维卷积层，最后通过softmax函数作为激活函数生成分割预测结果。
步骤M5：分割网络解码器共享特征参数与影像组学提取的特征融合，产生胶质瘤IDH二分类网络的结果。其中，利用CNN架构的多模态MRI图像胶质瘤分割网络和融合影像组学特征的胶质瘤IDH二分类网络；用于生成胶质瘤多模态MRI自动分割结果的同时，完成多模态胶质瘤图像的IDH基因二分类任务。
步骤M5.1：通过影像组学方法在多模态MRI图像于对应的分割ROI上提取影像组学特征Frad，其中，需要计算的影像组学特征参数包括:图像灰度基本特征图像形状和体积特征、图像灰阶特征和共生矩阵纹理特征。图像灰度基本特征包括：最大值(Maximum)、最小值(Minimum)、中位值(Median)、值域(Range)、均值(Mean)。图像形状和体积特征包括：三维最大径(Maximum3 D diameter)、肿瘤表面积(Surface area、体积(Volume)、紧密度(Compactness)、球体不对称度(Spherical disproportion)、球度(Sphericity)、表面积-体积比(Surface to volume ratio)。图像灰阶特征和共生矩阵纹理特征包括：熵值(Entropy)、同质度(Homogeneity)、和熵(Sum Entropy)。
步骤M5.2：胶质瘤分类网络共享步骤M2中的CNN分割编码器，对每层卷积层的输出进行平均池化，形成分割得到的一维深层特征FC，将步骤M5.1中得到的影像组学特征作为一维输入向量应用ReLu层后与深层特征FC相连接，然后使用具有softmax函数的全连接层来得到IDH分类预测结果。
步骤M5.3：胶质瘤分类网络使用交叉熵作为损失函数，如式所示：
Figure BDA0004100547260000071
其中，u是分类网络输出的胶质瘤IDH基因预测结果，v是经过编码后的病人真实IDH基因分型结果，k是目标样本。
步骤M5.4：最终多任务网络进行训练时所使用的损失函数即为分割网络损失函数和胶质瘤IDH二分类网络损失函数的加权和，如式所示：
Lgross＝w1Ldice+w2Lce
其中，e1和w2为可调整的权重系数。
接下来，给出本发明的系统实施例，一种基于多任务学习的胶质瘤图像分类系统，采用上述的方法，该系统包括：
图像数据采集模块，用于采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
图像分割与分类联合网络构建与训练模块，用于构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
图像分割与分类模块，用于采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出胶质瘤多模态磁共振成像图像自动分割结果以及分类结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多任务学习的胶质瘤图像分类方法，其特征在于，该方法包括以下步骤：
步骤S1、采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
步骤S2、构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
步骤S3、采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出脑胶质瘤的多模态磁共振成像图像自动分割结果以及分类结果。
2.根据权利要求1所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述步骤S1中的多模态磁共振成像图像数据包括T1WI、CE-T1WI、T2WI、T2Flair模态磁共振成像图像数据。
3.根据权利要求1所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述步骤S1还包括对脑胶质瘤的多模态磁共振成像图像数据进行包括数据脱敏、重采样和颅骨剥离的预处理，以及肿瘤mask金标准的标注处理。
4.根据权利要求3所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述步骤S2中的多模态磁共振成像图像分类与分割联合网络包括基于卷积神经网络的分割网络，以及融合影像组学特征的分类网络，所述基于卷积神经网络的分割网络包括分割网络编码器和分割网络解码器。
分割和分类任务实现具体为：
将多模态磁共振成像图像和对应的标注输入至基于卷积神经网络的分割网络，输出脑胶质瘤多标签的分割结果；
分类网络将分割网络解码器的共享特征与影像组学方法提取的特征融合，输出胶质瘤分类结果。
5.根据权利要求4所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述分割网络编码器为U型网络结构，包括三维卷积层和三维最大池化层，使用ReLu作为激活函数。
6.根据权利要求5所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述分割网络解码器具体为：从分割网络编码器的最后一层开始，包括三个解码块，每个解码块都有三个三维转置卷积层，与分割网络解码器输出的相应卷积层进行跳跃连接，以及两个三维卷积层，最后通过softmax函数作为激活函数生成分割预测结果。
7.根据权利要求6所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S2.1、采用影像组学方法在多模态磁共振成像图像于对应的分割感兴趣区域ROI上提取影像组学特征Frad；
步骤S2.2、分类网络共享分割网络编码器，对每层卷积层的输出进行平均池化，形成分割得到的一维深层特征FC，将步骤S2.1中得到的影像组学特征作为一维输入向量应用ReLu层后与一维深层特征FC相连接，然后使用具有softmax函数的全连接层来得到分类预测结果；
步骤S2.3、采用分割网络损失函数和分类网络损失函数的加权和作为多模态磁共振成像图像分类与分割联合网络，对网络进行训练：
Lgross＝w1LdiCe+w2Lce
其中，Ldice、Lce分别为分割网络损失函数和分类网络损失函数，w1和w2为可调整的权重系数。
8.根据权利要求7所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述基于卷积神经网络的分割网络的损失函数为Dice损失函数，表达式为：
Figure FDA0004100547250000021
式中，u是分割网络输出的分割预测结果，v是经过编码后的肿瘤mask金标准M标签，下标i是体素的索引，上标k是目标样本，K为目标样本总数。
9.根据权利要求7所述的一种基于多任务学习的胶质瘤图像分类方法，其特征在于，所述分类网络采用交叉熵作为损失函数，表达式为：
Figure FDA0004100547250000022
式中，u是分类网络输出的分类预测结果，v是经过编码后的金标准标签，k是目标样本，K为目标样本总数。
10.一种基于多任务学习的胶质瘤图像分类系统，其特征在于，采用权利要求1所述的方法，该系统包括：
图像数据采集模块，用于采集脑胶质瘤的多模态磁共振成像图像数据，将其分为训练集和测试集；
图像分割与分类联合网络构建与训练模块，用于构建基于多任务学习的多模态磁共振成像图像分割与分类联合网络，采用标注有肿瘤mask金标准的训练集对多模态磁共振成像图像分类与分割联合网络进行训练；其中，损失函数为分割网络损失函数和分类网络损失函数的加权和；
图像分割与分类模块，用于采用训练好的多模态磁共振成像图像分类与分割联合网络对测试集进行图像分割与分类，输出胶质瘤多模态磁共振成像图像自动分割结果以及分类结果。
CN202310174891.1A 2023-02-24 2023-02-24 一种基于多任务学习的胶质瘤图像分类方法及系统 Pending CN116152560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310174891.1A CN116152560A (zh) 2023-02-24 2023-02-24 一种基于多任务学习的胶质瘤图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310174891.1A CN116152560A (zh) 2023-02-24 2023-02-24 一种基于多任务学习的胶质瘤图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN116152560A true CN116152560A (zh) 2023-05-23

Family

ID=86354264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310174891.1A Pending CN116152560A (zh) 2023-02-24 2023-02-24 一种基于多任务学习的胶质瘤图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN116152560A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645381A (zh) * 2023-06-26 2023-08-25 海南大学 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质
CN117058172A (zh) * 2023-08-24 2023-11-14 吉林大学 Ct图像多区域的分割方法、装置、电子设备及存储介质
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645381A (zh) * 2023-06-26 2023-08-25 海南大学 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质
CN117058172A (zh) * 2023-08-24 2023-11-14 吉林大学 Ct图像多区域的分割方法、装置、电子设备及存储介质
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法
CN117218419B (zh) * 2023-09-12 2024-04-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Similar Documents

Publication Publication Date Title
WO2020182033A1 (zh) 图像区域定位方法、装置和医学图像处理设备
CN109035263B (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
CN108537773B (zh) 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法
CN116152560A (zh) 一种基于多任务学习的胶质瘤图像分类方法及系统
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
CN109978850B (zh) 一种多模态医学影像半监督深度学习分割系统
CN113314205B (zh) 一种高效的医学影像标注与学习系统
Valanarasu et al. Learning to segment brain anatomy from 2D ultrasound with less data
CN113744271B (zh) 基于神经网络的视神经自动分割和受压迫程度测算方法
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN111598864B (zh) 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN116433697B (zh) 基于眼动仪的腹部多器官ct图像分割方法
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN117422788B (zh) 一种基于ct脑梗图像生成dwi图像的方法
CN117218127A (zh) 超声内镜辅助监测系统及方法
CN116958094A (zh) 一种动态增强磁共振影像特征生成病理图像特征的方法
Do et al. Supporting thyroid cancer diagnosis based on cell classification over microscopic images
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法
Mani Deep learning models for semantic multi-modal medical image segmentation
Liu et al. A lung-parenchyma-contrast hybrid network for egfr gene mutation prediction in lung cancer
CN113902738A (zh) 一种心脏mri分割方法及系统
CN113362350A (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
Amara et al. Augmented Reality for medical practice: a comparative study of Deep learning models for Ct-scan segmentation
CN117218419B (zh) 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination