CN108109140A - 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 - Google Patents

基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 Download PDF

Info

Publication number
CN108109140A
CN108109140A CN201711363092.XA CN201711363092A CN108109140A CN 108109140 A CN108109140 A CN 108109140A CN 201711363092 A CN201711363092 A CN 201711363092A CN 108109140 A CN108109140 A CN 108109140A
Authority
CN
China
Prior art keywords
convolutional neural
neural network
image
tumor
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711363092.XA
Other languages
English (en)
Inventor
汪源源
余锦华
李泽榉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201711363092.XA priority Critical patent/CN108109140A/zh
Publication of CN108109140A publication Critical patent/CN108109140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明属于计算机医学图像处理技术领域。具体为一种的基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法和系统。本发明具有6个卷积层和4096个神经元的完全连接层的卷积神经网络来识别磁共振图像中的肿瘤区域；通过费舍尔向量编码从最后的卷积层中提取深层反应；卷积神经网络为每个病例生成16384个高通量图像特征；基于配对的t检验和F分数和p值筛选方法识别与IDH1高度相关联的卷积神经网络特征；采用支持向量机作为分类器。在IDH1预测中，在相同的数据集的条件下，常规影像组学方法的工作特征曲线下面积为86％，而本发明的AUC为92％；使用基于多模态磁共振图像时，IDH1预测的AUC提高到95％。本发明可以成为从医学图像中提取深层信息更有效的方法。

Description

基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法 及系统
技术领域
发明属于计算机医学图像处理技术领域，具体涉及基于深度学习的影像组学(Deep Learning-Based Radiomics,DLR)的低级别脑胶质瘤柠檬酸脱氢酶(IsocitrateDehydrogenase 1,IDH1)无损预测方法及系统。
背景技术
影像组学(Radiomics)是一种新兴的方法，通过对高通量图像特征进行一系列定性和定量分析，从医学图像中获得预测或预后信息[1]。近年来，影像组学的方法被应用于各种医学图像分析，并提供了不同疾病的基因-蛋白质特征与患者结果、肿瘤表型之间相关联的信息 [2][3]。通常，影像组学分析的过程包括图像采集，图像分割，特征提取，特征选择和信息分析。现有的影像组学测序方法有三个基本问题。第一，图像分割步骤通常依赖于手动操作，这个过程既耗时又受到不同标准的影响。即使图像分割准确，也没有图像特征提取的标准评估方法，不同的图像特征将导致不同的分析结果。第二，由于难以验证图像特征的准确性和可重复性，图像特征的计算错误，可能会产生额外的错误。第三，目前的影像组学的方法通过使用几组图像特征(包括强度，形状，纹理和小波)来表征医学图像。虽然可以计算许多这样的图像特征，但是不可能将分段区域的所有这些成像特征包括在预先设计的特征中。
为了克服影像组学方法的缺点，本发明采用了一种更为先进的方法，称为基于深度学习的影像组学方法(DLR)。DLR通过归一化来深度神经网络的信息来获得影像组学特征。DLR的主要假设是，一旦图像被深层神经网络精确分割，所有关于分割区域的信息都已经被包含在网络中。与目前影像组学的计算方法不同，在DLR中，高通量图像特征直接从深度神经网络中提取出来。因为DLR不涉及额外的特征提取操作，所以由于特征计算，在影像组学分析中不会引入额外的误差。特征的有效性仅与分割的质量有关。如果肿瘤已被精确分割，则可以保证图像特征的准确性和有效性。
在本发明所提出的DLR方法中，采用的是一种改进的卷积神经网络(Convolutional Neural Network)。卷积神经网络是一种用于深度学习的代表性方法，已经成功应用于图像分割领域。近来，许多人利用卷积神经网络进行医学图像分割，它提供了比传统方法更好的效果。在基于磁共振图像的胶质瘤分割中，大多数卷积神经网络方法被提出应用于高级胶质瘤。与高级胶质瘤相比，低级胶质瘤较小，与周围组织的对比度较低。现有的卷积神经网络结构对于低分化胶质瘤的分割效果并不理想。因此，卷积神经网络的主要架构调整对于图像分割和特征提取都是至关重要的。为了解决低级胶质瘤的难题，本发明使用了6个卷积层的改进的卷积神经网络结构4096个神经元的完全连接层进行分割。
通过卷积神经网络获得的更准确的分割结果，可以提取更多的信息。与传统的计算特征不同，卷积神经网络使用整个图像的卷积内核的操作保留了大量的全局空间信息。实际上，卷积神经网络提取特征在许多领域中比传统计算特征显示出更好的性能，如场景识别，变换域转移和边缘识别。最近，对于纹理属性的识别，卷积神经网络提取的特征展现了理想的结果，并且卷积神经网络的表现至少胜过传统方法10％。在DLR中，卷积神经网络特征从最后一个卷积层提取出来。利用费舍尔向量从不同尺寸的磁共振图像切片中归一化网络信息；卷积神经网络为每种情况生成16384个高通量图像特征。
本发明所提出的DLR方法的的性能通过使用它来预测低级胶质瘤的异柠檬酸脱氢酶1 (IDH1)状态来验证。自从引入了最常见的恶性脑肿瘤胶质瘤分子诊断概念以来，现在有大量的基因组数据可用。在世界卫生组织(World Health Organization,WHO)2016的最新版本中，分子诊断和病理诊断被纳入中枢神经系统肿瘤，其中也包括神经胶质瘤。在所有分子生物标志物中，由于IDH1独特的诊断和预测价值，IDH1基因是最重要的。IDH1突变状态占低级胶质瘤预测值的50％以上。根据IDH1状态，低级胶质瘤的治疗方案差异很大。因此，通过非侵入性方法准确预测IDH1突变状态已被广泛探讨。本发明使用DLR来确定由151名患者组成的低级胶质瘤组中的IDH1突变状态，证明了DLR是预测低级胶质瘤中IDH1突变状态的有效且准确的工具。
发明内容
本发明目的在于提供一种能够无损、有效且准确地预测低级胶质瘤中IDH1突变状态的方法和系统。
本发明首先提出一种针对低级胶质瘤分割设计的改良型卷积神经网络结构(卷积神经网络)；该改良型卷积神经网络结构具有6个卷积层和4096个神经元的完全连接层，采用卷积神经网络结构来识别磁共振(Magnetic Resonance,MR)图像中的肿瘤区域；通过费舍尔向量编码从最后的卷积层中提取深层反应；卷积神经网络为每个病例生成16384个高通量图像特征。基于配对的t检验和F分数(F-scores)和p值筛选方法识别与IDH1高度相关联的卷积神经网络特征。采用支持向量机(Support Vector Machine，SVM)作为分类器。在IDH1预测中，在相同的数据集的条件下，常规影像组学方法的工作特征曲线下面积(TheArea Under TheOperating Characteristic Curve,AUC)为86％，而本发明的AUC为92％；使用基于多模态磁共振图像时，IDH1预测的AUC进一步提高到95％。本发明可以成为从医学图像中提取深层信息更有效的方法。
本发明提出的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法，是基于深度学习的影像组学方法的。具体步骤为：
步骤一、通过深度学习进行图像分割
1.1数据的预处理
对于所有的T1对比增强的磁共振图像，首先使用SPM配准到T2flair磁共振图像，然后，利用Brainsuite软件从脑部磁共振图像中去除颅骨和头皮，并校正磁共振图像的偏倚；
1.2对脑部磁共振图像中的脑胶质瘤区域进行人工标注
对所有脑部磁共振图像进行人工标注，获得的手动分割结果被用作卷积神经网络训练阶段的金标准；
1.3基于卷积神经网络的脑胶质瘤分割
卷积神经网络作为本方法的基础，要训练卷积神经网络对肿瘤区域进行分割。利用卷积神经网络进行肿瘤分割的方法将分割问题转化为像素分类问题。在本发明中我们所使用的卷积神经网络结构如表1和图1所示。我们以现有处理脑胶质瘤最佳的卷积神经网络结构为基准，在其基础上增加了2个卷积层至包含6个卷积层，并将全连接层的神经元数从256个增加到4096 个。我们选择修正线性单元(Rectified Linear Unit,ReLU)作为激活函数，并在每个卷积层之后对它们进行设置。另外，在每个完全连接层之后应用随机丢失层(Dropout Layers)；在网络的最后，选择Softmax作为网络的输出分类层。
1.3.1卷积神经网络的训练
在卷积神经网络的训练过程中，训练样本取为33×33像素的小块。这些小块随机从脑部磁共振图像中获取。
在获得训练样本后，我们需要去除一个通道中所有小块的平均灰度，然后依次对小块的灰度值和方差进行归一化。在具体的训练过程中，如图1所示，我们选择每个小块对应中心点的像素类别作为教师，使用随机梯度下降方法对卷积神经网络进行训练(Stochastic gradient descent,SGD)。
1.3.2利用卷积神经网络进行脑胶质瘤分割
在获得了训练好的网络之后,我们利用卷积神经网络对所有脑部磁共振图像进行分割。首先利用训练阶段得到的预处理参数对图像进行预处理，包括平均灰度值，归一化灰度值和方差，这样测试数据就与训练数据有了类似的参数分布。
为了得到与原图像大小相同的分割结果，卷积神经网络的输出经过双三次插值的上采样以弥补池化过程产生的维数变化。在获得卷积神经网络输出的分割结果后，我们通过使用几种形态学方法进行后处理来校正分割结果。具体的是，先选择每个切片的最大连接区域作为候选区域，然后通过具有三维卷积核的滤波器对所选择的肿瘤区域进行平滑处理。
更多地，为了评估卷积神经网络的脑胶质瘤识别能力，我们使用三个参数评估了卷积神经网络的肿瘤分割结果。针对卷积神经网络肿瘤识别结果计算戴斯相似系数(DiceSimilarity Coefficient,DSC)，阳性预测值(Positive Predictive Value,PPV)和灵敏度(Sensitivity)，其具体的计算方法见附录。
步骤二、从肿瘤分割网络中获取肿瘤的描述特征
在确认网络能够识别肿瘤区域后，我们将肿瘤区域图像添加到训练好的卷积神经网络中，以获取网络中的深层相应作为肿瘤的描述特征。具体过程为：
2.1多尺度肿瘤区域的选取
对每个脑部磁共振图像中的脑胶质瘤区域，选取10个具有不同尺度的图像，图像缩放的比例从为0.5到2；
2.2利用卷积神经网络处理图像
如图1所示，在利用卷积神经网络提取特征的过程中将卷积神经网络作为图像滤波器，具体来说将不同尺度图像输入到卷积神经网络，并从最后的卷积层的特征图生成肿瘤区域的特征；将同一病例的所有脑部磁共振图像连接起来作为该病例的卷积神经网络特征；
2.3利用一种改进的费舍尔向量对特征进行归一化
对于面积不同的肿瘤区域，网络中获取的特征维数不同，并且缺乏统计特征。克服这个困难，本发明引入了一种改进的费舍尔向量编码来对特征进行归一化和描述；通过构建使用高斯混合模型获得的视觉词典，将费舍尔向量汇总在多个局部特征描述符的向量统计量中；
2.3.1获取训练数据的高斯混合模型参数
基于训练数据统计获得具有64个高斯分量的高斯混合模型参数；
2.3.2由获得高斯混合模型获得所有数据的费舍尔向量
费舍尔向量描述128个最后一层卷积神经网络的滤波器中每一个的64个高斯分量中的每一个的一阶和二阶统计量，即产生具有16k维度(128×64×2)的描述特征。改进的费舍尔向量的计算由matlab中的VLfeat工具箱实现。图像X得到D维特征向量[x1,x2,…,xN]，其中D是指滤波器组的数量，N是特征的维数，在本发明中即为对应病例包含的所有肿瘤切片包含的特征数目。编码器Θ(μk，wk，σk)保存高斯混合模型的第k个内核的参数。费舍尔向量是每个核的平均向量和协方差偏差向量的组合。
其中，j＝1,...D是向量维数，yik是每个xi到高斯混合模型的第k个核的后验概率。
如图1所示，从所有图像中提取卷积神经网络特征，经过费舍尔向量编码，获得的图像特征具有相同的维度，即每个病例有16384个特征值。
步骤三、特征选择
如图1所示，在得到费舍尔向量-卷积神经网络特征之后，为了选择与IDH1突变状态相关的特征，我们采用了数个特征选择方法。
3.1利用t检验筛选特征
首先对特征进行假设检验，根据p值<0.05表示统计学意义的标准，将t检验应用于所有提取的特征，以识别具有显着区分效果的特征；
3.2利用F分数进一步筛选特征
为了提升分类判决准确率，我们进一步利用基于F分数(F-score)的特征进一步处理，以去除不相关和多余的特征。第m个特征的F分数计算公式为：
其中，和分别表示正样本的第m个特征的平均值，负样本的第m个特征的均值和所有样本的第m个特征的平均值。np和nn分别代表正样本和负样本的数量。和分别表示正样本和负样本的第k个样本的第m个特征的值。按照F分数从大到小排列可以将特征的显著性从大到小排列。
步骤四、分类判决
如图1所示，在找到与IDH1突变状态表现出显著相关性的特征之后，使用支持向量机对病例进行分类判决。
4.1使用支持向量机进行留一法验证
在本发明中，选择支持向量机(SVM)作为分类器。选择线性内核作为支持向量机的核函数，框约束c设置为1。IDH1预测使用留一法交叉验证，在进行了一个实验后用另一个独立验证集进行验证。
4.2计算评价分类标准的指标
在本发明中，通过计算出几个指标用于评估模型的预测性能。这些指标包括：ROC曲线，AUC，精度ACC，灵敏度SENS，特异性SPEC，PPV，阴性预测值NPV和马修相关系数这7 个参数，用于量化预测性能，并作为预测结果呈现，其计算方法见附录。
对应于于上述方法，本发明还提出的低级别脑胶质瘤柠檬酸脱氢酶无损预测系统，该系统包括四个模块：基于通过深度学习的图像分割模块，从肿瘤分割网络中获取肿瘤描述特征模块，特征选择模块，分类判决模块，分别对应于方法中的四个步骤的操作；其中：
基于通过深度学习的图像分割模块，包括3个子模块：数据预处理子模块，对脑部磁共振图像中的脑胶质瘤区域进行人工标注子模块，基于卷积神经网络的脑胶质瘤分割子模块，其对应于步骤一中的3个分步骤的操作：1.1数据的预处理，1.2对脑部磁共振图像中的脑胶质瘤区域进行人工标注，1.3基于卷积神经网络的脑胶质瘤分割。
从肿瘤分割网络中获取肿瘤描述特征模块，包括3个子模块：多尺度肿瘤区域的选取子模块，利用卷积神经网络处理图像子模块，利用改进的费舍尔向量对特征进行归一化子模块，对应于步骤二中3个分步骤的操作：2.1多尺度肿瘤区域的选取，2.2利用卷积神经网络处理图像，2.3利用一种改进的费舍尔向量对特征进行归一化；
特征选择模块，包括2个子模块：t检验筛选特征子模块，F分数进一步筛选特征子模块，对应于步骤三中的2个分步骤的操作：3.1利用t检验筛选特征，3.2利用F分数进一步筛选特征；
分类判决模块，包括2个子模块：支持向量机进行留一法验证子模块，计算评价分类标准指标子模块；对应于步骤四中2个分步骤的操作：4.1使用支持向量机进行留一法验证，4.2 计算评价分类标准的指标。
附图说明
图1、DLR方法流程。
图2、利用不同卷积神经网络结构对脑胶质瘤获得的不同分割结果指标。
图3、使用不同网络结构的单模态图像和多模态图像的肿瘤分割结果，卷积神经网络的结构为6个卷积层和全连接层有4096个神经元。
图4、从网络最后一个卷积层提取特征示例。
图5、常规放射组学与DLR获得的ROC曲线。
图6、基于单模态或者多模态磁共振图像的DLR的ROC曲线。
具体实施方式
以下是本发明的具体实现步骤：
1、首先对所有的T1对比增强磁共振图像配准到T2flair磁共振图像，从脑磁共振图像中去除颅骨和头皮，并校正磁共振图像的偏倚。
2、确认网络能够识别肿瘤区域。如图2所示，我们使用卷积神经网络对脑部磁共振图像进行分割测试，并计算了分割评判参数。在其他条件相同的情况下，卷积层越多，全连接层的神经元数越多，分割的效果越好。另外使用多模态也会显著增加分割效果，在阳性预测值方面表现最为明显。
同时，为了说明使用多个模态的重要性，在图3展示了三个例子。可以看到，基于多模态的肿瘤分割可以更加准确，特别地，非肿瘤区域的错误识别大大减少。
3、确认网络能够识别肿瘤区域后，将肿瘤区域图像输入到网络中，将卷积神经网络作为一个图像滤波器，并获得最后一层的卷积层响应。
4、使用训练好的高斯混合模型对网络特征的进行描述，获得关于64个高斯核的一阶和二阶统计量，即费舍尔向量编码，以将从卷积层中提取的网络滤波器特征进行维度的归一化。
5、使用线性内核的支持向量机利用按照训练集结果筛选的特征，对病例的IDH突变情况进行预测。利用7个指标来评价模型的预测性能，包括工作特性(ROC)曲线，工作特征曲线下面积(AUC)，精度(Accuracy,ACC)，灵敏度(Sensitivity,SENS)，特异性(Specificity,SPEC)，阳性预测值(Positive Predictive Value,PPV)，阴性预测值(Negative Predictive Value,NPV)和马修相关系数(Mathew Correlation Coefficient,MCC)的参数，并作为预测结果呈现。
结果分析
图4提供了一个对DLR特征提取过程一个直观地示意图。脑部磁共振图像通过卷积神经网络，在最后一个卷积层中提取了神经网络滤波器的深层响应，这里显示为128个滤波器中第127个滤波器。通过费舍尔向量的编码，我们可以找到两个与IDH1表现出显著相关性的特征：关于第28个高斯核的二阶统计量和关于第36个高斯核的一阶统计量。我们可以从图中看出，虽然从原始脑部磁共振图中看不出太大差别，但是经过卷积神经网络，这些差异更加凸显了。同时，在数值中，这两个特征也对这两个病例展现了显著的分类效果。
我们在两个数据集上验证了本发明方法。首先在一个仅有T2Flair图像的数据集上，同时使用放射组学和DLR对脑胶质瘤IDH1状态进行预测，结果如图5和表2所示，在这个数据集上DLR比普通放射组学准确率高6％左右。
另外，为了说明DLR利用多模态信息的有效性，我们在第二个数据集上进行了验证实验。结果如图6和表3所示，可以看出，利用两个模态的DLR可以获得更好的IDH1突变状态预测结果，并且利用基于F分数的特征选择之后，IDH1预测效果有了更高的提升，预测结果最好时的AUC可达95％。
表1.卷积神经网络结构
表2.普通放射组学与DLR对脑胶质瘤IDH1状态的预测结果
表3.利用一个模态和利用两个模态的DLR对脑胶质瘤IDH1状态的预测结果
参考文献
[1]Bourgier,C.et al.Radiomics:defnition and clinicaldevelopment.Cancer Radiotherapie 19,
532–537(2015).
[2]Aerts,H.J.W.L.et al.Decoding tumour phenotype by noninvasiveimaging using a quantitative radiomics approach.Naturecommunications 5,4006(2014).
[3]Kumar,V.et al.Radiomics:the process and the challenges.MagneticResonance Imaging 30, 1234–1248(2012).。
附录
评价肿瘤分割结果的戴斯相似系数(DSC)，阳性预测值(PPV)和灵敏度(Sensitivity) 以及评价分子标记物预测结果的工作曲线下的面积(AUC)，精度(ACC)，灵敏度(SENS)，特异性(SPEC)，阳性预测值(PPV)，阴性预测值(NPV)，马修相关系数(MCC)计算公式：
其中，TP，FP，TN和FN分别代表真阳性，假阳性，真阴性和假阴性的区域。

Claims (4)

1.基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法，其特征在于，具体步骤为：
步骤一、通过深度学习进行图像分割
1.1数据的预处理
对于T1对比增强的磁共振图像，首先使用SPM配准到T2flair磁共振图像，然后利用Brainsuite软件从脑部磁共振图像中去除颅骨和头皮，并校正磁共振图像的偏倚；
1.2对脑部磁共振图像中的脑胶质瘤区域进行人工标注
对所有脑部磁共振图像进行人工标注，获得的手动分割结果被用作卷积神经网络训练阶段的金标准；
1.3基于卷积神经网络的脑胶质瘤分割
所述卷积神经网络是以现有处理脑胶质瘤最佳的卷积神经网络结构为基准，在其基础上增加2个卷积层至6个卷积层，全连接层的神经元数从256个增加到4096个；并选择修正线性单元作为激活函数，在每个卷积层之后对它们进行设置；另外，在每个完全连接层之后应用随机丢失层；在网络的最后，选择Softmax作为网络的输出分类层；
1.3.1卷积神经网络的训练
随机从脑部磁共振图像中获取训练样本，训练样本为33×33像素的小块；
去除一个通道中所有小块的平均灰度，然后依次对小块的灰度值和方差进行归一化；训练过程中，选择每个小块对应中心点的像素类别作为教师，使用随机梯度下降方法对卷积神经网络进行训练；
1.3.2利用卷积神经网络进行脑胶质瘤分割
在获得了训练好的网络之后,利用卷积神经网络对所有脑部磁共振图像进行分割：首先利用训练阶段得到的预处理参数对图像进行预处理，包括平均灰度值、归一化灰度值和方差，这样测试数据就与训练数据有了类似的参数分布；
步骤二、从肿瘤分割网络中获取肿瘤的描述特征
在确认网络能够识别肿瘤区域后，将肿瘤区域图像添加到训练好的卷积神经网络中，以获取网络中的深层相应作为肿瘤的描述特征；具体过程为：
2.1多尺度肿瘤区域的选取
对每个脑部磁共振图像中的脑胶质瘤区域，选取10个具有不同尺度的图像，图像缩放的比例从为0.5到2；
2.2利用卷积神经网络处理图像
在利用卷积神经网络提取特征的过程中将卷积神经网络作为图像滤波器，即将不同尺度图像输入到卷积神经网络，并从最后的卷积层的特征图生成肿瘤区域的特征；将同一病例的所有脑部磁共振图像连接起来作为该病例的卷积神经网络特征；
2.3利用一种改进的费舍尔向量对特征进行归一化
引入改进的费舍尔向量编码来对特征进行归一化和描述；通过构建使用高斯混合模型获得的视觉词典，将费舍尔向量汇总在多个局部特征描述符的向量统计量中；具体过程为：
2.3.1获取训练数据的高斯混合模型参数
基于训练数据统计获得具有64个高斯分量的高斯混合模型参数；
2.3.2由获得高斯混合模型获得所有数据的费舍尔向量
费舍尔向量描述128个最后一层卷积神经网络的滤波器中每一个的64个高斯分量中的每一个的一阶和二阶统计量，即产生具有16k维度(128×64×2)的描述特征；改进的费舍尔向量的计算由matlab中的VLfeat工具箱实现；图像X得到D维特征向量[x1,x2,…,xN]，其中D是指滤波器组的数量，N是特征的维数，即为对应病例包含的所有肿瘤切片包含的特征数目；编码器Θ(μk，wk，σk)保存高斯混合模型的第k个内核的参数；费舍尔向量是每个核的平均向量和协方差偏差向量的组合：
其中，j＝1,...D是向量维数，yik是每个xi到高斯混合模型的第k个核的后验概率；
从所有图像中提取卷积神经网络特征，经过费舍尔向量编码，获得的图像特征具有相同的维度，即每个病例有16384个特征值；
步骤三、特征选择
在得到费舍尔向量-卷积神经网络特征之后，选择与IDH1突变状态相关的特征，采用如下特征选择方法：
3.1利用t检验筛选特征
首先对特征进行假设检验，根据p值<0.05表示统计学意义的标准，将t检验应用于所有提取的特征，以识别具有显着区分效果的特征；
3.2利用F分数进一步筛选特征
为了提升分类判决准确率，进一步利用基于F分数的特征进一步处理，以去除不相关和多余的特征，第m个特征的F分数计算公式为：
<mrow> <msub> <mi>F</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <mover> <msubsup> <mi>x</mi> <mi>m</mi> <mi>p</mi> </msubsup> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mover> <msubsup> <mi>x</mi> <mi>m</mi> <mi>n</mi> </msubsup> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mfrac> <mn>1</mn> <mrow> <msub> <mi>n</mi> <mi>p</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>n</mi> <mi>p</mi> </msub> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>m</mi> </mrow> <mi>p</mi> </msubsup> <mo>-</mo> <mover> <msubsup> <mi>x</mi> <mi>m</mi> <mi>p</mi> </msubsup> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <msub> <mi>n</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>n</mi> <mi>n</mi> </msub> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>m</mi> </mrow> <mi>n</mi> </msubsup> <mo>-</mo> <mover> <msubsup> <mi>x</mi> <mi>m</mi> <mi>n</mi> </msubsup> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，和分别表示正样本的第m个特征的平均值，负样本的第m个特征的均值和所有样本的第m个特征的平均值；np和nn分别代表正样本和负样本的数量，和分别表示正样本和负样本的第k个样本的第m个特征的值；按照F分数从大到小排列即将特征的显著性从大到小排列；
步骤四、分类判决
在找到与IDH1突变状态表现出显著相关性的特征之后，使用支持向量机对病例进行分类判决；具体过程为：
4.1使用支持向量机进行留一法验证
选择支持向量机作为分类器，选择线性内核作为支持向量机的核函数，框约束c设置为1；IDH1预测使用留一法交叉验证，在进行了一个实验后用另一个独立验证集进行验证；
4.2计算评价分类标准的指标
通过几个指标用于评估模型的预测性能，这些指标包括：ROC曲线，AUC，精度ACC，灵敏度SENS，特异性SPEC，PPV，阴性预测值NPV和马修相关系数这7个参数，用于预测性能，并作为预测结果呈现。
2.根据权利要求1所述的基于深度学习的影像组学的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法，其特征在于，步骤1.3.2中，为了得到与原图像大小相同的分割结果，卷积神经网络的输出经过双三次插值的上采样以弥补池化过程产生的维数变化；在获得卷积神经网络输出的分割结果后，通过使用几种形态学方法进行后处理来校正分割结果，包括，先选择每个切片的最大连接区域作为候选区域，然后通过具有三维卷积核的滤波器对所选择的肿瘤区域进行平滑处理。
3.根据权利要求2所述的基于深度学习的影像组学的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法，其特征在于，为了评估卷积神经网络的脑胶质瘤识别能力，使用三个参数评估卷积神经网络的肿瘤分割结果：三个参数为：戴斯相似系数(DSC)，阳性预测值(PPV)和灵敏度(Sensitivity)。
4.基于权利要求1所述方法的低级别脑胶质瘤柠檬酸脱氢酶无损预测系统，其特征在于，包括四个模块：基于通过深度学习的图像分割模块，从肿瘤分割网络中获取肿瘤描述特征模块，特征选择模块，分类判决模块，分别对应于方法中的四个步骤的操作；其中：
所述基于通过深度学习的图像分割模块，包括3个子模块：数据预处理子模块，对脑部磁共振图像中的脑胶质瘤区域进行人工标注子模块，基于卷积神经网络的脑胶质瘤分割子模块，其对应于步骤一中的3个分步骤的操作：1.1数据的预处理，1.2对脑部磁共振图像中的脑胶质瘤区域进行人工标注，1.3基于卷积神经网络的脑胶质瘤分割；
所述从肿瘤分割网络中获取肿瘤描述特征模块，包括3个子模块：多尺度肿瘤区域的选取子模块，利用卷积神经网络处理图像子模块，利用改进的费舍尔向量对特征进行归一化子模块，对应于步骤二中3个分步骤的操作：2.1多尺度肿瘤区域的选取，2.2利用卷积神经网络处理图像，2.3利用一种改进的费舍尔向量对特征进行归一化；
所述特征选择模块，包括2个子模块：t检验筛选特征子模块，F分数进一步筛选特征子模块，对应于步骤三中的2个分步骤的操作：3.1利用t检验筛选特征，3.2利用F分数进一步筛选特征；
所述分类判决模块，包括2个子模块：支持向量机进行留一法验证子模块，计算评价分类标准指标子模块；对应于步骤四中2个分步骤的操作：4.1使用支持向量机进行留一法验证，4.2计算评价分类标准的指标。
CN201711363092.XA 2017-12-18 2017-12-18 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 Pending CN108109140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711363092.XA CN108109140A (zh) 2017-12-18 2017-12-18 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711363092.XA CN108109140A (zh) 2017-12-18 2017-12-18 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统

Publications (1)

Publication Number Publication Date
CN108109140A true CN108109140A (zh) 2018-06-01

Family

ID=62210895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711363092.XA Pending CN108109140A (zh) 2017-12-18 2017-12-18 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统

Country Status (1)

Country Link
CN (1) CN108109140A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191425A (zh) * 2018-07-23 2019-01-11 中国科学院自动化研究所 医学影像分析方法
CN109411016A (zh) * 2018-11-14 2019-03-01 钟祥博谦信息科技有限公司 基因变异位点检测方法、装置、设备及存储介质
CN109522974A (zh) * 2019-01-24 2019-03-26 湖北省肿瘤医院（湖北省肿瘤研究所） 提高穿刺活检阳性率的病灶层面选择系统及选择方法
CN109528196A (zh) * 2018-11-14 2019-03-29 北京工业大学 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法
CN109948740A (zh) * 2019-04-26 2019-06-28 中南大学湘雅医院 一种基于静息态脑影像的分类方法
CN110097921A (zh) * 2019-05-30 2019-08-06 复旦大学 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
CN110415234A (zh) * 2019-07-29 2019-11-05 北京航空航天大学 基于多参数磁共振成像的脑部肿瘤分割方法
CN110533683A (zh) * 2019-08-30 2019-12-03 东南大学 一种融合传统特征与深度特征的影像组学分析方法
CN110717905A (zh) * 2019-09-30 2020-01-21 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
WO2020024058A1 (en) * 2018-08-02 2020-02-06 The Royal Institution For The Advancement Of Learning/Mcgill University Predicting outcomes using universal models
CN112085113A (zh) * 2020-09-14 2020-12-15 四川大学华西医院 一种重症肿瘤影像识别系统及方法
CN112215826A (zh) * 2020-10-19 2021-01-12 天津大学 一种基于深度图像特征预测胶质瘤分子亚型及预后方法
CN113033636A (zh) * 2021-03-17 2021-06-25 济南国科医工科技发展有限公司 一种卵巢肿瘤自动鉴别系统
CN115861716A (zh) * 2023-02-16 2023-03-28 之江实验室 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
WO2024060842A1 (zh) * 2022-09-19 2024-03-28 京东方科技集团股份有限公司 分类模型获取方法、表达类别确定方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046692A (zh) * 2015-07-01 2015-11-11 复旦大学 结合感兴趣区域和GrowCut算法的3D自动脑胶质瘤分割方法
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN106683081A (zh) * 2016-12-17 2017-05-17 复旦大学 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046692A (zh) * 2015-07-01 2015-11-11 复旦大学 结合感兴趣区域和GrowCut算法的3D自动脑胶质瘤分割方法
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN106683081A (zh) * 2016-12-17 2017-05-17 复旦大学 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZEJU LI 等: "Deep Learning based Radiomics (DLR) and its usage in noninvasive IDH1 prediction for low grade glioma", 《SCIENTIFIC REPORTS》 *
ZEJU LI等: "Low-Grade Glioma Segmentation Based on CNN with Fully Connected CRF", 《JOURNAL OF HEALTHCARE ENGINEERING》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191425B (zh) * 2018-07-23 2022-02-11 中国科学院自动化研究所 基于多层神经网络模型医学影像分析方法
CN109191425A (zh) * 2018-07-23 2019-01-11 中国科学院自动化研究所 医学影像分析方法
WO2020024058A1 (en) * 2018-08-02 2020-02-06 The Royal Institution For The Advancement Of Learning/Mcgill University Predicting outcomes using universal models
CN109411016A (zh) * 2018-11-14 2019-03-01 钟祥博谦信息科技有限公司 基因变异位点检测方法、装置、设备及存储介质
CN109528196A (zh) * 2018-11-14 2019-03-29 北京工业大学 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法
CN109528196B (zh) * 2018-11-14 2022-07-01 北京工业大学 一种肝静脉压力梯度无创性评估方法
CN109522974A (zh) * 2019-01-24 2019-03-26 湖北省肿瘤医院（湖北省肿瘤研究所） 提高穿刺活检阳性率的病灶层面选择系统及选择方法
CN109948740A (zh) * 2019-04-26 2019-06-28 中南大学湘雅医院 一种基于静息态脑影像的分类方法
CN110097921A (zh) * 2019-05-30 2019-08-06 复旦大学 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
CN110097921B (zh) * 2019-05-30 2023-01-06 复旦大学 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
CN110415234A (zh) * 2019-07-29 2019-11-05 北京航空航天大学 基于多参数磁共振成像的脑部肿瘤分割方法
CN110533683A (zh) * 2019-08-30 2019-12-03 东南大学 一种融合传统特征与深度特征的影像组学分析方法
CN110717905B (zh) * 2019-09-30 2022-07-05 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
CN110717905A (zh) * 2019-09-30 2020-01-21 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
CN112085113A (zh) * 2020-09-14 2020-12-15 四川大学华西医院 一种重症肿瘤影像识别系统及方法
CN112215826A (zh) * 2020-10-19 2021-01-12 天津大学 一种基于深度图像特征预测胶质瘤分子亚型及预后方法
CN113033636A (zh) * 2021-03-17 2021-06-25 济南国科医工科技发展有限公司 一种卵巢肿瘤自动鉴别系统
WO2024060842A1 (zh) * 2022-09-19 2024-03-28 京东方科技集团股份有限公司 分类模型获取方法、表达类别确定方法、装置、设备及介质
CN115861716A (zh) * 2023-02-16 2023-03-28 之江实验室 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN115861716B (zh) * 2023-02-16 2023-05-09 之江实验室 基于孪生神经网络和影像组学的胶质瘤分类方法及装置

Similar Documents

Publication Publication Date Title
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
CN107016395B (zh) 稀疏表示的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别系统
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
Lladó et al. Segmentation of multiple sclerosis lesions in brain MRI: a review of automated approaches
CN109190690B (zh) 基于机器学习的swi图像的脑微出血点检测识别方法
CN107145727B (zh) 一种利用卷积神经网络的医学图像处理装置与方法
US9123095B2 (en) Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN104143101A (zh) 一种基于超声图像的乳腺肿瘤区域自动识别方法
Xu et al. Computerized classification of prostate cancer gleason scores from whole slide images
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN107133461B (zh) 一种基于自编码器的医学图像处理装置与方法
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
CN113177943A (zh) 一种脑卒中ct影像分割方法
CN109191422B (zh) 基于常规ct图像的缺血性脑卒中早期检测系统和方法
KR102373985B1 (ko) 서포트 벡터 머신을 이용한 전립선암의 등급 분류 방법
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Ong et al. Detection of subtle white matter lesions in MRI through texture feature extraction and boundary delineation using an embedded clustering strategy
CN112529886A (zh) 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法
CN112381818A (zh) 面向亚类疾病的医学图像识别增强方法
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Xiang et al. Segmentation method of multiple sclerosis lesions based on 3D‐CNN networks
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Karale et al. A screening CAD tool for the detection of microcalcification clusters in mammograms
CN113870194B (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180601

WD01 Invention patent application deemed withdrawn after publication