CN108921851B - 一种基于3d对抗网络的医学ct图像分割方法 - Google Patents

一种基于3d对抗网络的医学ct图像分割方法 Download PDF

Info

Publication number
CN108921851B
CN108921851B CN201810576059.3A CN201810576059A CN108921851B CN 108921851 B CN108921851 B CN 108921851B CN 201810576059 A CN201810576059 A CN 201810576059A CN 108921851 B CN108921851 B CN 108921851B
Authority
CN
China
Prior art keywords
network
image
segmentation
medical
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810576059.3A
Other languages
English (en)
Other versions
CN108921851A (zh
Inventor
张颖
洪晓东
王好谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weilai Media Technology Research Institute
Original Assignee
Shenzhen Weilai Media Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weilai Media Technology Research Institute filed Critical Shenzhen Weilai Media Technology Research Institute
Priority to CN201810576059.3A priority Critical patent/CN108921851B/zh
Publication of CN108921851A publication Critical patent/CN108921851A/zh
Application granted granted Critical
Publication of CN108921851B publication Critical patent/CN108921851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于3D对抗网络的医学CT图像分割方法，包括如下步骤：采集医学CT图像样本，进行标准化预处理；建立最终分割网络；将给定任意一幅待识别医学CT图像放入最终分割网络中，得到最终分割结果。本发明通过对3D对抗网络的结构形式进行整体设计，利用分割网络作为3D对抗网络的生成网络G，预训练过的VGG11作为3D对抗网络的判别网络D。本发明利用对抗网络增加标注数据，并通过相似度计算与循环随机筛选，增强图像的可信度，以批量生成高质量的标注图像集合，最后通过判别网络D与分割网络进行对抗训练来更新分割网络参数和判别网络D参数，从而实现对分割网络的优化并提高分割准确度。本发明方法设计简单，易于实现。

Description

一种基于3D对抗网络的医学CT图像分割方法
技术领域
本发明属于医疗图像分析领域，涉及一种针对医疗CT图像内感兴趣区域的分割方法。
背景技术
随着医疗影像技术的发展，医疗影像学检查在临床诊断中变得越来越重要。在众多医疗影像技术中计算机断层成像(Computed Tomography，CT)是其中最常用的方式。目前对于医疗影像的诊断主要还是由医生人工阅片完成。所以医生的个人经验与知识水平的差异性会影响诊断的准确度。例如肺部的CT照片是整个胸部横切面的截图，往往包含许多其他器官的组织信息，这些组织信息对医生的诊断工作有严重干扰。因此，利用计算机技术对CT影像进行处理是十分有必要的。而如何将医生感兴趣区域精确的分割出来是医学图像处理的关键问题。对医学图像的精准分割对完成视觉增强、计算机辅助诊断、干预和从图像中提取定量指标等任务具有重要意义。
目前医学图像分割方法主要可以分为传统方法与基于深度学习的方法，传统的医学图像分割方法主要集中在阈值法、区域生长法、微分算子法等简单的方法上，取得了一定的成果，但是由于医学图像的复杂性，最终效果还不能令人满意。最近几年随着人工智能的发展，一些新的理论和方法被引入到图像分割领域。全卷积神经网络与过去用于处理分类问题、检测问题、跟踪问题等常规卷积神经网络不同，其可以实现对图像的像素级密集预测。图像分割问题是要求逐像素点产生合理预测值的密度预测问题，使用全卷积网络可以高效地以端到端的方式解决图像分割问题。与针对自然图像的分割问题不同，医学图像的标注成本普遍较高，导致可用的数据集普遍较小，如何通过训练小数据集得到精确的模型，是深度学习用于医学图像分割需要突破的关键性问题。相比于其他切片类的医学图像的分割方法，针对CT图像，通常对3D数据进行分割处理。
增加标注数据集的大小有助于提升分割网络训练性能，其中模拟图像的数据分布并生成相似图像的方法有变分自编码器(variational auto-encoder，VAE)，生成式对抗网络(generative adversarial network，GAN)等方法。相比于变分自编码器，GAN没有引入任何决定性偏置(deterministic bias)，变分方法引入决定性偏置，因为他们优化对数似然的下界，而不是似然度本身，这导致了VAE生成的实例比GAN更模糊。GAN通过生成网络与判别网络对抗学习并更新权重的方式提升生成网络与判别网络性能。由于分割网络可以作为对抗网络的生成网络，并增加标注数据量。所以在本发明中使用3D对抗网络对分割算法进行优化。
发明内容
本发明的目的是为了提升小数据医学图像感兴趣区域的分割性能，提出一种基于3D对抗网络的医学CT图像分割方法。
本发明的技术方案如下：
一种基于3D对抗网络的医学CT图像分割方法，包括如下步骤：
S1：采集医学CT图像样本，进行标准化预处理，建立未标注图像集合Sunlabled和已标注图像集合Su；
S2：将已标注图像集合Su输入分割网络进行网络训练，生成初始分割网络；
S3：将步骤S1的未标注图像集合Sunlabled输入步骤S2的初始分割网络，进行初始分割，得到初始分割生成图像集合Sm；
S4：对步骤S3的初始分割生成图像集合Sm加入权重值M，进行随机筛选，得到新的标注图像集合Sa；权重值M是由图像相似度决定的，取值范围为[0.1，1]；
S5：将新的标注图像集合Sa加入已标注图像集合Su作为新的已标注图像集合Sb，用于训练初始分割网络；
S6：循环执行步骤S2～S5，直到步骤S4中的权重值M达到预设值E，得到中间分割网络和中间分割图像，将循环得到的中间分割图像合成中间生成图像集合Sgenerate；预设值E为超参数，需要根据不同的CT图像特点选择，取值范围为[0.7，1]；
S7：建立3D对抗网络，进行对抗训练，得到最终分割网络；
S8：将给定任意一幅待识别医学CT图像放入步骤S7的最终分割网络中，得到最终的分割结果。
优选地，所述步骤S1包括如下步骤：
S11：对采集的医学CT图像样本进行标准化预处理；
S12：将步骤S11预处理后的图像随机抽取一半图像由人工进行标注，另一半作为未标注图像，设为未标注图像集合Sunlabled；
S13：将人工标注后的图像设为已标注图像集合Su，图像数量为K张，K为整数，K≥100；随机选取该集合中的一张图像为Ix。
进一步优选地，所述步骤S11包括如下步骤：
S111：根据输入的医学CT图像，按照经验值选取感兴趣区域的CT值范围，将CT值范围以外的像素值置零；
S112：随机选取步骤S111处理后医学CT图像原图长度和宽度的(0，0.1]倍作为位移长度，进行平移变换；
S113：对步骤S112平移变换后的医学CT图像进行旋转变换，在(0，10]度的范围内进行随机旋转；
S114：对医学CT图像平移变换或旋转变换超出边界的部分使用像素值为0.1的像素点进行填充。
优选地，所述步骤S2中的分割网络为3维的TernausNet，所述3维的TernausNet使用VGG-11作为编码器，由11个向前传播的网络层组成。
进一步优选地，所述11个向前传播的网络层中，前8个为卷积层，每个卷积层采用了3*3*3的卷积核，每个卷积层后都紧跟一个ReLU激励函数层，第1、2、4、6、8个卷积层后都紧跟一个2*2*2的最大池化操作，每次操作后特征图尺寸减半；第一个卷积层通道数为64，第二层通道数为128，第三层第四层通道数为256，第五层到第八层通道数为512；将最后3层的全连接层替换为一个512通道的卷积层。
优选地，所述步骤S4包括如下步骤：
S41：计算Ix与Sm之间的相似度，Ix为已标注图像集合Su中随机选取的一张图像，定义：
Figure BDA0001687002350000041
其中Ij为初始分割生成图像集合Sm中随机选取的一张图像，sim(·)指的是余弦相似度，设定相似度的取值范围为[0.1，1]；
S42：将步骤S41得到的相似度设定为权重值M，定义M＝f(Sm,Ix)，权重值M的取值范围为[0.1，1]；
S43：随机在集合Sm中选取K*M张图像作为新的标注图像集合Sa，其中K为已标注图像集合Su的图像数量，K为整数，K≥100，M为权重值；如果K*M的结果不是整数，则向下取整。
优选地，所述步骤S7包括如下步骤：
S71：建立3D对抗网络，将步骤S6的中间分割网络作为3D对抗网络的生成网络G；将步骤S2的分割网络中的VGG-11作为3D对抗网络的判别网络D；
S72：将步骤S6的中间生成图像集合Sgenerate与步骤S1的已标注图像集合Su加入3D对抗网络的判别网络D中；
S73：3D对抗网络进行对抗训练，直至3D对抗网络训练的网络损失函数收敛，得到最终分割网络。
进一步优选地，所述判别网络D以步骤S2的分割网络中的VGG-11编码器为基础，后三层使用全连接层，最后通过连接分类器得到判别结果；
进一步优选地，所述3D对抗网络的对抗训练是指：采用梯度下降算法分别更新生成网络G与判别网络D的参数。
本发明还提出一种基于3D对抗网络的医学CT图像分割系统，包括：医学CT图像采集系统、3D对抗网络系统、医学CT图像处理系统；所述3D对抗网络系统包括生成网络G和判别网络D，所述3D对抗网络系统的生成网络G为分割网络，判别网络D为预训练过的VGG11；所述基于3D对抗网络的医学CT图像分割系统中存储有计算机程序，该程序用于实现上述任一项所述的基于3D对抗网络的医学CT图像分割方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过对分割网络生成样本采用加入权重方式进行随机筛选，并通过循环筛选的方式增强图像的可信度，成批次增大数据集，最终使用判别网络D对分割的结果进行判别，并与分割网络进行对抗训练。相较每次分割后都需使用判别网络D与分割网络进行对抗训练不同，这是由于对抗训练算法需要进行大量的计算，消耗系统资源，而批量生成并筛选图像后再输入判别网络D的方法，显然在计算速度上更具优势。本发明使用3D化的TernausNet作为分割网络，其中将预训练过的VGG11作为分割网络的编码器，可明显减少训练时间，防止过拟合。本发明使用预训练过的VGG11作为3D对抗网络的判别网络D，可有效减少3D对抗网络的训练时间。本发明方法设计简单，易于实现。
附图说明
图1为本发明的基于3D对抗网络的医学CT图像分割方法流程图。
图2为本发明使用的分割网络结构图。
其中，①复制连接层；②3*3*3Conv3d+ReLU已预训练；
③3*3*3Conv3d+ReLU；④2*2*2MaxPool；
⑤3*3*3ConvTranspose3d(stride2*2*2)+ReLU；
图3为本发明的中间分割网络和中间生成图像生成框图。
图4为本发明的3D对抗网络训练和最终分割网络生成框图。
图5为本发明使用的判别网络D结构图。
其中，②3*3*3Conv3d+ReLU已预训练；④2*2*2MaxPool；
⑥fully connected linear；⑦softmax。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
本发明的整个方法步骤S1～S8请参照图1。图1是本发明的一种基于3D对抗网络的医学CT图像分割方法流程图。
本发明提出的一种基于3D对抗网络的医学CT图像分割方法，包括如下步骤：
S1：采集医学CT图像样本，进行标准化预处理，建立未标注图像集合Sunlabled和已标注图像集合Su。
对采集的医学CT图像样本进行标准化预处理。随机抽取标准化预处理后的一半图像由人工进行标注，将人工标注后的图像设为已标注图像集合Su，图像数量为K张，K为整数，K≥100；随机选取该集合中的一张图像为Ix。另一半未标注图像设为未标注图像集合Sunlabled。
本发明对医学CT图像标准化预处理的方法是：先根据输入的医学CT图像按照经验值选取感兴趣区域的CT值范围，如肺实质CT值范围为[-976，-173]；将CT值范围以外的像素值置零。随机选取原图长度和宽度的(0，0.1]倍作为位移长度，进行平移变换。再对平移变换后的图像进行旋转变换，在(0，10]度的范围内进行随机旋转。最后对平移变换或旋转变换超出边界的部分使用像素值为0.1的像素点进行填充。
本发明的方法步骤S2～S6请同时参照图2和图3。图2是本发明使用的分割网络结构图。图3是本发明的中间分割网络和中间生成图像生成框图。
S2：将已标注图像集合Su输入分割网络进行网络训练，生成初始分割网络。
S3：将步骤S1的未标注图像集合Sunlabled输入步骤S2的初始分割网络，进行初始分割，得到初始分割生成图像集合Sm。
本发明使用的分割网络为3维的TernausNet。该网络使用VGG-11作为编码器。由11个向前传播的网络层组成。其中有8个卷积层，每个卷积层采用了3*3*3的卷积核，每个卷积层后都紧跟一个ReLU激励函数层，第1、2、4、6、8个卷积层后都紧跟一个2*2*2的最大池化操作，每次操作后特征图尺寸减半。第一个卷积层通道数为64，第二层通道数为128，第三层第四层通道数为256，第五层到第八层通道数为512。将VGG11的最后3层的全连接层替换为一个512通道的卷积层，该网络使用两倍于特征图大小的转置卷积层，并将通道数减半。仿照U-net结构把转置卷积的输出与相应的编码器输出相连。并且保持通道数量与对应的编码器相同。重复使用5次上采样，并与5个最大池化层进行配对。由于使用了预训练过的VGG网络，所以可以有效的减少训练时间，防止过拟合。
S4：对步骤S3的初始分割生成图像集合Sm加入权重值M，进行随机筛选，得到新的标注图像集合Sa，权重值M是由图像相似度决定的，取值范围为[0.1，1]。
其方法步骤是：
(1)、计算Ix与Sm之间的相似度，Ix为已标注图像集合Su中随机选取的一张图像，定义：
Figure BDA0001687002350000071
其中Ij为初始分割生成图像集合Sm中随机选取的一张图像，sim(·)指的是余弦相似度，设定相似度的取值范围为[0.1，1]之间；
(2)、将步骤(1)得到的相似度设定为权重值M，定义M＝f(Sm,Ix)，权重值M的取值范围为[0.1，1]之间；
(3)、随机在集合Sm中选取K*M张图像作为新的标注图像集合Sa，其中K为已标注图像集合Su的图像数量，K为整数，K≥100，M为权重值；如果K*M的结果不是整数，则向下取整。
S5：将新的标注图像集合Sa加入已标注图像集合Su作为新的已标注图像集合Sb，用于训练初始分割网络。
S6：循环执行步骤S2～S5，直到步骤S4中的权重值M达到预设值E，得到中间分割网络和中间分割图像，将循环得到的中间分割图像合成中间生成图像集合Sgenerate；预设值E为超参数，需要根据不同的CT图像特点选择，取值范围为[0.7，1]。
预设值E为超参数，需要根据不同的CT图像特点选择。有两种选择超参数的基本方法：手动选择和自动选择。手动设置超参数时，必须了解超参数、训练误差、泛化误差和计算资源之间的关系。在调节时需要同时监测训练误差和测试误差，以判断模型是否过拟合或欠拟合。自动选择方法可以使用网格搜索或随机搜索法以得到合适的超参数。
本发明的方法步骤S7请参照图4和图5。图4为本发明的3D对抗网络训练和最终分割网络生成框图。图5是本发明使用的判别网络D结构图。
S7：建立3D对抗网络，进行对抗训练，得到最终分割网络。
具体方法步骤如下：
首先，建立3D对抗网络，将步骤S6的中间分割网络作为3D对抗网络的生成网络G；将步骤S2的分割网络中的VGG-11作为3D对抗网络的判别网络D。
其次，将步骤S6的中间生成图像集合Sgenerate与步骤S1的已标注图像集合Su加入3D对抗网络的判别网络D中。
最后，3D对抗网络进行对抗训练，直至3D对抗网络训练的网络损失函数收敛；得到最终分割网络。
本发明3D对抗网络使用的判别网络D以步骤S2的分割网络中的VGG-11编码器为基础，后三层使用全连接层，最后通过连接分类器得到判别结果。
本发明3D对抗网络的对抗训练是指：采用梯度下降算法分别更新生成网络G与判别网络D的参数。
这个步骤所述的对抗网络训练包括生成网络G和判别网络D，其中对抗训练的损失函数定义如下：
Figure BDA0001687002350000081
公式(1)中x代表真实数据，G(z)表示生成网络G生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D的输出结果取值表示输入是真实数据的可能性，其中判别网络D输出结果如趋近于0，则表明输入是由生成网络G生成的数据，而判别网络D输出结果如趋近于1，则表明输入的是真实数据。生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络G的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
由公式(1)得到，生成网络G的梯度下降算法定义如下：
Figure BDA0001687002350000082
由公式(1)得到，判别网络D的梯度下降算法定义如下：
Figure BDA0001687002350000083
其中，m代表的是样本个数。
在本发明中，定义整体对抗训练的损失函数如下：
Figure BDA0001687002350000091
在本发明中，分割网络即对抗训练中的生成网络G，θG代表生成网络G即分割网络参数，θD代表判别网络D模型参数。xn代表步骤S6中的中间生成图像集合Sgenerate，yn代表已标注图像集合Su，λ为超参数，由具体情况决定。
其中，设定H*W*Z*2前三个参数分别代表输入图像的三个维度，本发明针对的CT图像为灰度图，所以通道数设为2。lmce指的是多元互熵，定义如下：
Figure BDA0001687002350000092
其中，
Figure BDA0001687002350000093
指的是第i个像素点真实值与预测值的误差，即第i个像素点的损失函数。公式表示所有像素点的损失函数和，D(·)代表数据输入判别网络D。
最后，通过对抗训练来训练分割网络，得到最终分割网络。
将公式(4)分解可得到生成网络G与判别网络D的损失函数。
训练分割网络即生成网络G，即最小化多分类交叉熵损失函数：
Figure BDA0001687002350000094
使用随机搜索法来确定最优参数λ。
训练判别网络D，训练判别网络D即最小化二分类的损失函数：
Figure BDA0001687002350000095
分别利用式(6)和式(7)的最小化损失函数来更新网络参数。更新方式为每更新p次判别网络D参数θD，就更新一次生成网络G参数θG。更新网络参数直至损失函数收敛。
S8：将给定任意一幅待识别医学CT图像放入步骤S7的最终分割网络中，得到最终分割结果。
本发明通过对3D对抗网络的结构形式进行整体设计，利用分割网络作为3D对抗网络的生成网络G，预训练过的VGG11作为3D对抗网络的判别网络D。利用3D对抗网络增加标注数据，并通过相似度计算和赋予权重进行循环随机筛选，增强图像的可信度，以批量生成高质量的标注图像集合，最后采用判别网络D与分割网络进行对抗训练，从而实现对分割网络的优化并提高分割准确度。本发明方法设计简单，易于实现。
以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于3D对抗网络的医学CT图像分割方法，其特征在于，包括如下步骤：
S1：采集医学CT图像样本，进行标准化预处理，建立未标注图像集合Sunlabled和已标注图像集合Su；其中已标注图像集合Su是通过接收人工标注结果而得到的；
S2：将已标注图像集合Su输入分割网络进行网络训练，生成初始分割网络；
S3：将步骤S1的未标注图像集合Sunlabled输入步骤S2的初始分割网络，进行初始分割，得到初始分割生成图像集合Sm；
S4：对步骤S3的初始分割生成图像集合Sm加入权重值M，进行随机筛选，得到新的标注图像集合Sa；权重值M是由图像相似度决定的，取值范围为[0.1，1]；
S5：将新的标注图像集合Sa加入已标注图像集合Su作为新的已标注图像集合Sb，用于训练初始分割网络；
S6：循环执行步骤S2～S5，直到步骤S4中的权重值M达到预设值E，得到中间分割网络和中间分割图像，将循环得到的中间分割图像合成中间生成图像集合Sgenerate；预设值E为超参数，需要根据不同的CT图像特点选择，取值范围为[0.7，1]；
S7：建立3D对抗网络，将步骤S6的中间分割网络作为3D对抗网络的生成网络G；将步骤S2的分割网络中的VGG-11作为3D对抗网络的判别网络D；将步骤S6的中间生成图像集合Sgenerate与步骤S1的已标注图像集合Su加入3D对抗网络的判别网络D中，进行对抗训练，得到最终分割网络；
S8：将给定任意一幅待识别医学CT图像放入步骤S7的最终分割网络中，得到最终分割结果。
2.如权利要求1所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述步骤S1包括如下步骤：
S11：对采集的医学CT图像样本进行标准化预处理；
S12：将步骤S11预处理后的图像随机抽取一半图像由人工进行标注，另一半作为未标注图像，设为未标注图像集合Sunlabled；
S13：将人工标注后的图像设为已标注图像集合Su，图像数量为K张，K为整数，K≥100；随机选取该集合中的一张图像为Ix。
3.如权利要求2所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述步骤S11包括如下步骤：
S111：根据输入的医学CT图像，按照经验值选取感兴趣区域的CT值范围，将CT值范围以外的像素值置零；
S112：随机选取步骤S111处理后医学CT图像原图长度和宽度的(0，0.1]倍作为位移长度，进行平移变换；
S113：对步骤S112平移变换后的医学CT图像进行旋转变换，在(0，10]度的范围内进行随机旋转；
S114：对医学CT图像平移变换或旋转变换超出边界的部分使用像素值为0.1的像素点进行填充。
4.如权利要求1所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述步骤S2中的分割网络为3维的TernausNet，所述3维的TernausNet使用VGG-11作为编码器，由11个向前传播的网络层组成。
5.如权利要求4所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述11个向前传播的网络层中，前8个为卷积层，每个卷积层采用了3*3*3的卷积核，每个卷积层后都紧跟一个ReLU激励函数层，第1、2、4、6、8个卷积层后都紧跟一个2*2*2的最大池化操作，每次操作后特征图尺寸减半；第一个卷积层通道数为64，第二层通道数为128，第三层第四层通道数为256，第五层到第八层通道数为512；将最后3层的全连接层替换为一个512通道的卷积层。
6.如权利要求1所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述步骤S4包括如下步骤：
S41：计算Ix与Sm之间的相似度，Ix为已标注图像集合Su中随机选取的一张图像，定义：
Figure FDA0002887602670000021
其中Ij为初始分割生成图像集合Sm中随机选取的一张图像，sim(·)指的是余弦相似度，设定相似度的取值范围为[0.1，1]；
S42：将步骤S41得到的相似度设定为权重值M，定义M＝f(Sm,Ix)，权重值M的取值范围为[0.1，1]；
S43：随机在集合Sm中选取K*M张图像作为生成图像集合Sa，其中K为已标注图像集合Su的图像数量，K为整数，K≥100；M为权重值；如果K*M的结果不是整数，则向下取整。
7.如权利要求1所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述步骤S7得到最终分割网络的判据是：
直至3D对抗网络训练的网络损失函数收敛，得到最终分割网络。
8.如权利要求7所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述判别网络D以步骤S2的分割网络中的VGG-11编码器为基础，后三层使用全连接层，最后通过连接分类器得到判别结果。
9.如权利要求7所述的基于3D对抗网络的医学CT图像分割方法，其特征在于，所述3D对抗网络的对抗训练是指：采用梯度下降算法分别更新生成网络G与判别网络D的参数。
10.一种基于3D对抗网络的医学CT图像分割系统，包括：医学CT图像采集系统、3D对抗网络系统、医学CT图像处理系统；所述3D对抗网络系统包括生成网络G和判别网络D，其特征在于，所述3D对抗网络系统的生成网络G为分割网络，判别网络D为预训练过的VGG11；所述基于3D对抗网络的医学CT图像分割系统中存储有计算机程序，该程序用于实现权利要求1～9任一项所述的基于3D对抗网络的医学CT图像分割方法的步骤。
CN201810576059.3A 2018-06-06 2018-06-06 一种基于3d对抗网络的医学ct图像分割方法 Active CN108921851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576059.3A CN108921851B (zh) 2018-06-06 2018-06-06 一种基于3d对抗网络的医学ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576059.3A CN108921851B (zh) 2018-06-06 2018-06-06 一种基于3d对抗网络的医学ct图像分割方法

Publications (2)

Publication Number Publication Date
CN108921851A CN108921851A (zh) 2018-11-30
CN108921851B true CN108921851B (zh) 2021-07-09

Family

ID=64418916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576059.3A Active CN108921851B (zh) 2018-06-06 2018-06-06 一种基于3d对抗网络的医学ct图像分割方法

Country Status (1)

Country Link
CN (1) CN108921851B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110047075A (zh) * 2019-03-15 2019-07-23 天津大学 一种基于对抗网络的ct图像分割方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110009028B (zh) * 2019-03-28 2021-04-02 北京科技大学 一种显微图像数据增强方法及装置
CN109993820B (zh) * 2019-03-29 2022-09-13 合肥工业大学 一种动画视频自动生成方法及其装置
CN110163815B (zh) * 2019-04-22 2022-06-24 桂林电子科技大学 基于多阶段变分自编码器的低照度还原方法
CN110135508B (zh) * 2019-05-21 2022-11-29 腾讯科技（深圳）有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN110379491B (zh) * 2019-06-18 2022-07-15 平安科技（深圳）有限公司 识别脑胶质瘤方法、装置、设备和存储介质
CN110322528B (zh) * 2019-06-26 2021-05-14 浙江大学 基于3t、7t的核磁共振脑部图像血管重建方法
CN110264428A (zh) * 2019-06-27 2019-09-20 东北大学 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法
CN110633748B (zh) * 2019-09-16 2022-06-14 电子科技大学 一种鲁棒的自动人脸融合方法
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN110930337B (zh) * 2019-11-29 2022-05-31 北京理工大学 一种基于深度学习的医学影像增强方法
CN111428812B (zh) * 2020-04-14 2024-03-08 东软医疗系统股份有限公司 医学图像数据的构造方法及装置
CN111598174B (zh) * 2020-05-19 2020-12-29 中国科学院空天信息创新研究院 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN116630463B (zh) * 2023-07-21 2023-10-13 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043961A (zh) * 2010-12-02 2011-05-04 北京交通大学 静脉特征提取方法及利用双指静脉和指形特征进行身份认证的方法
CN103514443A (zh) * 2013-10-15 2014-01-15 中国矿业大学 一种基于lpp特征提取的单样本人脸识别迁移学习方法
CN106529555A (zh) * 2016-11-04 2017-03-22 四川大学 一种基于全卷积网络的dr片肺轮廓提取方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107316294A (zh) * 2017-06-28 2017-11-03 太原理工大学 一种基于改进的深度玻尔兹曼机肺结节特征提取和良恶性分类方法
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043961A (zh) * 2010-12-02 2011-05-04 北京交通大学 静脉特征提取方法及利用双指静脉和指形特征进行身份认证的方法
CN103514443A (zh) * 2013-10-15 2014-01-15 中国矿业大学 一种基于lpp特征提取的单样本人脸识别迁移学习方法
CN106529555A (zh) * 2016-11-04 2017-03-22 四川大学 一种基于全卷积网络的dr片肺轮廓提取方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107316294A (zh) * 2017-06-28 2017-11-03 太原理工大学 一种基于改进的深度玻尔兹曼机肺结节特征提取和良恶性分类方法
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Survey on semi-supervised feature selection methods;Razieh Sheikhpour 等;《ELSEVIER》;20170430;第142页 *
Deep Adversarial Networks for Biomedical Image Segmentation Utilizing Unannotated Images;Yizhe Zhang 等;《Springer》;20170904;第408-412页 *
TernausNet:U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation;Vladimir Iglovikov 等;《arXiv》;20180117;第2-3页 *

Also Published As

Publication number Publication date
CN108921851A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
Aggarwal et al. COVID-19 image classification using deep learning: Advances, challenges and opportunities
Rahman et al. Ambiguous medical image segmentation using diffusion models
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN112102276B (zh) 基于迁移学习图像增强的低场强mr胃部分割方法
US20170294014A1 (en) Image processing used to estimate abnormalities
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN107977949A (zh) 一种基于投影字典对学习的医学图像融合质量改善的方法
CN111724344A (zh) 一种基于对抗网络生成医学超声影像数据的方法
CN112052877A (zh) 一种基于级联增强网络的图片细粒度分类方法
CN112598649A (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN111144449B (zh) 图像处理方法、装置、存储介质及电子设备
Portela et al. Lung region segmentation in chest x-ray images using deep convolutional neural networks
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
Tempelaere et al. Synthetic data for X-ray CT of healthy and disordered pear fruit using deep learning
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN112581513B (zh) 锥束计算机断层扫描图像特征提取与对应方法
Xing et al. The Beauty or the Beast: Which Aspect of Synthetic Medical Images Deserves Our Focus?
Jia et al. Three-dimensional segmentation of hippocampus in brain MRI images based on 3CN-net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant