CN113435481A - 一种基于生成对抗网络的肝脏肿瘤图像增广方法 - Google Patents

一种基于生成对抗网络的肝脏肿瘤图像增广方法 Download PDF

Info

Publication number
CN113435481A
CN113435481A CN202110643708.9A CN202110643708A CN113435481A CN 113435481 A CN113435481 A CN 113435481A CN 202110643708 A CN202110643708 A CN 202110643708A CN 113435481 A CN113435481 A CN 113435481A
Authority
CN
China
Prior art keywords
network model
liver tumor
tumor image
tumor
liver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110643708.9A
Other languages
English (en)
Inventor
金烁
董家鸿
王博
赵威
申建虎
张伟
徐正清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing precision diagnosis Medical Technology Co.,Ltd.
Original Assignee
Xi'an Zhizhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhizhen Intelligent Technology Co ltd filed Critical Xi'an Zhizhen Intelligent Technology Co ltd
Priority to CN202110643708.9A priority Critical patent/CN113435481A/zh
Publication of CN113435481A publication Critical patent/CN113435481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于生成对抗网络的肝脏肿瘤图像增广方法，首先构建训练样本，然后构建生成对抗网络模型，生成对抗网络模型包括生成器和判别器，对生成对抗网络模型进行训练，利用得到的训练样本和生成肿瘤图像对构建的生成对抗网络模型进行迭代训练，通过混合损失函数对所述生成对抗网络模型进行优化得到训练完成的生成对抗网络模型，最后从肝脏肿瘤的CT切片数据集中提取一个随机肝脏肿瘤图像，输入到训练完成的生成对抗网络模型中，得到肝脏肿瘤图像集。本发明能够通过生成对抗网络模型生成随机肝脏肿瘤图像实现肝脏肿瘤数据集的增广，有助于增加肝脏肿瘤的可变性，为肝脏切片创建一个丰富真实肝脏肿瘤切片数据。

Description

一种基于生成对抗网络的肝脏肿瘤图像增广方法
技术领域
本发明属于医学图像处理领域，具体涉及一种基于生成对抗网络的肝脏肿瘤图像增广方法。
背景技术
随着科学技术的进步，医学影像技术取得了长足的发展，图像分割是提取医学图像中特殊组织的定量信息不可缺少的手段，为了可以准确分辨医学图像中的正常组织结构和异常病变，需要对医学图像进行分割，医学图像的分割是医学图像处理的关键步骤。
由于图像分割模型训练中需要对大量参数进行调优，因此对训练样本的数量有较高的需求。因此对训练数据进行数据增广成为应用深度学习技术的主要手段之一，该方法主要是对图像进行变换操作，如平移或旋转、镜像等，来增加训练数据的数量。但是对图像进行简单的变换操作得出的样本图像与实际图像存在有较大的误差。
发明内容
为了解决现有技术的上述问题，本发明提供一种基于生成对抗网络的肝脏肿瘤图像增广方法，能够通过生成对抗网络模型生成随机肝脏肿瘤图像实现肝脏肿瘤数据集的增广。本发明的技术方案如下：
一种基于生成对抗网络的肝脏肿瘤图像增广方法，该方法包括：
S1，构建训练样本；
包括获取包含肝脏肿瘤的CT切片，并在所述CT切片中选定的肿瘤位置和形状以形成肿瘤掩模，并根据选定的肿瘤掩模与肝脏肿瘤的CT切片进行融合得到训练样本；
S2，构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；
所述生成器用于根据训练样本通过编码部分和解码部分得到生成肿瘤图像，所述编码部分用于对输入的训练样本进行特征提取与分析，所述解码部分用于将训练样本所提取出的特征进行还原；
所述判别器用于得到所述生成肿瘤图像中感兴趣区域的真实概率，所述真实概率用于表征所述生成肿瘤图像由所述训练样本生成的概率；
S3，对生成对抗网络模型进行训练；
利用得到的训练样本和生成肿瘤图像对构建的生成对抗网络模型进行迭代训练，通过每一次迭代所得到的损失函数对所述生成对抗网络模型进行优化，得到训练完成的生成对抗网络模型；
S4，从肝脏肿瘤的CT切片数据集中提取一个随机肝脏肿瘤图像，对所述随机肝脏肿瘤图像进行预处理，并输入到训练完成的生成对抗网络模型中，得到肝脏肿瘤图像集。
进一步地，所述混合损失函数包括对抗损失函数、多掩模损失函数、感知损失函数、样式损失函数。
本发明的有益效果在于：
能够通过生成对抗网络模型生成随机肝脏肿瘤图像实现肝脏肿瘤数据集的增广，有助于增加肝脏肿瘤的可变性，为肝脏切片创建一个丰富真实肝脏肿瘤切片数据集。
附图说明
图1是本发明基于生成对抗网络的肝脏肿瘤图像增广方法流程示意图；
图2是本发明生成对抗网络模型的结构图；
图3是本发明生成对抗网络模型中生成器的结构图；
图4是本发明生成器中的GConv的结构图；
图5是本发明一种实施例中生成器分支示意图。
具体实施方式
下面结合附图和实施例，对本发明技术方案作进一步描述：
本实施例中提供了一种基于生成对抗网络的肝脏肿瘤图像增广方法，该方法包括：
步骤1，构建训练样本。
首先获取包含肝脏肿瘤的CT切片，用户在CT切片中进行选定的肿瘤位置和形状以形成肿瘤掩模，并根据选定的肿瘤掩模与肝脏肿瘤的CT切片进行融合得到包含肿瘤掩模的CT切片作为训练样本。
步骤2，构建生成对抗网络模型。
如图2，生成对抗网络模型包括生成器和判别器，生成器用于根据训练样本通过编码部分和解码部分得到生成肿瘤图像，编码部分用于对输入的训练样本进行特征提取与分析，解码部分用于将训练样本所提取出的特征进行还原；判别器用于得到生成肿瘤图像中感兴趣区域的真实概率，真实概率用于表征生成肿瘤图像由训练样本生成的概率。
在本申请实施例中，生成对抗网络模型首先在3D肝脏CT切片图像中确定肿瘤的输入掩模，该3D肝脏CT切片图像可以表示为y∈RX×Y×Z，其中X，Y，Z分别表示为X，Y，Z轴，输入掩模可以通过二进制掩码表示即x∈[0,1]X×Y×Z，其中，0表示为非病变，1表示为病变。
将该掩模与医学图像融合，然后将融合后的图像通过生成器得到生成肿瘤图像，并通过卷积特征关联分支以增强合成肿瘤边界的真实性，能够恢复生成肿瘤图像中可能存在的缺失部分。
在本申请实施例中，生成器的具体结构如图3所示：
表1生成器中卷积输入输出参数
编码 输出大小 解码 操作前 输出大小
输入 2×64<sup>3</sup> DGConv2 256×16<sup>3</sup>
GConv1 64×62<sup>3</sup> GConv7 256×16<sup>3</sup>
GConv2 128×32<sup>3</sup> GConv8 256×16<sup>3</sup>
GConv3 128×32<sup>3</sup> GConv9 [GConv8,GConv4] 128×32<sup>3</sup>
GConv4 256×16<sup>3</sup> GConv10 128×32<sup>3</sup>
GConv5 256×16<sup>3</sup> GConv11 [GConv10,GConv2] 64×64<sup>3</sup>
GConv6 256×16<sup>3</sup> GConv12 64×64<sup>3</sup>
DGConv1 256×16<sup>3</sup> GConv13 1×64<sup>3</sup>
其中[，]表示串联操作；Conv表示卷积；Up代表Up抽样；GConv表示门卷积；DGConv表示扩张卷积，操作前具体是指发送到解码器中的相应层之前的预操作，其中每个GConv的结构具体如图4所示。
对于测试过程中的视觉伪影，如颜色差异、模糊和明显的边缘反应。如图4所示，提出了三维门卷积来解决这个问题，给定输入特征、选通卷积滤波器和正常卷积滤波器，扩张卷积层用于通过分层有效地扩大感受野，通过扩大卷积可以提取更多的信息。
如图5，生成器分支由1×1×1的卷积层和插值层组成，用于累积选通卷积和相关多级边界特征的输出。对于解码过程中的前两个卷积集，每个3D选通卷积层的输出连接到1×1×1卷积层。然后进行三线性插值，对特征图进行上采样，对于解码器中的最后一个卷积，选通卷积层首先连接到1×1×1的卷积层，最后，将这三组卷积的输出串联在一起，并输入一个1×1×1个卷积层融合特征图，即将
Figure BDA0003108171900000051
串联得到
Figure BDA0003108171900000052
并将最终得到的生成肿瘤图像输入到判别器中，判别器评估真实肿瘤图像和恢复的合成肿瘤图像之间的差异，通过混合损失函数其量化为对抗性损失。
在本申请实施例中，与常用的鉴别器不同，本申请判别器随机选择N×N×N的感兴趣区域，并将所选感兴趣区域分类为“真”或“假”。通过这样做，判别器被限制集中在高频率的结构上，提高判别效率。
判别器，即混合损失函数由四个块组成，分别包括了对抗损失函数、多掩模损失函数、感知损失函数和样式损失函数。每个块中有一个卷积层、一个ReLU函数和批量归一化，判别器的输出表示输入数据是否来自真实肿瘤/病变分布的概率。
在本申请实施例中，混合损失函数具体表示为：
LGAN＝Ladv+λLmm+σLpercep+ηLsty (1)
Ladv为对抗损失函数，Lmm为多掩模损失函数，Lpercep为感知损失函数，Lsty为样式损失函数λ，σ，η为平衡参数。
其中对抗损失函数具体为：
Figure BDA0003108171900000061
E[]表示期望，G表示Gram矩阵，D表示方差，x表示输入图像，y表示输出图像。
多掩模损失函数具体为：
Lmm＝αLcw+βLst+γLsb (3)
其中，α，β，γ为平衡参数，Lcw内容方面损失率，Lst表示合成肿瘤方面损失率，Lsb表示边界损失率，其中，
Figure BDA0003108171900000062
Figure BDA0003108171900000063
表示解码器输出，M表示掩模位置。
由于多掩模损失函数可能无法保持感知质量，因此引入了感知损失。此外，为了减轻重建过程中肿瘤边界周围可能出现的模糊，通过最小化生成的肿瘤和真实肿瘤之间的差异的以下范数来计算感知损失，感知损失函数具体为:
Figure BDA0003108171900000064
yd，y'd分别表示真实位置和训练位置，φ(p)表示该位置为病变的概率。
引入样式损失是为了最小化目标和生成的样式之间的偏差，样式损失函数具体为：
Figure BDA0003108171900000065
yd，y'd分别表示真实位置和训练位置，Gd (p)表示表示第p层的输出与第d输入的Gram矩阵。
步骤3，对生成对抗网络模型进行训练；
利用得到的训练样本和生成肿瘤图像对构建的生成对抗网络模型进行迭代训练，通过每一次迭代所得到的混合损失函数对生成对抗网络模型进行优化，得到训练完成的生成对抗网络模型。
在本申请实施例中，将训练样本依次输入至生成对抗网络模型中的编码部分和解码部分中，得到解码部分输出的生成肿瘤图像；并将生成肿瘤图像输入至判别器中，得到生成肿瘤图像中感兴趣区域的病变概率；根据感兴趣区域的病变概率调整生成器的网络参数。
步骤4，从肝脏肿瘤的CT切片数据集中提取一个随机肝脏肿瘤图像，对随机肝脏肿瘤图像进行预处理，并输入到训练完成的生成对抗网络模型中，得到肝脏肿瘤图像集。
在本申请实施例里中，通过一个随机肝脏肿瘤图像进行预处理，预处理包括进行选定的肿瘤位置和形状以形成肿瘤掩模，并根据选定的肿瘤掩模与肝脏肿瘤的CT切片进行融合得到包含肿瘤掩模的CT切片作为数据样本，并输入到上述训练完成的生成对抗网络模型中，得到肝脏肿瘤图像集合。
本发明提供一种基于生成对抗网络的肝脏肿瘤图像增广方法，以实现通过生成对抗网络模型生成随机肝脏肿瘤图像实现肝脏肿瘤数据集的增广，有助于增加肝脏肿瘤的可变性，为肝脏切片创建一个丰富真实肝脏肿瘤切片数据集。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权力要求的保护范围。

Claims (3)

1.一种基于生成对抗网络的肝脏肿瘤图像增广方法，其特征在于，所述方法包括：
S1，构建训练样本；
包括获取包含肝脏肿瘤的CT切片，并在所述CT切片中选定的肿瘤位置和形状以形成肿瘤掩模，并根据选定的肿瘤掩模与肝脏肿瘤的CT切片进行融合得到训练样本；
S2，构建生成对抗网络模型，所述生成对抗网络模型包括生成器、判别器；
所述生成器用于根据训练样本通过编码部分和解码部分得到生成肿瘤图像，所述编码部分用于对输入的训练样本进行特征提取与分析，所述解码部分用于将训练样本所提取出的特征进行还原；
所述判别器用于得到所述生成肿瘤图像中感兴趣区域的真实概率，所述真实概率用于表征所述生成肿瘤图像由所述训练样本生成的概率；
S3，对生成对抗网络模型进行训练；
利用得到的训练样本和生成肿瘤图像对构建的生成对抗网络模型进行迭代训练，通过混合损失函数对所述生成对抗网络模型进行优化，得到训练完成的生成对抗网络模型；
S4，从肝脏肿瘤的CT切片数据集中提取一个随机肝脏肿瘤图像，对所述随机肝脏肿瘤图像进行预处理，并输入到训练完成的生成对抗网络模型中，得到肝脏肿瘤图像集。
2.根据权利要求1所述的方法，其特征在于，所述混合损失函数包括对抗损失函数、多掩模损失函数、感知损失函数、样式损失函数。
3.根据权利要求1所述的方法，其特征在于，所述判别器的感兴趣区域为随机选择的N×N×N的区域。
CN202110643708.9A 2021-06-09 2021-06-09 一种基于生成对抗网络的肝脏肿瘤图像增广方法 Pending CN113435481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643708.9A CN113435481A (zh) 2021-06-09 2021-06-09 一种基于生成对抗网络的肝脏肿瘤图像增广方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643708.9A CN113435481A (zh) 2021-06-09 2021-06-09 一种基于生成对抗网络的肝脏肿瘤图像增广方法

Publications (1)

Publication Number Publication Date
CN113435481A true CN113435481A (zh) 2021-09-24

Family

ID=77755462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643708.9A Pending CN113435481A (zh) 2021-06-09 2021-06-09 一种基于生成对抗网络的肝脏肿瘤图像增广方法

Country Status (1)

Country Link
CN (1) CN113435481A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827617A (zh) * 2022-06-27 2022-07-29 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN115578404A (zh) * 2022-11-14 2023-01-06 南昌航空大学 一种基于深度学习的肝脏肿瘤图像增强和分割的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827617A (zh) * 2022-06-27 2022-07-29 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN114827617B (zh) * 2022-06-27 2022-10-18 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN115578404A (zh) * 2022-11-14 2023-01-06 南昌航空大学 一种基于深度学习的肝脏肿瘤图像增强和分割的方法

Similar Documents

Publication Publication Date Title
Wyatt et al. Anoddpm: Anomaly detection with denoising diffusion probabilistic models using simplex noise
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN109598728A (zh) 图像分割方法、装置、诊断系统及存储介质
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN113435481A (zh) 一种基于生成对抗网络的肝脏肿瘤图像增广方法
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN111260667B (zh) 一种结合空间引导的神经纤维瘤分割方法
CN110827232B (zh) 基于形态特征gan的跨模态mri合成方法
CN110706214A (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN113592794A (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN114494199A (zh) 一种基于深度学习的肝脏ct肿瘤分割与分类的方法
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN116721253A (zh) 一种基于深度学习的腹部ct图像多器官分割方法
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
CN115690423A (zh) 一种基于深度学习的ct序列图像肝脏肿瘤分割方法
CN115937083A (zh) 一种融合先验信息的前列腺磁共振图像区域分割方法
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210917

Address after: 102629 Room 102, block B2, software new town phase II, Tiangu 8th Road, Yuhua Street office, high tech Zone, Daxing District, Beijing

Applicant after: Beijing precision diagnosis Medical Technology Co.,Ltd.

Address before: Room 102, block B2, phase II, software new town, tianguba Road, Yuhua Street office, high tech Zone, Xi'an, Shaanxi 710000

Applicant before: Xi'an Zhizhen Intelligent Technology Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination