CN111415728A - 基于cnn和gan的ct图像数据自动分类方法及设备 - Google Patents
基于cnn和gan的ct图像数据自动分类方法及设备 Download PDFInfo
- Publication number
- CN111415728A CN111415728A CN201911163273.7A CN201911163273A CN111415728A CN 111415728 A CN111415728 A CN 111415728A CN 201911163273 A CN201911163273 A CN 201911163273A CN 111415728 A CN111415728 A CN 111415728A
- Authority
- CN
- China
- Prior art keywords
- gan
- cnn
- image
- network
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Abstract
本发明涉及数据处理技术领域，具体涉及一种基于CNN和GAN的CT图像数据自动分类方法及设备，方法包括以下步骤：S1获取待分类的CT图像数据；S2选择结节本身的图像进行数据增强处理得到公共扩充数据集；S3对公共扩充数据集利用GAN得到生成网络和鉴别网络，并同时进行训练得到GAN合成数据集；S4利用CNN网络对GAN合成数据集进行分类，得到最终图像数据集。本发明解决了大多数关于肺腺癌分类的现有研究集中于放射组学特征的建模和其他手动标记特征，都基于手工标注，给医生带来了更多的负担问题，且轻量级CNN模型也便于在医院诊断系统中安置，这有助于放射科医师的日常工作并促进精准医疗的发展，具有很强的市场应用前景。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于CNN和GAN的 CT图像数据自动分类方法及设备。
背景技术
手术前对肺腺癌的高效准确诊断对临床医生具有重要意义。尽管 计算机断层扫描(CT)检查在实践中被广泛使用，但放射科医师仍然 难以区分不同类型的亚厘米肺结节。在本文中，本发明提出了一种针 对亚厘米肺腺癌的自动分类系统，其结合卷积神经网络(CNN)和生成 对抗网络(GAN)。该系统基于2D结节中心CT补片进行处理，无需手 动标记信息。总共分析了206例术后病理标记的结节，其中30例为原 位腺癌(AIS)，119例为微浸润腺癌(MIA)，57例为侵袭性腺癌(IAC)。 GAN被用于增强数据集，视觉图灵测试表明，即使是放射科医生也无法 分辨原始图像和GAN合成的图像(准确度：初级放射科医师56％，高 级放射科医师65％)。
此外，还采用和比较了几种流行的GAN技术，本发明逐渐生长式 wGAN最有效地改善了CNN的性能(AUC＝0.83)。实验表明，与分别使 用原始和传统增强的图像训练相比，所提出的GAN增强方法将分类准 确度提高了23.5％(从37.0％到60.5％)和7.3％(从53.2％到 60.5％)。GAN和CNN方法的这种组合(精确度：60.5％±2.6％)的 性能与最先进的方法相当，而本发明的CNN更轻量级。本发明相信这 种方法可以推广到其他CADx算法的构建，从而有助于诊断。
发明内容
针对现有技术的不足，本发明公开了一种基于CNN和GAN的CT图 像数据自动分类方法及设备，用于解决大多数关于肺腺癌分类的现有 研究集中于放射组学特征的建模和其他手动标记特征，都基于手工标 注，给医生带来了更多的负担问题。为了填补小结节分类的研究空白， 协助放射科医师的日常工作，本发明提出了基于CNN和GAN的CT图像 数据自动分类方法及设备。
本发明通过以下技术方案予以实现：
第一方面，本发明提供了一种基于CNN和GAN的CT图像数据自动 分类方法，所述方法包括以下步骤：
S1获取待分类的CT图像数据；
S2选择结节本身的图像进行数据增强处理得到公共扩充数据集；
S3对公共扩充数据集利用GAN得到生成网络和鉴别网络，并同时 进行训练得到GAN合成数据集；
S4利用CNN网络对GAN合成数据集进行分类，得到最终图像数据 集。
更进一步的，所述S2步骤中，仅使用结节本身的图像，其中每张 CT扫描中的结节面积是根据放射科医师的注释计算，仅选择具有最大 结节面积的三张CT，切割以结节为中心的64×64像素图像并命名为原 始数据集。
更进一步的，所述数据增强处理具体为首先按像素随机翻译图像， 然后以结节为圆心进行旋转，并对图像重新调整，随机比率为80％至 120％，最后将结节贴片上下左右翻转完成增强。
更进一步的，使用GAN时包括截断后的wasserstein距离损失、 渐进式生长和像素级归一化。
更进一步的，所述Wasserstein距离，在概率密度
的和 
之间，定义为
是和间所有变换的方式，是变换的损失，其中模式崩溃问题通过 用Wasserstein距离替换原始GAN框架中的Jensen-Shannon散度来解 决。
更进一步的，Wasserstein距离修改包括从鉴别器的最后一层删除sigmoid激活函数，从损失函数中删除对数，并将更新后的权重截断到 一定的范围内，采用梯度惩罚来限制Lipschitz的连续性，在损失函 数中加入梯度，使得权重分布更加平滑。
更进一步的，所述生成网络和鉴别网络是对称的，同时进行训练， 每当添加一个新的层时，将平滑地将其淡化加入，以防止对已经训练 有素、分辨率较小的网络产生影响。
更进一步的，所述CNN网络由四个卷积层、四个最大池层、一个 完连接层组成，选择RELU作为激活函数，网络以一个softmax层结束， 预测图像的类别在每个最大池化层之后，采用随机丢失来防止过拟合。
更进一步的，所述CNN网络使用Adam作为优化函数，选择交叉熵 作为损失函数，并训练500个周期，CNN的实施基于Keras框架，训 练过程由四个图形处理单元加速。
第二方面，本发明提供了一种基于CNN和GAN的CT图像数据自动 分类设备，所述设备用于实现第一方面所述的方法，其特征在于，包 括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设 备执行第一方面所述的方法；
包括处理器以及存储有执行指令的存储器，当所述处理器执行所 述存储器存储的所述执行指令时，所述处理器执行第一方面所述的方 法。
本发明的有益效果为：
本发明解决了大多数关于肺腺癌分类的现有研究集中于放射组学 特征的建模和其他手动标记特征，都基于手工标注，给医生带来了更 多的负担问题，且轻量级CNN模型也便于在医院诊断系统中安置，这 有助于放射科医师的日常工作并促进精准医疗的发展，具有很强的市 场应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
图1是一种基于CNN和GAN的CT图像数据自动分类方法原理步骤 图；
图2是本发明实施例的渐进式生长图；
图3是本发明实施例用于肺腺癌分类的CNN结构图；
图4是本发明实施例不同训练方法下的ROC曲线图；
图5是本发明实施例CNN分类准确度小提琴图；
图6是本发明实施例t-SNE可视化图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护 的范围。
实施例1
本实施例公开如图1所示的一种基于CNN和GAN的CT图像数据自 动分类方法，所述方法包括以下步骤：
S1获取待分类的CT图像数据；
S2选择结节本身的图像进行数据增强处理得到公共扩充数据集；
S3对公共扩充数据集利用GAN得到生成网络和鉴别网络，并同时 进行训练得到GAN合成数据集；
S4利用CNN网络对GAN合成数据集进行分类，得到最终图像数据 集。
S2步骤中，仅使用结节本身的图像，其中每张CT扫描中的结节面 积是根据放射科医师的注释计算，仅选择具有最大结节面积的三张CT， 切割以结节为中心的64×64像素图像并命名为原始数据集。
数据增强处理具体为首先按像素随机翻译图像，然后以结节为圆 心进行旋转，并对图像重新调整，随机比率为80％至120％，最后将 结节贴片上下左右翻转完成增强。
使用GAN时包括截断后的wasserstein距离损失、渐进式生长和 像素级归一化。
Wasserstein距离，在概率密度
的和
之间，定义 为
是和间所有变换的方式，是变换的损失，其中模式崩溃问题通过 用Wasserstein距离替换原始GAN框架中的Jensen-Shannon散度来解 决。
Wasserstein距离修改包括从鉴别器的最后一层删除sigmoid激 活函数，从损失函数中删除对数，并将更新后的权重截断到一定的范 围内，采用梯度惩罚来限制Lipschitz的连续性，在损失函数中加入 梯度，使得权重分布更加平滑。
生成网络和鉴别网络是对称的，同时进行训练，每当添加一个新 的层时，将平滑地将其淡化加入，以防止对已经训练有素、分辨率较 小的网络产生影响。
CNN网络由四个卷积层、四个最大池层、一个完连接层组成，选择 RELU作为激活函数，网络以一个softmax层结束，预测图像的类别在 每个最大池化层之后，采用随机丢失来防止过拟合。
CNN网络使用Adam作为优化函数，选择交叉熵作为损失函数，并 训练500个周期，CNN的实施基于Keras框架，训练过程由四个图形 处理单元加速。
本实施例解决了大多数关于肺腺癌分类的现有研究集中于放射组 学特征的建模和其他手动标记特征，都基于手工标注，给医生带来了 更多的负担问题，且轻量级CNN模型也便于在医院诊断系统中安置， 这有助于放射科医师的日常工作并促进精准医疗的发展。
实施例2
本实施例公开数据处理过程，在该步骤中，仅使用结节本身的图 像。每张CT扫描中的结节面积是根据放射科医师的注释计算的，仅选 择具有最大结节面积的三张CT。切割以结节为中心的64×64像素图像 并命名为原始数据集。
数据充足非常重要，因为即使是小型CNN也包含数千个参数，并 且容易过度拟合。为了避免这个问题，常见的策略是数据增强。常见 的增强技术包括平移，旋转，缩放和翻转。本发明首先按像素随机翻 译图像。然后以结节为圆心进行旋转。之后，图像重新调整，随机比 率为80％至120％。最后，结节贴片上下左右翻转。上述操作生成的 图像为64×64像素，与之前创建的原始数据集一致。顺便说一下，如 果操作超出了图像的边界，那么将跳过该操作。这些技术不仅放大了 数据集，还获取了结节附近的图像信息。在此步骤中生成的数据集被 命名为公共扩充数据集。
生成模型在图像合成中得到了广泛的应用。目前，最先进的一代 模型包括自回归模型(Oord等人，2016)、变分自动编码器(Vae) (Kingma&Welling，2014)和生成对抗网络(GAN)(Goodfellow等人， 2014)。与其他训练方法相比，GAN具有生成清晰图像的能力。本发明 采用三种最著名的GAN技术来合成结节图像。本发明实现了渐进式生 长的wgan，包括截断后的wasserstein距离损失、渐进式生长和像素 级归一化。它稳定了训练过程，生成了高质量的图像。这个模型的细 节如下。
截断的wasserstein距离，Wasserstein距离，在概率密度的 
和
之间，被定义为
Γ(pX,pY)是pX和pY间所有变换的方式，c:X×Y→R+是变换的损失， 有研究表明(Arjovsky等人，2017)，模式崩溃问题可以通过用 Wasserstein距离替换原始GAN框架中的Jensen-Shannon散度来解决。 具体的修改包括从鉴别器的最后一层删除sigmoid激活函数，从损失 函数中删除对数，并将更新后的权重截断到一定的范围内。采用梯度 惩罚来限制Lipschitz的连续性。在损失函数中加入梯度而不是直接 截断权重，使得权重分布更加平滑。从而GAN训练的速度更快，生成 的图像质量也更高。
渐进式生长生成网络和鉴别网络是对称的，同时进行训练。每当 添加一个新的层时，本发明都会平滑地将其淡化加入，以防止对已经 训练有素、分辨率较小的网络产生重大影响。具体过程如图2所示。 介绍了如何将16×16像素图像(A)转换为32×32像素图像(C)。当 分辨率(b)加倍时，高分辨率层被视为一个剩余块，重量α从0逐渐 增加到1。这里的2倍和0.5倍意味着本发明分别使用最近邻滤波和平 均池将图像分辨率提高了一倍和二分之一。这里表示的torgb和 fromrgb使用1×1卷积在特征图和输出图像之间进行转换。这种方法 有很多优点。首先，网络更容易适应低分辨率图像。然后，本发明逐 渐提高分辨率，使模型逐渐适应高维分布。有效地解决了GAN训练中 的不稳定性问题。另一个值得一提的好处是有效缩短了培训时间。之 前的研究(Karras等人，2018年)表明，这种技巧可以加快2-6倍。
实施例3
本实施例公开GAN结构，用于产生肺腺癌图像的逐渐生长式wGAN 结构。该生成器由九个卷积层组成。首先将512维随机噪声输入一个 全连接层，然后由第一卷积层生成4×4像素的特征图。然后，将特征 图通过由两个卷积层组成的四个模块。块的详细结构如图表4所示， 这些模块不断地将特征图的高度和宽度增加一倍，最终生成64×64像 素的图像。
该鉴别器还包括九个卷积层。它与生成器镜像，从64×64像素的 图像开始，通过由两个卷积层组成的四个块，以4×4像素的特征图结 束。最后在卷积层中加入了小批量鉴别技术，使训练更加稳定。最后， 将该特征图通过两个完全连接的小层，得到最后的目标。
生成器和鉴别器都含有两千万的参数，卷积层的核为3×3。上面 提到的传统增强数据集被选作GAN的输入。在这个步骤中产生的图像 称为GAN合成数据集。
卷积神经网络，本发明测试并比较了不同的网络结构，最后设计 了最适合肺癌分类的CNN网络结构。由于图像尺寸小、数据集有限， 许多著名的CNN架构如Alexnet、Googlenet都不适合这个任务。这个 特别设计的小型CNN包含的参数较少，因此也不容易过度拟合。输入 图像固定为64×64像素，数值归一化为(0，1)。该体系结构由四个 卷积层、四个最大池层、一个完连接层组成。选择RELU作为激活函数。 网络以一个softmax层结束，预测图像的类别在每个最大池化层之后， 采用随机丢失来防止过拟合。
整个模型只包含5万个参数，这是一个轻量级的CNN结构，易于 训练。模型的小尺寸也意味着它可以更方便地在医院诊断系统中部署。 将Adagrad算法和RMSProp算法的优点结合起来，使用Adam作为优化 函数，使其具有更快收敛的能力。选择交叉熵作为损失函数，并训练 500个周期，CNN的实施基于Keras框架，训练过程由四个图形处理 单元(NvidiaTitan XP 12G)加速。
实施例4
为了公平比较GAN生成的图像，本发明考虑了临床上重要的分类 子任务：IA结节(IAC)和非IA结节(AIS和MIA)的二元分类。如果 接受结节完全切除治疗，MIA患者的无病生存率接近100％(Travis等 人，2011年)。而对比下来，IAC患者的无病生存率仅在60％到70％之 间(Borczuk等人，2009年；Yim等人，2007年)，表明IAC患者需要 更积极的治疗(如化疗)。许多以前的研究也将AIS和MIA合并为一个 类别(Lim等人，2013年；Son等人，2014年)。数据提取过程是随机 的，所以本发明重复了50个实验，最后计算了平均ROC曲线。图4显 示了向训练集中添加增强数据后ROC曲线的变化。仅使用原始数据集 训练的AUC仅为0.60。在依次加入增强图像和GAN合成数据后，AUC 分别增加到0.78和0.83。值得注意的是，wGAN-GP和pix2pix合成的 数据甚至不如传统方法增强的数据，分别仅为0.73和0.75。
然后针对三类分类任务，研究了CNN在不同训练条件下的表现。 原始数据集、传统方法增强的数据集和GAN合成数据集也依次加入CNN 进行训练。本发明重复了50次实验，并在测试装置上记录了CNN的准 确度。图5显示了不同训练配置下CNN分类精度的小提琴图。CNN在原 始图像训练条件下的准确率为29.4％-46.1％(平均37.0％)。在添加了 传统方法增强的数据集后，CNN的性能变得越来越稳定，精度也越来越 集中，从48.2％到58.8％(平均53.2％)。随着不同GAN模型产生的数据 的增加，CNN的性能也有所不同。在添加了wGAN-GP和pix2pix合成的 数据后，CNN的性能甚至不如直接加入传统增强的数据，平均分别为49.5％和49.9％。最重要的是，当本发明逐步生长的wGAN生成的数据被 添加时，模型获得了最佳和最稳定的性能。忽略最大和最小精度，大 部分精度值集中在56.7％到64.9％之间，平均值为60.5％。
为了进一步分析结果，采用T-SNE进行了降维和可视化。从经过 训练的CNN的最后一层提取特征，然后输入T-SNE进行降维，最后在 二维散点图中进行可视化。本发明从50个实验中选择了一个，并绘制 了不同训练配置下真实结节的分布图。图表6显示了原始图像方法、 传统扩增方法和GAN合成图像训练下的分类性能。本发明从测试集图 像中提取特征来说明CNN网络是否通过添加合成数据而得到改进。另 外，为了避免散点图上的点过于密集，本发明只随机抽取200例进行 绘制。
本发明的目的是通过GAN合成医学图像，以增强数据集并提高CNN 分类任务的性能。本发明尝试并比较了几种GAN模型，最后设计了渐 进生长式wGAN。通过添加合成图像，CNN模型显示出比最先进的方法 更好的性能。CNN模型也包含较少的参数，这在医院CAD系统中应用时 非常重要。
GAN是本发明工作的重点，取得了良好的结果。本发明最后设计的 渐进生长式wGAN在图像生成质量方面优于wGAN-GP和pix2pix模型。 一些研究人员以前也研究过使用DC-GAN生成肺结节，这些图像甚至可 以愚弄有经验的放射科医生。Kaggle竞争的许多挑战者也试图使用GAN 进行数据扩充。他们文章中的这些常见技术都在本发明的比较范围内，通过结合不同的技术，本发明最终做得比他们好。
CNN分类也是本发明工作的重要组成部分。为了确定增强数据在多 大程度上可以提高CNN模型的分类性能，本发明同样进行了实验。为 了进行更全面和客观的比较，模型在每个训练集下训练了多达50次。 当只使用原始数据集进行培训时，CNN分类的表现非常不稳定和糟糕。 在二值分类或三类分类任务中，添加传统方法增强的数据集显著提高 了CNN的准确性，这验证了传统的增强方法可以稳定训练，提高模型 的泛化程度。有趣的是，GAN并不总是优于传统增强方法(如wGAN-GP 和pix2pix)。这可以归因于不适当的GAN模型产生的图像质量较低。 在使用了本发明渐进生长式wGAN生成的数据之后，CNN的表现达到了 最高水平。与以往传统增强法和不使用增强法相比，精度仍分别提高 了7.3％和23.5％。这表明，本发明的渐进式成长wGAN确实具有扩大数 据集规模和提高CNN分类任务性能的能力。
可视化可以直观地显示增强数据如何改进CNN模型，这也包括在 本发明的工作中。不同训练集下的分类结果也如图5所示，三种颜色 的散点所代表三类结节从左到右逐渐分散。这表明，随着合成数据添 加到训练集中，模型的性能不断提高。从第一子图到第二子图的转换， 本发明注意到在三种混合样本中，IAC代表的点将是第一个被分离的 类。在临床上，区别MIA或AIS的难度较大，而IAC有着独特特征， 相对容易区分。在临床治疗中，IAC与MIA/AIS也有显著不同的治疗 方法，第二个子图所示MIA和AIS之间仍然存在一些难以辨别的特征， 它们没有完全分离。当本发明将GAN合成数据添加到训练集中时，MIA 和AIS之间的分离程度稍高，这直观表现出分类器效果逐步提升的结 果。
GAN的评价包括专家评价和潜在空间插值两部分。在前一部分中， 本发明想证明合成图像是否足够逼真。区分真假的准确率分别为56％ 和65％，仅略高于偶然性。与常识一致的是，由于经验有限，初级放射 科医生的准确度稍低。总的来说，放射科医生正确地发现了81％的真实 样本，但是60％的合成样本仍然被误认为是真实的。总之，放射科医生 不能可靠地区分真假样本。这就可以得出所生成的样品具有高质量和 真实性的结论。在后一部分中，对两个已知潜在空间中的位置进行插 值，来证明GAN已经拟合了数据分布，而不是仅仅记住训练实例。当 本发明在两个不同的微浸润癌图像(MIA)的潜在向量之间进行线性插 值时，图像的变化逐渐发生。在保持微浸润癌自身无毛刺的特点的同 时，结节从肺中心到邻近肺壁逐步变化，呈现过渡的过程。它证明了 本发明的GAN模型是非常健壮的，并且学习了数据分布，而不仅仅是 记住训练实例。
辨别不同图像之间的细节是深度学习的优势。手术样本的病理分 析才能确认本研究所用的标本的真正类别，就算是放射科医生也很难 进行分类和诊断。有研究表明，即使是高级放射科医生，基于CT图像 对肺腺癌的分类也只有55％的准确率。在最后的实验中，本发明比较了 本发明的方法和最先进的方法的性能。经过GAN增强数据的训练，本 发明的分类器的准确度平均值达到60.5％，与最先进的方法相当。此外， 本发明的训练方法得到的分类器性能更稳定，重复实验的准确度变化 较小。并且，本发明的分类器包含的参数比最先进的方法少得多。这 些都显示了其在实际应用中的潜在价值。
尽管本发明的生成和分类模型有许多优点，但仍有改进的空间。 一方面，对于GAN模型，本发明实验中生成的图像与原始的512×512 像素的CT图像相比，分辨率相对较低，仅为64×64像素。尽管许多 研究已经记录了高分辨率图像的合成，但它们并没有解决计算资源的 巨大成本问题。因此，如何利用计算机视觉中的新理论对网络进行压 缩将是本发明今后工作的重点。另一方面，本发明CNN的输入量是二 维的，一个延伸思路是将模型转换为三维，并引入一些更先进的技术 和网络结构。对生成3D图像的GAN网络结构的研究也是值得的。另一 个计划是将更多的功能纳入CNN。实际上，放射科医生的诊断不仅基于 CT图像，还包括一系列关于患者年龄、病史、吸烟等的综合判断。在 今后的工作中，本发明将把这些上下文信息集成到本发明的模型中， 以进一步提高模型的性能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述方法包括以下步骤：
S1获取待分类的CT图像数据；
S2选择结节本身的图像进行数据增强处理得到公共扩充数据集；
S3对公共扩充数据集利用GAN得到生成网络和鉴别网络，并同时进行训练得到GAN合成数据集；
S4利用CNN网络对GAN合成数据集进行分类，得到最终图像数据集。
2.根据权利要求1所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述S2步骤中，仅使用结节本身的图像，其中每张CT扫描中的结节面积是根据放射科医师的注释计算，仅选择具有最大结节面积的三张CT，切割以结节为中心的64×64像素图像并命名为原始数据集。
3.根据权利要求1所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述数据增强处理具体为首先按像素随机翻译图像，然后以结节为圆心进行旋转，并对图像重新调整，随机比率为80％至120％，最后将结节贴片上下左右翻转完成增强。
4.根据权利要求1所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，使用GAN时包括截断后的wasserstein距离损失、渐进式生长和像素级归一化。
5.根据权利要求4所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述Wasserstein距离，在概率密度的
和
之间，定义为
Γ(pX,pY)是pX和pY间所有变换的方式，c:X×Y→R+是变换的损失，其中模式崩溃问题通过用Wasserstein距离替换原始GAN框架中的Jensen-Shannon散度来解决。
6.根据权利要求5所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，Wasserstein距离修改包括从鉴别器的最后一层删除sigmoid激活函数，从损失函数中删除对数，并将更新后的权重截断到特定的范围内，采用梯度惩罚来限制Lipschitz的连续性，在损失函数中加入梯度，使得权重分布更加平滑。
7.根据权利要求1所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述生成网络和鉴别网络是对称的，同时进行训练，每当添加一个新的层时，将平滑地将其淡化加入，以防止对已经训练有素、分辨率较小的网络产生影响。
8.根据权利要求1所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述CNN网络由四个卷积层、四个最大池层、一个完连接层组成，选择RELU作为激活函数，网络以一个softmax层结束，预测图像的类别在每个最大池化层之后，采用随机丢失来防止过拟合。
9.根据权利要求8所述的基于CNN和GAN的CT图像数据自动分类方法，其特征在于，所述CNN网络使用Adam作为优化函数，选择交叉熵作为损失函数，并训练500个周期，CNN的实施基于Keras框架，训练过程由四个图形处理单元加速。
10.一种基于CNN和GAN的CT图像数据自动分类设备，所述设备用于实现如权利要求1-9任一所述的方法，其特征在于，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如权利要求1-9中任一所述的方法；
包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911163273.7A CN111415728A (zh) | 2019-11-25 | 2019-11-25 | 基于cnn和gan的ct图像数据自动分类方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911163273.7A CN111415728A (zh) | 2019-11-25 | 2019-11-25 | 基于cnn和gan的ct图像数据自动分类方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111415728A true CN111415728A (zh) | 2020-07-14 |
Family
ID=71494734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911163273.7A Pending CN111415728A (zh) | 2019-11-25 | 2019-11-25 | 基于cnn和gan的ct图像数据自动分类方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415728A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112331348A (zh) * | 2020-10-21 | 2021-02-05 | 北京医准智能科技有限公司 | 集标注、数据、项目管理和无编程化建模的分析方法和系统 |
| CN112365973A (zh) * | 2020-11-02 | 2021-02-12 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
| CN112687391A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种乳腺超声图像病灶智能识别防漏判系统的构建方法 |
| CN113687610A (zh) * | 2021-07-28 | 2021-11-23 | 国网江苏省电力有限公司南京供电分公司 | 一种gan-cnn电力监测系统终端信息防护法方法 |
| CN113780084A (zh) * | 2021-08-11 | 2021-12-10 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015157799A1 (en) * | 2014-04-15 | 2015-10-22 | 4Dx Pty Ltd | Method of imaging |
| CN105169390A (zh) * | 2010-12-16 | 2015-12-23 | 弗·哈夫曼-拉罗切有限公司 | 与th2抑制相关的诊断和治疗 |
| CN107909572A (zh) * | 2017-11-17 | 2018-04-13 | 合肥工业大学 | 基于图像增强的肺结节检测方法及系统 |
| CN108038844A (zh) * | 2017-11-30 | 2018-05-15 | 东北大学 | 一种基于轻巧型cnn的肺结节良恶性预测方法 |
| CN108389201A (zh) * | 2018-03-16 | 2018-08-10 | 北京推想科技有限公司 | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 |
| CN109300121A (zh) * | 2018-09-13 | 2019-02-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、系统及该诊断模型 |
-
2019
- 2019-11-25 CN CN201911163273.7A patent/CN111415728A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105169390A (zh) * | 2010-12-16 | 2015-12-23 | 弗·哈夫曼-拉罗切有限公司 | 与th2抑制相关的诊断和治疗 |
| WO2015157799A1 (en) * | 2014-04-15 | 2015-10-22 | 4Dx Pty Ltd | Method of imaging |
| CN107909572A (zh) * | 2017-11-17 | 2018-04-13 | 合肥工业大学 | 基于图像增强的肺结节检测方法及系统 |
| CN108038844A (zh) * | 2017-11-30 | 2018-05-15 | 东北大学 | 一种基于轻巧型cnn的肺结节良恶性预测方法 |
| CN108389201A (zh) * | 2018-03-16 | 2018-08-10 | 北京推想科技有限公司 | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 |
| CN109300121A (zh) * | 2018-09-13 | 2019-02-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、系统及该诊断模型 |
Non-Patent Citations (1)
| Title |
|---|
| THOMAS SCHLEGL: "f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks" * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
| CN113808028B (zh) * | 2020-09-14 | 2023-08-08 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112131421B (zh) * | 2020-09-23 | 2023-09-15 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112331348A (zh) * | 2020-10-21 | 2021-02-05 | 北京医准智能科技有限公司 | 集标注、数据、项目管理和无编程化建模的分析方法和系统 |
| CN112331348B (zh) * | 2020-10-21 | 2021-06-25 | 北京医准智能科技有限公司 | 集标注、数据、项目管理和无编程化建模的分析方法和系统 |
| CN112365973A (zh) * | 2020-11-02 | 2021-02-12 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
| CN112365973B (zh) * | 2020-11-02 | 2022-04-19 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
| CN112687391A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种乳腺超声图像病灶智能识别防漏判系统的构建方法 |
| CN113687610A (zh) * | 2021-07-28 | 2021-11-23 | 国网江苏省电力有限公司南京供电分公司 | 一种gan-cnn电力监测系统终端信息防护法方法 |
| CN113780084A (zh) * | 2021-08-11 | 2021-12-10 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415728A (zh) | 基于cnn和gan的ct图像数据自动分类方法及设备 | |
| Xu et al. | Efficient multiple organ localization in CT image using 3D region proposal network | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| Choi et al. | Genetic programming-based feature transform and classification for the automatic detection of pulmonary nodules on computed tomography images | |
| Qureshi et al. | Medical image segmentation using deep semantic-based methods: A review of techniques, applications and emerging trends | |
| Hassanien et al. | Rough sets and near sets in medical imaging: A review | |
| EP2598034B1 (en) | Adaptive visualization for direct physician use | |
| Enokiya et al. | Automatic liver segmentation using U-Net with Wasserstein GANs | |
| JP3947109B2 (ja) | コンピュータ利用画像分析 | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| Yi et al. | Optimizing and visualizing deep learning for benign/malignant classification in breast tumors | |
| CN105931226A (zh) | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 | |
| CN112381164B (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| CN112529870B (zh) | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 | |
| Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
| Shrivastava et al. | A Comprehensive Analysis of Machine Learning Techniques in Biomedical Image Processing Using Convolutional Neural Network | |
| WO2021027152A1 (zh) | 基于条件生成对抗网络合成图像的方法及相关设备 | |
| Singh et al. | A study on convolution neural network for breast cancer detection | |
| Choi et al. | Computer-aided detection (CAD) of breast masses in mammography: combined detection and ensemble classification | |
| Haiying et al. | False-positive reduction of pulmonary nodule detection based on deformable convolutional neural networks | |
| WO2021183765A1 (en) | Automated detection of tumors based on image processing | |
| Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| Li et al. | HRINet: alternative supervision network for high-resolution CT image interpolation | |
| CN114565557A (zh) | 一种基于坐标注意力的对比增强能谱摄影分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |