CN110047075A - 一种基于对抗网络的ct图像分割方法 - Google Patents

一种基于对抗网络的ct图像分割方法 Download PDF

Info

Publication number
CN110047075A
CN110047075A CN201910197091.5A CN201910197091A CN110047075A CN 110047075 A CN110047075 A CN 110047075A CN 201910197091 A CN201910197091 A CN 201910197091A CN 110047075 A CN110047075 A CN 110047075A
Authority
CN
China
Prior art keywords
image
network
segmentation
slice
confrontation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910197091.5A
Other languages
English (en)
Inventor
史再峰
胡起星
李慧龙
范博宇
任辉政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910197091.5A priority Critical patent/CN110047075A/zh
Publication of CN110047075A publication Critical patent/CN110047075A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开一种基于对抗网络的CT图像分割方法，包括步骤：用全卷积神经网络对收集的医学CT图像中相邻CT切片分别进行图像特征提取，提取每一个切片的特征，然后按切片空间顺序将每一个切片先后输入到长短期记忆网络处理，学习相邻切片间的空间依赖性，输出CT图像初步分割结果；将初步分割结果作为生成式对抗网络中的生成器，利用参考标准图，由鉴别器对样本鉴别，实现图像分割矫正，得到最终图像分割结果。本发明大幅度减少计算量，最后用生成式对抗网络来矫正输出图像，使图像细节特征和分割效果更好。

Description

一种基于对抗网络的CT图像分割方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于对抗网络的CT图像分割方法。
背景技术
医学图像处理在诊断和临床治疗中起着不可或缺的作用，而CT图像分割作为医学图像处理的重要一环，对于病理判断、手术规划和术后评估等有巨大的辅助作用。然而，由于复杂的背景，模糊的边界等，它仍然是个十分具有挑战性的任务。传统的图像分割方法有阈值分割，区域分割等。阈值分割的关键是确定阈值，然后将阈值与像素点的灰度值逐个进行比较，大于阈值的视为1，小于阈值的视为0，从而将图像分割开来。为了提高图像分割质量，由此衍生出全局阈值和自适应阈值等图像分割方法。阈值分割的优点是计算简单、速度快。区域分割又包括区域生长和区域分裂合并，区域生长的基本思想是将具有相似性的像素集合起来构成区域，而区域分裂合并则可以看作是区域生长的逆过程，该方法从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，实现目标提取。此外还有边缘分割、聚类分析和小波变换等传统分割方法，这些传统方法的分割效果有限，特别是针对于医学CT图像。
近年来，深度学习和人工智能异军突起，特别是在图像处理等方面表现出不俗的效果。能用深度学习来做图像分割的主要有两种网络，一种是全卷积神经网络，一种是循环神经网络，这两种网络在医学图像分割方面都取得了不错的效果。全卷积神经网络将传统神经网络中的全连接层转化为一个个的卷积层，全卷积神经网络可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。而循环神经网络则是为离散序列分析而开发的，长短期记忆网络是循环神经网络中的一种，能够解决训练过程中由于梯度消失而出现的长期依赖问题。对于医学图像，在分割过程中容易出现Z轴的像素间距远大于X轴和Y轴，而将全卷积神经网络和循环神经网络结合起来能够很好的解决这一问题。生成式对抗网络是2014年提出的一种生成式模型，其不仅在图像生成、图像超分辨率重建等方面取得巨大应用，在图像分割方面潜力巨大。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于对抗网络的CT图像分割方法，是一种基于全卷积神经网络网络和长短期记忆网络对图像先进行处理，再利用生成式对抗网络进行矫正的医学CT图像分割方法。
为实现本发明的目的所采用的技术方案是：
一种基于对抗网络的CT图像分割方法，包括以下步骤：
利用全卷积神经网络，对收集的医学CT图像中相邻CT切片分别进行图像特征提取，提取每一个切片的特征，然后按照切片空间顺序将每一个切片先后输入到长短期记忆网络处理，学习相邻切片之间的空间依赖性，输出CT图像的初步分割结果；
将该初步分割结果作为生成式对抗网络中的生成器，利用参考标准图，由鉴别器对样本进行鉴别，实现图像分割矫正，得到最终图像分割结果。
所述参考标准图为手动分割的CT图像。
所述医学CT图像作为神经网络数据集，来自于医疗机构、种CT图像分割比赛和生物医学成像国际研讨会发布的公开CT图像数据集。
所述医学CT图像要按照不同的身体部位和扫描方案进行分类，根据数据集大小随机抽取一定量的图片作为训练集，余下的作为测试集，作为图像分割使用。
所述训练集的CT图像还要进行翻转、平移、旋转一定角度、裁剪、亮度增强、适当放大与缩小的操作，以生成更多的新图片来参与训练，以扩充数据集。
与现有技术相比，本发明的有益效果是：
本发明在获取空间位置相邻的CT切片后，用全卷积神经网络学习单个切片地特征信息，用长短期记忆网络学习相邻切片之间的空间联系性，从而将3D卷积转变为2D卷积，大幅度减少计算量，最后用生成式对抗网络来矫正输出图像，使图像细节特征和分割效果更好。
附图说明
图1所示为基于对抗网络的CT图像分割方法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明是利用全卷积神经网络中的跳跃连接修复目标的细节，利用长短期记忆网络学习到图像数据之间的长期依赖关系，再利用生成式对抗网络来矫正长短期记忆网络的输出图像，而最终获得图像的分割结果的。
如图1所示，本发明基于对抗网络的CT图像分割方法，其步骤是：
首先对所收集到的CT图像进行分类，根据其数量按一定比例将其划分为训练集和测试集，再利用全卷积神经网络，对相邻CT切片分别进行图像的特征提取，再按照切片顺序先后输入到长短期记忆网络，这个网络是图像到图像(输入和输出都是图像)的，输出的是初步分割的结果，将该分割结果作为生成式对抗网络中的噪声，将医生手动分割的结果作为生成式对抗网络中的参考标准，利用对抗网络中的生成器和鉴别器进行最后的分割矫正，得到最终结果。
本发明具体详细的实施步骤如下：
步骤1：建立神经网络数据集。收集各大医疗机构、各种CT图像分割比赛(如Kaggle比赛)和ISBI(生物医学成像国际研讨会)等发布的公开CT图像数据集，对所收集到的CT图像按照不同的身体部位和扫描方案(对比度和非对比度，各种分辨率和位置)进行分类，根据数据集大小随机抽取一定量的图片作为训练集，余下的作为测试集。
步骤2：对得到的训练集进行图像增强。对现有的CT图片数据进行翻转、平移、旋转一定角度、裁剪、亮度增强、适当放大与缩小等操作，生成更多的新图片来参与训练，扩充数据集，解决或缓解由于训练数据过小而造成的过拟合问题。
步骤3：采用全卷积神经网络(U-Net网络)对数据集进行分割。全卷积神经网络能够模拟人类的做法，先从宏观上找到图片上的目标，再从细节上判别边界，学习图片中的细节和未被标记的特征。为了对病情做出精准判断，CT在扫描完后会得到多个相邻切片，这些相邻切片是具有空间联系性的。对相邻的每一个切片图像分别输入到全卷积神经网络中，即可提取每一个切片的特征。
步骤4：将每一个切片按照其空间顺序(如自上而下)分别输入到长短期记忆网络(LSTM网络)中，学习相邻切片之间的空间依赖性。长短期记忆网络的输出结果是初步分割好的医学CT图像，作为掩模(mask)图。
步骤5：生成式对抗网络的核心为一个生成器(Generator)和一个鉴别器(Discriminator)，生成器的目的是尽量去学习真实的数据分布，而鉴别器的目的是正确判别输入数据是来自真实数据，还是来自生成器。
在这种生成式对抗中，各自提高自己的生成能力和判别能力。将由长短期记忆网络初步分割后的图像，即掩模(mask)图，作为生成式对抗网络中的生成器，将由医师手动分割的CT图像作为参考标准图，由鉴别器来判断数据的样本到底是来自于生成器还是真实数据，即引入生成式对抗网络，以正则化输出的分割掩模(mask)图，区分LSTM的输出图与参考标准图。在这种不断地生成式对抗学习中，使分割结果更加接近真实数据，从而对分割结果进行矫正。
本发明通过引入生成式对抗网络，正则化输出的分割掩模(mask)图，在训练过程中不断区分输出图与参考图，进一步提高了分割网络的性能，矫正分割结果。
本发明通过U-Net网络和LSTM网络分别学习CT切片内和切片间的信息，权衡了3D图像的各向异性，构造了一个高效的从3D上下文中提取信息的结构，解决了3D卷积更耗费计算资源的问题，缩短了训练时间。
综上，可以看出，本发明通过获取空间位置相邻的CT切片后，用全卷积神经网络学习单个切片地特征信息，用长短期记忆网络学习相邻切片之间的空间联系性，从而将3D卷积转变为2D卷积，大幅度减少计算量，最后用生成式对抗网络来矫正输出图像，使图像细节特征和分割效果更好。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于对抗网络的CT图像分割方法，其特征在于，包括步骤：
利用全卷积神经网络，对收集的医学CT图像中相邻CT切片分别进行图像特征提取，提取每一个切片的特征，然后按照切片空间顺序将每一个切片先后输入到长短期记忆网络处理，学习相邻切片之间的空间依赖性，输出CT图像的初步分割结果；
将该初步分割结果作为生成式对抗网络中的生成器，利用参考标准图，由鉴别器对样本进行鉴别，实现图像分割矫正，得到最终图像分割结果。
2.如权利要求1所述基于对抗网络的CT图像分割方法，其特征在于，所述参考标准图为手动分割的CT图像。
3.如权利要求1所述基于对抗网络的CT图像分割方法，其特征在于，所述医学CT图像作为神经网络数据集，来自于医疗机构、种CT图像分割比赛和生物医学成像国际研讨会发布的公开CT图像数据集。
4.如权利要求1所述基于对抗网络的CT图像分割方法，其特征在于，所述医学CT图像要按照不同的身体部位和扫描方案进行分类，根据数据集大小随机抽取一定量的图片作为训练集，余下的作为测试集，作为图像分割使用。
5.如权利要求4所述基于对抗网络的CT图像分割方法，其特征在于，所述训练集的CT图像还要进行翻转、平移、旋转一定角度、裁剪、亮度增强、适当放大与缩小的操作，以生成更多的新图片来参与训练，以扩充数据集。
CN201910197091.5A 2019-03-15 2019-03-15 一种基于对抗网络的ct图像分割方法 Pending CN110047075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910197091.5A CN110047075A (zh) 2019-03-15 2019-03-15 一种基于对抗网络的ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910197091.5A CN110047075A (zh) 2019-03-15 2019-03-15 一种基于对抗网络的ct图像分割方法

Publications (1)

Publication Number Publication Date
CN110047075A true CN110047075A (zh) 2019-07-23

Family

ID=67274697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910197091.5A Pending CN110047075A (zh) 2019-03-15 2019-03-15 一种基于对抗网络的ct图像分割方法

Country Status (1)

Country Link
CN (1) CN110047075A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717401A (zh) * 2019-09-12 2020-01-21 Oppo广东移动通信有限公司 年龄估计方法及装置、设备、存储介质
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN111915553A (zh) * 2020-06-18 2020-11-10 杭州深睿博联科技有限公司 基于时序建模的部位识别方法和装置
WO2022050902A1 (en) * 2020-09-02 2022-03-10 Singapore Health Services Pte Ltd Image segmentation system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108921851A (zh) * 2018-06-06 2018-11-30 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108921851A (zh) * 2018-06-06 2018-11-30 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANXU CHEN，ET AL: "Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation", 《ARXIV》 *
YUAN XUE，ET AL: "SegAN: Adversarial Network with Multi-scale L1 Loss for Medical Image Segmentation", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717401A (zh) * 2019-09-12 2020-01-21 Oppo广东移动通信有限公司 年龄估计方法及装置、设备、存储介质
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN111915553A (zh) * 2020-06-18 2020-11-10 杭州深睿博联科技有限公司 基于时序建模的部位识别方法和装置
WO2022050902A1 (en) * 2020-09-02 2022-03-10 Singapore Health Services Pte Ltd Image segmentation system and method

Similar Documents

Publication Publication Date Title
CN105574859B (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN108364294B (zh) 基于超像素的腹部ct图像多器官分割方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN108052977A (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN108230301A (zh) 一种基于主动轮廓模型的脊柱ct图像自动定位分割方法
Cao et al. Gastric cancer diagnosis with mask R-CNN
CN109544564A (zh) 一种医疗图像分割方法
CN111383215A (zh) 一种基于生成对抗网络的病灶检测模型的训练方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Zhu et al. Metal artifact reduction for X-ray computed tomography using U-net in image domain
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
Hou et al. Semantic segmentation of vertebrate microfossils from computed tomography data using a deep learning approach
CN106846301B (zh) 视网膜图像分类方法及装置
CN110619633B (zh) 一种基于多路滤波策略的肝脏图像分割方法
CN105956587B (zh) 一种基于形状约束的膝关节磁共振图像序列半月板自动提取方法
Zhou et al. Automatic segmentation algorithm of femur and tibia based on Vnet-C network
JP7019104B2 (ja) 閾値の学習方法
Xu et al. Automatic segmentation method for cone-beam computed tomography image of the bone graft region within maxillary sinus based on the Atrous spatial pyramid convolution network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190723