CN113205496A - 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 - Google Patents

一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 Download PDF

Info

Publication number
CN113205496A
CN113205496A CN202110478719.6A CN202110478719A CN113205496A CN 113205496 A CN113205496 A CN 113205496A CN 202110478719 A CN202110478719 A CN 202110478719A CN 113205496 A CN113205496 A CN 113205496A
Authority
CN
China
Prior art keywords
data
image
segmentation
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110478719.6A
Other languages
English (en)
Inventor
黎鸿儒
马皓钰
沈哲韬
崔涵旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110478719.6A priority Critical patent/CN113205496A/zh
Publication of CN113205496A publication Critical patent/CN113205496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法。包括：一种基于卷积运算3*3*3的3D降采样模块；一种放大倍数为2的上采样模块；以及基于上述两种模块构成的特征通道数分别为16，32，48，64，96的3D‑UNet模型；将处理好的数据送入网络进行训练；并在像素级标签的测试集上验证分割效果。本发明提出了对于腹部CT图像中肝肿瘤病变区域分割的自动化标注方法，这将大大减小标注数据的成本，在一定程度上辅助医生医生对肝肿瘤的临床诊断。

Description

一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法
【技术领域】本发明涉及一种针对患者腹部CT中肝部肿瘤病变的基于卷积神经网络的病变分割方法。
【背景技术】肝脏是人体新陈代谢，维持生命的重要器官，同时肝脏也是人体腹部中重量最大的实质性器官。近年来，由于不良饮食习惯及不规律作息等因素，越来越多的人患有肝脏疾病。同时，肝脏是原发性或继发性肿瘤的高风险器官，肝肿瘤恶性度高，死亡率高。WHO的发布的数据显示，2018年有78万人死于肝癌，我国部分地区也属于世界上肝癌高发地区之一；国家癌症中心发布的最新全国癌症报告显示，2015年全国肝癌新发病例约为37万，发病率为26.92/十万，位居2015年恶性肿瘤发病率第四位，2015年全国肝癌死亡率为23.69/十万，位居恶性肿瘤死亡第二位。从上述数据及统计可以看出，肝癌正严重威胁人类的生命健康。
深度学习算法是指根据先验知识从有限的观测数据中学习一般性规律，并将这些规律应用到待观测的样本上并给出预测结果的算法，其具有强大的数据分析及学习能力。近年来，随着算力和数据的增长，深度学习在过去7年中得到了巨大发展。同时，因为该领域生成海量的数据，使得医疗行业从深度学习中受益良多，其中自然语言处理主要涉及电子健康档案数据，强化学习方面主要讨论机器人辅助手术，通过深度学习方法进行基因组学相关研究，以及计算机视觉方面集中关注了医疗图像处理，尤其是在本次新型冠状病毒疫情当中，阿里达摩研究院将计算机视觉技术应用于新冠肺炎CT影像辅助诊断当中，在不到20秒的诊断时间内识别准确率高达96％，一定程度上减少了影像科医生的工作量，而本项目正是希望将计算机视觉领域的研究应用到肝肿瘤CT诊断中。
卷积神经网络在图像处理方面具有显著效果，因而被广泛的应用于医疗成像中，Litjens G.等在其调查的2012-2017年医疗影像处理相关领域的文章中，大多数性能优异的网络几乎都采用了卷积神经网络。在图像分类问题上，大多人科研人员采用两种策略，第一，用已经训练好的网络进行特征提取，第二，在医学数据上对基于自然图像训练的模型进行微调：Antony等同时运用两种方法对膝关节炎症图像进行分类，在前一种方法中取得了57.6％的准确率，在后一种方法中取得了53.4％的准确率。Brosch等用DBN和SAE对阿尔兹海默症患者的MRI影像进行了分类，取得了较好的成果。总而言之，在医学图像的分类问题中，CNN依然是最被广泛使用的网络，其在某些医学图像分类问题上堪比“人类专家”。在目标及病灶分类问题中，对兴趣目标或病灶区域进行检测是临床诊断中最重要也是医生劳动最密集的部分，由于给影像进行标注的时间成本过高，Yan Xu等创新性的使用了MIL框架与监督/非监督特征学习方法进行训练，以应对标注成本过高这一问题，但在目标检测问题中，给数据进行标注的负担同样是一个非常需要考虑的问题，Hwang and Kim等采用了弱监督训练来检测胸部X光片中的结节和乳腺病变。器官与子结构分割方面，2015年Ronneberger等提出了医学图像分割问题中最著名的U-net，这一结构在2015年的EMsegmentation challenge中获得了最优表现(warping error＝0.000353)，iek等的工作表明一个完整的三维分割可以通过从相同的体积中给u-net一些2d注释切片来实现，Milletari等提出基于U-net结构的三维卷积网络V-net，Drozdzal等研究了在常规U-net中使用。
Resnet以及long skip-connection的效果。病灶分割问题结合了目标检测和器官与子结构分割在深度学习算法中的一些挑战，如通常需要全局信息和局部信息来执行精确的分割，因此需要使用具有不同尺度或非均匀采样的多流网络，如Kamnitsa等和Ghafoorian等人的工作，Wang C等使用了类似于U-net中的由相同下采样和上采样路径的结构，但去掉了U-net中的skip-connection，Brosch等使用了类似于U-net的结构，但他们仅仅在第一个最后一个卷积层之间用了skip connection同时使用了3D卷积，在病灶分割问题中，另一个挑战是类不平衡问题，因为图像中大多数像素或体素并非是病灶，在这个二分类问题中两个种类的样本数据数量悬殊，使得模型难以训练，Brosch等调整了损失函数的计算规则，定义损失函数为敏感性和特异性的加权组合，并对特异性赋予更大权重，使其对数据的不平衡性不敏感，而Kamnitsas等Litjens等，Pereira等则通过对病灶样本进行数据增强来平衡数据集。
【发明内容】
对于肝部肿瘤病变出现位置、形状、尺寸高度随机的特点，目前在医学图像处理领域比较常用的办法是使用U-net进行分割，U-net能较好的采用各个尺度的特征，充分考虑到病灶形状、位置、尺寸不固定的特点，从而达到较好的效果。本发明提供了一种改进U-net的神经网络，在U-net中添加SegSE模块与Recombination模块，提高网络的分割效果。
为了实现对腹部CT中的肝肿瘤病变进行更精确的分割，本发明提出的卷积神经网络结构如下：
(1)基于原有2D U-net结构，将2D卷积改为3D卷积。
(2)用带SegSE模块和Recombination模块的卷积层代替原有网络的降采样卷积层。
(3)网络的非线性激活单元选用Relu6函数，对输出的最大幅度进行限制，有效的限制了梯度爆炸的问题。
本发明的技术方案：
步骤1：数据离线预处理，将每个训练数据对应的CT影像和医生的分割结果读入显存中。由于CT扫描文件每个像素点的灰度值差异较大(如背景设被设置为最低值)，所以需要对读进来的CT扫描文件进行阈值截断。
步骤2：数据在线预处理。为了防止网络过拟合，对经过步骤1离线预处理后的数据进行随机翻转，随机旋转，随机剪裁，随机噪声处理。
步骤3：设计3D U-Net的降采样模块，将卷积层，BN层，SegSE层，Recombination层级联，该模块是3D U-Net中降采样的基本模块。
步骤4：设计3D U-Net的反卷积模块，采用三次样条插值的办法进行反卷积。
步骤5：将步骤3步骤4中设计好的模块组合设置参数，构建完整的3D U-Net卷积神经网络。
步骤6：将步骤2中的数据集送进网络中进行训练。
步骤7：在像素级标签的测试集上验证步骤6中训练好的卷积神经网络，并输出分割结果。
【本发明的优点和积极效果】
本发明提出的基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法相对于传统CT图像分割方法有以下优点：
(1)本发明针对肝肿瘤CT影像的分割方法，提出一种深度学习卷积神经网络，网络内部包括3D卷积模块，SegSE空洞卷积模块，Recombination特征图扩充模块。可以有效地实现对CT图像中的肝肿瘤进行有效分割，减少了医生标注的时间。
(2)带有SegSE模块和Recombination模块的3D卷积提升了特征图数，并且不局限于传统卷积，提高了网络的分割精度和泛化能力。
【附图说明】
图1为本发明提出的腹部CT图像肝肿瘤分割算法示意图
图2为本发明提出的算法使用的框架
【具体实施方式】
以下将对基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法的流程进行详细阐述：
(1)CT数据在该项目中的存储形式为.NII文件，首先将每个训练数据对应的CT影像和医生的分割结果读人显存中。由于CT扫描文件每个像素点的灰度值差异较大(如背景设被设置为最低值)，需要对读进来的CT扫描文件进行阈值截断。
(2)根据医生的分割结果中对肝脏的标签找到包含肝脏数据的CT切片，将不包含肝脏数据的CT切片去除。在去掉不包含肝脏数据的CT数据中有一部分数据会因为采样时z轴方向过于稀疏而导致剩余的slice数过少，需要将所有切割之后的肝脏数据沿z轴向两侧扩张20个slice。
(3)对所有肝脏数据进行重采样，将所有的肝脏数据的输出物理间隔设置为(1.25，1.25，5.0)，同时对CT扫描结果和医生的分割结果采取不同的插值方式：对于CT扫描结果，采用双线性插值；对于医生的分割结果采用最近邻插值。
(4)经过以上三步骤之后将处理好的数据保存，作为fixed_data。
(5)对fixed_data作随机仿射变换，概率为0.15，生成fixed_data_0；对fixed_dat_0随机切块，切成的大小为(192，192，16)的体积块；对fixed_data_1增加高斯噪声，概率为0.15，标准差为0.01，生成fix_data_1；对fixed_data_1作随机翻转，在三个维度上均有0.5的概率变为镜像数据。
(6)设计包含SegSE模块和Recombination模块的3D U-Net神经网络结构。其中涉及到的降采样模块举例如下：
Figure BSA0000240722670000041
其中涉及到的上采样模块举例如下：
Figure BSA0000240722670000051
将以上涉及到的降采样和上采样模块组合成通道数为1，[16，32，48，64，96]，的3D-Unet，并采用跨层链接的办法将降采样和上采样部分具有相同尺寸的特征图进行融合。
(7)训练过程的其他设计：采用Adam优化器，初始学习率设为0.001，迭代epoch设为100，每批次训练8个样本，同时设计早停规则，当模型效果在验证集上的错误连续10次迭代不再降低，则停止训练过程，结束训练来防止过拟合。
(8)推断过程采用滑动窗口的方法，对一个CT样本切割成许多长宽高体素相等的立方体，送进网络进行逐立方体推断，对于重合体素部分采用高斯平均的办法计算最终概率。
(9)本发明提出在像素级标签的测试集上验证模型的效果，并输出分割结果，测试集包括NII图像和对应的像素级标签，采用医学影像处理中常用的DICE系数作为衡量分割精度的指标，公式如下：
Figure BSA0000240722670000052
其中G代表真实标签，P代表预测结果。
本发明设计的网络相比经典3D U-Net网络分割出来的DICE系数略有提高，说明了本发明的有效性。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (1)

1.一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法，其特征在于，包括以下步骤：
(1)设计一种基于卷积运算3*3*3的3D降采样模块，其中包括一种卷积像素间隔为1的3*3*3空洞卷积SegSE模块，以及一种能对卷积操作后的图像进行特征图扩充的Recombination模块。
(2)设计一种放大倍数为2的上采样模块。
(3)基于(1)～(2)中的4个降采样模块与4个上采样模块进行级联，得到特征通道数分别为16，32，48，64，96的3D-UNet模型。
(4)准备训练集、测试集、验证集，输入网络训练前进行数据预处理与数据增强。
(5)将(4)中预处理好的数据输入3D-UNet模型中进行训练。
(6)在像素级标签的测试集上验证(4)中得到的分割结果，并输出分割结果。
CN202110478719.6A 2021-04-30 2021-04-30 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 Pending CN113205496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110478719.6A CN113205496A (zh) 2021-04-30 2021-04-30 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110478719.6A CN113205496A (zh) 2021-04-30 2021-04-30 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法

Publications (1)

Publication Number Publication Date
CN113205496A true CN113205496A (zh) 2021-08-03

Family

ID=77029876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478719.6A Pending CN113205496A (zh) 2021-04-30 2021-04-30 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法

Country Status (1)

Country Link
CN (1) CN113205496A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置

Similar Documents

Publication Publication Date Title
CN111192245B (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
Jin et al. 3D PBV-Net: an automated prostate MRI data segmentation method
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113674281A (zh) 一种基于深度形状学习的肝脏ct自动分割方法
Liu et al. Automated cardiac segmentation of cross-modal medical images using unsupervised multi-domain adaptation and spatial neural attention structure
CN110751651B (zh) 基于多尺度迁移学习的mri胰腺图像分割方法
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
Habijan et al. Whole heart segmentation from CT images using 3D U-net architecture
Włodarczyk et al. Spontaneous preterm birth prediction using convolutional neural networks
Chen et al. Computer-aided diagnosis and decision-making system for medical data analysis: A case study on prostate MR images
Kamiya Deep learning technique for musculoskeletal analysis
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN115830016A (zh) 医学图像配准模型训练方法及设备
Du et al. Segmentation and visualization of left atrium through a unified deep learning framework
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Hao et al. Magnetic resonance image segmentation based on multi-scale convolutional neural network
Honghan et al. Rms-se-unet: A segmentation method for tumors in breast ultrasound images
Tang et al. MMMNA-net for overall survival time prediction of brain tumor patients
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
CN113205496A (zh) 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法
Saber et al. Multi-center, multi-vendor, and multi-disease cardiac image segmentation using scale-independent multi-gate UNET
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication