CN110599500A - 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 - Google Patents

一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 Download PDF

Info

Publication number
CN110599500A
CN110599500A CN201910825768.5A CN201910825768A CN110599500A CN 110599500 A CN110599500 A CN 110599500A CN 201910825768 A CN201910825768 A CN 201910825768A CN 110599500 A CN110599500 A CN 110599500A
Authority
CN
China
Prior art keywords
liver
network
training
segmentation
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910825768.5A
Other languages
English (en)
Other versions
CN110599500B (zh
Inventor
胡栋
孙敏
庞雨薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910825768.5A priority Critical patent/CN110599500B/zh
Publication of CN110599500A publication Critical patent/CN110599500A/zh
Application granted granted Critical
Publication of CN110599500B publication Critical patent/CN110599500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法及系统，该方法利用全卷积网络模型实现了肝脏肿瘤区域的自动分割。包括：对CT图像进行滤波、锐化增强等预处理操作；利用预处理后的CT数据集进行级联网络的训练；用两级FCN网络分别实现肝脏区域分割，以及从肝脏感兴趣区域中分割出肿瘤区域。其中，第一级FCN网络使用了可变池化的方法，保留更多肝脏特征，提高肝脏分割精度；第二级FCN网络使用空洞卷积代替原来的卷积层和池化层，缩小图像增大感受域的同时能够保留目标的位置信息。本发明方法无需手动提取大量特征，且能有效精确的从肝脏CT图像中分割出肿瘤区域。

Description

一种基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法 及系统
技术领域
本发明涉及医学图像处理计算领域，具体涉及一种基于级联全卷积网络的肝脏CT肿瘤区域的分割方法及系统。
背景技术
腹部CT影像是目前常用的肝脏肿瘤疾病诊断方法之一。由于肝脏肿瘤的治疗需要在术前准确了解肿瘤的大小、位置、数量等信息，因此在肝脏CT图像中进行肿瘤的分割具有重要的临床应用意义。然而，肝脏CT图像对比度低，肿瘤大小、形状和位置不固定，且腹腔内组织和器官分布复杂、肝脏的正常组织与肿瘤部位界限模糊，因此肝脏 CT图像的肿瘤分割是目前医学影像处理中的研究热点和难点。
近年来，随着人工智能技术的发展，深度学习在图像分析领域取得了瞩目成果，并且出现了一些利用卷积神经网络来实现肝脏CT肿瘤分割的方法。2015年，Jonathan Long提出了一种新的全卷积网络(Fully Connected Network,FCN)模型，该模型将卷积神经网络中最后的全连接层修改为卷积层，因此它输出的不是一维向量而是输出二维图像，很好地保留了二维空间信息。相比于卷积神经网络，全卷积网络可以获得更好的图像分割效果，但仍存在精度不高，需要人工参与或手动提取特征等问题。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于级联全卷积网络的肝脏 CT肿瘤区域的分割方法，该方法可以解决现有技术中图像分割精度不高的问题，本发明还提供一种基于级联全卷积网络的肝脏CT肿瘤区域的分割系统。
技术方案：本发明所述基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法，该方法包括：
(1)采集数据集：采集图像数据集，并对所述图像数据进行预处理；
(2)数据扩充：对采集的图像数据进行数据扩充；
(3)训练级联分割网络，分为两个阶段：
第一阶段：训练第一级的肝脏分割网络
将肝脏分割网络对应的训练集和肝脏标签样本输入到所述肝脏分割网络进行训练，所述肝脏分割网络为：将FCN网络的池化层改为可变池化的方式；
第二阶段：训练第二级的肿瘤分割网络
利用所述肝脏分割网络的分割概率图制作肿瘤分割网络对应的训练集，并标记出感兴趣区域，将肿瘤分割网络对应的训练集和感兴趣区域输入到所述肿瘤分割网络进行训练；所述肿瘤分割网络为：将FCN网络中的卷积层和池化层设置为空洞卷积模式；
(4)测试级联分割网络：
利用测试集对所述级联分割网络的测试，得到分割结果图，并计算对应的DICE分数。
进一步地，包括：
所述将FCN网络的池化层改为可变池化的方式，具体包括：
首先，选择三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，取令余数 remainder＝M-(k1+2k2+3k3)，其中，表示向下取整，M×M为图像大小；
其次，确定池化核的数量：
其中，T[]为根据出现的余数和池化核的种类得到的分配值。
进一步地，包括：
所述图像数据进行预处理，包括：依次对图像数据集进行高斯滤波、拉普拉斯变换、梯度变换、均值滤波以及直方图均衡化操作。
进一步地，包括：
所述数据扩充的方式为通过添加噪声的方式增加训练用例个数。
另一方面，本发明还提供基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法实现的系统，所述系统包括：
数据集采集模块，用于采集图像数据集，并对所述图像数据进行预处理；
数据扩充模块，用于对采集的图像数据进行数据扩充；
级联分割网络训练模块，具体包括：
肝脏分割网络训练单元，用于将肝脏分割网络对应的训练集和肝脏标签样本输入到所述肝脏分割网络进行训练，所述肝脏分割网络为：将FCN网络的池化层改为可变池化的方式；
肿瘤分割网络训练单元，用于利用所述肝脏分割网络的分割概率图制作肿瘤分割网络对应的训练集，并标记出感兴趣区域，将肿瘤分割网络对应的训练集和感兴趣区域输入到所述肿瘤分割网络进行训练；所述肿瘤分割网络为：将FCN网络中的卷积层和池化层设置为空洞卷积模式；
级联分割网络测试模块，用于利用测试集对所述级联分割网络的测试，得到分割结果图，并计算对应的DICE分数。
进一步地，包括：
所述肝脏分割网络训练单元中，将FCN网络的池化层改为可变池化的方式，具体包括：
首先，选择三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，取令余数 remainder＝M-(k1+2k2+3k3)，其中，表示向下取整，M×M为图像大小；
其次，确定池化核的数量：
其中，T[]为根据出现的余数和池化核的种类得到的分配值。
进一步地，包括：
所述数据采集模块中，所述图像数据进行预处理，包括：依次对图像数据集进行高斯滤波、拉普拉斯变换、梯度变换、均值滤波以及直方图均衡化操作。
进一步地，包括：
所述数据扩充模块中，所述数据扩充的方式为通过添加噪声的方式增加训练用例个数。
有益效果：本发明旨在从肝脏CT图像中自动分割出肿瘤区域，提出一种基于级联FCN的肝脏CT肿瘤分割方法，利用双FCN网络级联实现肿瘤的自动分割，因肝脏位置相对固定，所以在第一级网络采用了可变池化的方式，保留更多肝脏信息，提高肝脏分割精度。第二级网络使用基于空洞卷积的FCN来自动分割出肿瘤区域。本发明能够较为准确的分割出肝脏区域，并能够自动分割出肿瘤区域，相较于其他肝脏分割对比方法，精度有所提高。
附图说明
图1为本发明所述的全卷积网络下采样过程示意图；
图2为本发明所述的基于级联FCN的肝脏CT肿瘤分割流程图；
图3为本发明所述的肝脏CT图像预处理流程图；
图4为本发明所述的可变池化示意图；
图5为本发明所述的512×512图像池化核分配示意图；
图6为本发明所述的肿瘤分割结果图；
图7为本发明所述的分割系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
全卷积网络中池化的作用是进行下采样，网络中每个卷积层后都会连接着一个池化层，卷积神经网络中的池化的作用是在卷积层提取特征之后将这些小邻域内的特征点整合到新的特征。池化的目的是使得特征减少，参数减少，但是池化的目的还在于保持特征不变性，常用的有平均池化、最大池化和随机池化，平均池化对背景保留更好，最大池化更有利于提取纹理。池化能够降低特征表示的维度，降低计算复杂度，另一个重要的作用是具有一定程度的平移和失真不变性。但是池化会引起局部特征信息的损失，一般池化核的大小为2×2，若采用更大维度的矩阵，信息损失会更严重，图1是全卷积网络通用模型提取特征及下采样的过程，输入图像依次经过卷积层(conv)和池化层 (pooling)，提取到高阶特征，每层卷积之后都伴随着池化层，实际上就是在每个特征提取阶段，从低级特征到中级特征再到高级特征，每层池化都会伴随着一定的信息损失。
本发明在原有FCN全卷积网络模型基础上加以改进，提出了一种基于级联全卷积网络的肝脏CT肿瘤分割方法，其特征为：对CT图像进行必要的预处理，再利用两级FCN 级联实现肝脏区域及其肿瘤区域分割。其中，第一级FCN的池化层采用可变池化的方式，保留更多肝脏信息，提高肝脏区域分割准确率；第二级FCN采用空洞卷积代替原来的卷积层和池化层，保留带分割目标的位置信息，提高肿瘤区域的分割准确率。
上述发明的思路基于两方面的考虑：
首先，第一级FCN利用池化降低图像大小，以便提取更高阶的特征。然而，普通的FCN池化层采用一致的池化核，忽略了特征的位置信息，而肝脏主要分布在CT图像的左上区域，因此左上区域与待分割目标的相关度更高，所以本发明第一级FCN在池化过程中使用可变的池化核，在肝脏相关区域使用较小的池化核，而在与肝脏相关度不高的区域采用较大的池化核，这样能够更多的保留肝脏区域的特征，从而提高肝脏分割的精度，因为肝脏大小和位置并不是完全固定的，只是大致会出现在CT图像的左上侧，因为人体肝脏是左腹部前侧，根据这一特点，对左侧区域进行小核池化。
其次，第二级FCN在训练过程中通过增大感受域和权值共享两种方式减少网络的训练参数。FCN的下采样过程如图1所示，包含5层卷积和池化来增大感受域，提取高阶特征，目标的位置信息丢失，也因为如此，理论上小于25像素的物体信息将无法重建，因此很多小的肿瘤的信息将丢失掉。空洞卷积的优势在于即使不做池化操作，也能增加感受域，每个卷积输出都能获得较大空间范围内的信息，而且不会丢失掉空间信息。
本发明所用的软件为CAFFE，数据集为3D-IRCADb-01，包含2000个CT切片图像，如图2所示，所采用的技术方案具体包括以下步骤：
步骤1：图像预处理。首先对肝脏CT图像进行高斯滤波去除噪声；其次对CT图像进行拉普拉斯变换和梯度变换进行图像锐化，增强边缘和细节部分；最后对图像进行直方图均衡化，扩大图像灰度范围，增强对比度，如图3所示。
步骤1.1：对CT图像数据集进行高斯滤波，去除噪声，分别采用了3×3和5×5的滤波模板进行了滤波操作，经过对比发现，5×5模板的滤波效果更好，所以选择5×5的模板。
步骤1.2：对滤波后的CT图像拉普拉斯变换，达到增强图像细节部分的目的，并将原图加到拉普拉斯图像上回复图像背景。
步骤1.3：对拉普拉斯变换后的CT图像进行梯度变换和均值滤波，梯度变换对图像的边缘部分有较强的响应，因此，能够增强图像的边缘部分，腹腔轮廓、肝脏边缘、其他器官边缘等。
步骤1.4：因为拉普拉斯变换过程中在图像灰度平坦区域会产生较多的噪声，因此使用梯度变换并平滑后的图像作为掩蔽图像对拉普拉斯变换后的图像进行处理，解决了拉普拉斯变换会增加噪声的问题，既可以保留图像的细节部分，也可以减少平缓区域的噪声。
步骤1.5：最后对锐化后的图像进行直方图均衡化，扩大图像的灰度范围，增强对比度，更有利于图像特征的学习和肿瘤的分割。
步骤2：数据扩充。对于可用于训练的图像较少情况，为了避免网络出现过拟合的状况，需要对现有切片进行扩充，增大训练数据集。具体方法通过添加噪声的方式增加训练用例个数，最终达到用于训练的切片约为10000张左右，本实施例不对添加的噪声做具体限制，可添加高斯噪声或椒盐噪声进行数据扩充，添加椒盐噪声具体为：随机选择图像中行和列，将此点的像素值设为0或者255，控制信噪比SNR为0.9，添加噪声后的图像也作为用例。
步骤3：对第一级FCN进行肝脏分割网络的训练。将预处理后的数据集划分为训练集和测试集，并将训练集包括原始图像和肝脏标签样本输入到第一级FCN网络进行肝脏分割网络的训练，不停地迭代更新网络参数，当损失降到一定程度，代表第一级FCN 网络已经完成训练。
步骤3.1：网络训练的第一阶段，以经典的分类网络卷积神经网络初始化，网络的最后两层是全连接层，而FCN将全连接层改为了卷积层，因此这最后两层参数舍弃。
3.1.1：初始化网络参数，基础学习率base_lr为0.0001，每训练20次输出loss值，每次测试100张图片，并将网络中最后的分类数numoutput修改为2。
3.1.2：修改池化层结构，本发明中第一层肝脏分割网络采用了可变池化的方式，池化的过程如图4所示，图中分别采用了三种大小的池化核，先进行行方向的池化，再进行列方向的池化。本发明选用了三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，这三种池化核的分配遵循两个原则：一是图像减半，二是避免失真一半核为2。
假设图像大小为M×M，首先，取 表示向下取整，同时，令余数remainder＝M-(k1+2k2+3k3)，remainder∈[0,7]。
其次，构建了一个查找表1，该表根据余数remainder来分配三种池化核的数量。则这三个池化核的数量分别为：
其中，T[]为根据出现的余数和池化核的种类得到的分配值，T[i,r]为表1中第i行和第r列的值。
实验中CT图像大小为512×512，则第一层池化层核的分配为： remainder＝0，根据表1可知，T[1,remainder]＝0，T[2,remainder]＝0， T[3,remainder]＝0，则k1＝64，k2＝128，k3＝64。其余四层池化核的计算方法与第一层类似。将核大小k＝3分配在图像的上侧和下侧，将k＝1，k＝2分配到肝脏可能出现的区域，分配的核顺序大致为{3,1,2,3}，如图5所示。
表1各池化核与余数的关系
3.1.3：输入训练集，包括预处理后的CT图像以及肝脏标签。
3.1.4：网络利用多层卷积和池化自动学习图像的特征，前向传递数据，网络最后的 softmax层计算损失函数大小，其中，xi为样本，判断损失函数是否收敛，若收敛，网络训练完成；若不收敛，则利用反向传播算法继续网络的学习，更新权值，以网络误差平方为目标函数，采用梯度下降算法来计算目标的最小值。如此迭代，直到获得权重集合使得目标函数最小，损失收敛，网络训练完成。
调整网络参数优化网络，神经网络训练调整参数的方法有多种，本次实验采用是基于动量的随机梯度下降算法(Momentum Update Stochastic Gradient Descent)来更新网络参数。
更新公式为：momentum和learning为0.9和0.0001，v表示速度初始化为0，L表示网络的损失函数，w表示相关的位置，其更新方法为：wi+1＝wi+vi+1。
步骤3.2：训练的第二阶段，CT图像大小为512×512×3，经过五层卷积池化层得到的特征小图为16×16×4096，网络实现的是二分类预测，从该特征小图预测分割小图 16×16×2，再对该小图进行步长为32的上采样，得到最终的分割结果图512×512×2，第二阶段训练得到的网络为FCN-32s。
步骤3.3：训练的第三阶段，对五层卷积池化后的特征小图先进行第一次2倍的上采样，再将第四层池化层的卷及结果进行融合，再对融合的结果进行步长为16的上采样，得到最终分割结果，该阶段训练得到的即为FCN-16s。
步骤3.4：最后一个阶段的训练是在第三阶段的基础上，进一步融合了第三个池化层的特征图，最后进行步长为8的上采样，即可得到最终的分割结果，该阶段训练得到的即为FCN-8s网络。相比于FCN-32s和FCN-16s，FCN-8s网络融合了多层特征，它的预测结果比直接进行32倍的上采样的结果要更加精细化，本发明使用的是FCN-8s网络。
步骤4：网络训练完成后进行肝脏分割网络的测试，将测试集输入到训练完成的网络中，得到分割结果，并与标签值进行比较，计算肝脏分割的DICE分数。
步骤5：利用第一级网络的分割概率图制作第二级肿瘤分割网络的训练数据集，从原始CT图像中标记出感兴趣区域，作为第二级肿瘤网络训练的输入。
步骤6：肿瘤分割网络的训练与肝脏分割网络大致相同，同样包括四个阶段：
步骤6.1：训练第一阶段，初始化参数，基础学习率base_lr为0.0001，每训练20 次输出loss值，每次测试100张图片，并将网络中最后的分类数numoutput修改为2；
肿瘤分割网络采用的是空洞卷积，设置网络的卷积层的dilate参数为1，并去除池化层。以经典的分类网络卷积神经网络初始化，网络的最后两层是全连接层，而FCN 将全连接层改为了卷积层，因此这最后两层参数舍弃。
步骤6.2：训练第二阶段，同肝脏网络训练第二阶段，训练得到FCN-32s。
步骤6.3：训练第三阶段，同肝脏网络训练第三阶段，训练得到FCN-16s。
步骤6.4：训练第四阶段，同肝脏网络训练第四阶段，训练得到FCN-8s，网络损失函数收敛即完成训练。
步骤7：肿瘤分割网络训练完成后进行测试。测试过程就是利用搭建好的级联网络进行样本或者测试集的测试，本发明从数据集中划分出1/5数据作为测试集，将测试集以及样本标签图输入到训练好的两级网络中进行测试，并计算分割结果的DICE分数、准确率(Precision)和召回率(Recall)。
为验证本发明方法的有效性，进行以下验证实验：使用两种传统机器学习方法AdaBoost和随机森林实现肿瘤分割，以及分别利用一级、两级传统FCN实现肿瘤分割，计算肿瘤分割的DICE分数进行对比。
分割结果图如图6所示，从图中可以看出，本发明能够准确的分割出肝脏和肿瘤区域，其中，黑色轮廓线组成的较大区域的轮廓为肝脏区域，灰色轮廓线组成的可能存在多个小区域的轮廓为肿瘤区域，所得到实验数据如表2所示，第五列的数据表示的为肿瘤分割DICE分数。
表2各方法得到的实验数据
通过计算得到的平均分割指标如表2所示，其中前两种方法是传统机器学习方法AdaBoost和随机森林方法的分割结果，第三个是单层FCN实现肿瘤结果，第四个是级联FCN实现肝脏肿瘤的分割结果，最后一个方法是本发明提出的基于可变池化与空洞卷积的级联FCN方法的分割结果。
从表中可以看出，级联FCN肝脏分割的DICE分数为89.49％、肿瘤分割DICE分数为79.09％，而可变池化与空洞卷积的级联FCN的肝脏和肿瘤分割DICE分数分别为 93.97％和83.12％，可以看出肝脏分割精度提高了4.48％，肿瘤的分割精度也提高了 4.03％，实验结果表明本发明提出的基于可变池化与空洞卷积的级联FCN分割方法使用可变池化核能够保留更多肝脏信息，提高肝脏的分割精度，从而使得肿瘤的分割效果更好。
基于上述的分割方法，本发明还提供一种本发明还提供基于级联全卷积网络的肝脏 CT肿瘤分割系统，所述系统包括，参阅图7所示：
数据集采集模块21，用于采集图像数据集，并对所述图像数据进行预处理；
数据扩充模块22，用于对采集的图像数据进行数据扩充；
级联分割网络训练模块23，具体包括：
肝脏分割网络训练单元，用于将肝脏分割网络对应的训练集和肝脏标签样本输入到所述肝脏分割网络进行训练，所述肝脏分割网络为：将FCN网络的池化层改为可变池化的方式；
肿瘤分割网络训练单元，用于利用所述肝脏分割网络的分割概率图制作肿瘤分割网络对应的训练集，并标记出感兴趣区域，将肿瘤分割网络对应的训练集和感兴趣区域输入到所述肿瘤分割网络进行训练；所述肿瘤分割网络为：将FCN网络中的卷积层和池化层设置为空洞卷积模式；
级联分割网络测试模块24，用于利用测试集对所述级联分割网络的测试，得到分割结果图，并计算对应的DICE分数。
进一步地，包括：
所述肝脏分割网络训练单元中，将FCN网络的池化层改为可变池化的方式，具体包括：
首先，选择三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，取令余数 remainder＝M-(k1+2k2+3k3)，其中，表示向下取整，M×M为图像大小；
其次，确定池化核的数量：
其中，T[i,r]为表1中第i行和第r列的值。
进一步地，包括：
所述数据采集模块21中，所述图像数据进行预处理，包括：依次对图像数据集进行高斯滤波、拉普拉斯变换、梯度变换、均值滤波以及直方图均衡化操作。
进一步地，包括：
所述数据扩充模块22中，所述数据扩充的方式为通过添加噪声的方式增加训练用例个数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法，其特征在于，该方法包括：
(1)采集数据集：采集图像数据集，并对所述图像数据进行预处理；
(2)数据扩充：对采集的图像数据进行数据扩充；
(3)训练级联分割网络，分为两个阶段：
第一阶段：训练第一级的肝脏分割网络
将肝脏分割网络对应的训练集和肝脏标签样本输入到所述肝脏分割网络进行训练，所述肝脏分割网络为：将FCN网络的池化层改为可变池化的方式；
第二阶段：训练第二级的肿瘤分割网络
利用所述肝脏分割网络的分割概率图制作肿瘤分割网络对应的训练集，并标记出感兴趣区域，将肿瘤分割网络对应的训练集和感兴趣区域输入到所述肿瘤分割网络进行训练；所述肿瘤分割网络为：将FCN网络中的卷积层和池化层设置为空洞卷积模式；
(4)测试级联分割网络：
利用测试集对所述级联分割网络的测试，得到分割结果图，并计算对应的DICE分数。
2.根据权利要求1所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法，其特征在于，所述将FCN网络的池化层改为可变池化的方式，具体包括：
首先，选择三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，取令余数remainder＝M-(k1+2k2+3k3)，其中，表示向下取整，M×M为图像大小；
其次，确定池化核的数量：
其中，T[]为根据出现的余数和池化核的种类得到的分配值。
3.根据权利要求1所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法，其特征在于，所述图像数据进行预处理，包括：依次对图像数据集进行高斯滤波、拉普拉斯变换、梯度变换、均值滤波以及直方图均衡化操作。
4.根据权利要求1所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法，其特征在于，所述数据扩充的方式为通过添加噪声增加训练数据的个数。
5.一种根据权利要求1-4任一项所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割方法实现的系统，其特征在于，所述系统包括：
数据集采集模块，用于采集图像数据集，并对所述图像数据进行预处理；
数据扩充模块，用于对采集的图像数据进行数据扩充；
级联分割网络训练模块，具体包括：
肝脏分割网络训练单元，用于将肝脏分割网络对应的训练集和肝脏标签样本输入到所述肝脏分割网络进行训练，所述肝脏分割网络为：将FCN网络的池化层改为可变池化的方式；
肿瘤分割网络训练单元，用于利用所述肝脏分割网络的分割概率图制作肿瘤分割网络对应的训练集，并标记出感兴趣区域，将肿瘤分割网络对应的训练集和感兴趣区域输入到所述肿瘤分割网络进行训练；所述肿瘤分割网络为：将FCN网络中的卷积层和池化层设置为空洞卷积模式；
级联分割网络测试模块，用于利用测试集对所述级联分割网络的测试，得到分割结果图，并计算对应的DICE分数。
6.根据权利要求5所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割系统，其特征在于，所述肝脏分割网络训练单元中，将FCN网络的池化层改为可变池化的方式，具体包括：
首先，选择三种大小的池化核，分别为k1，k2，k3，k1和k2分配在肝脏区域，k3分配在非肝脏区域，取令余数remainder＝M-(k1+2k2+3k3)，其中，表示向下取整，M×M为图像大小；
其次，确定池化核的数量：
其中，T[]为根据出现的余数和池化核的种类得到的分配值。
7.根据权利要求5所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割系统，其特征在于，所述数据采集模块中，所述图像数据进行预处理，包括：依次对图像数据集进行高斯滤波、拉普拉斯变换、梯度变换、均值滤波以及直方图均衡化操作。
8.根据权利要求5所述的基于级联全卷积网络的肝脏CT图像的肿瘤区域分割系统，其特征在于，所述数据扩充模块中，所述数据扩充的方式为通过添加噪声的方式增加训练数据的个数。
CN201910825768.5A 2019-09-03 2019-09-03 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 Active CN110599500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825768.5A CN110599500B (zh) 2019-09-03 2019-09-03 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825768.5A CN110599500B (zh) 2019-09-03 2019-09-03 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统

Publications (2)

Publication Number Publication Date
CN110599500A true CN110599500A (zh) 2019-12-20
CN110599500B CN110599500B (zh) 2022-08-26

Family

ID=68857310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825768.5A Active CN110599500B (zh) 2019-09-03 2019-09-03 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统

Country Status (1)

Country Link
CN (1) CN110599500B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179237A (zh) * 2019-12-23 2020-05-19 北京理工大学 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN112001925A (zh) * 2020-06-24 2020-11-27 上海联影医疗科技股份有限公司 图像的分割方法、放射治疗系统、计算机设备和存储介质
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112613519A (zh) * 2020-12-18 2021-04-06 浙江大华技术股份有限公司 图像分割方法、网络的训练方法、电子设备及存储介质
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
US20210279884A1 (en) * 2020-03-06 2021-09-09 Siemens Healthcare Gmbh Method of computing a boundary
CN114897782A (zh) * 2022-04-13 2022-08-12 华南理工大学 基于生成式对抗网络的胃癌病理切片图像分割预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179237B (zh) * 2019-12-23 2024-01-02 北京理工大学 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN111179237A (zh) * 2019-12-23 2020-05-19 北京理工大学 一种肝脏以及肝脏肿瘤的图像分割方法和装置
US11610316B2 (en) * 2020-03-06 2023-03-21 Siemens Healthcare Gmbh Method of computing a boundary
US20210279884A1 (en) * 2020-03-06 2021-09-09 Siemens Healthcare Gmbh Method of computing a boundary
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN112001925B (zh) * 2020-06-24 2023-02-28 上海联影医疗科技股份有限公司 图像的分割方法、放射治疗系统、计算机设备和存储介质
CN112001925A (zh) * 2020-06-24 2020-11-27 上海联影医疗科技股份有限公司 图像的分割方法、放射治疗系统、计算机设备和存储介质
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112258526B (zh) * 2020-10-30 2023-06-27 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
WO2022127912A1 (en) * 2020-12-18 2022-06-23 Zhejiang Dahua Technology Co., Ltd. Image segmentation method, network training method, electronic equipment and storage medium
CN112613519A (zh) * 2020-12-18 2021-04-06 浙江大华技术股份有限公司 图像分割方法、网络的训练方法、电子设备及存储介质
CN112613519B (zh) * 2020-12-18 2023-11-24 浙江大华技术股份有限公司 图像分割方法、网络的训练方法、电子设备及存储介质
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN114897782A (zh) * 2022-04-13 2022-08-12 华南理工大学 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN114897782B (zh) * 2022-04-13 2024-04-23 华南理工大学 基于生成式对抗网络的胃癌病理切片图像分割预测方法

Also Published As

Publication number Publication date
CN110599500B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110705555B (zh) 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
US20230104173A1 (en) Method and system for determining blood vessel information in an image
CN105957063B (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN111340828A (zh) 基于级联卷积神经网络的脑部胶质瘤分割
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN108596833A (zh) 超分辨率图像重构方法、装置、设备及可读存储介质
CN113808146B (zh) 一种医学图像多器官分割方法及系统
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109492668B (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
CN111862009B (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
US20230043026A1 (en) Learning-based active surface model for medical image segmentation
CN111028248A (zh) 一种基于ct图像的静动脉分离方法及装置
CN112329871B (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN114332133A (zh) 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant