CN110853046A - 一种基于深度学习的胰腺组织分割方法 - Google Patents

一种基于深度学习的胰腺组织分割方法 Download PDF

Info

Publication number
CN110853046A
CN110853046A CN201910966180.1A CN201910966180A CN110853046A CN 110853046 A CN110853046 A CN 110853046A CN 201910966180 A CN201910966180 A CN 201910966180A CN 110853046 A CN110853046 A CN 110853046A
Authority
CN
China
Prior art keywords
image
pancreatic
deep learning
data
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910966180.1A
Other languages
English (en)
Inventor
宫照煊
张国栋
郭薇
覃文军
周唯
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace University
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN201910966180.1A priority Critical patent/CN110853046A/zh
Publication of CN110853046A publication Critical patent/CN110853046A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于深度学习方法技术领域，涉及一种基于深度学习的胰腺组织分割方法。从CT影像中准确分割胰腺组织是手术准备及计算机辅助诊断的重要部分。通过对胰腺组织在CT影像中的形态，大小等信息的研究，提出了一种基于深度学习的胰腺组织分割方法。该方法首先对原始数据进行裁剪，再进行平移、旋转等操作来扩展训练数据，然后利用U‑net网络实现胰腺组织的粗分割，粗分割结果中含有部分非胰腺组织，最后设计了最大连通域方法去除非胰腺组织，从而实现胰腺组织的精确分割。实验结果表明该方法能够有效分割CT影像中的胰腺组织,具有较大的临床应用价值。

Description

一种基于深度学习的胰腺组织分割方法
技术领域
本发明属于深度学习方法技术领域，涉及一种基于深度学习的胰腺组织分割方法。
背景技术
利用CT数据早期准确的诊断胰腺病变以提高病人生存率变为可能。在CT影像上进行胰腺分割作为这一切重要前提，其研究与发展意义重大。然而，胰腺的解剖结构较为复杂，胰腺组织主要位于后腹膜，形态、位置变异较大，且周围有大量邻近组织，如胃、十二直肠、脾脏及大血管，这些组织在CT影像上与胰腺紧密相连且密度相似。再加上CT影像本身的噪声、局部体效应和组织运动的影响等因素，即便是最有经验的影像科医生对胰腺进行手动分割也是个很大的挑战，并且由于CT影像的数据量巨大，更加重了医生的负担。因此如何快速、准确、有效的分割胰腺是目前医学上急需解决的问题。
发明内容
本发明使用深度学习方法实现胰腺组织的自动提取，首先对CT影像进行裁剪，裁剪后的数据可以有效提高深度学习的分割精度。然后通过对原始二维CT影像进行旋转、平移等操作来增加训练数据集的数量，再利用U-NET模型对扩展的数据集进行训练，待测影像输入到训练后的网络，网络的输出即为胰腺组织的粗分割结果，该结果包含部分非胰腺组织，最后本发明提出了一种求三维最大连通域方法实现非胰腺组织去除，从而得到最终的胰腺分割结果。
本发明的目的可以通过以下技术方案实现：
一种基于深度学习的胰腺组织分割方法，首先对原始数据进行裁剪，再进行扩展训练数据，然后利用U-net网络实现胰腺组织的粗分割，粗分割结果中含有部分非胰腺组织，最后通过最大连通域方法去除非胰腺组织，从而实现胰腺组织的精确分割。
所述对原始数据进行裁剪具体为：截取原始影像中心256*256大小的子部分作为后续深度学习的输入影像，该子部分包含了全部的胰腺组织，对三维影像的每一层都做上述处理，获取到的子影像部分即作为深度学习的训练数据。
所述扩展训练数据拟采用U-NET网络实现胰腺组织分割，并通过对原始图像进行平移、旋转以及错切操作扩展数据集来满足U-NET网络训练的要求。
所述扩展训练数据的具体方法如下：
(1)平移操作扩展数据：对CT影像进行水平位置和上下位置平移，平移的距离通常为影像的尺寸乘以一个参数；
(2)图像旋转扩展数据：通过设定一个随机整数来指定旋转角度范围，并根据指定的角度旋转影像；
(3)错切变换扩展数据：让所有点的x坐标或者y坐标保持不变，而对应的y坐标或者x坐标则按比例发生平移，且平移的大小和该点到x轴或y轴的垂直距离成正比。
基于三维图像的最大连通域方法，具体过程如下：
(1)输入经U-NET模型处理后得到的三维胰腺图像；
(2)建立堆栈，并给图像添加一个是否已访问的属性；
(3)找到第一个非零的像素点，将其入栈并将其是否已访问的属性置为真；
(4)以栈的大小是否为0作为结束条件，寻找栈顶元素相邻的二十六邻域非零像素点，并将它们入栈，结束后将栈顶元素删除；
(5)当栈为空时，表明一个连通区域已经遍历完成，在三维图像中继续找到下一个非空且未访问过的像素点作为起点，重复步骤(4)，直到所有的非零像素点都被访问完成；
(6)当所有的连通区域遍历完成之后，标记最大的连通区域即为胰腺组织。
本发明的有益效果：
现有的胰腺组织分割方法大多基于传统方法，如多图谱配准，自适应阈值以及水平集等方法。上述方法很难得到较高精度的胰腺分割结果，尤其在胰腺头部及胰腺尾部上，而且传统方法通常需要较长的计算时间。本发明采用深度学习方法获取胰腺组织，可以获取到较高精度的胰腺分割结果，且本发明方法的运行时间较短，具有较大的临床应用价值。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明一种基于深度学习的胰腺组织分割方法流程图；
图2为本发明所述的U-NET网络结构图；
图3为实施例中应用本发明对40组数据测试的Dice值结果展示图；
图4为实施例中应用本发明的方法得到的分割结果对比图。
具体实施方式
实施例1
本实施例一种求三维最大连通域方法实现非胰腺组织去除，从而得到最终的胰腺分割结果。算法流程图见图1:
数据裁剪
原始CT影像大小通常为512*512，而胰腺组织在影像中只占较小的部分。因此，如果将原始影像直接作为深度学习网络的训练数据会导致在测试时出现分割失败的情况出现(如全黑影像)。为解决上述问题，本发明截取原始影像中心256*256大小的子部分作为后续深度学习的输入影像，该子部分包含了全部的胰腺组织。对三维影像的每一层都做上述处理，获取到的子影像部分即作为深度学习的训练数据。
数据扩展
本实施例拟采用U-NET网络实现胰腺组织分割，但临床上可获取的胰腺数据有限，数据量过小很难获得精确的分割结果。因此，通过对原始图像进行平移、旋转以及错切等操作扩展数据集来满足U-NET网络训练的要求。
数据集扩展方法如下：
(1)平移操作扩展数据：对CT影像进行水平位置和上下位置平移，平移的距离通常为影像的尺寸乘以一个参数。
(2)图像旋转扩展数据：通过设定一个随机整数来指定旋转角度范围，并根据指定的角度旋转影像。
(3)错切变换扩展数据：让所有点的x坐标(或者y坐标)保持不变，而对应的y坐标(或者x坐标)则按比例发生平移，且平移的大小和该点到x轴(或y轴)的垂直距离成正比。
深度学习模型
本实施例用U-net深度学习模型实现胰腺组织的提取。U-net网络由下采样层和上采样层组成。下采样层采用传统的池化、卷积操作，卷积层大小为3x3，池化层大小为2x2，每个卷积层处理后会进入到矫正线性单元激活函数，卷积层的数量大约在20个左右，4次下采样，4次上采样，上采样层与下采样层的结构类似，同样采用卷积、池化及矫正线性单元激活函数，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图，最后一层是由一个1x1的卷积层构成，用来实现特征分类。U-NET网络结构图2所示：
三维最大连通域方法
利用U-NET模型可以得到胰腺组织的初始分割结果，但同时也会产生较多和胰腺灰度、形状相近的其他组织。为了去除这些非胰腺组织，本发明设计了基于三维图像的最大连通域方法，利用U-NET模型得到的非胰腺组织通常与胰腺组织呈分离状态，胰腺组织具有最大的连通域，因此，通过寻找最大连通域即可获取完整的胰腺部分。具体过程如下：
(1)输入经U-NET模型处理后得到的三维胰腺图像；
(2)建立堆栈，并给图像添加一个是否已访问的属性；
(3)找到第一个非零的像素点，将其入栈并将其是否已访问的属性置为真；
(4)以栈的大小是否为0作为结束条件，寻找栈顶元素相邻的二十六邻域非零像素点，并将它们入栈，结束后将栈顶元素删除；
(5)当栈为空时，表明一个连通区域已经遍历完成，在三维图像中继续找到下一个非空且未访问过的像素点作为起点，重复步骤(4)，直到所有的非零像素点都被访问完成；
(6)当所有的连通区域遍历完成之后，标记最大的连通区域即为胰腺组织。
评估指标
本实施例选用以下两种评估指标来度量本发明提出的方法及其它方法的分割结果：
1)Dice系数
Figure BDA0002230555160000051
A和G分别为自动分割结果及医生手动勾画的金标准结果。Dice系数用来度量分割结果的准确性，是一种被广泛使用的评估指标，该度量同时考虑了分割结果得到的正确候选点及错误候选点。Dice系数越趋近于1代表分割结果越接近专家手动勾画结果。
图3为本实施例的方法对40组数据测试的Dice值结果展示；(a)层厚大于50的20组数据结果；(b)层厚小于50的20组数据结果；
U-NET模型中，选取39组数据进行扩展后训练网络，剩下一组数据进行测试，依次对每一组数据进行上述操作。图2展示了本发明方法对40组数据集测试后得到的测试结果。从图中可以看到，本发明方法对层厚大于50层以及小于50层数据集的Dice结果基本都在0.8以上，个别数据集可以达到0.9以上。说明本发明方法能以较高的精度分割胰腺组织。
三维分割结果展示如图4所示；图4中(a)、(b):利用U-NET模型得到的胰腺分割结果；(c)、(d)本发明方法得到的胰腺分割结果；(e)、(f)为对应的专家手动分割结果；从图中可以看到，(a)和(b)为U-NET模型得到的分割结果，除了包含胰腺组织外还残留了一些非胰腺区域。本发明得到的胰腺分割结果与专家手动分割结果非常相近，说明本发明方法可以准确地在CT影像上分割胰腺组织。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于深度学习的胰腺组织分割方法，其特征在于，首先对原始数据进行裁剪，再进行扩展训练数据，然后利用U-net网络实现胰腺组织的粗分割，粗分割结果中含有部分非胰腺组织，最后通过最大连通域方法去除非胰腺组织，从而实现胰腺组织的精确分割。
2.根据权利要求1所述的一种基于深度学习的胰腺组织分割方法，其特征在于，所述对原始数据进行裁剪具体为：截取原始影像中心256*256大小的子部分作为后续深度学习的输入影像，该子部分包含了全部的胰腺组织，对三维影像的每一层都做上述处理，获取到的子影像部分即作为深度学习的训练数据。
3.根据权利要求1所述的一种基于深度学习的胰腺组织分割方法，其特征在于，所述扩展训练数据拟采用U-NET网络实现胰腺组织分割，并通过对原始图像进行平移、旋转以及错切操作扩展数据集来满足U-NET网络训练的要求。
4.根据权利要求3所述的一种基于深度学习的胰腺组织分割方法，其特征在于，所述扩展训练数据的具体方法如下：
(1)平移操作扩展数据：对CT影像进行水平位置和上下位置平移，平移的距离通常为影像的尺寸乘以一个参数；
(2)图像旋转扩展数据：通过设定一个随机整数来指定旋转角度范围，并根据指定的角度旋转影像；
(3)错切变换扩展数据：让所有点的x坐标或者y坐标保持不变，而对应的y坐标或者x坐标则按比例发生平移，且平移的大小和该点到x轴或y轴的垂直距离成正比。
5.根据权利要求1所述的一种基于深度学习的胰腺组织分割方法，其特征在于，基于三维图像的最大连通域方法，具体过程如下：
(1)输入经U-NET模型处理后得到的三维胰腺图像；
(2)建立堆栈，并给图像添加一个是否已访问的属性；
(3)找到第一个非零的像素点，将其入栈并将其是否已访问的属性置为真；
(4)以栈的大小是否为0作为结束条件，寻找栈顶元素相邻的二十六邻域非零像素点，并将它们入栈，结束后将栈顶元素删除；
(5)当栈为空时，表明一个连通区域已经遍历完成，在三维图像中继续找到下一个非空且未访问过的像素点作为起点，重复步骤(4)，直到所有的非零像素点都被访问完成；
(6)当所有的连通区域遍历完成之后，标记最大的连通区域即为胰腺组织。
CN201910966180.1A 2019-10-12 2019-10-12 一种基于深度学习的胰腺组织分割方法 Withdrawn CN110853046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910966180.1A CN110853046A (zh) 2019-10-12 2019-10-12 一种基于深度学习的胰腺组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910966180.1A CN110853046A (zh) 2019-10-12 2019-10-12 一种基于深度学习的胰腺组织分割方法

Publications (1)

Publication Number Publication Date
CN110853046A true CN110853046A (zh) 2020-02-28

Family

ID=69597062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910966180.1A Withdrawn CN110853046A (zh) 2019-10-12 2019-10-12 一种基于深度学习的胰腺组织分割方法

Country Status (1)

Country Link
CN (1) CN110853046A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164454A (zh) * 2020-10-10 2021-01-01 联仁健康医疗大数据科技股份有限公司 一种分诊预测的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096795A (zh) * 2010-11-25 2011-06-15 西北工业大学 磨损二维条码图像识别方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109829918A (zh) * 2019-01-02 2019-05-31 安徽工程大学 一种基于密集特征金字塔网络的肝脏图像分割方法
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096795A (zh) * 2010-11-25 2011-06-15 西北工业大学 磨损二维条码图像识别方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109829918A (zh) * 2019-01-02 2019-05-31 安徽工程大学 一种基于密集特征金字塔网络的肝脏图像分割方法
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164454A (zh) * 2020-10-10 2021-01-01 联仁健康医疗大数据科技股份有限公司 一种分诊预测的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
US9697639B2 (en) Three-dimensional model data generation device, method and program
WO2019000455A1 (zh) 图像分割的方法及系统
CN108961274B (zh) 一种mri图像中自动头颈肿瘤分割方法
CN109166133A (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
WO2007002146A2 (en) System and method for computer aided polyp detection
CN112348082B (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
CN110910405A (zh) 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
CN110782428B (zh) 一种用于构建临床脑部ct图像roi模板的方法及系统
CN109493943B (zh) 一种结合光学手术导航的三维可视化头皮开颅定位方法
Chang et al. 3-D snake for US in margin evaluation for malignant breast tumor excision using mammotome
CN110992370B (zh) 一种胰腺组织的分割方法、装置及终端设备
CN110782434A (zh) 一种脑结核mri图像病灶智能标记定位装置
CN113223004A (zh) 一种基于深度学习的肝脏图像分割方法
CN113781403B (zh) 一种胸部ct影像处理方法与装置
CN106023094B (zh) 基于图像的骨组织微观结构修复系统及其修复方法
CN110853046A (zh) 一种基于深度学习的胰腺组织分割方法
CN113012127A (zh) 基于胸部医学影像的心胸比测量方法
CN111260651A (zh) 一种基于深度迁移学习的胃部低质量mri图像分割方法
CN109034256B (zh) 一种ltp与hog特征融合的乳腺肿瘤检测系统与方法
CN112634280B (zh) 基于能量泛函的mri图像脑肿瘤分割方法
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112330660B (zh) 一种基于神经网络的精子尾部检测方法及其系统
WO2014106747A1 (en) Methods and apparatus for image processing
CN110120027B (zh) 面向机器学习系统数据的ct切片图像增强方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200228