CN112348826B - 一种基于测地线距离和V-net的交互式肝脏分割方法 - Google Patents

一种基于测地线距离和V-net的交互式肝脏分割方法 Download PDF

Info

Publication number
CN112348826B
CN112348826B CN202011155526.9A CN202011155526A CN112348826B CN 112348826 B CN112348826 B CN 112348826B CN 202011155526 A CN202011155526 A CN 202011155526A CN 112348826 B CN112348826 B CN 112348826B
Authority
CN
China
Prior art keywords
liver
segmentation
net
sample point
geodesic distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011155526.9A
Other languages
English (en)
Other versions
CN112348826A (zh
Inventor
亢洁
雷涛
丁菊敏
孙阳
刘威
李思禹
刘港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi University of Science and Technology
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN202011155526.9A priority Critical patent/CN112348826B/zh
Publication of CN112348826A publication Critical patent/CN112348826A/zh
Application granted granted Critical
Publication of CN112348826B publication Critical patent/CN112348826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于测地线距离和V‑net的交互式肝脏分割方法,以V‑net为基础,结合测地线距离交互式分割算法,提出了一种基于测地线距离和V‑net的交互式肝脏分割算法,首先,利用调窗算法增强肝脏图像的对比度,并通过高斯滤波抑制噪声干扰;其次,利用三维分割网络V‑net,可以有效兼顾空间上下文信息的特点,得到肝脏图像初步分割结果;再次,利用基于测地线距离的交互式分割方法简单、易实现、对肝脏边界响应良好的特点,形成人为的硬约束对V‑net分割结果进行修正,并进一步将分水岭算法形成的超像素块作为样本点进行运算,提高算法效率;本发明实验结果表明该算法可以准确地分割出完整的肝脏区域,实现了在临床上方便医生使用的较少用户干预及较短时间的交互式肝脏图像分割框架,临床使用效果好,具有广阔的应用前景。

Description

一种基于测地线距离和V-net的交互式肝脏分割方法
技术领域
本发明属于图像处理及模式识别技术领域,特别涉及一种基于测地线距离和V-net的交互式肝脏分割方法。
背景技术
随着医学成像技术的飞速发展及广泛应用,影像学检查已经成为临床诊断中必不可少的手段之一,在肝脏疾病的诊断中被普遍应用,通过影像学数据可以直观地获得肝脏的大小、是否病变等信息,从而作为医生初期的诊疗依据。而目前临床上对肝脏区域进行精准有效的分割是肝脏术前规划的重要前提,从而辅助医生对肝脏病症患者进行疾病诊断,形成准确的术前规划,术中指导,术后评价,对临床手术起着很重要的指导作用。
目前,研究人员已经提出了大量肝脏分割算法,可以分为两类:传统肝脏分割算法与深度学习算法。传统肝脏分割算法包括:区域增长法、水平集法、主动轮廓法、阈值法、图割法、聚类算法等。传统肝脏分割算法主要采用人工设计的特征模板提取图像特征,这种特征提取方式所获得的特征数量较少,容易将接近于肝脏灰度值的非肝脏组织错分为肝脏区域,且当肝脏内发生病变或者CT成像过程中设备的参数不同时,最终分割结果误差较大。为减少种子点选取对区域生长算法的影响,Gambino等人提出一种基于纹理的区域生长肝脏分割算法,该算法可以自动选取种子点并自动计算区域生长停止条件的阈值,但是在肝脏边界处存在欠分割现象。姜慧研和冯锐杰针对传统的水平集算法对图像噪声和初始边界敏感以及容易从弱边缘处泄露等不稳定的问题,提出一种基于变分水平集和区域生长的肝脏分割算法,该方法结合待分割区域的灰度统计信息和梯度信息,对水平集演化函数进行改进,并利用区域生长算法改善水平集对初始边界敏感的不足,但当肝脏与其他相邻组织的灰度统计信息相似时,导致统计信息项和梯度信息项不能反映其复杂细微的变化,存在过分割现象。Zareei等人利用结合梯度矢量流失的主动轮廓模型改善初始分割结果,并采用遗传算法来产生合适的参数集,以克服对初始轮廓的依赖性,但是当肝脏轮廓边缘处存在肿瘤干扰时会导致分割失败。Apollon等人根据CT影像中各个器官像素强度特征的差异,人工选取种子点并利用种子点的平均强度作为阈值对肝脏图像进行分割,但该方法对灰度不均匀和噪声很敏感。罗清等人将核主成分分析与初始分割轮廓配准后融入到核图割模型中,得到肝脏分割结果,但由于核图割模型对初始参数具有很强的依赖性,所以该算法在分割背景复杂的肝脏影像时容易出现分割错误。王荣淼等人在模糊C均值(Fuzzy C-means,FCM)聚类的基础上,利用高斯分布函数构建卷积核提取空间信息的特征矩阵,并在原有目标函数的基础上引入空间惩罚项,通过多次迭代得到最终的肝脏分割结果。但融合空间信息的FCM算法对背景复杂的肝脏图像分割效果仍不理想。
相比于传统肝脏分割算法,深度学习方法能够充分利用大量训练样本的数据多样性,使得肝脏分割结果优于传统方法的分割结果。但是完全自动化的肝脏分割结果仍然需要进一步细化,使之变得足够准确和稳健,以便于临床使用。
发明内容
为了克服上述现有技术存在的缺陷,本发明的目的在于提供一种基于测地线距离和V-net的交互式肝脏分割方法,利用V-net三维分割网络可以改善一般二维卷积网络不能兼顾空间上下文的缺陷,提高了分割精度,并采用结合分水岭算法的测地线距离交互分割算法形成人为硬约束,降低误分割现象,提高肝脏分割结果的正确率,临床效果好,具有广阔的应用前景。
为了达到上述目的,本发明采取的技术方案为:
一种基于测地线距离和V-net的交互式肝脏分割方法,具体步骤如下:
采用W/L调窗算法对DICOM格式的肝脏图像进行对比度设置,其中W/L调窗算法可分为以下三个步骤:
1)将DICOM格式的肝脏图像的DICOM值转为亨氏单位HU:
HU=D×RS+RI                                         (1)
其中,HU为DICOM格式的肝脏图像的DICOM值转化后的输出值;D为肝脏图像的DICOM值,RS为重新调节斜率值,RI为重新调节截距值;
2)计算DICOM格式的肝脏图像的空间位置的映射区间最小值和最大值,映射公式为:
min=(2*WC-WW)/2.0                              (2)
max=(2*WC+WW)/2.0                              (3)
其中,min为映射区间最小值,max为映射区间最大值,WW为窗宽,WC为窗口中心,窗宽值设置为150-250HU,窗口中心值设置为100-200HU;
3)将HU映射到灰度区间[0,255]为:
Figure GDA0004052005270000031
其中,g为调窗后的输出图像,并使用δ=0.5的高斯滤波器对DICOM格式的肝脏图像进行去噪处理,抑制无用信息,将DICOM格式的肝脏图像的灰度像素调整至[0,255]范围内,分辨率大小为512×512;
步骤二、训练网络并进行初步分割
将bmp格式的原始肝脏图像I进行缩放,尺寸变为256×256大小,并将若干病例影像数据组成的训练集中的每个病例bmp格式的原始肝脏图像I分为若干大小为256×256×16的数据块,对于不够16层的数据块,进行补零操作,凑全16张,并对三维医学全卷积神经网络模型V-net进行训练,即将上述训练集的数据输入到V-net网络中,对数据进行分割,设置V-net模型的运行参数,再将bmp格式的原始肝脏图像I输入至V-net中得到肝脏初步分割结果Io
步骤三、种子点选取及分水岭算法分割
以V-net输出的肝脏初步分割结果Io为基准,对bmp格式的原始肝脏图像I标注前景点和背景点,并在其对应范围内,即前景点和背景点中最大坐标值所构成的区域,使用分水岭算法进行分割形成M个区域块Ri,i=1,2,...,M,得到互不重叠的分水岭区域块;
步骤四、建立邻接矩阵
把步骤三分水岭算法分割后形成的每个区域块单独作为一个样本点,统计出周围相邻区域块的标签值,形成邻接矩阵L,统计过程如下:
1)把分水岭算法生成的标签矩阵分别进行相邻行相减和相邻列相减,并生成对应矩阵A1和A2
2)分别把A1和A2按列和行分别循环取出成对元素;
3)去除上述步骤2)中的含零以及重复的成对元素;
4)剩余成对元素即为相邻标签值,即可得到邻接矩阵L;
步骤五、建立距离矩阵
把步骤三分水岭算法分割后形成的每个区域块单独作为一个样本点,计算出各样本点的平均灰度值Hi,i=1,2,...,M,即把区域块中各像素点的灰度值相加,除以对应像素数,就可得到平均灰度值,并把相邻两个样本点灰度差的绝对值作为两点的测地线距离,以此初始化距离矩阵,具体如下:
假设未标记样本点到前景样本点和背景样本点的测地线距离分别为d1、d2,用相邻样本点之间平均灰度差的绝对值作为初始距离矩阵的边长,d1的计算过程如下,设a为前景样本点,b为未标记样本点,a与b相邻,则a与b之间的测地线距离记为:
d1ab=Ha-Hb                                  (5)
其中:Hi,i=1,2,...,M是各区域块的平均灰度值,a,b∈{1,2,...,M},Ha为前景样本点a的平均灰度值,Hb为未标记样本点b的平均灰度值;
d2计算方法如同d1,这时将c设为背景样本点,带入公式(6),即可求得d2cb
d2cb=Hc-Hb                                  (6)
其中:Hi,i=1,2,...,M是各区域块的平均灰度值,c,b∈{1,2,...,M},Hc为背景样本点c的平均灰度值,Hb为未标记样本点b的平均灰度值;
步骤六、计算测地线距离
前景点的计算过程是将前景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化前景测地线距离矩阵D1,尺寸为M×M,并利用公式(7)、公式(8),计算出所有未标记样本点到前景点的测地线距离;设a为前景样本点,e为未标记样本点,a与e不相邻,则a与e之间的测地线距离如下:
Figure GDA0004052005270000051
Wxy=Hx-Hy                                (8)
其中:x,x∈lae和y,y∈lae分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
d2计算方法如同d1,这时将c设为背景样本点,将背景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化背景测地线距离矩阵,并利用公式(9)、公式(10)计算出所有未标记样本点到背景点的测地线距离,具体如下:
Figure GDA0004052005270000052
Wxy=Hx-Hy                                (10)
其中:x,x∈lce和y,y∈lce分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
步骤七、计算样本点概率
对于任意一个为未标记样本点i,利用公式(11)、公式(12)计算出其属于前景或背景的概率,并得到分割结果IB
未标记点属于前景的概率:
Figure GDA0004052005270000061
未标记点属于背景的概率:
Figure GDA0004052005270000062
其中,d1(i)和d2(i)分别表示i相对于前景和背景样本点的测地线距离,若p1(i∈l1)>p2(i∈l2),表示把该点归为前景点,反之则归为背景点;
步骤八、分割结果修正
利用测地线距离交互分割结果IB替换Io中的对应区域,达到修正目的;
步骤九、输出分割结果
若对修正结果满意,则输出修正结果,若不满意,则重复上述步骤,直至满意,并输出最终肝脏分割结果。
所述步骤二中设置V-net模型的运行参数为:初始学习率为η=1×10-3,每经过一个周期,学习率衰减为原来的0.9倍,整个网络经过30个周期后全部完成训练,其中网络训练通过随机梯度下降法进行反向传播更新权重,权重w=0.0005;动量因子α=0.99;最小批次输入m=4。
所述一个周期为训练集中所有数据训练完一遍。
与现有技术相比,本发明有益效果为:
1、本发明提出了一种新的测地线距离交互分割算法,该算法将分水岭算法引入测地线距离的计算中,利用分水岭算法生成的超像素块作为样本点,使得分割效率大大提高,节省了算法运行时间,实现了较少用户干预及较短时间的交互式肝脏图像分割框架。
2、本发明设计了一种全新的肝脏分割模型,该模型利用V-net可以有效结合切片空间上下文信息,并通过结合分水岭算法的测地线距离交互算法形成人为硬约束,使得肝脏分割结果有效地避免了误分割现象,分割结果正确率更高。
综上所述,本发明在分割出肝脏区域的同时,减少了分割结果中误分割的现象,由此提高肝脏分割结果的准确率;与现有的肝脏分割算法相比,本发明利用V-net三维分割网络,可以对一般二维卷积网络不能兼顾空间上下文的缺陷有所改善,提高了分割精度,并采用结合分水岭算法的测地线距离交互分割算法形成人为硬约束,降低误分割现象,提高肝脏分割结果的正确率,具有广阔的应用前景。
附图说明
图1为本发明的流程图。
图2为本发明的分割模型。
图3为本发明的测地线距离交互示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明:
参见图1,一种基于测地线距离和V-net的交互式肝脏分割方法,具体步骤如下:
采用W/L调窗算法对DICOM格式的肝脏图像进行对比度设置,其中W/L调窗算法可分为以下三个步骤:
1)将DICOM格式的肝脏图像的DICOM值转为亨氏单位HU:
HU=D×RS+RI                                         (1)
其中,HU为DICOM格式的肝脏图像的DICOM值转化后的输出值;D为肝脏图像的DICOM值,RS为重新调节斜率值,RI为重新调节截距值;
2)计算DICOM格式的肝脏图像的空间位置的映射区间最小值和最大值,映射公式为:
min=(2*WC-WW)/2.0                              (2)
max=(2*WC+WW)/2.0                              (3)
其中,min为映射区间最小值,max为映射区间最大值,WW为窗宽,WC为窗口中心,窗宽值设置为150-250HU,窗口中心值设置为100-200HU;
3)将HU映射到灰度区间[0,255]为:
Figure GDA0004052005270000081
其中,g为调窗后的输出图像,并使用δ=0.5的高斯滤波器对DICOM格式的肝脏图像进行去噪处理,抑制无用信息,将DICOM格式的肝脏图像的灰度像素调整至[0,255]范围内,分辨率大小为512×512;
步骤二、训练网络并进行初步分割
将bmp格式的原始肝脏图像I进行缩放,尺寸变为256×256大小,并将若干病例影像数据组成的训练集中的每个病例bmp格式的原始肝脏图像I分为若干大小为256×256×16的数据块,对于不够16层的数据块,进行补零操作,凑全16张,并对三维医学全卷积神经网络模型V-net进行训练,即将上述训练集的数据输入到V-net网络中,对数据进行分割,设置V-net模型的运行参数,再将bmp格式的原始肝脏图像I输入至V-net中得到肝脏初步分割结果Io
步骤三、种子点选取及分水岭算法分割
以V-net输出的肝脏初步分割结果Io为基准,对bmp格式的原始肝脏图像I标注前景点和背景点,并在其对应范围内,即前景点和背景点中最大坐标值所构成的区域,使用分水岭算法进行分割形成M个区域块Ri,i=1,2,...,M,得到互不重叠的分水岭区域块;
步骤四、建立邻接矩阵
把步骤三分水岭算法分割后形成的每个区域块单独作为一个样本点,统计出周围相邻区域块的标签值,形成邻接矩阵L,统计过程如下:
1)把分水岭算法生成的标签矩阵分别进行相邻行相减和相邻列相减,并生成对应矩阵A1和A2
2)分别把A1和A2按列和行分别循环取出成对元素;
3)去除上述步骤2)中的含零以及重复的成对元素;
4)剩余成对元素即为相邻标签值,即可得到邻接矩阵L;
步骤五、建立距离矩阵
计算出各区域块的平均灰度值Hi,i=1,2,...,M,即把区域块中各像素点的灰度值相加,除以对应像素数,就可得到平均灰度值,并把相邻两个样本点灰度差的绝对值作为两点的测地线距离,以此初始化距离矩阵,具体如下:
假设未标记样本点到前景样本点和背景样本点的测地线距离分别为d1、d2,用相邻样本点之间平均灰度差的绝对值作为初始距离矩阵的边长,d1的计算过程如下,设a为前景样本点,b为未标记样本点,a与b相邻,则a与b之间的测地线距离记为:
Figure GDA0004052005270000091
其中,Hi,i=1,2,...,M是各区域块的平均灰度值,a,b∈{1,2,...,M},Ha为前景样本点a的平均灰度值,Hb为未标记样本点b的平均灰度值;
d2计算方法如同d1,这时将c设为背景样本点,带入公式(6),即可求得d2cb
d2cb=Hc-Hb                                  (6)
其中:Hi,i=1,2,...,M是各区域块的平均灰度值,c,b∈{1,2,...,M},Hc为背景样本点c的平均灰度值,Hb为未标记样本点b的平均灰度值;
步骤六、计算测地线距离
前景点的计算过程是将前景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化前景测地线距离矩阵D1,尺寸为M×M,并利用公式(7)、公式(8),计算出所有未标记样本点到前景点的测地线距离;设a为前景样本点,e为未标记样本点,a与e不相邻,则a与e之间的测地线距离如下:
Figure GDA0004052005270000092
Wxy=Hx-Hy                                (8)
其中:x,x∈lae和y,y∈lae分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
d2计算方法如同d1,这时将c设为背景样本点,将背景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化背景测地线距离矩阵,并利用公式(9)、公式(10)计算出所有未标记样本点到背景点的测地线距离,具体如下:
Figure GDA0004052005270000101
Wxy=Hx-Hy                                (10)
其中:x,x∈lce和y,y∈lce分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
步骤七、计算样本点概率
对于任意一个为未标记样本点i,利用公式(11)、公式(12)计算出其属于前景或背景的概率,并得到分割结果IB
未标记点属于前景的概率:
Figure GDA0004052005270000102
未标记点属于背景的概率:
Figure GDA0004052005270000103
其中,d1(i)和d2(i)分别表示i相对于前景和背景样本点的测地线距离,若p1(i∈l1)>p2(i∈l2),表示把该点归为前景点,反之则归为背景点;
步骤八、分割结果修正
利用测地线距离交互分割结果IB替换Io中的对应区域,达到修正目的;
步骤九、输出分割结果
若对修正结果满意,则输出修正结果,若不满意,则重复上述步骤,直至满意,并输出最终肝脏分割结果。
所述步骤二中设置V-net模型的运行参数为:初始学习率为η=1×10-3,每经过一个周期,学习率衰减为原来的0.9倍,整个网络经过30个周期后全部完成训练,其中网络训练通过随机梯度下降法进行反向传播更新权重,权重w=0.0005;动量因子α=0.99;最小批次输入m=4。
所述一个周期为训练集中所有数据训练完一遍。
本发明通过以下实验进一步验证其效果。
为了测试本发明分割肝脏图像数据的准确性和有效性,实验的硬件设备为:CPU为Intel Core i9-9900X,3.5GHz,128GB,GPU为两张NVIDIA GeForce RTX 2080Ti;软件平台:V-net网络在PyTorch 1.1开源框架下实现。实验采用LiTS数据集中选取101位患者的DICOM格式的肝脏图像作为V-net的训练集,剩余30位患者的DICOM格式的肝脏图像作为测试集使用。本发明通过计算以下几个指标参数来估计算法性能,并对基于测地线距离的交互式分割算法时间(单位:秒/s)做了统计,分别是:
Figure GDA0004052005270000111
Figure GDA0004052005270000112
Figure GDA0004052005270000113
其中VOE(Volumetric Overlap Error)表示体积重叠误差;ASD(AverageSymmetric Surface Distance)表示平均对称表面距离;MSD(Max Symmetric SurfaceDistance)表示最大对称表面距离;DICE表示分割结果与Ground truth之间的相似性;A表示分割结果区域,B表示Ground truth区域;分别使用U-net、V-net、U-net及传统测地线交互(U-net+GD)、V-net及传统测地线交互(V-net+GD)、U-net及本发明测地线交互(U-net+WGD)、V-net及本发明测地线交互(V-net+WGD),对数据集的DICOM格式的肝脏图像进行分割,并进行实验结果对比分析,
在测试集上各项指标的平均值及标准差
Figure GDA0004052005270000121
U-net被普遍应用于医学图像处理方向,但是它是一种二维分割网络,只适合处理二维图,医学数据往往具有空间信息,所以这就导致U-net在分割时往往不能兼顾空间上下文信息,导致错分割。V-net与U-net相比,不仅在于数据输入由二维变成三维,更重要的是V-net中增加了残差结构,使网络更深,更有利于特征的提取;V-net比U-net的抗干扰能力更强,在肝脏存在病变或在分割与肝脏相邻的灰度相似区域时表现更好,但是仍然存在误分割现象,所以完全自动化的结果可能仍然需要进一步细化;基于测地线距离的交互式分割方法形成的人为硬约束,可以很好地对深度学习分割出的肝脏结果进行修正,得到更为准确的肝脏分割结果;然而由于基于测地线距离的交互式分割方法具有一定的时间复杂度,若直接使用测地线距离进行分割虽然可以有效提高肝脏分割的正确率,但是也牺牲了大量的时间;而本发明提出的结合分水岭的基于测地线距离的交互式分割算法,利用分水岭区域块作为样本点进行测地线距离的计算,可以很好地减少运算时间,而且V-net可以兼顾空间上下文信息,拥有较强的鲁棒性,提供了一个较好肝脏初始分割结果,大大缩减了下一步测地线距离人工交互的次数,提高算法效率,并使得最终肝脏分割结果更为准确。本发明改善了由于肝脏内在大面积病变以及灰度不均匀情况造成的误分割、错分割情况。由于肝脏周围区域背景复杂,存在很多与肝脏灰度值相似的软组织,所以导致V-net并不能准确地分割出肝脏区域,出现了把软组织部分也错分为肝脏的情况,而本发明所提出的融合分水岭的测地线交互式分割算法可以很好地解决上述问题,弥补了V-net对复杂背景肝脏边界误分割的缺陷,对V-net的初始分割结果有一定的修正作用,提高了最终肝脏分割结果的正确率,使得最终的肝脏分割结果更适合临床应用,参见图2、图3。

Claims (3)

1.一种基于测地线距离和V-net的交互式肝脏分割方法,其特征在于:具体步骤如下:
一种基于测地线距离和V-net的交互式肝脏分割方法,具体步骤如下:
采用W/L调窗算法对DICOM格式的肝脏图像进行对比度设置,其中W/L调窗算法可分为以下三个步骤:
1)将DICOM格式的肝脏图像的DICOM值转为亨氏单位HU:
HU=D*RS+RI                                      (1)
其中,HU为DICOM格式的肝脏图像的DICOM值转化后的输出值;D为肝脏图像的DICOM值,RS为重新调节斜率值,RI为重新调节截距值;
2)计算DICOM格式的肝脏图像的空间位置的映射区间最小值和最大值,映射公式为:
min=(2*WC-WW)/2.0                              (2)
max=(2*WC+WW)/2.0                              (3)
其中,min为映射区间最小值,max为映射区间最大值,WW为窗宽,WC为窗口中心,窗宽值设置为150-250HU,窗口中心值设置为100-200HU;
3)将HU映射到灰度区间[0,255]为:
Figure FDA0004052005260000011
其中,g为调窗后的输出图像,并使用δ=0.5的高斯滤波器对DICOM格式的肝脏图像进行去噪处理,抑制无用信息,将DICOM格式的肝脏图像的灰度像素调整至[0,255]范围内,分辨率大小为512×512;
步骤二、训练网络并进行初步分割
将bmp格式的原始肝脏图像I进行缩放,尺寸变为256×256大小,并将若干病例影像数据组成的训练集中的每个病例bmp格式的原始肝脏图像I分为若干大小为256×256×16的数据块,对于不够16层的数据块,进行补零操作,凑全16张,并对三维医学全卷积神经网络模型V-net进行训练,即将上述训练集的数据输入到V-net网络中,对数据进行分割,设置V-net模型的运行参数,再将bmp格式的原始肝脏图像I输入至V-net中得到肝脏初步分割结果Io
步骤三、种子点选取及分水岭算法分割
以V-net输出的肝脏初步分割结果Io为基准,对bmp格式的原始肝脏图像I标注前景点和背景点,并在其对应范围内,即前景点和背景点中最大坐标值所构成的区域,使用分水岭算法进行分割形成M个区域块Ri,i=1,2,...,M,得到互不重叠的分水岭区域块;
步骤四、建立邻接矩阵
把步骤三分水岭算法分割后形成的每个区域块单独作为一个样本点,统计出周围相邻区域块的标签值,形成邻接矩阵L,统计过程如下:
1)把分水岭算法生成的标签矩阵分别进行相邻行相减和相邻列相减,并生成对应矩阵A1和A2
2)分别把A1和A2按列和行分别循环取出成对元素;
3)去除上述步骤2)中的含零以及重复的成对元素;
4)剩余成对元素即为相邻标签值,即可得到邻接矩阵L;
步骤五、建立距离矩阵
把步骤三分水岭算法分割后形成的每个区域块单独作为一个样本点,计算出各样本点的平均灰度值Hi,i=1,2,...,M,即把区域块中各像素点的灰度值相加,除以对应像素数,就可得到平均灰度值,并把相邻两个样本点灰度差的绝对值作为两点的测地线距离,以此初始化距离矩阵,具体如下:
假设未标记样本点到前景样本点和背景样本点的测地线距离分别为d1、d2,用相邻样本点之间平均灰度差的绝对值作为初始距离矩阵的边长,d1的计算过程如下,设a为前景样本点,b为未标记样本点,a与b相邻,则a与b之间的测地线距离记为:
Figure FDA0004052005260000031
Hi,i=1,2,...,M是各区域块的平均灰度值,a,b∈{1,2,...,M},
Ha为前景样本点a的平均灰度值,Hb为未标记样本点b的平均灰度值;
d2计算方法如同d1,这时将c设为背景样本点,带入公式(5),即可求得d2ab
d2cb=|Hc-Hb|                                  (6)
其中:Hi,i=1,2,...,M是各区域块的平均灰度值,c,b∈{1,2,...,M},Hc为背景样本点c的平均灰度值,Hb为未标记样本点b的平均灰度值;
步骤六、计算测地线距离
前景点的计算过程是将前景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化前景测地线距离矩阵D1,尺寸为M×M,并利用公式(7)、公式(8),计算出所有未标记样本点到前景点的测地线距离;设a为前景样本点,e为未标记样本点,a与e不相邻,则a与e之间的测地线距离如下:
Figure FDA0004052005260000041
Wxy=|Hx-Hy|                                (8)
其中:x,x∈lae和y,y∈lae分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
d2计算方法如同d1,这时将c设为背景样本点,将背景样本点和未标记不相邻样本点的测地线距离分别初始设为0和无穷大,构造初始化背景测地线距离矩阵,并利用公式(9)、公式(10)计算出所有未标记样本点到背景点的测地线距离,具体如下:
Figure FDA0004052005260000042
Wxy=|Hx-Hy|                                (10)
其中:x,x∈lce和y,y∈lce分别为待计算样本点和未标记样本点权值最小路径中两两相邻的样本点,Hi,i=1,2,...,M是各区域块的平均灰度值,x,y∈{1,2,...,M};
步骤七、计算样本点概率
对于任意一个为未标记样本点i,利用公式(11)、公式(12)计算出其属于前景或背景的概率,并得到分割结果IB
未标记点属于前景的概率:
Figure FDA0004052005260000043
未标记点属于背景的概率:
Figure FDA0004052005260000044
其中,d1(i)和d2(i)分别表示i相对于前景和背景样本点的测地线距离,若p1(i∈l1)>p2(i∈l2),表示把该点归为前景点,反之则归为背景点;
步骤八、分割结果修正
利用测地线距离交互分割结果IB替换Io中的对应区域,达到修正目的;
步骤九、输出分割结果
若对修正结果满意,则输出修正结果,若不满意,则重复上述步骤,直至满意,并输出最终肝脏分割结果。
2.根据权利要求1所述的一种基于测地线距离和V-net的交互式肝脏分割方法,其特征在于:所述步骤二中设置V-net模型的运行参数为:初始学习率为η=1×10-3,每经过一个周期,学习率衰减为原来的0.9倍,整个网络经过30个周期后全部完成训练,其中网络训练通过随机梯度下降法进行反向传播更新权重,权重w=0.0005;动量因子α=0.99;最小批次输入m=4。
3.根据权利要求2所述的一种基于测地线距离和V-net的交互式肝脏分割方法,其特征在于:所述一个周期为训练集中所有数据训练完一遍。
CN202011155526.9A 2020-10-26 2020-10-26 一种基于测地线距离和V-net的交互式肝脏分割方法 Active CN112348826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011155526.9A CN112348826B (zh) 2020-10-26 2020-10-26 一种基于测地线距离和V-net的交互式肝脏分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011155526.9A CN112348826B (zh) 2020-10-26 2020-10-26 一种基于测地线距离和V-net的交互式肝脏分割方法

Publications (2)

Publication Number Publication Date
CN112348826A CN112348826A (zh) 2021-02-09
CN112348826B true CN112348826B (zh) 2023-04-07

Family

ID=74358522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011155526.9A Active CN112348826B (zh) 2020-10-26 2020-10-26 一种基于测地线距离和V-net的交互式肝脏分割方法

Country Status (1)

Country Link
CN (1) CN112348826B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949838B (zh) * 2021-04-15 2023-05-23 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN116580008B (zh) * 2023-05-16 2024-01-26 山东省人工智能研究院 基于局部增广空间测地线生物医学标记方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385751A (zh) * 2011-07-19 2012-03-21 中国科学院自动化研究所 基于分水岭变换及支持向量机分类的肝脏肿瘤区域分割方法
CN102663757A (zh) * 2012-04-20 2012-09-12 西安电子科技大学 基于核传递的半自动图像分割方法
CN103164855A (zh) * 2013-02-26 2013-06-19 清华大学深圳研究生院 一种结合反射光照的贝叶斯决策前景提取方法
CN105931253A (zh) * 2016-05-16 2016-09-07 陕西师范大学 一种基于半监督学习相结合的图像分割方法
CN105957066A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于自动上下文模型的ct图像肝脏分割方法及系统
CN106327527A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于Online Boosting的目标精细轮廓跟踪方法
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN109087703A (zh) * 2018-08-24 2018-12-25 南京大学 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法
CN110264479A (zh) * 2019-06-25 2019-09-20 南京景三医疗科技有限公司 基于随机游走和水平集的三维图像分割方法
CN110503649A (zh) * 2019-07-05 2019-11-26 陕西科技大学 一种基于空间多尺度U-net与超像素修正的肝脏分割方法
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385751A (zh) * 2011-07-19 2012-03-21 中国科学院自动化研究所 基于分水岭变换及支持向量机分类的肝脏肿瘤区域分割方法
CN102663757A (zh) * 2012-04-20 2012-09-12 西安电子科技大学 基于核传递的半自动图像分割方法
CN103164855A (zh) * 2013-02-26 2013-06-19 清华大学深圳研究生院 一种结合反射光照的贝叶斯决策前景提取方法
CN105957066A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于自动上下文模型的ct图像肝脏分割方法及系统
CN105931253A (zh) * 2016-05-16 2016-09-07 陕西师范大学 一种基于半监督学习相结合的图像分割方法
CN106327527A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于Online Boosting的目标精细轮廓跟踪方法
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN109087703A (zh) * 2018-08-24 2018-12-25 南京大学 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法
CN110264479A (zh) * 2019-06-25 2019-09-20 南京景三医疗科技有限公司 基于随机游走和水平集的三维图像分割方法
CN110503649A (zh) * 2019-07-05 2019-11-26 陕西科技大学 一种基于空间多尺度U-net与超像素修正的肝脏分割方法
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation;Fausto Milletari 等;《2016 Fourth International Conference on 3D Vision》;20161231;第565-571页 *
基于分水岭修正与U-Net的肝脏图像分割算法;亢洁 等;《计算机工程》;20200131;第46卷(第1期);第255-261、270页 *
基于自适应标记分水岭算法的肝脏CT图像自动分割;黄展鹏 等;《北京生物医学工程》;20170831;第36卷(第4期);第378-382页 *
结合改进分水岭和GVF的三维肝脏分割方法;赵洁 等;《计算机工程与应用》;20141231;第50卷(第22期);第180-182页 *

Also Published As

Publication number Publication date
CN112348826A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110503649B (zh) 一种基于空间多尺度U-net与超像素修正的肝脏分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
Tang et al. A two-stage approach for automatic liver segmentation with Faster R-CNN and DeepLab
CN107230206B (zh) 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN108364294B (zh) 基于超像素的腹部ct图像多器官分割方法
CN104809723B (zh) 基于超体素和图割算法的三维肝脏ct图像自动分割方法
CN107886514A (zh) 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
WO2019000455A1 (zh) 图像分割的方法及系统
CN107977952A (zh) 医学图像分割方法及装置
US20110158491A1 (en) Method and system for lesion segmentation
CN111105424A (zh) 淋巴结自动勾画方法及装置
CN112348826B (zh) 一种基于测地线距离和V-net的交互式肝脏分割方法
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
Casiraghi et al. Automatic abdominal organ segmentation from CT images
US7480401B2 (en) Method for local surface smoothing with application to chest wall nodule segmentation in lung CT data
CN112767407A (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
Hong et al. Automatic lung nodule matching on sequential CT images
Yuan et al. Hybrid method combining superpixel, random walk and active contour model for fast and accurate liver segmentation
CN110610491B (zh) 一种腹部ct图像的肝脏肿瘤区域分割方法
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
Meng et al. Enhancing medical image registration via appearance adjustment networks
CN107909577A (zh) 模糊c均值连续型最大流最小割脑肿瘤图像分割方法
Farag Variational approach for small-size lung nodule segmentation
CN110533667B (zh) 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
Zhou et al. HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant