CN106056596B - 基于局部先验信息和凸优化的全自动三维肝脏分割方法 - Google Patents

Abstract

本发明涉及医学图像处理，旨在提供基于局部先验信息和凸优化的全自动三维肝脏分割方法。该基于局部先验信息和凸优化的全自动三维肝脏分割方法包括：利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概率图；由肝脏先验概率图中得到肝脏的初始区域；确定图像中各像素点属于前景肝脏和背景的概率；利用凸优化技术优化新的能量模型，并分割肝脏；进行后处理，得到肝脏的轮廓。本发明得到的分割结果，可以很好地克服原来卷积神经网络分割肝脏中存在的欠分割、边界不准确的问题，进而得到更精确的分割结果。

Description

基于局部先验信息和凸优化的全自动三维肝脏分割方法

技术领域

本发明是关于医学图像处理领域，特别涉及基于局部先验信息和凸优化的全自动三维肝脏分割方法。

背景技术

目前，肝脏疾病是临床上发病概率比较高的疾病，直接威胁到人们的生命，所以肝脏疾病的准确诊断具有重要的医学意义。临床上，医生常常借助于CT机，即计算机断层扫描机，来获得肝脏部位的一系列平面灰度断层图像，并通过连续地查看这些图像来判断病灶的病变位置、特征、大小、同周围组织之间的关系等。而肝脏的提取和定量分析对准确地诊断肝脏疾病和制定适当的手术方案起着关键性的作用。临床上，肝脏的提取往往由经验丰富的医生直接在CTA图像上勾勒出来。但是此方法非常耗时耗力，而且由于分割结果依赖于医生的经验而缺乏鲁棒性。因此急需准确可用的肝脏自动或半自动分割算法。

现有的半自动肝脏分割方法由于一定量的人工交互，对初始肝脏区域敏感，因而算法缺少鲁棒性。全自动分割方法不需要人工交互，现有的典型算法有概率图谱法、ActiveShape Model法。但是这两类算法受先验形状初始化的影响大，且算法过程复杂，算法结果普遍存在过分割和欠分割现象。最新的算法有基于卷积神经网络的全自动三维肝脏分割方法。该方法通过训练一个卷积神经网络后，对新输入的数据自动给出一个属于前景肝脏的概率图，然后取一个合适的阈值得到最终的分割结果。但是由于在不同的个体当中，肝脏的形状和位置差异非常大，通过卷积网络得到的肝脏分割结果在肝脏左叶会出现欠分割的现象。另外，肝脏边缘的分割准确性也不高。

因此，提出一种能够克服肝脏形状差异大等难点，避免过分割和前分割缺陷的全自动算法在临床医学应用上很有必要。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种能准确地将肝脏同周围粘连的组织区分出来，且对于形状大小各异的肝脏，能克服欠分割现象而准确地提取出肝脏的全自动方法。为解决上述技术问题，本发明的解决方案是：

提供基于局部先验信息和凸优化的全自动三维肝脏分割方法，用于对腹部肝脏CTA(Computed Tomography Angiography，CT血管造影术)体数据，即计算机断层扫描血管造影图像中的肝脏进行分割，所述基于局部先验信息和凸优化的全自动三维肝脏分割方法包括下述过程：

一、利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概率图；

二、由肝脏先验概率图中得到肝脏的初始区域；

三、确定图像中各像素点属于前景肝脏和背景的概率；

四、利用凸优化技术优化新的能量模型，并分割肝脏；

五、进行后处理，得到肝脏的轮廓；

所述过程一具体是指：设需要进行肝脏分割的图像为三维数据I(x)，图像定义域为灰度范围为[0,N]，像素点为x＝(x₁,x₂,x₃)；利用训练好的卷积神经网络处理数据I(x)，使图像I(x)的每个像素点被赋予属于肝脏的概率值，得到一个与原始图像大小相同的概率图L(x)，x∈Ω；

其中，符号表示包含于，符号∈表示属于集合；

所述训练好的卷积神经网络能对所处理图像的每一像素点进行二分类，二分类的结果为每一点属于前景肝脏的概率；

所述过程二具体是指：(根据经验)对概率图L(x)的每一像素点值取阈值0.5，大于阈值的像素点属于肝脏的初始肝脏区域Ω_ref；

所述过程三具体包括下述步骤：

步骤A：对输入的原始图像I(x)中的每一点像素x，统计初始肝脏区域Ω_ref内的灰度直方图，根据像素点x的灰度值，将这个灰度值在灰度直方图中所占的比例作为这个像素点属于前景的概率，记为统计初始背景区域Ω/Ω_ref的灰度直方图，根据像素点x的灰度值，将这个灰度值在背景区域的灰度直方图中的比例作为这个像素点属于背景的概率，记为p_out(x)；

其中，符号Ω/Ω_ref中的“/”表示在区域Ω中除去区域Ω_ref；的上标g表示全局信息，下标in表示肝脏内部；p_out(x)的下标out表示肝脏外部；

步骤B：计算在区域Ω_ref中的所有像素点的均值μ和标准差σ，并计算概率阈值t＝μ-η；

步骤C：对的像素点x，设该点的局部邻窗为W(x)；如果像素点x的局部邻窗W(x)与初始肝脏区域Ω_ref相交，则将这个点记录在集合S中，即定义集合然后在该像素点x的邻域R(x)内重新计算属于前景肝脏的概率计算公式为：

其中，R(x)＝W(x)∩Ω_ref，W(x)是以x为中心的立方体，边长分别为a、b、c；K_η(·)表示一个核函数，η表示其窗宽；ζ表示在区域R(x)内观察到的灰度值，I_min,I_max分别表示其中的最小值和最大值；符号∑表示求和；h(·)表示区域R(x)内的灰度直方图，h(ζ)表示区域R(x)内的灰度值ζ的统计数；表示对灰度直方图求和值；中，集合S指所有局部邻窗W(x)与初始肝脏区域Ω_ref相交的点的集合；符号：＝表示定义为，符号∈表示属于集合，符号表示空集，符号∩表示区域相交；

步骤D：对于每个像素点，计算最终属于肝脏的概率，计算公式为：

其中，每个像素点的由过程三步骤A计算得到，和集合S在过程三步骤C中计算和定义；

所述过程四具体包括下述步骤：

步骤E：定义并计算g(x)，C_t(x)，C_s(x)：

C_t(x):＝g(x)[-α₁logp_in(x)-α₂logL(x)],

C_s(x):＝g(x)[-α₁logp_out(x)-α₂log(1-L(x))].

其中，表示边界探测函数，β是正数(取值为0.2)；符号：＝表示定义为，符号表示梯度算子，符号|·|表示L2范数；C_t(x)代表每个像素点x属于肝脏的代价函数；C_s(x)代表每个像素点x属于背景的代价函数；p_in(x)和p_out(x)分别表示像素点x属于肝脏和背景的概率；L(x)和1-L(x)分别表示由卷积神经网络得到的像素点x属于肝脏和背景的概率，其中L(x)由过程一计算得到；α₁，α₂为正常数，用于调节各项的权重，取值均在区间[20,50]内；log表示以10为底求对数；

步骤F：通过极小化如下的能量泛函，得到最优的肝脏分割u^*：

中C_t(x):＝g(x)[-α₁logp_in(x)-α₂logL(x)],

C_s(x):＝g(x)[-α₁logp_out(x)-α₂log(1-L(x))].

其中，u是肝脏的标签函数，u(x)∈{0,1}，u(x)的值等于1表示x属于肝脏，u(x)的值等于0表示x不属于肝脏；arg min表示求使得能量函数最小的值；Ω表示图像区域；∫_Ω表示在区域Ω内的积分；dx表示区域积分元；表示梯度算子；|·|表示L2范数；log表示以10为底求对数；:＝表示定义为；所述λ是指正则化参数，用于调节各项的权重，取值在[0,20]之间；

(上述能量泛函的第一项是基于区域的项，其中的第一部分是利用全局或局部的初始肝脏区域的灰度分布及先验概率图，估计出每个像素点x属于肝脏的代价函数C_t(x)；第二部分是利用全局的初始背景区域的灰度分布及先验概率图，估计每个像素点x属于背景的代价函数C_s(x)；第一项的作用是将肝脏区域从周围背景区域区分出来，第二项是基于边界的项，能够很好地捕捉边界信息，保证分割出的肝脏轮廓的光滑性；区域项和边界项通过一个边界探测函数g(x)和权重α₁，α₁，λ来自适应的调节比重，使得在靠近边界的地方，模型主要依赖于边界信息，在肝脏中平滑的区域，模型依赖于区域信息)

所述过程五具体包括下述步骤：

步骤G：用形态学算子中的闭算子处理由过程四得到的二值分割结果u^*(定义E为半径为3的圆形结构算子，对二值分割结果u^*先进行结构算子为E的膨胀处理，再进行结构算子为E的腐蚀处理)；

步骤H：对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理(具体的，对体数据的每层图像，检测在肝脏区域中的孔洞，认为被肝脏包围的孔洞也属于肝脏，将其对应的二值分割结果的值设为1)，即得到到最终的完整准确的肝脏区域，实现对计算机断层扫描血管造影图像中的肝脏进行分割。

在本发明中，所述过程一中，卷积神经网络设计有共11层：第1层为96个滤波大小为7×7×9的卷积核，步长为2的卷积层；第2层为256个滤波大小为5×5×5的卷积核，步长为2的卷积层；第3层到第7层均为2048个滤波大小为3×3×3的卷积核，步长为1的卷积层；第8层为512个滤波大小为3×3×3的卷积核，步长为1的卷积层；第9层为128个滤波大小为3×3×3的卷积核，步长为1的卷积层；第10层为16个滤波大小为3×3×3的卷积核，步长为1的卷积层；第11层为1个滤波大小为3×3×3的卷积核，步长为1的卷积层；其中，第1、第2层后面加了average pooling层，将数据维度从496×496×279缩小到31×31×32；第7、第8、第9层后面加入了重排双倍尺寸输出层，将输入的8个通道变成2×2×2，即双倍尺寸，1/8通道数；且3次重排后输出和输入的尺度保持一致；第11层后使用logistic函数和上采样层，使得最终输出大小为496×496×256的概率图；

根据所设计的卷积神经网络，搜集68个腹部肝脏CTA体数据作为网络输入，将这些体数据对应的肝脏分割二值结果作为网络的输出，训练卷积神经网络中的参数，这样即得到一个训练好的卷积神经网络。

与现有技术相比，本发明的有益效果是：

本发明把由三维卷积神经网络得到的概率图作为先验信息，设计一个分割模型自适应地利用全局或局部的先验信息，并且用凸优化算法求解模型，从而达到全自动地提取肝脏轮廓的目的；且本发明得到的分割结果，可以很好地克服原来卷积神经网络分割肝脏中存在的欠分割、边界不准确的问题，进而得到更精确的分割结果。

附图说明

图1为本发明的操作流程图。

图2为三维体数据的第110层原图。

图3为第110层数据经三维卷积神经网络处理后的效果图。

图4为第110层数据经本发明技术处理后的效果图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

下面的实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

如图1所示，采用基于局部先验信息和凸优化的全自动三维肝脏分割方法，对计算机断层扫描血管造影图像中的肝脏进行分割，具体步骤为：

一、输入肝脏CTA扫描图像I大小为512×512×245，调整窗宽窗位使得肝脏灰度范围在0到255之间。将图像在已经训练好的卷积神经网络中测试，得到一个与原图像同大小的概率图L。概率图给定图像每点属于肝脏的概率L(x)，其值范围在[0.1,0.9]。将图像I和概率图L在x-y平面上进行下采样，得到图像大小均为256×256×245。

二、选定阈值为0.5，对概率图L取截断，认为概率大于0.5的点属于肝脏，概率小于0.5的点属于背景。这样给定了初始分割结果。

三、按照步骤三的方法计算图像图像I中每一像素点属于前景和属于背景的概率p_in(x)和p_out(x)。在本实例中，局部邻窗W(x)设为一个大小为7×7×7的立方体；核函数K_η(·)为高斯核函数，其标准差η由区域R(x)的灰度标准差计算得到；I_min,I_max分别取定为0和255。

四、根据说明中步骤四给出的公式计算图像在每个像素点的C_s(x)，C_t(x)，g(x)的值。在本实例中，取定参数α₁＝40，α₂＝32，λ＝10。

五、利用凸松弛和原始-对偶算法，引入变量p_s，p_t，p，将能量泛函转化为：

s.t.p_s(x)≤C_s(x),p_t(x)≤C_t(x),p(x)≤λg(x)

为求解上述新模型，利用交错迭代的技术，迭代地计算以下式子：

1、固定变量优化求解这一步可以用Chambolle投影算法求解；

2、固定变量更新

3、固定变量更新

4、固定变量更新

迭代步数k＝k+1，重复以上1-4迭代直至收敛后停止。

其中c是迭代中的步长，在本实例中设为0.35。g是本说明步骤四中定义的边界探测函数g(x)。最后解得上述模型后，最优分割标签函数u*(x)。

上述符号中，s.t.表示“受约束于”；sup表示求极大，inf表示求极小；k和k+1表示迭代第k步和第k+1步；等符号的上标k表示迭代第k步；arg max表示求使得能量函数最大的变量值；||·||_∞表示无穷范数；div表示散度算子；：＝表示“定义为”；∫_Ω表示在区域Ω内的积分；dx表示区域积分元。

六、按照步骤五给出的方法对分割结果u*(x)后处理：

1、用形态学算子中的闭算子处理由过程四得到的二值分割结果u^*。定义E为半径为3的圆形结构算子，对二值分割结果u^*先进行结构算子为E的膨胀处理，再进行结构算子为E的腐蚀处理；

2、对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理。具体的，对体数据的每层图像，检测在肝脏区域中的孔洞，认为被肝脏包围的孔洞也属于肝脏，将其对应的二值分割结果的值设为1。

图2为示例三维体数据的第110层。图3为由三维卷积神经网络处理后的肝脏第110层效果图，肝脏内部为白色，可以看出在肝左叶的地方存在欠分割现象。图4为本发明技术处理后的肝脏第110层效果图，肝脏内部为白色，可以看出算法正确分割出了肝脏组织。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (2)

1.基于局部先验信息和凸优化的全自动三维肝脏分割方法，用于对腹部肝脏CTA体数据，即计算机断层扫描血管造影图像中的肝脏进行分割，其特征在于，所述基于局部先验信息和凸优化的全自动三维肝脏分割方法包括下述过程：

一、利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概率图；

二、由肝脏先验概率图中得到肝脏的初始区域；

三、确定图像中各像素点属于前景肝脏和背景的概率；

四、利用凸优化技术优化新的能量模型，并分割肝脏；

五、进行后处理，得到肝脏的轮廓；

所述过程一具体是指：设需要进行肝脏分割的图像为三维数据I(x)，图像定义域为灰度范围为[0,N]，像素点为x＝(x₁,x₂,x₃)；利用训练好的卷积神经网络处理数据I(x)，使图像I(x)的每个像素点被赋予属于肝脏的概率值，得到一个与原始图像大小相同的概率图L(x)，x∈Ω；

其中，符号表示包含于，符号∈表示属于集合；

所述训练好的卷积神经网络能对所处理图像的每一像素点进行二分类，二分类的结果为每一点属于前景肝脏的概率；

所述过程二具体是指：对概率图L(x)的每一像素点值取阈值0.5，大于阈值的像素点属于肝脏的初始肝脏区域Ω_ref；

所述过程三具体包括下述步骤：

步骤A：对输入的原始图像I(x)中的每一点像素x，统计初始肝脏区域Ω_ref内的灰度直方图，根据像素点x的灰度值，将这个灰度值在灰度直方图中所占的比例作为这个像素点属于前景的概率，记为统计初始背景区域Ω/Ω_ref的灰度直方图，根据像素点x的灰度值，将这个灰度值在背景区域的灰度直方图中的比例作为这个像素点属于背景的概率，记为p_out(x)；

其中，符号Ω/Ω_ref中的“/”表示在区域Ω中除去区域Ω_ref；的上标g表示全局信息，下标in表示肝脏内部；p_out(x)的下标out表示肝脏外部；

步骤B：计算在区域Ω_ref中的所有像素点的均值μ和标准差σ，并计算概率阈值t＝μ-η；

步骤C：对的像素点x，设该点的局部邻窗为W(x)；如果像素点x的局部邻窗W(x)与初始肝脏区域Ω_ref相交，则将这个点记录在集合S中，即定义集合然后在该像素点x的邻域R(x)内重新计算属于前景肝脏的概率计算公式为：

其中，R(x)＝W(x)∩Ω_ref，W(x)是以x为中心的立方体，边长分别为a、b、c；K_η(·)表示一个核函数，η表示其窗宽；ζ表示在区域R(x)内观察到的灰度值，I_min,I_max分别表示其中的最小值和最大值；符号∑表示求和；h(·)表示区域R(x)内的灰度直方图，h(ζ)表示区域R(x)内的灰度值ζ的统计数；表示对灰度直方图求和值；中，集合S指所有局部邻窗W(x)与初始肝脏区域Ω_ref相交的点的集合；符号：＝表示定义为，符号∈表示属于集合，符号表示空集，符号∩表示区域相交；

步骤D：对于每个像素点，计算最终属于肝脏的概率，计算公式为：

其中，每个像素点的由过程三步骤A计算得到，和集合S在过程三步骤C中计算和定义；

所述过程四具体包括下述步骤：

步骤E：定义并计算g(x)，C_t(x)，C_s(x)：

C_t(x):＝g(x)[-α₁logp_in(x)-α₂logL(x)],

C_s(x):＝g(x)[-α₁logp_out(x)-α₂log(1-L(x))].

其中，表示边界探测函数，β是正数；符号：＝表示定义为，符号表示梯度算子，符号|·|表示L2范数；C_t(x)代表每个像素点x属于肝脏的代价函数；C_s(x)代表每个像素点x属于背景的代价函数；p_in(x)和p_out(x)分别表示像素点x属于肝脏和背景的概率；L(x)和1-L(x)分别表示由卷积神经网络得到的像素点x属于肝脏和背景的概率，其中L(x)由过程一计算得到；α₁，α₂为正常数，用于调节各项的权重，取值均在区间[20,50]内；log表示以10为底求对数；

步骤F：通过极小化如下的能量泛函，得到最优的肝脏分割u^*：

C_t(x):＝g(x)[-α₁logp_in(x)-α₂logL(x)],

C_s(x):＝g(x)[-α₁logp_out(x)-α₂log(1-L(x))].

其中，u是肝脏的标签函数，u(x)∈{0,1}，u(x)的值等于1表示x属于肝脏，u(x)的值等于0表示x不属于肝脏；argmin表示求使得能量函数最小的值；Ω表示图像区域；∫_Ω表示在区域Ω内的积分；dx表示区域积分元；表示梯度算子；|·|表示L2范数；log表示以10为底求对数；:＝表示定义为；所述λ是指正则化参数，用于调节各项的权重，取值在[0,20]之间；

所述过程五具体包括下述步骤：

步骤G：用形态学算子中的闭算子处理由过程四得到的二值分割结果u^*；

步骤H：对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理，即得到到最终的完整准确的肝脏区域，实现对计算机断层扫描血管造影图像中的肝脏进行分割。

2.根据权利要求1所述的基于局部先验信息和凸优化的全自动三维肝脏分割方法，其特征在于，所述过程一中，卷积神经网络设计有共11层：第1层为96个滤波大小为7×7×9的卷积核，步长为2的卷积层；第2层为256个滤波大小为5×5×5的卷积核，步长为2的卷积层；第3层到第7层均为2048个滤波大小为3×3×3的卷积核，步长为1的卷积层；第8层为512个滤波大小为3×3×3的卷积核，步长为1的卷积层；第9层为128个滤波大小为3×3×3的卷积核，步长为1的卷积层；第10层为16个滤波大小为3×3×3的卷积核，步长为1的卷积层；第11层为1个滤波大小为3×3×3的卷积核，步长为1的卷积层；其中，第1、第2层后面加了average pooling层，将数据维度从496×496×279缩小到31×31×32；第7、第8、第9层后面加入了重排双倍尺寸输出层，将输入的8个通道变成2×2×2，即双倍尺寸，1/8通道数；且3次重排后输出和输入的尺度保持一致；第11层后使用logistic函数和上采样层，使得最终输出大小为496×496×256的概率图；

根据所设计的卷积神经网络，搜集68个腹部肝脏CTA体数据作为网络输入，将这些体数据对应的肝脏分割二值结果作为网络的输出，训练卷积神经网络中的参数，这样即得到一个训练好的卷积神经网络。