CN106683104A - 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 - Google Patents

Abstract

本发明涉及一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，分为粗略分割两部分，先对数据进行预处理归一化并依据有无直肠线圈将图像分为两类；然后进行基于特征匹配和相关显著性加权的非刚性配准；最后根据配准结果以及多数投票的算法进行二值标注图像融合从而获得初步的前列腺粗略分割结果。

Description

基于集成深度卷积神经网络的前列腺磁共振图像分割方法

技术领域

本发明属于图像处理和医学领域，具体涉及一种在前列腺磁共振图像中进行前列腺分割的方法，此方法利用了集成的深度卷积神经网络来完成图像的分割。

背景技术

近年来，前列腺疾病，如前列腺癌，已经成为危害我国男性健康的主要疾病之一。对前列腺腺体的有效测定能够极大地促进对前列腺疾病的评估，有效地预测前列腺疾病的病理阶段以及治疗响应。然而，由于前列腺组织所具有的：个体差异性较大，与邻近组织相似度较高等困难，使得前列腺图像的自动分割始终存在较大挑战。与此同时，深度学习的迅猛发展使其被广泛地应用于计算机视觉等一系列问题上。其中，深度学习的典型代表：深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)也被逐渐地应用于医学图像处理领域之中。如Dvorak等人利用DCNN模型在处理特征间关系的优越能力来学习预测脑肿瘤的结构，从而对磁共振图片中的脑肿瘤组织进行有效的分割。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种

技术方案

一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤如下：

步骤1：对无直肠线圈图像和直肠线圈图像两类图像进行预处理：

对无直肠线圈图像按照公式1进行归一化：

其中I_x和I′_x分别为位归一化前后像素x的像素值，I_max和I_min分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值；

对直肠线圈图像先进行泊松融合，然后再利用公式1对其进行归一化；

步骤2：利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理，得到与图谱中每个真实图像A_i相对应的坐标变换T_i，再分别将真实图像A_i对应的二值标注图像L_i按照T_i进行坐标变换，得到一系列的形变的二值分割图像L_i⊙T_i；使用多数投票的方法对所有的二值分割图像L_i⊙T_i进行阈值处理，从而获得最终的粗分割结果：

其中A^(s)为最终的粗分割结果，为各个图谱对于带分割图像的配准得到的分割结果；

步骤3：在前列腺边界两侧的给定区域内，给定区域的半径取图像块边长大小，提取大量的n×n大小的图像块，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到多个DCNN中，训练得到多个具有分类两类图像块的网络模型；所述的DCNN包括3组卷积、池化、激活层以及两层全连接层和一层softmax-loss层；

步骤4：利用所有的DCNN对待检测区域B(V)内的所有像素点V进行分割，V∈B(V)，并对分割结果进行集成判别：

其中m_k是第K个DCNN模型，p(x＝y_i|m_j)是在第m_j个DCNN网络模型中输入图像块x被分为类别y_i的概率；

步骤5：使用MATLAB的二值图像处理函数对步骤4的分割结果进行处理，去除了空洞和毛刺；再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。

步骤3中的n为24。

有益效果

现有的前列腺分割方法普遍是由有经验的医师手工标注分割的，这种方法费时费力，很难快速地获取大量的分割结果。现有的很多分割方法受制于前文提到的种种困难，分割效果往往并不尽如人意。本方面所提出的基于集成深度卷积神经网络的前列腺磁共振图像分割方法，综合了基于图谱配准的粗略分割和基于深度卷积神经网络的精细分割，并引入了集成学习分别对两类前列腺磁共振图像进行分割，从而得到了较为理想的分割结果。

附图说明

图1非刚性配准流程

图2 CNN的网络结构

具体实施方式

为了有效准确地对磁共振图像中的前列腺组织进行分割，我们提出了一种由粗到细的两步分割框架来解决前列腺磁共振图像分割问题。其中粗略分割部分基于配准的方法来实现，首先我们先对数据进行预处理归一化并依据有无直肠线圈将图像分为两类；然后进行基于特征匹配和相关显著性加权的非刚性配准；最后根据配准结果以及多数投票的算法进行二值标注图像融合从而获得初步的前列腺粗略分割结果。精细分割部分，事先我们在训练样例的真是边界两侧一定范围内采样提取大量的二维图像块，利用得到的大量图像块来训练多个两种类别的DCNN像素分类器模型，使其具有区分前列腺图像块以及非前列腺图像块的能力。在分割过程中，我们首先从粗略分割得到的待定边界扩展一个待测区域，并以区域内部每个像素点内中心提取与训练模型输入大小相匹配的图像块；然后将其输入到对应的多个DCNN模型中得到多个预测结果，并利用集成学习策略得到待测区域中每一像素的最终预测结果。最后对预测得到的前列腺图像进行后期处理以去除毛刺和异常点，从而得到最终的分类结果。

现结合实施例、附图对本发明作进一步描述：

具体步骤如下：

1.粗略分割

首先对两类图像进行预处理，其中无直肠线圈的图像按照公式(1)进行归一化，其中I_x和I′_x分别为位归一化前后像素x的像素值，I_max和I_min分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值。对于直肠线圈图像，我们先对其进行泊松融合，使得直肠线圈周围异常偏高的像素灰度值与背景相适应，增强图像的区分度。然后再利用公式(1)对其进行归一化。

接下来，利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理。这里先引入一个图谱这个概念，图谱即包含了大量真实图像A_i以及与其相对应的二值标注图像L_i。本发明中的A_i即为大量前列腺磁共振图像，L_i为每个A_i对应的由医生手工标注的分割结果。

在针对目标图像P得到一系列配准结果后，得到与图谱中每个真实图像A_i相对应的坐标变换T_i。再分别将对应的二值标注图像L_i按照T_i进行坐标变换，最后可以得到一系列的形变的二值分割图像L_i⊙T_i。

为了获得粗略的分割结果，这里我们使用经典的多数投票的方法对所有的二值分割图像L_i⊙T_i进行阈值处理，从而获得最终的粗分割结果，如公式2所示，其中A^(S)为最终的粗分割结果，为各个图谱对于带分割图像的配准得到的分割结果。

2.精准分割

这里我们训练DCNN作为像素分类器对前一步粗分割部分得到的待分割区域内的所有像素点进行分割，判断其是否为前列腺像素。如公式3所示，任意像素点V是否在带分割区域B(V)中由V的粗分割最终结身的大小确定。

在DCNN的训练过程中，我们首先在训练样例中，在前列腺边界两侧的给定区域内，提取大量的24×24大小的图像块，这里给定区域的半径取图像块边长大小，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到DCNN中，训练得到具有分类两类图像块的网络模型。这里DCNN的网络结构如图1所示。其中包括3组卷积+池化+激活层以及两层全连接层和一层softmax-loss层。其中卷积层的核大小为5×5，滑动步长为1，并采用补0的方式使得卷积得到的特征尺寸保持不变。池化层采用最大池化的方式，滑动窗的大小为2×2，步长为2。激活函数统一使用修正线性单元激活函数(ReLU)，作用效果如公式4所示。

f(x)＝max(0，x) (4)

Softmaxloss层作用是将全连接层输出的线性预测值转化为与输出类别对应的后验概率。其中，与此同时，我们在网络中还引入了Dropout层用以提高网络的分类性能。

本发明在训练DCNN预测前列腺像素的时，还进一步引入了集成学习来提高像素的预测正确率。具体来说，我们利用测试数据集训练多个独立的DCNN模型，在对待预测区域内的像素进行预测时，利用所有的DCNN对图像块进行预测，并对预测结果进行集成判别，具体实现如公式5所示。

其中m_k是第K个DCNN模型，p(x＝y_i|m_j)是在第m_j个DCNN网络模型中输入图像块x被分为类别y_i的概率。

最后，我们对集成学习得到的分割结果进行后处理。由于我们训练的DCNN是作为像素分类器来对像素进行分类，因此一些分类误差是在所难免的，这些分类误差有可能造成最终的分割结果存在异常值，如毛刺和不规则凹凸部分。这里我们先使用MATLAB的二值图像处理函数对分割结果图像进行处理，去除了空洞和毛刺。再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。

Claims (2)

1.一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤如下：

步骤1：对无直肠线圈图像和直肠线圈图像两类图像进行预处理：

对无直肠线圈图像按照公式1进行归一化：

$I_x^{\′}=\left\{\begin{array}{c}255*\frac{(I_x-I_{min})}{(I_{\max }-I_{\min })},I_x\≤\mathrm{\τ}\\ 255,I_x\≥\mathrm{\τ}\end{array}\right.---\left(1\right)$

其中I_x和I′_x分别为位归一化前后像素x的像素值，I_max和I_min分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值；

对直肠线圈图像先进行泊松融合，然后再利用公式1对其进行归一化；

步骤2：利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理，得到与图谱中每个真实图像A_i相对应的坐标变换T_i，再分别将真实图像A_i对应的二值标注图像L_i按照T_i进行坐标变换，得到一系列的形变的二值分割图像L_i⊙T_i；使用多数投票的方法对所有的二值分割图像L_i⊙T_i进行阈值处理，从而获得最终的粗分割结果：

$A^{\left(S\right)}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{A}_i^{\left(S\right)}---\left(2\right)$

其中A^(S)为最终的粗分割结果，为各个图谱对于带分割图像的配准得到的分割结果；

步骤3：在前列腺边界两侧的给定区域内，给定区域的半径取图像块边长大小，提取大量的n×n大小的图像块，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到多个DCNN中，训练得到多个具有分类两类图像块的网络模型；所述的DCNN包括3组卷积、池化、激活层以及两层全连接层和一层softmax-loss层；

步骤4：利用所有的DCNN对待分割区域B(V)内的所有像素点V进行分割，V∈B(V),并对分割结果进行集成判别：

$p(x=y_i|m_1,...,m_k)=\frac{1}{k}{\mathrm{\Σ}}_{j=1}^{k}p(x=y_i|m_j)---\left(5\right)$

其中m_k是第K个DCNN模型，p(x＝y_i|m_j)是在第m_j个DCNN网络模型中输入图像块x被分为类别y_i的概率；

步骤5：使用MATLAB的二值图像处理函数对步骤4的分割结果进行处理，去除了空洞和毛刺；再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。

2.根据权利要求1所述的一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤3中的n为24。