CN107730507A

CN107730507A - 一种基于深度学习的病变区域自动分割方法

Info

Publication number: CN107730507A
Application number: CN201710740014.0A
Authority: CN
Inventors: 冯翱; 马宗庆
Original assignee: Chengdu University of Information Technology
Current assignee: Chengdu University of Information Technology
Priority date: 2017-08-23
Filing date: 2017-08-23
Publication date: 2018-02-23

Abstract

本发明涉及一种基于深度学习的病变区域自动分割方法，其包括以下步骤：S1)采集多个病例数据，然后对病变部位特定模态的医学图像进行标准化预处理；S2)由医学影像师对病变区域逐层进行边缘标注，将其作为真实数据；S3)进行训练样本的提取，从病变区域内部和病变区域之外一定距离内的体素中，随机各抽取若干体素，并以该体素为中心取固定大小的图片块作为下一步的训练样本；S4)建立深度学习神经网络，对上述病例的正负样本进行训练；进行后处理和分割精度测评，在取得满意分割精度后，得到分割模型；S5)对于待诊断的病例，采集同部位同样模态的医学图像，进行标准化预处理；S6)使用分割模型自动检测病变区域，输出分割结果。

Description

一种基于深度学习的病变区域自动分割方法

技术领域

本发明涉及医学图像处理领域，尤其涉及一种基于深度学习的病变区域自动分割方法。

背景技术

医学图像的处理目前还是以人工方式为主，在二维或三维图像中挑选出病变可能较大的区域，由医学影像师在二维图像上进行人工的描绘，医师再根据人工标注结果进行诊断和相应的治疗。部分医疗机构开始引入一些辅助诊断的设备，基于形状或者异常检测等手段发现疑似病变区域，并由人工进行进一步确认和边缘描绘。

对于肿瘤等人体的物理病变，可以使用多种医学仪器对人体进行检查，生成不同模态的人体图像(包括但不限于X光、CT、PET、MRI，DTI等)。在这些图像中，病变区域可能显示出与正常区域不同的形状、信号强度、纹理等，这些信息可以用于相关疾病的诊断，并辅助多种治疗手段进行病变的精确治疗。医学图像中病变区域的识别是一个较为困难的问题，需要有经验的医师和大量的人力进行二维或三维图像的人工标注，但在实际操作中，一方面是熟练医师的稀缺，另一方面由于标注人员水平差异较大，质量不能保证，存在错误标注或遗漏，导致患者不能得到及时准确的诊断，贻误病情。

发明内容

针对现有技术之不足，本发明提出了一种基于深度学习的病变区域自动分割方法，其包括以下步骤：

S1)采集多个病例数据，然后对病变部位特定模态的医学图像进行标准化预处理；

S2)由医学影像师对病变区域逐层进行边缘标注，将其作为真实数据；

S3)进行训练样本的提取，其包括：从病变区域内部和病变区域之外一定距离(在实验中该距离取10个体素)内的体素中，随机各抽取若干(实验中病变区域内取10000个或病变区域总体素数量中的较小值，病变区域外取10000个)体素，并以该体素为中心取固定大小的图片块(实验中取31*31的二维图片块，或31*31*5的三维图片块)用于作为下一步的训练样本；图片中心在病变区域内部的作为正样本，图片中心在病变区域外的作为负样本，正负样本的图片块中均同时包含两类体素，即，病变区域内的体素和病变区域外的体素；

S4)建立深度学习神经网络，对上述病例的正负样本进行训练；进行后处理和分割精度测评，在取得满意分割精度(实验中Dice相似性系数DSC>0.75，平均对称表面距离ASSD<2.2)后，得到分割模型；

S5)对于待诊断的病例，采集同部位同样模态的医学图像，然后使用相同的预处理参数进行标准化预处理；

S6)使用分割模型自动检测病变区域，然后输出分割结果。

根据一个优选实施方式，在步骤S4中，深度学习网络包括卷积神经网络(CNN)、循环神经网络(RNN)和二者的混合网络。

根据一个优选实施方式，所述卷积神经网络(CNN)由卷积层、下采样层、局部规范化、Dropout、全连接层和Softmax组成；所述循环神经网络(RNN)中的每层由多个LSTM单元组成，每层在训练阶段有Dropout，最后连接Softmax；混合网络的结构包含CNN中的卷积层、RNN中的RNN层和Softmax。

根据一个优选实施方式，对于待标注的区域每个体素，以其为中心取同样大小的图片块，然后通过训练完成的神经网络得到该体素属于病变区域的概率；对于所有体素同样进行处理后，得到该区域病变概率的热度图；对接近区域边缘的体素，如果图片块超出边缘，使用镜像进行补边。

根据一个优选实施方式，在利用前述方法得到的热度图出现分割边缘不清晰，噪音严重的情况时，使用全局优化算法对其进行后处理，以得到平滑且清晰的分割边缘。前述全局优化算法包括GraphCut和条件随机场(CRF)，对于GraphCut来说，使用热度图的概率作为全局优化能量的一元项，体素间的空间邻接关系确定节点间的二元项是否存在，相邻节点是否划分为相同类型(病变或正常区域)决定二元项的取值。CRF使用方法与GraphCut类似，但考虑所有体素间的连接关系。

本发明具有以下有益效果：

本发明在使用医学影像进行疾病检测的应用中，针对传统手工或半自动方法工作量大、标注质量不高或差异较大等特点，设计了一种基于深度学习的全自动方法，可以实现对于病变区域的自动分割，并且能取得较高的精度。在训练阶段，需要由相关领域的医学影像师对于若干病例进行标注，使用病变区域及附近提取的图片块建立训练集，然后用深度学习网络对其训练，取得高精度的分割模型。对于待诊断的病例，可以用该分割模型处理其医学图像，获得病变区域的标注数据。相对传统的方法，除了训练阶段需要人工标注外，其余部分均可实现自动处理，大大降低对于有经验医师的需求。

附图说明

图1是本发明的方法流程图；

图2是卷积神经网络CNN的示意图；

图3是循环神经网络RNN的示意图；

图4是混合网络CNN+RNN的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，本发明的基于深度学习的病变区域自动分割方法包括以下步骤：

S1)采集多个病例数据，然后对病变部位特定模态的医学图像进行标准化预处理。具体地，寻找若干有某类疾病的病例，采集其病变部位特定模态的医学图像，进行标准化预处理。

S2)由医学影像师对病变区域逐层进行边缘标注，将其作为真实数据。具体地，由熟悉该病症的医学影像师，对于病变区域逐层进行边缘标注，作为真实数据。

S3)进行训练样本的提取，其包括：从病变区域内部和病变区域之外一定距离内的体素中，随机各抽取若干体素，并以该体素为中心取固定大小的图片块用于作为下一步的训练样本。图片中心在病变区域内部的作为正样本，图片中心在病变区域外的作为负样本，正负样本的图片块中均同时包含两类体素，即，病变区域内的体素和病变区域外的体素。具体地，“病变区域之外一定距离内的体素中”具体是指在实验中该距离取10个体素。“随机各抽取若干体素”是指实验中病变区域内取10000个或病变区域总体素数量中的较小值，病变区域外取10000个体素。“取固定大小的图片块”是指实验中取31*31的二维图片块，或31*31*5的三维图片块。

S4)建立深度学习神经网络，对上述病例的正负样本进行训练。进行后处理和分割精度测评，在取得满意分割精度后，得到分割模型。具体地，深度学习网络包括但不限于：卷积神经网络(CNN)、循环神经网络(RNN)和二者的混合网络。其中卷积神经网络(CNN)由若干卷积层(包含ReLU或其他非线性激活函数)、下采样层、局部规范化、Dropout、全连接层和最后的Softmax组成；RNN含若干层，每层由多个LSTM单元组成，每层在训练阶段有Dropout，最后接Softmax；混合网络先进行若干层卷积和下采样，然后接RNN层和Softmax。“取得满意分割精度”具体是指实验中Dice相似性系数DSC>0.75，平均对称表面距离ASSD<2.2。“后处理”主要采用GraphCut和CRF两种算法，其均为学术界标准方法，此处不再赘述。

S5)对于待诊断的病例，采集同部位同样模态的医学图像，然后使用相同的预处理参数进行标准化预处理。

S6)使用分割模型自动检测病变区域，然后输出分割结果。具体地，对于待标注的区域每个体素，以其为中心取同样大小的图片块，通过上面训练完成的神经网络，得到该体素属于病变区域的概率。对于所有体素同样进行处理后，得到该区域病变概率的热度图。对接近区域边缘的体素，如果图片块可能超出边缘，使用镜像等方式补边。

优选地，热度图可能存在体素之间的分布不规则，或包含较大噪声，需要后处理以得到平滑的区域划分。使用GraphCut或条件随机场(CRF)等全局优化算法生成病变区域的边缘，GraphCut中热度图的概率作为全局优化能量的一元项，体素间的空间邻接关系确定节点间的二元项是否存在，相邻节点是否划分为相同类型(病变或正常区域)决定二元项的取值。

在使用医学影像进行疾病检测的应用中，本发明可以实现对于病变区域的自动分割，并且能取得较高的精度。在训练阶段，由相关领域的医学影像师对于若干病例进行标注，使用病变区域及附近提取的图片块建立训练集，然后用深度学习网络对其训练，取得高精度的分割模型。对于待诊断的病例，可以用该分割模型处理其医学图像，获得病变区域的标注数据。

对于深度学习网络，其训练使用随机梯度下降(SGD)、Adam优化等方式，计算框架可以是Caffe或TensorFlow等，在CPU、GPU或其他专用硬件上运行。

如图2所示为CNN的示意图，实际网络结构与示意图中相似，但可以根据数据类型和训练情况进行必要的调整。

如图3所示为RNN的示意图，实验中两层RNN网络可以取得较好的训练效果，同时结构简单训练效率高，根据训练数据和效果，可以对网络结构进行必要的调整。

如图4所示为CNN+RNN的示意图，采用两层RNN网络代替CNN中的全连接层，实际网络结构与示意图中相似，根据数据和训练情况可以对其结构和参数进行必要的调整。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims

1.一种基于深度学习的病变区域自动分割方法，其特征在于，包括以下步骤：

S3)进行训练样本的提取，其包括：从病变区域内部和病变区域之外一定距离内的体素中，随机各抽取若干体素，并以该体素为中心取固定大小的图片块用于作为下一步的训练样本；图片中心在病变区域内部的作为正样本，图片中心在病变区域外的作为负样本，正负样本的图片块中均同时包含两类体素，即，病变区域内的体素和病变区域外的体素；

S4)建立深度学习神经网络，对上述病例的正负样本进行训练；进行后处理和分割精度测评，在网络参数收敛并取得满意分割精度后，得到分割模型；

S6)使用分割模型自动检测病变区域，然后输出分割结果。

2.如权利要求1所述的方法，其特征在于，在步骤S4中，深度学习网络包括卷积神经网络(CNN)、循环神经网络(RNN)和二者的混合网络。

3.如权利要求2所述的方法，其特征在于，所述卷积神经网络(CNN)由卷积层、下采样层、局部规范化、Dropout、全连接层和Softmax组成；所述循环神经网络(RNN)中的每层由多个LSTM单元组成，每层在训练阶段有Dropout，最后连接Softmax；混合网络的结构包含CNN中的卷积层、RNN中的RNN层和Softmax。

4.如权利要求1所述的方法，其特征在于，对于待标注的区域每个体素，以其为中心取同样大小的图片块，然后通过训练完成的神经网络得到该体素属于病变区域的概率；对于所有体素同样进行处理后，得到该区域病变概率的热度图；对接近区域边缘的体素，如果图片块超出边缘，使用镜像进行补边。

5.如权利要求4所述的方法，其特征在于，在利用前述方法得到的热度图出现分割边缘不清晰、噪音严重的情况时，使用全局优化算法对其进行后处理，以得到平滑且清晰的分割边缘。