CN111784721B - 基于深度学习的超声内窥图像智能分割与量化方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的超声内窥图像智能分割与量化方法及系统，方法包括以下步骤：图像归一化预处理；提取感兴趣区域；对不同声阻抗分层进行人工精细标注；数据扩增获得更多图像并将图像及其对应的人工标注图像分为训练集、验证集和测试集；构建全卷积神经网络模型；将训练集送入网络模型进行训练得到分割模型；验证训练完毕的模型对验证集的分割精度；计算分割后不同组织的声阻抗层的相对面积比，得到量化结果。基于本发明可以得到精细的声阻抗分层分割图像以及精确的量化参数，降低人工成本，可望用于医学影像分析等领域。

Description

基于深度学习的超声内窥图像智能分割与量化方法及系统

技术领域

本发明属于生物医学图像处理与深度学习领域，具体涉及一种基于深度学习的超声内窥图像智能分割与量化方法及系统。

背景技术

随着超声内窥镜的普及应用，高分辨、大范围、高深度的超声图像有着十分重要的作用。超声内窥成像是基于检测超声信号在组织中的回波进行成像，可以对组织层次及附近器官成像，反映组织声阻抗的差异性，从而可用于检查深层信息。超声内窥图像分割可以识别并提取出不同组织的声阻抗层的边界，进而直观的分辨出各层的差异和界限，并量化各层组织结构的相对面积比。

现有的分割方法，包括基于灰度阈值的分割方法、区域生长法、边缘检测法。基于灰度阈值的分割方法是最常见的直接检测区域的图像分割方法，用一个或多个阈值将图像分割为多个目标区域或背景，为区分目标还需要对各个区域进行后期标记，但此方法不适用于灰度差异小或各目标区域灰度值范围有较大重叠的图像，难以得到准确的分割结果；区域生长法的基本思想是将有相似性质的像素点合并到一起，对每一个区域要先指定一个种子点作为生长的起点，然后将种子点周围邻域的像素点和种子点进行对比，将具有相似性质的点合并起来继续向外生长，直到没有满足条件的像素被包括进来为止，此方法需要人工交互以获得种子点，必须在每个需要抽取出的区域中植入一个种子点，同时，区域生长法对于噪声十分的敏感，导致抽取出的区域有空洞或将分开的区域连接起来；边缘检测方法是通过检测不同区域间的边缘来解决图像的分割问题，在区域边缘上的像素灰度值往往变化剧烈，边缘检测算子对边缘信息十分敏感，容易检测到伪边界，而且对于像素点也非常敏感，通常在应用检测算子之前先对图像进行滤波，而滤波可能会导致图像信息的损失。

深度学习算法的出现，使得医学图像分割技术有了显著的进展，其分割准确率已经超过了传统分割方法并且可以进行多类别识别，卷积神经网络便是图像处理技术与深度学习技术相结合所产生的经典模型。

发明内容

本发明的目的在于克服现有方法的缺点与不足，提出一种基于深度学习的超声内窥图像智能分割与量化方法及系统，智能识别并分割不同组织的声阻抗层区域，并量化各层面积比，并利用全卷积神经网络模型能够提高分割和量化的准确率、降低人工成本。

为了达到上述目的，本发明采用以下技术方案：

基于深度学习的超声内窥图像智能分割与量化方法，包括以下步骤：

对采集的所有超声内窥图像进行归一化处理，将极坐标系图像转换为笛卡尔坐标系图像；

对归一化处理后的图像，截取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域，所述感兴趣区域为待分割的目标区域；

对所得感兴趣区域的图像进行人工标注，分别对不同组织的声阻抗层各标注一种颜色以表示不同的分割区域；

扩增得到的原始图像和人工标注图像并按设定的比例将其划分为训练集、验证集和测试集；

采用得到的训练集对全卷积神经网络模型进行训练，训练完成后采用得到的验证集验证模型分割精度；所述全卷积神经网络模型包括依次设置的卷积核大小为3×3的卷积层、ReLU激活函数层、卷积核大小为2×2的最大池化层、Dropout层、卷积核大小为2×2的上采样卷积层、卷积核大小为1×1的卷积层以及Softmax激活函数层；

所述全卷积神经网络模型的输入为训练集中的图像，输出为每个像素点属于不同组织的声阻抗层的概率；

保存训练并验证完毕的模型参数；

使用保存的模型参数和得到的测试集对模型进行测试；

量化测试后得到的分割结果的各层相对面积比例，得到量化结果。

进一步的，所述超声内窥图像是横截面图像，所述横截面图像能清晰的分辨出包含不同声阻抗层的组织结构。

进一步的，所述扩增具体为：

对原始图像和人工标注图像进行平移、旋转、拉伸、水平翻转并将所有图像的宽度和高度调整为一致。

进一步的，所述全卷积神经网络包括编码部分和解码部分，具体为：

19个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层、Dropout层、4个卷积核大小为2×2的上采样卷积层、合并结构以及1个卷积核大小为1×1的卷积层；

其中编码部分具体包括10个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层以及Dropout层；

解码部分具体包括9个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的上采样卷积层以及1个卷积核大小为1×1的卷积层。

进一步的，所述对全卷积神经网络模型进行训练具体为：

将训练集作为神经网络的输入，学习率大小设为1e-4。

进一步的，采用自适应矩估计优化器来寻找全局最优点参数，具体为：

利用各层梯度的一维和二维矩估计来动态调整每个参数的学习率，使得每一次迭代学习的过程中学习率都有一个确定的范围，确保参数比较平稳。

进一步的，采用交叉熵损失函数衡量输出值与目标值的误差，作为全卷积神经网络反向传播更新参数的依据。

进一步的，所述模型分割精度的评价指标为像素精度PA，定义为预测正确像素与总的像素的比率，为

其中参数k为图像像素点数。

进一步的，所述量化具体为：

根据分割后图像每一层被标注上的不同颜色，计算每种颜色的像素点的数量，量化出不同的组织的声阻抗层的相对面积比例以及各层面积占组织总面积的比例。

本发明还提供基于深度学习的超声内窥图像智能分割与量化系统，包括图像采集模块、图像预处理模块、网络模型训练与构建模块、分割模块以及量化模块；

所述图像采集模块，用于采集超声内窥图像，所述超声内窥图像为横截面图像；

所述图像预处理模块，用于将采集到的极坐标系超声内窥图像转换为笛卡尔坐标系图像，并选取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域；

所述网络模型构建与训练模块，用于构建全卷积神经网络模型，并采用随机梯度下降算法进行全卷积神经网络模型参数学习，采用交叉熵函数作为损失函数，采用自适应矩估计优化器来寻找全局最优点参数，引入了二次方梯度校正，使得参数比较平稳；

所述分割模块，用于将训练集输入到网络模型中进行训练和参数调整，训练结束后将验证集输入到网络模型中验证分割精度；

所述量化模块，用于图像分割完成后进行各层相对面积的量化。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明基于深度学习的方法改善了图像分割的准确率，利用此方法只需将采集到的超声内窥图像经过简单的预处理后便可输入到神经网络模型中得到分割结果，端到端的图像分割方法减小了人工参与的成本，图像具有分割的高精细度和量化的高精确度，克服了传统图像分割方法难以得到准确的分割结果的不足。

2、本发明利用全卷积神经网络模型，实现无需人工交互与干预即可对超声内窥图像的进行智能分割，降低了人工成本；并基于深度学习和全卷积神经网络模型，实现智能标注不同组织的声阻抗层区域，并对各区域填充不同的颜色加以区分；基于深度学习和全卷积神经网络模型，实现智能计算不同组织的声阻抗层相对面积比，获得精确的各层组织量化参数。

3、本发明结构紧凑，方便操作，便于推广及应用。

附图说明

图1是本发明方法的流程图。

图2是本发明方法的网络模型训练流程图。

图3是本发明的超声内窥图像智能分割实例。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的基于深度学习的超声内窥图像智能分割与量化方法，基于深度学习的方法改善了图像分割的准确率，利用此方法只需将采集到的超声内窥图像经过简单的预处理后便可输入到神经网络模型中得到分割结果，端到端的图像分割方法减小了人工参与的成本，图像具有分割的高精细度和量化的高精确度；请参见图1，本发明包括如下步骤：

S1、图像采集，具体为：

使用超声内窥镜对离体肠进行超声内窥成像；需要注意的是采集到的图像是横截面图像，并且能够清晰的分辨出不同组织的声阻抗层。

S2、图像预处理，具体为：

S21、将采集到的极坐标系超声内窥图像转换为笛卡尔坐标系图像；

S22、对处理后得到的图像，选取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域；

S23、针对超声内窥图像样本不足，且样本间相似性较大的问题，经过平移、旋转、拉伸、水平翻转的方法进行图像扩增操作后共得到420张大小400×400的肠壁超声内窥图像，300张作为训练集、60张作为验证集、60张作为测试集。

S3、构建网络模型与训练，具体为：

S31、采用Python语言和TensorFlow框架构建网络模型，并使用NVIDIA GeForceGTX 1060进行加速。

S32、将Pycharm作为本实施例的集成开发环境对网络模型进行调试，在TensorFlow框架下构建全卷积神经网络模型，将300张大小400×400的训练集图像输入到构建好的网络模型中，学习率大小设为1e-4，经过训练和参数调整，网络模型输出为每个像素点属于不同组织的声阻抗层的概率。

更进一步的，所述全卷积神经网络模型主要由编码部分和解码部分组成，包括：卷积核大小为3×3的卷积层，ReLU激活函数层、卷积核大小为2×2的最大池化层、Dropout层、卷积核大小为2×2的上采样卷积层、卷积核大小为1×1的卷积层以及Softmax激活函数层；

其中编码部分具体包括：10个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层以及Dropout层；解码部分具体包括9个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的上采样卷积层以及1个卷积核大小为1×1的卷积层。

更进一步的，请参见图2，所述全卷积神经网络模型进行训练时：采用随机梯度下降算法进行网络模型参数学习，交叉熵函数作为损失函数，不使用准确度来更新网络模型参数的原因是准确度对参数调整的敏感度不如损失函数。采用自适应矩估计(AdaptiveMoment Estimation)优化器来寻找全局最优点参数，利用各层梯度的一维和二维矩估计来动态调整每个参数的学习率，使得每一次迭代学习的过程中学习率都有一个确定的范围，确保参数比较平稳

在本实施例中，卷积层的目的是提取图像的特征；池化层的目的是进行特征选择，降低特征数量，减少参数量，加快训练速度；Dropout层的目的是缓解过拟合的发生，在一定程度上达到正则化的效果，使网络模型的泛化性能更强；上采样卷积层的目的是将小尺寸的高维度特征图恢复回去，并恢复图像大小，以便做像素预测，获得每个点的分类信息；合并的目的是将多尺度特征融合，可以联合高维特征和低维特征。本实施例全卷积神经网络模型结构如表1所示。

表1全卷积神经网络模型结构

S4、对测试集进行分割，具体为：

S41、将训练集输入到网络模型中进行训练和参数调整；

S42、训练结束后将验证集输入到网络模型中验证分割精度，随后将测试集输入到网络模型中；

所述模型分割精度评价指标为像素精度PA(Pixel Accuracy)，定义为预测正确像素与总的像素的比率，公式为

图3为本实施例的两组测试结果，左半部为原图，右半部为对应的分割结果图。

S5、量化，图像分割完成后接着进行各层相对面积的量化，具体为：

根据每一层被标注上的不同颜色，计算每种颜色的像素点的数量，从而精确的量化出不同的组织的声阻抗层的相对面积比例以及各层面积占组织总面积的比例。

在本发明的另一个实施例中，还提供了一种基于深度学习的超声内窥图像智能分割与量化系统，包括：图像采集模块、图像预处理模块、网络模型训练与构建模块、分割模块以及量化模块；

所述图像采集模块，用于采集超声内窥图像，所述超声内窥图像为横截面图像；

所述图像预处理模块，用于将采集到的极坐标系超声内窥图像转换为笛卡尔坐标系图像，并选取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域；

所述网络模型构建与训练模块，用于构建全卷积神经网络模型，并采用随机梯度下降算法进行全卷积神经网络模型参数学习，采用交叉熵函数作为损失函数，采用自适应矩估计优化器来寻找全局最优点参数，引入了二次方梯度校正，使得参数比较平稳；

所述分割模块，用于将训练集输入到网络模型中进行训练和参数调整，训练结束后将验证集输入到网络模型中验证分割精度；

所述量化模块，用于图像分割完成后进行各层相对面积的量化。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种 基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，包括以下步骤：

对采集的所有超声内窥图像进行归一化处理，将极坐标系图像转换为笛卡尔坐标系图像；

对归一化处理后的图像，截取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域，所述感兴趣区域为待分割的目标区域；

对所得感兴趣区域的图像进行人工标注，分别对不同组织的声阻抗层各标注一种颜色以表示不同的分割区域；

扩增得到的原始图像和人工标注图像并按设定的比例将其划分为训练集、验证集和测试集；

采用得到的训练集对全卷积神经网络模型进行训练，训练完成后采用得到的验证集验证模型分割精度；所述全卷积神经网络模型包括依次设置的卷积核大小为3×3的卷积层、ReLU激活函数层、卷积核大小为2×2的最大池化层、Dropout层、卷积核大小为2×2的上采样卷积层、卷积核大小为1×1的卷积层以及Softmax激活函数层；所述全卷积神经网络包括编码部分和解码部分，具体为：

19个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层、Dropout层、4个卷积核大小为2×2的上采样卷积层、合并结构以及1个卷积核大小为1×1的卷积层；

其中编码部分具体包括10个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层以及Dropout层；

解码部分具体包括9个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的上采样卷积层以及1个卷积核大小为1×1的卷积层；

所述全卷积神经网络模型进行训练时：采用随机梯度下降算法进行网络模型参数学习，交叉熵函数作为损失函数；采用自适应矩估计优化器来寻找全局最优点参数，利用各层梯度的一维和二维矩估计来动态调整每个参数的学习率，使得每一次迭代学习的过程中学习率都有一个确定的范围；

所述全卷积神经网络模型的输入为训练集中的图像，输出为每个像素点属于不同组织的声阻抗层的概率；

保存训练并验证完毕的模型参数；

使用保存的模型参数和得到的测试集对模型进行测试；

量化测试后得到的分割结果的各层相对面积比例，得到量化结果。

2.根据权利要求1所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，所述超声内窥图像是横截面图像，所述横截面图像能清晰的分辨出包含不同声阻抗层的组织结构。

3.根据权利要求1所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，所述扩增具体为：

对原始图像和人工标注图像进行平移、旋转、拉伸、水平翻转并将所有图像的宽度和高度调整为一致。

4.根据权利要求1所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，所述对全卷积神经网络模型进行训练具体为：

将训练集作为神经网络的输入，学习率大小设为1e-4。

5.根据权利要求4所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，采用自适应矩估计优化器来寻找全局最优点参数，具体为：

利用各层梯度的一维和二维矩估计来动态调整每个参数的学习率，使得每一次迭代学习的过程中学习率都有一个确定的范围，确保参数比较平稳。

6.根据权利要求4所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，采用交叉熵损失函数衡量输出值与目标值的误差，作为全卷积神经网络反向传播更新参数的依据。

7.根据权利要求1所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，所述模型分割精度的评价指标为像素精度PA，定义为预测正确像素与总的像素的比率，为

其中参数k为图像像素点数。

8.根据权利要求1所述的一种基于深度学习的超声内窥图像智能分割与量化方法，其特征在于，所述量化具体为：

根据分割后图像每一层被标注上的不同颜色，计算每种颜色的像素点的数量，量化出不同的组织的声阻抗层的相对面积比例以及各层面积占组织总面积的比例。

9.一种基于深度学习的超声内窥图像智能分割与量化系统，其特征在于，包括图像采集模块、图像预处理模块、网络模型训练与构建模块、分割模块以及量化模块；

所述图像采集模块，用于采集超声内窥图像，所述超声内窥图像为横截面图像；

所述图像预处理模块，用于将采集到的极坐标系超声内窥图像转换为笛卡尔坐标系图像，并选取覆盖最上层阻抗边界与最下层阻抗边界的图像作为感兴趣区域；

所述网络模型构建与训练模块，用于构建全卷积神经网络模型，并采用随机梯度下降算法进行全卷积神经网络模型参数学习，采用交叉熵函数作为损失函数，采用自适应矩估计优化器来寻找全局最优点参数，引入了二次方梯度校正，使得参数比较平稳；所述全卷积神经网络包括编码部分和解码部分，具体为：

19个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层、Dropout层、4个卷积核大小为2×2的上采样卷积层、合并结构以及1个卷积核大小为1×1的卷积层；

其中编码部分具体包括10个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的最大池化层以及Dropout层；

解码部分具体包括9个卷积核大小为3×3的卷积层、4个卷积核大小为2×2的上采样卷积层以及1个卷积核大小为1×1的卷积层；

所述全卷积神经网络模型进行训练时：采用随机梯度下降算法进行网络模型参数学习，交叉熵函数作为损失函数；采用自适应矩估计优化器来寻找全局最优点参数，利用各层梯度的一维和二维矩估计来动态调整每个参数的学习率，使得每一次迭代学习的过程中学习率都有一个确定的范围；

所述分割模块，用于将训练集输入到网络模型中进行训练和参数调整，训练结束后将验证集输入到网络模型中验证分割精度；

所述量化模块，用于图像分割完成后进行各层相对面积的量化。

Images