CN113570627B

CN113570627B - 深度学习分割网络的训练方法及医学图像分割方法

Info

Publication number: CN113570627B
Application number: CN202110752300.5A
Authority: CN
Inventors: 唐智贤; 姚旭峰; 李伟
Original assignee: Shanghai University of Medicine and Health Sciences
Current assignee: Shanghai University of Medicine and Health Sciences
Priority date: 2021-07-02
Filing date: 2021-07-02
Publication date: 2024-04-16
Anticipated expiration: 2041-07-02
Also published as: CN113570627A

Abstract

本发明属于图像处理技术领域，具体涉及一种深度学习分割网络的训练方法及医学图像分割方法。其中训练方法包括获取训练数据，对训练数据的轮廓进行统计，得到目标物体的形状模型，使用形状模型生成多个模拟形状；查找出与模拟形状最接近的训练数据，对模拟形状进行纹理填充，得到模拟数据；将模拟数据和训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络。本发明能够由少量真实数据生成模拟数据，可以显著提高训练效果，使得最终医学图像分割方法得到的分割效果更为理想。

Description

深度学习分割网络的训练方法及医学图像分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种深度学习分割网络的训练方法及医学图像分割方法。

背景技术

在临床决策中，图像分割技术可以为计算机辅助诊断与治疗提供可靠的依据，更是术前评价、手术规划以及手术导航等研究方向的技术支撑，具有重要的理论意义和临床价值。对感兴趣区域(Region of Interest，ROI)进行分割是医学图像处理研究的重要分支。近年来，深度学习技术得到了迅速发展，并且在医学图像分割领域呈现出杰出的表现，继而引发了人们对深度学习的研究热情。如果训练样本足够多，深度学习算法与传统方法相比往往能够得到更加准确的结果，最具代表性的深度学习分割算法有：卷积神经网络(Convolutional Neural Network，CNN)、稀疏自编码器(Sparse Auto-Encoder，SAE)、深度信念网络(Deep Belief Nets，DBN)和循环神经网络(Recurrent Neural Network，RNN)等。然而，医学图像存在难获取、难标记的问题。因此，使用深度学习方法处理小数据量的医学图像往往会出现过拟合的问题。

为了解决医学图像数据量小、获取困难的问题，研究者们提出了不少解决方案，大体可以归为以下四类：

第一、利用多尺度信息。许多文章采用图像块的技术将一张图分解为多张小的图像块进行训练，从而将图像分割问题转化为多个图像块的分类问题。例如Gaonkar的工作中，将原本尺寸较大的图像切割成为尺寸较小的图像进行模型的训练，结果显示可以有效缓解训练图像少的问题。

第二、调整深度学习的网络结构。若在数据量较少的情况下进行深度学习网络的训练，随着网络深度的增大，在训练过程中很容易出现梯度消失或梯度爆炸的现象，从而导致最终网络性能不佳。为了解决这一问题，许多研究者提出了新的网络结构。Wang等人提出了ChestNet网络模型用于肺结节分割，该网络在传统深度卷积网络中加入了一些注意力分支(Attention Branch)。注意力分支使网络能够自适应地集中于病理异常区域进行特征提取，使网络能够从小数据中获取更多的信息。Alom等人提出了用于医学图像分割的R2U-Net网络，网络参考了U-net和RCNN的结构，并引入了残差网络来更好地利用训练数据自身的信息。然而，调整深度网络的结构是一件较为困难的事情，不确定性因素很多，并且复杂的网络在实际应用落地中会存在困难。

第三、图像增强。最常见的是用传统的图像数据增强算法增加训练数据量。传统的图像数据增强算法一般包括图像刚性变换(Rigid Deformation)和弹性变换(ElasticDeformation)两类。刚性变换是指只有物体的位置、大小和方向发生改变，而自身形状不变，如旋转、翻转、尺度变换、裁剪等；弹性变换则改变了物体自身的形状，如错切、仿射等。传统的图像数据增强算法能从现有的训练样本中生成更多的训练数据，以增加深度学习网络模型在训练时提取到更丰富的特征，从而提升网络模型的泛化能力，并且这类方法原理简单、易于实现，是常用的图像预处理方法。然而，传统的图像数据增强算法并不能充分提取图像的自身信息，并且CNN等深度学习模型具备旋转不变特性，因此，该类图像数据增强算法的效果十分有限。

Goodfellow等人2014年首次提出用生成对抗网络(Generative AdversarialNets，GAN)产生新的图像。GAN能够学习样本的内在表达，从而可以生成新的样本。近几年，也有一些利用GAN来解决医学图像数据量小的研究。厦门大学丁兴号等人申请了一项名为一种基于生成对抗网络的医学图像合成方法(申请号：CN201811510479.8)的发明专利，Calimeri等人提出了一种适用于大脑MRI图像数据增强的GAN模型。Bermudez等人使用GAN实现二维大脑图像的合成。使用GAN模型生成的图像较为清晰真实，但这些网络存在训练参数多、网络不稳定、模式易崩溃等缺点。因此，GAN目前多应用于二维医学图像的生成，较少应用于三维图像上，并且生成的图像尺度都比较小。

此外也有相应专利正在申请，例如中南大学的任盛等人申请了一种基于深度学习的医疗图像增强算法(专利号：201910086181.7)，利用深度残差网络学习低分辨率图像到高分辨率图像的非线性映射。例如蚌埠医学院的王凯申请了一种医学领域图像语义相似度矩阵的生成方法(申请号：CN201510455087.6)，该专利以医学领域图像间语义距离为研究对象，通过多策略匹配的相似度关系映射，实现一种基于粗糙语义概率模型的医学图像相似矩阵提取建模方法。但是，目前基于模型的数据增强算法也存在以下一些局限性：

(1)该类算法大多适用于二维图像，且训练图像需要标记大量的特征点；

(2)由于许多人体器官内部可依托的特征点很少，难以进行纹理迁移。

发明内容

本发明针对当前医学图像数据中，已精确标记的医学训练图像数据获取困难的技术问题，目的在于提供一种深度学习分割网络的训练方法及采用该训练方法训练后的深度学习分割网络进行分割的医学图像分割方法。

一种深度学习分割网络的训练方法，包括：

获取训练数据，对所述训练数据的轮廓进行统计，得到目标物体的形状模型，使用所述形状模型生成多个模拟形状；

查找出与所述模拟形状最接近的所述训练数据，对所述模拟形状进行纹理填充，得到模拟数据；

将所述模拟数据和所述训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络。

可选的，所述获取训练数据，对所述训练数据的轮廓进行统计之前，包括：

获取训练数据，所述训练数据为目标物体的多组三维医学原始图像；

对所述训练数据进行预处理，所述预处理过程为对所述三维医学原始图像进行灰度归一化，并通过标签图像表面采样，获得所述目标物体的表面点云。

可选的，所述对所述训练数据的轮廓进行统计，得到目标物体的形状模型，使用所述形状模型生成多个模拟形状，包括：

将N组训练数据的表面均匀采样M个特征点，得到N组形状其中每个形状s_i是M个点构成的集合/> 为每个特征点的坐标值；

最小化所有形状倒平均形状的距离，得到变换后的

计算变换后的平均形状

计算所述训练数据的协方差矩阵C：

对协方差矩阵C＝UΛU^T进行特征值分解，求得协方差矩阵C的特征向量U和特征值Λ，所述特征值Λ给出了所述训练数据在相应特征向量方向上的方差；

在所述特征值Λ中取前k个最大特征值λ＝{λ₁，λ₂，...，λ_k}，及其对应的特征向量E＝{e₁，e₂，...，e_k}，则可得到所述目标物体的形状模型：

其中，b＝{b₁，b₂，...，b_k}是k维的形状参数；

通过调整b值，生成多个所述模拟形状。

可选的，采用普氏分析法最小化所有形状倒平均形状的距离。

可选的，所述形状参数b值的取值范围为

可选的，所述查找出与所述模拟形状最接近的所述训练数据，对所述模拟形状进行纹理填充，得到模拟数据，包括：

查找出与所述模拟形状的模拟图像最接近的所述训练数据中的Q组真实图像；

利用预设的三维薄板样条算法，计算出所述真实图像与所述模拟图像间的空间变换关系；

根据空间变换关系将所述真实图像的灰度值映射至所述模拟图像中，完成所述模拟图像的纹理插值，得到插值后的模拟形状作为新的模拟数据。

计算所述模拟形状m_i的特征点云与训练数据的形状之间的欧几里德距离，找到与所述模拟形状的模拟图像最接近的Q组真实图像；

在Q组所述真实图像中采集一个数据集，所述模拟图像中包含的D对控制点p_i＝(x_i，y_i，z_i)和q_i＝(x′_i，y′_i，z′_i)作为另一个数据集，i＝1，2，...，D，D≤M，假设两个所述数据集全空间的变换关系为f(x，y，z)，则基于三维薄板样条算法的能量函数E的表达为：

因此，变换关系f(x，y，z)转换表达为：

计算出所述真实图像和所述模拟图像全空间的对应关系f(x，y，z)，并且需保证能量函数E取得最小值；

根据变换关系f(x，y，z)将一副所述真实图像的灰度值映射至所述模拟图像中，在完成Q组所述模拟图像的纹理插值，得到插值后，再取平均值，即为的模拟形状，将所述模拟形状作为新的模拟数据。

可选的，所述将所述模拟数据和所述训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络，包括：

将新生成的模拟图像和真实图像混合在一起组成新的训练数据作为训练集，原测试集保持不变；

采用所述训练集构建Nested U-net深度学习分割网络进行粗分割；

采用密集连接的方式来连接所述Nested U-net深度学习分割网络中的各层，得到分割结果，所述密集连接方式采用如下公式：

其中，G_i，j代表一个解码器或编码器，g_i，j是G_i，j的输出，C()代表卷积操作，并紧接ReLU激活函数，U()代表一个上采样操作，[]代表叠操作；

采用所述测试集对已训练后的所述Nested U-net深度学习分割网络进行分割试验，得到初步的深度学习分割网络。

可选的，对所述分割结果用循环神经网络对感兴趣区域进行进一步的精分割，得到分割网络，将所述分割网络和所述循环神经网络连接起来，构成一个统一的端到端的分割-后处理网络，利用所述模拟数据和所述训练数据合并后训练所述分割-后处理网络，得到最终的分割结果。

可选的，所述循环神经网络为CRF as RNN的网络。

一种医学图像分割方法，包括：

获取目标图像，采用上述深度学习分割网络的训练方法训练得到的深度学习分割网络对所述目标图像进行分割，得到分割结果。

本发明的积极进步效果在于：本发明采用深度学习分割网络的训练方法以提高深度学习的训练效果，本发明利用统计形状模型统计训练图像的形状信息并建立形状模型，利用形状模型生成若干个目标区域的模拟形状，再利用三维薄板样条插值算法，对模拟形状进行纹理填充，由此生成模拟图像，最终将生成的模拟图像与真实图像合并在一起进行深度学习网络的训练，本发明能够由少量真实数据生成模拟数据，可以显著提高训练效果，使得最终医学图像分割方法得到的分割效果更为理想。同时，分割流程包括基于Nested U-net深度学习分割网络的粗分割和采用循环神经网络对感兴趣区域进行的精分割，进一步得到更佳的分割效果。

附图说明

图1为本发明深度学习分割网络的训练方法的一种流程图；

图2为本发明一个实施例中平均形状及选取不同b值所形成的模拟形态；

图3为本发明Nested U-net深度学习分割网络的一种网络结构合对应参数；

图4为本发明医学图像分割方法的一种流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。

参照图1，一种深度学习分割网络的训练方法，包括如下步骤：

S1，图像预处理：获取训练数据，训练数据为目标物体的多组三维医学原始图像；对训练数据进行预处理，预处理过程为对三维医学原始图像进行灰度归一化，并通过标签图像表面采样，获得目标物体的表面点云。

本步骤为可选步骤。其中，标签图像为预设的图像，标签图像中具有人为标记的标签数据，通过对标签数据的采样，得到表面点云，该表面点云即为后续的特征点。

S2，生成模拟形状：对训练数据的轮廓进行统计，得到目标物体的形状模型，使用形状模型生成多个模拟形状。

统计形状模型核心思想是对可变形目标的形状进行统计，得到目标区域的形状规律，从而建立相应的统计形状模型。本步骤根据训练数据中目标物体，例如目标器官的轮廓形状，建立统计形状模型，该统计形状模型将用于生成目标物体的模拟形状。

S3，纹理填充：查找出与模拟形状最接近的训练数据，对模拟形状进行纹理填充，得到模拟数据。

在一个实施例中，本步骤可以利用三维薄板样条算法对模拟图像进行纹理填充：

查找出与模拟形状的模拟图像最接近的训练数据中的Q组真实图像；利用预设的三维薄板样条算法，计算出真实图像与模拟图像间的空间变换关系；根据空间变换关系将真实图像的灰度值映射至模拟图像中，完成模拟图像的纹理插值，得到插值后的模拟形状作为新的模拟数据。

本实施例中的薄板样条插值是一种弹性插值算法，用于图像变形的矫正等，其基本思路是利用少量的控制点的位移，驱动整体图像的变化。薄板样条插值具有好的稳定性和收敛性，并且几乎所有与生物有关的形变都可以用其进行模拟。

S4，训练网络：将模拟数据和训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络。

模拟数据包括多张模拟图像，训练数据包括目标物体的多张真实图像，本步骤中将新生成的模拟图像和真实图像混合在一起组成新的训练数据作为训练集，原测试集保持不变；采用训练集构建Nested U-net深度学习分割网络进行粗分割；采用密集连接的方式来连接所述Nested U-net深度学习分割网络中的各层，得到粗分割结果；采用测试集对已训练后的Nested U-net深度学习分割网络进行分割试验，得到最终的深度学习分割网络。

本步骤利用密集连接的特性，构建Nested U-net，主要拥有以下两个优势：第一，密集连接在误差反向传播时，可以一定程度上减轻梯度消失的问题。第二，大量的特征可以被复用，使得算法使用少量的卷积核就可以得到较多的特征，有助于减小深度学习模型的尺寸。

在一个实施例中，本步骤还可以选择循环神经网络作为后处理网络，对分割结果采用循环神经网络对感兴趣区域进行进一步的精分割，得到分割网络，将分割网络和循环神经网络连接起来，构成一个统一的端到端的分割-后处理网络，利用模拟数据和训练数据合并后训练分割-后处理网络，得到最终的精分割结果。其中，循环神经网络为CRF as RNN的网络。

在一个实施例中，本发明的步骤S2，生成模拟形状过程的具体步骤如下：

最小化所有形状倒平均形状的距离，得到变换后的

优选采用普氏分析法最小化所有形状倒平均形状的距离。经普氏分析后，训练样本己经去除了平移、缩放和旋转变换所带来的姿态噪声信息，剩下的只是该类别目标物体所固有的形状信息。

计算变换后的平均形状

计算训练数据的协方差矩阵C：

对协方差矩阵C＝UΛU^T进行特征值分解，求得协方差矩阵C的特征向量U和特征值Λ，特征值Λ给出了训练数据在相应特征向量方向上的方差；

在特征值Λ中取前k个最大特征值λ＝{λ₁，λ₂，...，λ_k}，及其对应的特征向量E＝{e₁，e₂，...，e_k}，则可得到目标物体的形状模型：

其中，b＝{b₁，b₂，...，b_k}是k维的形状参数；该形状参数包括尺度、伸缩及扭转等参数信息。

通过调整b值，生成多个模拟形状。

形状参数b值优选需要有一个合理的取值范围，形状参数b值的优选取值范围为

以前列腺为例，获取前列腺多张三维医学原始图像作为训练样本，经上述生成模拟形状过程，如图2中所示，展示了平均形状及选取不同b值所形成的模拟形状，包括和/>时所形成的四种不同模拟形状。

经过上述步骤后，理论下可得到任意多个目标物体的模拟形状{m_i}，然后需要对模拟形状的内外区域进行纹理插值，插值的步骤如下：

计算模拟形状m_i的特征点云与训练数据的形状之间的欧几里德距离，找到与模拟形状的模拟图像最接近的Q组真实图像；

在Q组真实图像中采集一个数据集，模拟图像中包含的D对控制点p_i＝(x_i，y_i，z_i)和q_i＝(x′_i，y′_i，z′_i)作为另一个数据集，i＝1，2，...，D，D≤M，假设两个数据集全空间的变换关系为f(x，y，z)，则基于三维薄板样条算法的能量函数E的表达为：

算法的主要任务是通过两幅图像的D对控制点的限制下，计算出两幅图像全空间的对应关系f(x，y，z)，并且需保证能量函数E取得最小值。由于纹理插值时，像素点是以离散的形式表示的，因此，变换关系f(x，y，z)转换表达为：

根据变换关系f(x，y，z)将一副真实图像的灰度值映射至模拟图像中，在完成Q组模拟图像的纹理插值，得到插值后，再取平均值，即为模拟形状，将模拟形状作为新的模拟数据。

本实施例利用统计形状模型统计医学图像中感兴趣区域的形状信息，并生成若干个模拟形状。利用三维薄板样条插值算法，对模拟形状进行纹理填充，生成新的训练图像。本发明的改进方法可以找到人体多种器官的形状规律，更加真实地反映医学图像的纹理变化，实现图像数据增强，并且非常适用于三维医学图像的增强。

在一个实施例中，步骤S4中，为了提升网络特征表达和特征定位的能力，使用密集连接来替代传统U-net网络的跳跃连接，利用密集连接(Dense Connections)的方式改进了传统U-net网络中的跳跃连接，并将Nested U-net深度学习分割网络应用于前列腺图像分割中，实现高效且精度较高的前列腺图像全自动分割框架。密集连接通过建立若干个跨层来连通网络中距离较远的前后层，是一种综合长连接和短连接的策略，其具体定义如公式(6)：

其中，如图3中所示，Nested U-net深度学习分割网络的收缩路径遵循典型的卷积网络结构，收缩路径由三个重复的使用3×3卷积核的卷积层组成，且均使用BN层和ReLU激活函数，随后连接一个用于下采样池化层，池化层中进行的是步长为2的2×2最大池化操作。在每一个下采样之后，卷积层的特征通道数量都加倍。在扩张路径中，每一步都包含一次特征图的上采样操作，上采样之后将减少一半的特征通道数量，接着与收缩路径中对应的特征图进行密集连接，随后再用三个卷积层进行卷积运算，且均使用BN和ReLU激活函数。Nested U-net深度学习分割网络一共含有3次下采样和3次上采样操作。需要强调的是，Nested U-net训练过程中，在特征图{g_0，j，j∈{1，2，3，4}}之后，网络均额外连接了一个1×1卷积层，以便于使用平均戴斯系数作为网络的损失函数，损失函数的具体定义如下：

对分割结果用循环神经网络(CRF as RNN)对感兴趣区域进行进一步的精分割，将分割网络和循环神经网络连接起来，构成一个统一的端到端的分割-后处理网络，从而得到新的分割结果。

一种医学图像分割方法，包括如下步骤：

获取目标图像，采用上述深度学习分割网络的训练方法训练得到的深度学习分割网络对目标图像进行分割，得到分割结果。

在一个实施例中，对于任意一个一张目标图像，采用本发明的训练方法得到的分割结果，如图4中所示，具体包括如下步骤：

获取目标图像；

分割网络，得到粗分割结果；

进行CRF as RNN后处理，得到精分割结果。

本发明的医学图像分割方法，可以适用于多种模态，多种类型的三维医学图像，如超声心脏图像、MRI前列腺图像等。在医学图像中精准分割出感兴趣区域，能够为后续计算机辅助手术、计算机辅助诊断、影像组学分析、图像配准等任务提供有利的帮助。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种深度学习分割网络的训练方法，其特征在于，包括：

将所述模拟数据和所述训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络；

所述对所述训练数据的轮廓进行统计，得到目标物体的形状模型，使用所述形状模型生成多个模拟形状，包括：

最小化所有形状倒平均形状的距离，得到变换后的

计算变换后的平均形状

计算所述训练数据的协方差矩阵C：

在所述特征值Λ中取前k个最大特征值λ＝{λ₁,λ₂,…,λ_k}，及其对应的特征向量E＝{e₁,e₂,…,e_k}，则可得到所述目标物体的形状模型：

其中，b＝{b₁,b₂,…,b_k}是k维的形状参数；

通过调整b值，生成多个所述模拟形状；

所述查找出与所述模拟形状最接近的所述训练数据，对所述模拟形状进行纹理填充，得到模拟数据，包括：

2.如权利要求1所述的深度学习分割网络的训练方法，其特征在于，所述获取训练数据，对所述训练数据的轮廓进行统计之前，包括：

3.如权利要求1所述的深度学习分割网络的训练方法，其特征在于，采用普氏分析法最小化所有形状倒平均形状的距离。

4.如权利要求1所述的深度学习分割网络的训练方法，其特征在于，所述形状参数b值的取值范围为

5.如权利要求1所述的深度学习分割网络的训练方法，其特征在于，所述查找出与所述模拟形状最接近的所述训练数据，对所述模拟形状进行纹理填充，得到模拟数据，包括：

在Q组所述真实图像中采集一个数据集，所述模拟图像中包含的D对控制点p_r＝(x_r,y_r,z_r)和q_r＝(x'_r,y'_r,z'_r)作为另一个数据集，r＝1,2,…,D，D≤M，假设两个所述数据集全空间的变换关系为f(x,y,z)，则基于三维薄板样条算法的能量函数E的表达为：

因此，变换关系f(x,y,z)转换表达为：

其中，U(|p_r-(x,y,z)|)为径向基函数；

计算出所述真实图像和所述模拟图像全空间的对应关系f(x,y,z)，并且需保证能量函数E取得最小值；

根据变换关系f(x,y,z)将一副所述真实图像的灰度值映射至所述模拟图像中，在完成Q组所述模拟图像的纹理插值，得到插值后，再取平均值，即为模拟形状，将所述模拟形状作为新的模拟数据。

6.如权利要求1所述的深度学习分割网络的训练方法，其特征在于，所述将所述模拟数据和所述训练数据合并后训练预设的深度学习分割网络，得到训练好的深度学习分割网络，包括：

其中，G_i,j代表一个解码器或编码器，g_i,j是G_i,j的输出，C()代表卷积操作，并紧接ReLU激活函数，U()代表一个上采样操作，[]代表叠操作；

7.如权利要求6所述的深度学习分割网络的训练方法，其特征在于，对所述分割结果用循环神经网络对感兴趣区域进行进一步的精分割，得到分割网络，将所述分割网络和所述循环神经网络连接起来，构成一个统一的端到端的分割-后处理网络，利用所述模拟数据和所述训练数据合并后训练所述分割-后处理网络，得到最终的分割结果。

8.一种医学图像分割方法，其特征在于，包括：

获取目标图像，采用权利要求1至7中任意一项所述的深度学习分割网络的训练方法训练得到的深度学习分割网络对所述目标图像进行分割，得到分割结果。