CN108596915A - 一种基于无标注数据的医疗图像分割方法 - Google Patents

Abstract

本发明公开了一种基于无标注数据的医疗图像分割方法，包括以下步骤：A1：采用有标注数据对分割网络进行训练；A2：将包含无标注数据和有标注数据的训练图像输入到所述分割网络进行分割，并将得到的分割结果输入到评价网络；A3：采用所述评价网络对分割结果进行评价；A4：对所述分割网络和所述评价网络进行对抗式训练；A5：当所述分割网络和所述评价网络达到动态平衡时，根据所述分割网络得到无标注数据的最终分割结果。本发明实现了无标注医疗图像的端到端分割，而不需要提前标注好大量医疗图像再用这些标注好的图像来训练分割网络，方法简单高效。

Description

一种基于无标注数据的医疗图像分割方法

技术领域

本发明涉及计算机视觉技术和医疗图像分析领域，尤其涉及一种基于无标注数据的医疗图像分割方法。

背景技术

CT、MR、PET、超声、X光等医疗成像技术在疾病的早期检测、诊断、治疗方面起着重要作用。通常这些医疗图像都是由放射科医生等专门人员进行判断，但由于放射科医生的数量紧缺、病理的变化多样、医生易疲劳的原因，计算机辅助诊断技术的引入变的非常有必要，这其中涉及到计算机视觉技术和医疗图像分析领域的结合。考虑到机器学习在数据分析中的地位，出现了许多基于医生专业知识的辅助诊断系统，系统依然很大程度上依赖医生的诊断规则，不容易推广。然而近年来盛行的深度学习可以很好的解决这一手工特征工程的问题，使得非机器学习领域的专家也能够把深度学习应用到医疗图像处理中。

深度学习的巨大成功与以下几个因素相关：1.计算能力的提高，如GPU集群计算；2.海量数据变的可用；3.学习算法的发展。深度学习在海量数据中学习出适合的特征表达方式，并逐层提升特征层次，在计算机视觉领域取得了辉煌成就。受此启发，在医疗图像的分割、配准、检测、标注等领域，开始出现了相关计算机辅助诊断的技术。

语义分割是医疗图像分析处理的基本问题，它通常是计算机辅助诊断的第一步。深度学习已经在该领域取得了一定进展，为了获得好的分割效果，往往需要很多数量的标注图片来训练模型。由于逐个像素标注的高昂成本和巨大数目的图像尺寸，如一张3D医学图像包括数百张2D图像切片，每张2D图像切片上又有很多细胞器官组织等，因此已标注的医疗图像数量非常稀少。当训练模型时，有大量未标注的数据，却只有少量已标注数据，这为模型的有监督学习提出了巨大困难。基于少量标注数据训练的模型非常容易导致过拟合，即系统的泛化能力很差，不适用于病变变化较大的医学领域；错误的分割极易导致后续医生的误诊，因此如何利用可获得的少量有标注数据来显著提升分割效果则成为了关键。

目前该问题的解决方案主要有二种，一种是迁移学习，将针对自然图像训练好的模型应用到医疗图像中，但是由于自然图像和医疗图像的成像方式和原始分布差距悬殊，基于该方法的医学图像分割效果往往不是很理想；另一种是近年来出现的生成对抗网络(GAN)，它主要由生成器和判别器组成，判别器不断挑选出生成效果较差的样本，来实现样本对应标签的生成。考虑到GAN容易受到对抗攻击的影响，生成的样本标注准确率波动大，使得后续的分割效果无法得到有效保证。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

鉴于现有技术存在的上述缺点，本发明提出一种基于无标注数据的医疗图像分割方法，实现了无标注医疗图像的端到端分割，而不需要提前标注好大量医疗图像再用这些标注好的图像来训练分割网络，方法简单高效。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于无标注数据的医疗图像分割方法，包括以下步骤：

A1：采用有标注数据对分割网络进行训练；

A2：将包含无标注数据和有标注数据的训练图像输入到所述分割网络进行分割，并将得到的分割结果输入到评价网络；

A3：采用所述评价网络对分割结果进行评价；

A4：对所述分割网络和所述评价网络进行对抗式训练；

A5：当所述分割网络和所述评价网络达到动态平衡时，根据所述分割网络得到无标注数据的最终分割结果。

优选地，步骤A1中具体包括：

将有标注数据输入到分割网络，得到分割结果后与标注进行比较，得到多值交叉熵为：

其中，n为训练的有标注数据的个数，x为网络输入，y是期望输出，a是网络的实际输出；

然后根据计算得到的多值交叉熵进行反向传播，来调整所述分割网络的参数，直至所述分割网络具有分割能力。

优选地，步骤A3中具体包括：

所述评价网络根据二值交叉熵来对分割结果进行评价：

c_d＝-[klnk+(1-k)ln(1-k)]

其中，评价结果为好时的概率为k，评价结果为差的概率为(1-k)；

当二值交叉熵大于或等于预设阈值时，所述评价网络评价对应的分割结果为差，当二值交叉熵小于预设阈值时，所述评价网络评价对应的分割结果为好。

优选地，步骤A4中对所述分割网络和所述评价网络进行对抗式训练的具体过程包括：将所述评价网络的评价结果返回给所述分割网络，所述分割网络调整参数以降低误差并将重新得到的分割结果输入到所述评价网络，所述评价网络也调整参数以降低误差并对重新得到的分割结果进行重新评价，以此循环反复。

优选地，步骤A4中具体为采用整体代价函数来对所述分割网络和所述评价网络进行对抗式训练，其中整体代价函数为：

其中，θ_s，θ_d分别为分割网络和评价网络的参数，训练图像中总共有M个有标注数据X_m，标注为Y_m，N个无标注数据U_n，c_s表示分割网络的多值交叉熵，c_d表示评价网络的二值交叉熵，S表示分割，E表示误差，ρ为0～1的调节参数；

在对抗式训练过程中，整体代价函数向不断减小的方向进行，所述分割网络和所述评价网络分别根据整体代价函数来调整各自的参数θ_s，θ_d。

优选地，在对抗式训练过程中，ρ的值逐渐增大。

优选地，步骤A5具体为：当在对抗式训练过程中整体代价函数不能再减小时，所述分割网络和所述评价网络达到动态平衡，结束对所述分割网络和所述评价网络的对抗式训练，此时根据所述分割网络得到无标注数据的最终分割结果。

优选地，所述分割网络采用U-Net。

优选地，所述评价网络采用VGG16网络，该网络将分割结果差的记为0，分割结果好的记为1。

与现有技术相比，本发明的有益效果在于：本发明的基于无标注数据的医疗图像分割方法中只需要采用少量的有标注数据先对分割网络进行训练，然后采用大量无标注数据和少量有标注数据共同训练包括分割网络和评价网络的深度模型，通过网络的对抗式训练，来估计无标注数据的反向传播误差，达到无标注数据分割的目的，其中训练好的网络具有很强的泛化能力，能够满足医疗分割领域准确率的要求。在深度模型中，分割网络专门负责有标注数据和无标注数据的分割，评价网络负责对此前得到的分割结果进行评价，评价网络不断挑选出差的分割结果，分割网络不断训练加强分割的准确率，直至对抗训练完成，评价网络无法分辨出差的分割结果，则可以认为无标注医疗图像的分割效果已达最佳，从而实现了无标注医疗图像的端到端分割，而不需要提前标注好大量医疗图像再用这些标注好的图像来训练分割网络，方法简单高效。

附图说明

图1是本发明优选实施例的基于无标注数据的医疗图像分割方法的流程示意图；

图2是本发明优选实施例的分割网络的具体结构示意图；

图3是本发明优选实施例的评价网络的具体结构示意图；

图4是本发明优选实施例的分割网络和评价网络进行对抗式训练的示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明的优选实施例公开了一种基于无标注数据的医疗图像分割方法，包括以下步骤：

A1：采用少量有标注数据训练分割网络，使分割网络具有一定的分割能力；

在本实施例中，分割网络采用U-Net，它用短连接将下采样层和对应的上采样层结合起来，实现了不同层间特征图的级联，保证了图像的语境信息被充分利用，这有别于其他基于块处理的卷积神经网络；从网络的训练角度来看，该设计可以使网络在一次前向传递中处理整幅完整的医疗图像，来直接得到完整的分割图。具体结构如图2所示，U-Net呈U型结构，包括下采样层和上采样层，其中下采样层主要由卷积和池化运算组成，在这一过程中，特征图的分辨率会不断减小，从而得到物体的大致轮廓信息；而上采样层与下采样层是对称的，用来增大下采样过程中特征图减小的分辨率，从而得到相应物体的细节信息，主要的运算包括反卷积和池化运算；其中图中的跳跃连接主要实现下采样和上采样过程中不同尺度特征图之间的信息融合，具体实现的方式为特征图的级联操作。

采用可获得的少量标注数据训练U-Net，采用有监督学习方式。具体过程如下：

首先将有标注数据输入U-Net，在得到初始分割结果后与标注进行比较，并计算交叉熵代价函数，网络的一次正向传递结束。其中多值交叉熵c_s的计算方法为：

其中，n为训练的有标注数据的个数，x为网络输入，y是期望输出，a是网络的实际输出。

然后，根据计算得到的误差(也即交叉熵代价函数值)进行反向传播，来调整网络的参数，直至网络可以很好地近似输入样本，训练结束，此时的U-Net具备该类医疗图像的分割能力。其中，网络参数的调整采样反向传播算法，反向逐级的求取网络的每层参数对于该层输出的梯度值，然后根据梯度的链式求导法则得到网络各层对于误差的变化梯度，即得到的网络的个参数对于输出误差的变化趋势，从而根据误差减小的方向，来调整网络的参数。

A2：将大量无标注数据和少量有标注数据(可以是步骤A1中的有标注数据)同时输入到分割网络进行分割，并将所得的分割结果输入到具有分类功能的评价网络；

在预训练好的具有分割能力的分割网络后，将训练用的有标注数据和要分割的无标注数据一起送入到分割网络，采用分批处理的方式，可令批尺寸为一次处理四张医疗图像，其中两张为有标注数据，两张为无标注数据，具体大小由计算机显存和实验条件决定，属于网络训练的超参数优化部分，再将网络的分割结果和原始对应图像级联后输入到具有分类功能的评价网络。

A3：评价网络对分割网络的分割结果进行打分，将分割结果差的记为0，分割结果好的记为1；

在本实施例中，评价网络采用VGG16网络，结构简单且容易训练，具有优异的图像分类功能，具体结构如图3所示，该网络除去输入输出之外，网络的层数为16层，包括3个全连接层、4个池化层和9个卷积层，其中全连接层和卷积层加入了批标准化和修正线性单元函数，增强了网络的非线性表达能力和缓解了训练过程中不易收敛的问题。该网络的最后一层输出接入到逻辑斯蒂(Logistic)函数中，将任意实数范围的值映射到0～1间。

训练初期，分割网络对于无标注数据的分割效果较差，而对于有标注数据的分割效果很好，这是由于预训练后的分割网络更加接近于训练样本的原始分布，即初始的有标注数据，相反对未知样本(无标注数据)的分布近似效果很差。

该评价网络将分割结果差的记为0，分割结果好的记为1，相当于引入一对伯努利分布变量，从而可以通过统计值为1的变量数目来判断分割结果的好坏，理想情况下当所有变量均为1时，可以认为所有图像的分割效果都满足要求。但是在实际过程中，值为1的变量数目为离散量，无法求梯度，则无法在训练中进行优化，在本实施例中引入二值交叉熵c_d来表明分割结果的好坏，计算方法为：

c_d＝-[klnk+(1-k)ln(1-k)]

其中，伯努利变量值为1时的概率为k，变量值为0时的概率为(1-k)。通过二值交叉熵来表示网络分割结果和真实值之间的误差，其中二值交叉熵越大，则分割误差越大，分割结果越差，反之二值交叉熵越小，则分割误差越小，分割结果越好。通过设定一预设阈值，当二值交叉熵c_d大于或等于该预设阈值时，评价网络评价对应的分割结果为差，即记为0，当二值交叉熵c_d小于该预设阈值时，评价网络评价对应的分割结果为好，即记为1。

通过评价网络将分割结果的评价结果记为1或0，引入一对伯努利分布变量，可以将统计量的数目由离散值转换成连续的函数，从而解决了网络训练过程中的梯度求导问题。

A4：对分割网络和评价网络进行对抗式训练；

在确定分割网络和评价网络之后，模型整体进行对抗式训练，训练过程中分割网络不断增强医疗图像的分割结果，特别是对于初始分割效果较差的无标注数据，评价网络不断为所得分割结果进行打分，挑选出分割结果较差的，二者处于一个动态博弈的过程；其中该模型的整体代价函数为：

其中，θ_s，θ_d分别为分割网络和评价网络的参数，训练图像总共有M个有标注数据X_m，标注为Y_m，N个无标注数据U_n，c_s表示计算分割网络的交叉熵，c_d表示评价网络的二值交叉熵，S表示分割，S(X_m)表示图像(X_m)经过分割后的结果，E表示误差，E(S(X_m)，Y_m)表示分割后的结果和真实标注之间的误差，其他类似。模型代价函数中前半部分为分割网络总体的误差，后半部分为评价网络总体误差，ρ为0～1的调节参数。

在模型对抗式训练中，初始阶段无标注数据的分割效果很差，评价网络可以很容易的对分割结果进行评价，故令ρ为一接近0的较小值；随着训练的进行，分割效果不断改善，即分割网络部分的总体误差不断减小，考虑到此时评价网络越来越难以对无标注数据的分割结果进行区别，我们逐渐的增加ρ的值，评价网络部分的总体误差不断增加，整个过程中模型的整体代价函数不断减小。模型针对无标注数据的分割能力不断加强，具体对抗过程见附图4，将评价网络挑选出的分割结果为0的数据返回给分割网络，分割网络调整参数以降低误差(即多值交叉熵c_s)并将重新得到的分割结果输入到评价网络，评价网络也调整参数以降低误差(即二值交叉熵c_d)并对重新得到的分割结果进行重新评价，以此循环往复；在模型的对抗训练过程中，上述的整体代价函数向不断变小的方向进行，在整个训练过程中，分割网络和评价网络分别根据整体代价函数进行各自参数的调整。

A5：当分割网络和评价网络达到动态平衡时，根据分割网络得到无标注数据的最终分割结果。

当整体代价函数不能再减小，分割网络和评价网络达到动态平衡，模型整体训练结束；分割网络此时无法挑选出差的无标注数据分割结果，则可认为分割网络针对无标注数据的分割结果已达最佳，评价网络的伯努利变量值全为1。

综上所述，针对该批无标注医疗图像，训练好的模型已经具备较好的分割能力，即实现了一种新的基于无标注数据的医疗图像分割方法。

与现有技术的医疗图像分割方法中，需要事先由专门的医生标注好大量医学图像，再用这些有标注的数据训练网络；通过本发明优选实施例提出的基于无标注数据的医疗图像分割方法，实现了无标注医疗图像的端到端分割，而不需要提前标注好大量医疗图像再用这些标注好的图像来训练分割网络，只需要用现有的少量有标注数据就能实现大量无标注医疗数据的分割，解决了医疗图像中因标注少而带来的分割效果差的问题，方法简单高效。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于无标注数据的医疗图像分割方法，其特征在于，包括以下步骤：

A1：采用有标注数据对分割网络进行训练；

A2：将包含无标注数据和有标注数据的训练图像输入到所述分割网络进行分割，并将得到的分割结果输入到评价网络；

A3：采用所述评价网络对分割结果进行评价；

A4：对所述分割网络和所述评价网络进行对抗式训练；

A5：当所述分割网络和所述评价网络达到动态平衡时，根据所述分割网络得到无标注数据的最终分割结果。

2.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，步骤A1中具体包括：

将有标注数据输入到分割网络，得到分割结果后与标注进行比较，得到多值交叉熵为：

其中，n为训练的有标注数据的个数，x为网络输入，y是期望输出，a是网络的实际输出；

然后根据计算得到的多值交叉熵进行反向传播，来调整所述分割网络的参数，直至所述分割网络具有分割能力。

3.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，步骤A3中具体包括：

所述评价网络根据二值交叉熵来对分割结果进行评价：

c_d＝-[klnk+(1-k)ln(1-k)]

其中，评价结果为好时的概率为k，评价结果为差的概率为(1-k)；

当二值交叉熵大于或等于预设阈值时，所述评价网络评价对应的分割结果为差，当二值交叉熵小于预设阈值时，所述评价网络评价对应的分割结果为好。

4.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，步骤A4中对所述分割网络和所述评价网络进行对抗式训练的具体过程包括：将所述评价网络的评价结果返回给所述分割网络，所述分割网络调整参数以降低误差并将重新得到的分割结果输入到所述评价网络，所述评价网络也调整参数以降低误差并对重新得到的分割结果进行重新评价，以此循环反复。

5.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，步骤A4中具体为采用整体代价函数来对所述分割网络和所述评价网络进行对抗式训练，其中整体代价函数为：

其中，θ_s，θ_d分别为分割网络和评价网络的参数，训练图像中总共有M个有标注数据X_m，标注为Y_m，N个无标注数据U_n，c_s表示分割网络的多值交叉熵，c_d表示评价网络的二值交叉熵，S表示分割，E表示误差，ρ为0～1的调节参数；

在对抗式训练过程中，整体代价函数向不断减小的方向进行，所述分割网络和所述评价网络分别根据整体代价函数来调整各自的参数θ_s，θ_d。

6.根据权利要求5所述的基于无标注数据的医疗图像分割方法，其特征在于，在对抗式训练过程中，ρ的值逐渐增大。

7.根据权利要求5所述的基于无标注数据的医疗图像分割方法，其特征在于，步骤A5具体为：当在对抗式训练过程中整体代价函数不能再减小时，所述分割网络和所述评价网络达到动态平衡，结束对所述分割网络和所述评价网络的对抗式训练，此时根据所述分割网络得到无标注数据的最终分割结果。

8.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，所述分割网络采用U-Net。

9.根据权利要求1所述的基于无标注数据的医疗图像分割方法，其特征在于，所述评价网络采用VGG16网络，该网络将分割结果差的记为0，分割结果好的记为1。