CN111666997B - 一种样本平衡方法及目标器官分割模型构建方法 - Google Patents

Abstract

本发明公开了一种样本平衡方法及目标器官分割模型构建方法，样本平衡方法为，在训练过程中，每隔β个epoch，舍弃α％的负样本，直至负样本全部被舍弃。本发明在训练过程中，逐渐减少负样本数目，能在训练前期很好地利用负样本的相关特征信息，又能很好地避免过多负样本带来的样本不平衡问题，有效地解决了医学图像分割过程中存在的数据不平衡问题，提高了分割精度。

Description

一种样本平衡方法及目标器官分割模型构建方法

技术领域

本发明涉及深度学习技术领域，具体是一种基于负样本选择策略的样本平衡方法及目标器官分割模型构建方法。

背景技术

医学图像的准确、自动分割是辅助医疗的重要前提。传统的水平集、阈值分割、区域生长等方法在一定程度上已经实现了自动或半自动分割，但这些方法的特征提取能力有限，分割的准确性难以满足临床需要。近几年，基于深度学习的分割方法已经在肝脏分割、脾脏分割、肺结节检测等任务中取得了巨大的成功。但是深度学习依赖大量的人工标注数据，在训练过程中不可避免地遇到一系列数据不平衡问题，例如前景-背景不平衡，困难-容易不平衡。这些不平衡问题得不到妥善处理，会干扰模型的训练过程，降低预测精度。

在医学分割任务中最常见的不平衡问题就是前景与背景之间的不平衡和困难样本与容易样本之间的不平衡。前景-背景的不平衡往往是由以下两方面造成的：1、负样本数目过多；2、目标区域在正样本中的占比过小。与背景-前景不平衡不同，目前没有明确的标准来区分容易样本和困难样本。此外，分割任务的不同也会导致样本角色的变化，例如在在肝脏分割任务中的容易样本，在胰腺分割任务中可能就是困难样本，因此，很难在训练之前区分困难样本和容易样本。实验中，我们发现困难样本往往是由于样本自身的缺陷造成的，例如器官病变、肿瘤等，对于这些样本的准确分割在临床中具有重要的意义。

目前，在普遍使用的由粗到细训练策略来解决样本不平衡问题，如图1所示，首先训练一个粗分割网络来获取目标的大致区域，然后通过剪切操作来获得感兴趣区域(ROIs)，最后利用提取的ROIs作为网络的输入进行模型的精细训练。该方法通过减小背景区域以及负样本的数量解决在精细训练阶段的不平衡问题，但是无法处理粗分割阶段的不平衡问题。然而，该方法最终的分割精度严重依赖粗分割阶段的分割结果，ROIs识别不准确往往带来模型预测效果不可弥补的损失。因此，在粗分割阶段解决相关的不平衡问题是十分必要的。

与正样本相比，大部分负样本是很容易训练的，过多易训练的负样本在一定程度上会干扰相关正样本在模型中的贡献，但是部分负样本在模型训练中也有一定贡献，特别是在训练的前期。传统样本挖掘方法直接去掉大量负样本，这可能导致训练不充分的问题。然而，直接去除所有负样本会带来分割精度的降低。

发明内容

针对现有模型训练过程中存在的前景-背景不平衡和困难-容易样本不平衡问题，本发明提出一种能够有效解决医学图像分割过程中样本不平衡问题的样本平衡方法，及基于该样本平衡方法的目标器官分割模型构建方法。

本发明保护一种样本平衡方法，训练过程中，每隔β个epoch，舍弃α％的负样本，直至负样本全部被舍弃；优选的，从负样本远离正样本一端进行负样本舍弃。

本发明还保护一种目标器官分割模型构建方法：首先，收集目标器官CT数据，并分组为训练集、验证集、测试集；其次，搭建卷积神经网络；再次，分割模型训练，训练过程中通过前述样本平衡方法进行样本处理；最后分割模型验证。

进一步的，收集医学图像数据后，对原始数据进行预处理，将HU值规范到[-200,250]，然后通过平移、翻转、镜像对样本进行扩增。

进一步的，分割网络采用Encoder-Decoder模式，在Encoder和Decoder之间利用卷积块来进行底层信息与高层信息的融合。

进一步的，模型训练过程中使用Adam优化器，交叉熵损失函数作为网络的损失函数。

进一步的，采用三维连通域对分割结果进行后处理。

本发明在训练过程中，逐渐减少负样本数目，能在训练前期很好地利用负样本的相关特征信息，又能很好地避免过多负样本带来的样本不平衡问题，有效地解决了医学图像分割过程中存在的数据不平衡问题，提高了分割精度。

附图说明

图1为样本不平衡问题由粗到细训练的解决策略；

图2为每个病例样本分布示意图；

图3为负样本逐步舍弃示意图；

图4为L(α,β)参数不同时的r值变化折线图；

图5卷积神经网络示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

为了普适化描述基于负样本选择策略的样本平衡方法，假设训练集中有m个病例，X_i代表第i个病例，i＝{1,2,...,m}。每个病例有数量不等的样本，假设第i个病例有n个样本，x_i,j表示第i个病例的第j个样本，j＝{1,2,...,n}。

基于医学图像数据的建立过程，每个病例的负样本往往位于正样本的两端，假设N_i,1＝{x_i,1,…,x_i,l-1}和N_i,2＝{x_i,l+k,…,x_i,n}分别表示负样本集合，P_i＝{x_i,l,…,x_i,l+k-1}表示负样本之间的正样本集合，如图2所示。

负样本数目过多就存在样本不平衡的问题，干扰模型的训练过程，降低预测精度。若采用普遍使用的由粗到细训练策略来解决样本不平衡问题，负样本从训练初期就被舍弃，对于后续训练出来的分割模型的预测精度也存在影响。

参照表1，AS表示所有样本参与训练，APS表示只有正样本参与训练，CDP表示连通域处理。从表1中可以看出，所有样本参与训练的平均DSC高于只有正样本参与训练的平均DSC，经过连通域处理后，DSC能够得到一定程度的提升。

Method	Mean DSC	Max DSC	Min DSC
				AS	82.70％±7.01％	88.76％	67.92％
AS+CDP	82.83％±6.97％	88.76％	68.02％
				APS	80.99％±4.63％	87.36％	72.52％
APS+CDP	81.73％±4.42％	87.43％	73.53％

表1

为此，本发明在训练过程中逐渐减少负样本数目，在增强模型对正样本特征的提取的同时，留存了负样本对于模型训练的价值。

具体操作为，挑选每个病例的所有正样本以及部分与正样本相邻的连续负样本。定义负样本的样本选择比例为r∈[0,1]，将选择的负样本分别标记为SN_i,1和SN_i,2，对应的样本数量分别为n_i,1和n_i,2，则n_i,1＝[(l-1)×r]，n_i,2＝[(n-l-k+1)×r]，从而，在X_i上选取的样本可标记为这个训练集/>

训练过程中，可以通过逐步降低r值来减少训练集中的负样本，这样有助于帮助训练模型将更多的注意力放在正样本的特征提取上，进而提高分割结果的准确性。具体的，本实施例采用L(α,β)来调节r值，L(α,β)表示r值每隔β个epoch降低α％，如图3、图4示例。图3示例中，r初始值为1，每隔一定epoch降低20％，直至负样本全部被舍弃。图4示例中，4条线分别表述每隔1个epoch降低10％、每隔1个epoch降低20％、每隔2个epoch降低20％、每隔5个epoch降低20％的r值折线图。

由于医学数据相邻的样本之间具有很强的关联性，在分割任务中能起到信息互补的作用。因此，在舍弃负样本的过程中，首先舍弃远离正样本一端的负样本。

利用上述样本平衡方法进行胰腺分割模型的建立：

1、收集公开的胰腺CT数据82套，层厚1.5-2.5mm，样本数目181-466。随机选取62套作为训练集，5套作为验证集，15套作为测试集。

2、对原始CT数据进行预处理，将HU值规范到[-200,250]，然后通过平移、翻转、镜像等操作对样本进行扩增，以缓解训练过程中的过拟合问题。

3、搭建卷积神经网络

利用TensorFlow学习库进行网络搭建，分割网络采用经典Encoder-Decoder模式，参照图5。Encoder模块采用卷积块和残差块的堆叠进行特征提取，利用步长为2的卷积来降低特征的空间分辨率；Decoder模块利用转置卷积将Encoder模块提取的富含语义信息的特征图谱逐渐恢复到原始图像大小，并对图像中的每一个像素进行分类。

在模型中有3个辅助损失层和一个主要的损失层。在Encoder和Decoder之间，利用卷积块来进行底层信息与高层信息进行融合，以增强边缘的分割效果。

4、训练分割模型

利用处理后的训练集进行模型的训练。训练过程中利用前述样本平衡方法缓解训练过程中样本不平衡问题。

模型训练过程中采用Adam优化器，交叉熵损失函数作为网络的损失函数，并同时采用深层监督策略来提高分割的精度。

交叉熵损失函数其中y_i代表真实值中的第i个像素，/>代表预测结果中的第i个像素。

总损失函数为其中/>分别代表主损失函数和3个辅助损失函数，β₁、β₂、β₃表示权重。

初始学习速率设置为1×10^-4，训练过程中根据公式逐渐降低学习速率；使用早停机制终止模型训练，忍受范围设置为10个epoch，Batch大小设置为6。

采用三维连通域对分割结果进行处理，去除可能存在的噪点，进一步提高分割的效果。

四、分割模型验证

对步骤三获得的分割模型进行验证，利用Dice相似性系数评估模型的分割效果，具体结果见表2。

Method	Mean DSC	Max DSC	Min DSC
				Baseline	82.70％±7.01％	88.76％	67.92％
PNSS	83.12％±6.21％	89.13％	71.64％

表2

Baseline是对照实验，不采用本发明提供的样本平衡方法，PNSS表示采用本发明提供的样本平衡方法进行样本训练。从表2中可以看出，通过本发明提供的样本平衡方法能提高模型的分割效果。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种目标器官分割模型构建方法，其特征在于，包括以下步骤：

步骤1，收集医学图像数据，并随机分为训练集、验证集、测试集，并且假设训练集中有m个病例，X_i代表第i个病例，i＝{1,2,...,m}，其中每个病例有数量不等的样本，假设第i个病例有n个样本，x_i,j表示第i个病例的第j个样本，j＝{1,2,...,n}；

基于医学图像数据的建立过程，每个病例的负样本往往位于正样本的两端，假设N_i,1＝{x_i,1,…,x_i,l-1}和N_i,2＝{x_i,l+k,…,x_i,n}分别表示负样本集合，P_i＝{x_i,l,…,x_i,l+k-1}表示负样本之间的正样本集合；

步骤2，搭建卷积神经网络；

步骤3，分割模型训练，训练过程中对样本进行平衡处理，具体操作为挑选每个病例的所有正样本以及部分与正样本相邻的连续负样本，样本包括正样本和分布于正样本两端的负样本，对于正样本两端的负样本，每隔β个epoch，从负样本远离正样本一端舍弃α％的负样本，直至负样本全部被舍弃；

步骤4，分割模型验证。

2.根据权利要求1所述的目标器官分割模型构建方法，其特征在于，收集目标器官CT数据后，对原始CT数据进行预处理，将HU值规范到[-200,250]，然后通过平移、翻转、镜像对样本进行扩增。

3.根据权利要求2所述的目标器官分割模型构建方法，其特征在于，分割网络采用Encoder-Decoder模式，在Encoder和Decoder之间利用卷积块来进行底层信息与高层信息的融合。

4.根据权利要求3所述的目标器官分割模型构建方法，其特征在于，模型训练过程中使用Adam优化器，交叉熵损失函数作为网络的损失函数。

5.根据权利要求4所述的目标器官分割模型构建方法，其特征在于，采用三维连通域对分割结果进行后处理。