CN110543911B - 一种结合分类任务的弱监督目标分割方法 - Google Patents

Abstract

本发明公开了一种结合分类任务的弱监督目标分割方法，该方法包括：构建结合分类任务的目标分割模型，包括分割模块和分类模块；使用像素级标注数据进行训练，并采用戴斯相似性系数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数；在使用像素级标注数据训练到迭代次数后，加入额外的图像级标注数据共同训练，并采用基于区域置信图的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数；将需要分割的图像输入到模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。本方法一定程度上解决像素级标注样本获取困难的问题以及提升了目标分割的准确率。

Description

一种结合分类任务的弱监督目标分割方法

技术领域

本发明属于图像处理领域的分割方法，适用于对有弱监督信息的图像数据进行目标分割处理，涉及一种结合分类任务的弱监督目标分割方法。

背景技术

语义分割跟图像分类、目标检测被誉为机器视觉领域三大基础性问题。语义分割，即对图像中每个像素点都赋予一个类别信息，如在自动驾驶领域中，汽车摄像头拍摄的画面被自动分割成行人、道路、汽车等不同类别。可以看出，精确地区分图像中每个像素点的类别，是自动驾驶中避免产生事故、道路规划等的前提。语义分割相对于图像分类，不仅要考虑目标的类别信息，更需要考虑目标的位置信息，是计算机利用视觉理解自然世界的关键一步。

随着深度学习理论和硬件的不断发展，深度学习在目标分割领域取得了飞跃式的进步。深度目标分割的运用依赖于大量的像素级别标注数据，以确保方法在实际场景的精确性。但是，获取一个高质量的像素级标注数据是十分困难的，可以想象，标注一个像素级的图片往往要花上几分钟。进一步地，像素级的标注费时费力且成本昂贵，这限制着深度目标分割的实际落地应用。

相对地，弱监督的图像数据只需要标注图像的类别，可以以相对廉价且快速的方法获取。如何利用弱监督数据训练深度目标分割模型，成为一个具有重大现实意义的研究课题。它有利于降低数据采集的成本，加快目标分割算法的落地，推动自动驾驶、图像搜索等领域的发展。

发明内容

为了解决现有方法存在的问题，本发明从弱监督学习着手，提出了一种结合分类任务的弱监督目标分割方法，该方法能在像素级标注数据(即图像中每个像素都被标注了是否为目标)有限的情况下通过额外的图像级标注数据(即图像仅被标注为有无目标区域)提高分割模型的分割性能。

本发明的目的可以通过如下技术方案之一实现。

一种结合分类任务的弱监督目标分割方法，所述方法包括以下步骤：

步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于对图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果；

步骤S2：使用像素级目标标注数据训练结合分类任务的目标分割模型的参数，并采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型；

步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练目标分割模型的参数，并采用基于目标区域置信图(regional confidencemap)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型；

步骤S4：将需要分割的图像输入到步骤S3训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

进一步地，步骤S1中，分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段两部分，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接。

进一步地，步骤S1中，分类模块从分割模块的U型网络底端(即收缩阶段的末尾)和右端的倒数第二层中引出数据流用以判断图像中是否存在目标。

进一步地，步骤S2采用的戴斯相似性系数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽；p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；g_h,w,c代表在人工标注结果中像素(h,w)是否属于c类，该值由专家标注的训练数据得到。

进一步地，步骤S2采用的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，

表示网络预测该图像为第i类的预测概率。

进一步地，步骤S2中，将戴斯相似性系数和交叉熵损失函数相加并赋予权重系数从而得到有监督信息的损失函数，并使用后向传播算法和ADAM(adaptive momentestimation，自适应矩估计)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型。所述有监督信息的损失函数形式如下：

L_loss＝L_Dice+λL_cE

其中，λ为平衡戴斯相似性系数和交叉熵损失函数之间重要性的权重系数。

进一步地，步骤S3中，在共同训练过程中，通过类激活映射(Class ActivationMapping，CAM)技术从分类模块中得到图像级标注数据的目标激活映射图，并通过设定阈值的方式将目标激活映射图转变为二值化图像，从而得到目标区域置信图，然后将目标区域置信图作为监督信息用于约束分割误差，从而使得模型能够学到更利于分割的目标特征。

进一步地，步骤S3中，基于区域置信图的弱监督损失函数如下所示：

其中，C为图像分割的类别数量。H和W为图像的长和宽，p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率。

为

的one-hot编码，而

即将预测出来的分割概率图处理成二值化图像。z_h,w,c＝[Z(h,w)＝c]表示位于(h,w)的像素被置信为c类。Z(h,w)代表位于(h,w)的元素是被置信为目标区域还是背景区域。

进一步地，步骤S3中，将基于区域置信图的弱监督损失函数和交叉熵损失函数相加并赋予权重系数从而得到弱监督信息的损失函数，并使用后向传播算法和ADAM优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型。所述弱监督信息的损失函数形式如下：

L_weak＝αL_seg+L_CE

其中α为权重系数，L_CE是交叉熵损失函数，用于约束模型的分类误差，其形式与步骤S2中一致。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明针对图像分割任务中像素级标注样本获取困难的问题，提出了一种通过图像级标注样本增强分割效果的弱监督分割网络模型。该模型首先通过像素级标注样本进行训练，在训练到一定迭代次数后，加入额外的图像级标注样本共同训练。在共同训练过程中，该模型通过类激活映射技术从图像级标注样本中提取出区域置信图，然后将区域置信图用于约束分割误差，从而使得模型能够学到更利于分割的目标特征，缓解像素级标注样本获取困难的问题。

2、本发明通过结合分类任务和分割任务进行多任务学习，从而使进行分割任务的模块学到了更利于分割的目标特征，进而提升了目标分割准确率。

附图说明

图1为本发明实施例步骤S1采用的结合分类任务的目标分割模型的网络结构图。

图2为本发明实施例采用的平均池化与组卷积部分结构图。

图3为本发明实施例采用的结合分类任务的弱监督目标分割模型的网络结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例:

本实施例提供了一种结合分类任务的弱监督目标分割方法，所述方法包括以下步骤：

步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于对图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果。

图1为本发明实施例步骤S1采用的结合分类任务的目标分割模型的网络结构图。其中图中的数字为特征图的通道数。

步骤S2：使用像素级标注数据进行训练，并采用戴斯相似性系数(Dicesimilarity coefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数。

步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练，并采用基于区域置信图(regional confidence map)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数。

步骤S4：将需要分割的图像输入到模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

步骤S1中，具体地，分割模块的主干部分包含了左侧的收缩路径以及右侧的扩张路径。收缩路径用以提取图像的特征，扩张路径用以恢复目标的细节以及图像的尺寸。在收缩路径阶段，每层网络包含了两层卷积层以及其对应的带泄露整流线性单元(LeakyRectified Linear Unit，Leaky Relu)激活函数，其中卷积核大小为3×3，填充(padding)值为1。在这之后跟着一个2×2大小的最大池化层用以对图像进行下采样，然后在每次下采样完毕以后再通过卷积层对通道数进行翻倍操作，从而增加模型的表达能力。在扩张阶段，首先通过逆最大池化层将图像尺寸进行放大以及使用卷积层将图像通道数进行减半，随后使用跳跃连接将收缩阶段的等分辨率的特征图与当前扩张阶段的特征图进行拼接。然后通过两个卷积层以及对应的Leaky Relu激活函数对图像进行特征提取，其中第一个卷积层将图像的通道数减半。在网络的最后，我们采用卷积核大小为1×1的卷积层进行通道数的归约，并在其后接一个softmax函数(归一化指数函数)进行归一化，最后输出为2通道的分割结果图，其中第一通道代表每个像素为背景的概率，第二通道代表每个像素为目标的概率。

步骤S1中，具体地，分类模块的实现如下：在U型网络的最底端，使用一个卷积核大小为3×3卷积层将特征图的通道数缩减为512，而后使用全局最大池化层(Global MaxPooling，GMP)将512张特征图缩小为一个512维的向量。在U型网络的倒数第二层，采用一个卷积核大小为1×1的卷积层对特征图进行卷积，随后使用两个卷积核大小为3×3的残差块去提取图像的特征信息。然后使用平均池化层(average pooling layer)将特征图的尺寸缩减为6×6，而后使用卷积核大小为6×6的组卷积层，将64张6×6大小的特征图压缩为512维的向量。图2给出了此部分的结构细节图，其中相同填充的标量数据由对应填充的特征图经过组卷积得到；其中圆点表示标量，矩形表示二维的特征图，图中的数字为特征图的尺寸大小。而后将此处得到的512维向量与前面通过全局最大池化层得到的512维的向量进行逐元素的相加。最后将相加得到的向量通过一个全连接层得到一个二维的向量，并将其输入至softmax激活函数中得到最终的分类概率。

步骤S2中，具体地，采用的戴斯相似性系数如下所示：

其中，C为图像分割的类别数量，H和W为图像的长和宽，模型的输出值p_h,w,c代表将像素(h,w)预测为c类的概率，g_h,w,c代表在人工标注结果中像素素(h,w)是否属于c类。

步骤S2中，具体地，采用的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，

表示网络预测该图像为第i类的预测概率。

步骤S2中，具体地，将戴斯相似性系数和交叉熵损失函数相加并赋予权重系数从而得到有监督信息的损失函数，并使用后向传播算法和ADAM优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型。所述有监督信息的损失函数形式如下：

L_loss＝L_Dice+λL_CE

其中，λ为平衡戴斯相似性系数和交叉熵损失函数之间重要性的权重系数，本实施例中将其设置为0.3。

步骤S3中，具体地，在共同训练过程中，通过类激活映射(Class ActivationMapping，CAM)技术从分类模块中提取出图像级标注数据的目标激活映射图，并通过设定阈值的方式将目标激活映射图转变为二值化图像，从而得到目标区域置信图，然后将目标区域置信图作为监督信息用于约束分割误差，从而使得模型能够学到更利于分割的目标特征。

步骤S3中，具体地，基于区域置信图的弱监督损失函数如下所示：

其中，C为图像分割的类别数量。H和W为图像的长和宽，模型的输出值p_h,w,c代表将像素(h,w)预测为c类的概率。

为

的one-hot编码，而

即将预测出来的分割概率图处理成二值化图像。z_h,w,c＝[Z(h,w)＝c]表示位于(h,w)的像素被置信为c类。Z(h,w)代表位于(h,w)的元素是被置信为目标区域还是背景区域。

步骤S3中，具体地，将基于区域置信图的弱监督损失函数和交叉熵损失函数相加并赋予权重系数从而得到弱监督信息的损失函数，并使用后向传播算法和ADAM优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型，图3为本发明实施例采用的结合分类任务的弱监督目标分割模型的网络结构图，图中分割网络部分的详细结构如图1所示。

所述弱监督信息的损失函数形式如下：

L_weak＝αL_Seg+L_CE

其中α为权重系数，本实施例中将其设置为0.03，L_CE是交叉熵损失函数，用于约束模型的分类误差，其形式与步骤S2中一致。

以上述方式训练后得到的模型即为最终应用于生产环境的模型。在使用训练好的模型时，将待分割的图像输入至神经网络中得到分类结果以及分割结果图，然后将被分类为无目标区域的图像的分割结果全部置为背景区域，即可得到最终的分割结果。该方法在SLIVER07数据集中的分割效果如表1所示：

表1

其中评价指标中的Dice为戴斯相似性系数(Dice coefficient)，VOE为体素重叠误差(Volumetric Overlap Error)，RVD为体素相对误差(Relative Volume Difference)，ASD为平均表面距离(Average Symmetric Surface Distance)，RMSD为均方根表面距离(Root Mean Square Symmetric Surface Distance)，MSD为最大表面距离(MaximumSymmetric Surface Distance)，HD95为95分位数豪斯多夫距离(Hausdorff 95)。

体素重叠误差(Volumetric Overlap Error，VOE)：对于两组体素A和B，体素重叠误差被定义为：

其中，体素A为模型预测结果，体素B为人工标注结果。

体素相对误差(Relative Volume Difference，RVD)：对于两组体素A和B，体素相对误差被定义为：

上述式子不是对称的，即当A和B互换位置以后，结果是不相等的，因此它不是一种标准度量。体素相对误差可以揭示分割方法是倾向于过分割还是欠分割，因此，体素相对误差可能为负数，即欠分割状态。

平均表面距离(Average Symmetric Surface Distance，ASD)：平均表面距离是以两组体素的表面体素为基础进行测量的，其距离单位为毫米。表面体素的定义为：在它们空间周围的18个相邻体素里，至少有一个体素不是目标体素(目标)。我们将A和B置于同一个空间中，并利用最近邻技术计算A中的每一个表面体素到B的表面体素的最近欧式距离。同样地，也需要计算B中的每个表面体素到A中的表面体素的最近欧式距离。其中，平均表面距离定义为所有最近距离的平均值，当分割结果与人工标注结果一致时，该距离为0。

令S(A)为A的所有表面体素，则任意体素v到S(A)的最短距离定义为：

‖.‖表示欧式距离。具体地，平均表面距离被定义为：

s_A为体素A的表面体素，s_B为体素B的表面体素；

与体素重叠误差一样，平均对称表面距离是目标分割中常用的测量标准之一。

均方根表面距离(Root Mean Square Symmetric Surface Distance，RMSD)：均方根表面距离同样也是以两组体素的表面体素为基础来测量的，其距离单位为毫米。它也需要计算两组表面体素之间的欧式距离，然后将所得距离取平方，最后对两组体素距离的平方和求开方。当预测结果与人工标注结果一致时，该距离为0。均方根表面距离的定义如下：

最大表面距离(Maximum Symmetric Surface Distance，MSD)：最大表面距离也需要先计算A和B的表面体素之间的欧式距离，也被称为豪斯多夫(Hausdorff)距离。对于完美的分割结果，该距离为0。最大表面距离的定义如下：

最大表面距离对异常值十分敏感，能通过它得到预测结果的最坏情况。在某些特定场合，如在肝脏手术中，最坏的分割情况所导致的后果要比一般的分割错误所导致的后果严重的多。基于这点考虑，最大表面距离也作为评估分割结果的标准之一。

95分位数豪斯多夫距离(Hausdorff 95，HD95)：95分位数豪斯多夫距离与最大表面距离极其相似，不同之处在于95分位数豪斯多夫距离是对两组表面体素距离取其95分位数，其定义如下：

考虑到分割的极端情况，即异常值极少且不影响整体分割结果时，仅考虑最大表面距离或许太过于武断。因此95分位数豪斯多夫距离也常用来代替最大表面距离来评估分割结果的最坏情况。

以上所述，仅为本发明较佳的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其发明专利构思加以等同替换或改变，都属于本发明的保护范围。

Claims (3)

1.一种结合分类任务的弱监督目标分割方法，其特征在于，所述方法包括以下步骤：

步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果；所述分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接；所述分类模块从分割模块的U型网络底端和右端的倒数第二层中引出数据流用以判断图像中是否存在目标；

步骤S2：使用像素级目标标注数据训练结合分类任务的目标分割模型的参数，并采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型；所述的戴斯相似性系数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽；p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；g_h,w,c代表在人工标注结果中像素(h,w)是否属于c类，g_h,w,c由专家标注的训练数据得到；

所述的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，

表示网络预测该图像为第i类的预测概率；

步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练目标分割模型的参数，并采用基于目标区域置信图(regional confidencemap)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型；在共同训练过程中，通过类激活映射(ClassActivation Mapping，CAM)技术从分类模块中得到图像级标注数据的目标激活映射图，并通过设定阈值的方式将目标激活映射图转变为二值化图像，从而得到目标区域置信图，然后将目标区域置信图作为监督信息用于约束分割误差，从而使得模型能够学到更利于分割的目标特征；

所述基于区域置信图的弱监督损失函数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽，p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；

为

的one-hot编码，而

即将预测出来的分割概率图处理成二值化图像；z_h,w,c＝[Z(h,w)＝c]表示位于(h,w)的像素被置信为c类；Z(h,w)代表位于(h,w)的元素是被置信为目标区域还是背景区域；

步骤S4：将需要分割的图像输入到步骤S3训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

2.根据权利要求1所述的一种结合分类任务的弱监督目标分割方法，其特征在于，步骤S2中，所述有监督信息的损失函数是通过将戴斯相似性系数和交叉熵损失函数相加并赋予权重系数从而得到的，所述有监督信息的损失函数形式如下：

L_loss＝L_Dice+λL_CE

其中，λ为平衡戴斯相似性系数和交叉熵损失函数之间重要性的权重系数。

3.根据权利要求1所述的一种结合分类任务的弱监督目标分割方法，其特征在于，步骤S3中，所述弱监督信息的损失函数是通过将基于区域置信图的弱监督损失函数和交叉熵损失函数相加并赋予权重系数从而得到的，所述弱监督信息的损失函数形式如下：

L_weak＝αL_Seg+L_CE

其中α为权重系数，L_CE是交叉熵损失函数，用于约束模型的分类误差，其形式与步骤S2中一致。

Images