CN110598711A - 一种结合分类任务的目标分割方法 - Google Patents

Abstract

本发明公开了一种结合分类任务的目标分割方法，该方法包括：构建结合分类任务的目标分割模型，其中包括分割模块和分类模块两部分；采用戴斯相似性系数作为分割模块的损失函数；采用交叉熵损失函数作为分类模块的损失函数，用于约束分类模块的误差；使用后向传播算法和自适应矩估计优化算法训练本目标分割模型；将需要分割的图像输入到模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。本方法可以对图像进行目标分割，在一定程度上解决无目标区域被分割出小块目标的问题以及提升了目标分割的准确率。

Description

一种结合分类任务的目标分割方法

技术领域

本发明属于图像处理领域的目标分割方法，适用于对有监督信息的图像数据进行目标分割处理，涉及一种结合分类任务的目标分割方法。

背景技术

语义分割跟图像分类、目标检测被誉为机器视觉领域三大基础性问题。语义分割，即对图像中每个像素点都赋予一个类别信息，如在自动驾驶领域中，汽车摄像头拍摄的画面被自动分割成行人、道路、汽车等不同类别。可以看出，精确地区分图像中每个像素点的类别，是自动驾驶中避免产生事故、道路规划等的前提。语义分割相对于图像分类，不仅要考虑目标的类别信息，更需要考虑目标的位置信息，是计算机利用视觉理解自然世界的关键一步。

在解决图像语义分割问题的过程中，国内外众多研究人员做了大量的研究工作，提出了很多实用的算法。这些算法大体上可以分为：基于区域的分割方法、基于边缘检测的分割方法、基于图谱的分割方法、基于模糊集理论的分割方法以及基于深度神经网络的分割方法等。值得注意的是，如今基于深度学习的目标分割方法在分割性能上已全面超越传统的分割方法，受到越来越多的研究人员的关注。

目前基于深度神经网络的分割方法根据其分割空间可以分为：基于二维卷积神经网络的二维分割方法(例如全卷积神经网络、U-Net)、基于循环神经网络的2.5维分割方法以及基于三维卷积神经网络的三维分割方法(例如3D U-Net、V-Net)。

通常在进行自动化目标分割的时候并不知道哪些情景下是有目标的，哪些情景下是没有目标的，因此分割模型会对所有的情景进行分割操作。通过观察分割结果可以发现，在没有目标的情况下，二维的分割方法会分割出小块的目标，从而导致整体的分割准确率下降严重。

发明内容

为了解决现有方法存在的问题，本发明从多任务学习着手，提出了一种结合分类任务的目标分割方法，该方法在将图像进行目标分割的同时判断该图像中有无目标区域，而后根据分类结果对分割结果图进行后处理，在一定程度上解决了二维分割方法在无目标区域的图像中分割出小块目标的问题，以及令分割模型学到更利于分割的目标特征。

本发明的目的可以通过如下技术方案之一实现。

一种结合分类任务的目标分割方法，包括以下步骤：

步骤S1、构建结合分类任务的目标分割模型，包括分割模块和分类模块两部分；

步骤S2、使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法最小化整体损失函数，从而训练本目标分割模型；

步骤S3、将需要分割的图像输入到训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

进一步地，步骤S1中，所述分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段两部分，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接；所述分割模块用于对图像进行分割处理并产生分割结果图；在训练分割模块的过程中，采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数，以衡量人工标注结果与分割结果之间的相似性。

进一步地，步骤S1中，所述分类模块用于判断图像中有无目标并产生分类结果；在训练分类模块的过程中，采用交叉熵损失函数作为分类模块的损失函数，用于约束分类模块的误差。所述分类模块从分割模块的U型网络底端(即收缩阶段的末尾)和右端的倒数第二层中引出数据流用以判断图像中是否存在目标。

进一步地，所述步骤S1中，采用的戴斯相似性系数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽；p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；g_h,w,c代表在人工标注结果中像素(h,w)是否属于c类，该值由专家标注的训练数据得到。

进一步地，所述步骤S1中，采用的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，表示网络预测该图像为第i类的预测概率。

进一步地，在步骤S2中，所述整体损失函数通过将分割模块和分类模块的损失函数赋予权重系数并相加从而得到的，所述整体损失函数形式如下：

L_loss＝L_Dice+λL_CE

其中，λ为平衡戴斯相似性系数损失函数和交叉熵损失函数之间重要性的权重系数。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明针对目前二维分割模型会在没有目标的区域会分割出小块目标的问题，提出了一种结合分类任务的目标分割网络模型。该模型能对图像进行目标分割的同时判断该图像中有无目标区域，而后根据分类结果对分割结果图进行后处理，从而解决无目标区域被分割出小块目标的问题。

2、本发明通过结合分类任务和分割任务进行多任务学习，从而使进行分割任务的模块学到了更利于分割的目标特征，进而提升了目标分割准确率。

附图说明

图1为本发明实施例采用的结合分类任务的目标分割方法的网络结构图，其中图中的数字为特征图的通道数。

图2为本发明实施例采用的平均池化与组卷积部分结构图，其中圆点表示标量，矩形表示二维的特征图，图中的数字为特征图的尺寸大小。

具体实施方式

下面结合实施例及附图对本发明的具体实施作进一步详细的描述，但本发明的实施方式不限于此。

实施例:

一种结合分类任务的目标分割方法，包括以下步骤：

步骤S1、构建结合分类任务的目标分割模型，包括分割模块和分类模块两部分；

步骤S2、使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法最小化整体损失函数，从而训练本目标分割模型；

步骤S3、将需要分割的图像输入到训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

步骤S1中，所述分割模块用于对图像进行分割处理并产生分割结果图；在训练分割模块的过程中，采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数，以衡量人工标注结果与分割结果之间的相似性。

如图1所示，所述分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段两部分，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接；收缩路径用以提取图像的特征，扩张路径用以恢复目标的细节以及图像的尺寸。

在收缩路径阶段，每层网络包含了两层卷积层以及其对应的带泄露整流线性单元(Leaky Rectified Linear Unit，Leaky Relu)激活函数，其中卷积核大小为3×3，填充(padding)值为1。在这之后跟着一个2×2大小的最大池化层用以对图像进行下采样，然后在每次下采样完毕以后再通过卷积层对通道数进行翻倍操作，从而增加模型的表达能力。

在扩张阶段，首先通过逆最大池化层将图像尺寸进行放大以及使用卷积层将图像通道数进行减半，随后使用跳跃连接将收缩阶段的等分辨率的特征图与当前扩张阶段的特征图进行拼接。然后通过两个卷积层以及对应的Leaky Relu激活函数对图像进行特征提取，其中第一个卷积层将图像的通道数减半。在网络的最后，采用卷积核大小为1×1的卷积层进行通道数的归约，并在其后接一个softmax函数(归一化指数函数)进行归一化，最后输出为2通道的分割结果图，其中第一通道代表每个像素为背景的概率，第二通道代表每个像素为目标的概率。

具体地，采用的戴斯相似性系数损失函数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽；p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；g_h,w,c代表在人工标注结果中像素(h,w)是否属于c类，该值由专家标注的训练数据得到。

步骤S1中，所述分类模块用于判断图像中有无目标并产生分类结果；在训练分类模块的过程中，采用交叉熵损失函数作为分类模块的损失函数，用于约束分类模块的误差。具体地，分类模块的实现如下：在U型网络的最底端，使用一个卷积核大小为3×3卷积层将特征图的通道数缩减为512，而后使用全局最大池化层(Global Max Pooling，GMP)将512张特征图缩小为一个512维的向量。在U型网络的倒数第二层，采用一个卷积核大小为1×1的卷积层对特征图进行卷积，随后使用两个卷积核大小为3×3的残差块去提取图像的特征信息。然后使用平均池化层(average pooling layer)将特征图的尺寸缩减为6×6，而后使用卷积核大小为6×6的组卷积层，将64张6×6大小的特征图压缩为512维的向量。图2给出了此部分的结构细节图，其中相同填充的标量数据由对应填充的特征图经过组卷积得到。而后将此处得到的512维向量与前面通过全局最大池化层得到的512维的向量进行逐元素的相加。最后将相加得到的向量通过一个全连接层得到一个二维的向量，并将其输入至softmax激活函数中得到最终的分类概率。

具体地，采用的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，表示网络预测该图像为第i类的预测概率。

步骤S2中，所述整体损失函数通过将分割模块和分类模块的损失函数赋予权重系数并相加从而得到的，所述整体损失函数形式如下：

L_loss＝L_Dice+λL_CE

其中，λ为平衡戴斯相似性系数损失函数和交叉熵损失函数之间重要性的权重系数，本实施例中将其设置为0.3。

训练后得到的模型即为最终应用于生产环境的模型。在使用训练好的模型时，将待分割的图像输入至神经网络中得到分类结果以及分割结果图，然后将被分类为无目标区域的图像的分割结果全部置为背景区域，即可得到最终的分割结果。

本发明在SLIVER07数据集中的分割效果如表1所示：

表1

其中评价指标中的Dice为戴斯相似性系数(Dice coefficient)，VOE为体素重叠误差(Volumetric Overlap Error)，RVD为体素相对误差(Relative Volume Difference)，ASD为平均表面距离(Average Symmetric Surface Distance)，RMSD为均方根表面距离(Root Mean Square Symmetric Surface Distance)，MSD为最大表面距离(MaximumSymmetric Surface Distance)，HD95为95分位数豪斯多夫距离(Hausdorff 95)。

体素重叠误差(Volumetric Overlap Error，VOE)：对于两组体素A和B，体素重叠误差被定义为：

其中，体素A为模型预测结果，体素B为人工标注结果。

体素相对误差(Relative Volume Difference，RVD)：对于两组体素A和B，体素相对误差被定义为：

上述式子不是对称的，即当A和B互换位置以后，结果是不相等的，因此它不是一种标准度量。体素相对误差可以揭示分割方法是倾向于过分割还是欠分割，因此，体素相对误差可能为负数，即欠分割状态。

平均表面距离(Average Symmetric Surface Distance，ASD)：平均表面距离是以两组体素的表面体素为基础进行测量的，其距离单位为毫米。表面体素的定义为：在它们空间周围的18个相邻体素里，至少有一个体素不是目标体素。将A和B置于同一个空间中，并利用最近邻技术计算A中的每一个表面体素到B的表面体素的最近欧式距离。同样地，也需要计算B中的每个表面体素到A中的表面体素的最近欧式距离。其中，平均表面距离定义为所有最近距离的平均值，当分割结果与人工标注结果一致时，该距离为。

令S(A)为A的所有表面体素，s_A为体素A的表面体素，则任意体素v到S(A)的最短距离定义为：

‖.‖表示欧式距离。具体地，平均表面距离被定义为：

与体素重叠误差一样，平均对称表面距离是目标分割中常用的测量标准之一。

均方根表面距离(Root Mean Square Symmetric Surface Distance，RMSD)：均方根表面距离同样也是以两组体素的表面体素为基础来测量的，其距离单位为毫米。它也需要计算两组表面体素之间的欧式距离，然后将所得距离取平方，最后对两组体素距离的平方和求开方。当预测结果与人工标注结果一致时，该距离为0。均方根表面距离的定义如下：

其中，S(B)为B的所有表面体素，s_B为体素B的表面体素

最大表面距离(Maximum Symmetric Surface Distance，MSD)：最大表面距离也需要先计算A和B的表面体素之间的欧式距离，也被称为豪斯多夫(Hausdorff)距离。对于完美的分割结果，该距离为0。最大表面距离的定义如下：

最大表面距离对异常值十分敏感，能通过它得到预测结果的最坏情况。在某些特定场合，如在肝脏手术中，最坏的分割情况所导致的后果要比一般的分割错误所导致的后果严重的多。基于这点考虑，最大表面距离也作为评估分割结果的标准之一。

95分位数豪斯多夫距离(Hausdorff 95，HD95)：95分位数豪斯多夫距离与最大表面距离极其相似，不同之处在于95分位数豪斯多夫距离是对两组表面体素距离取其95分位数，其定义如下：

考虑到分割的极端情况，即异常值极少且不影响整体分割结果时，仅考虑最大表面距离或许太过于武断。因此95分位数豪斯多夫距离也常用来代替最大表面距离来评估分割结果的最坏情况。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种结合分类任务的目标分割方法，其特征在于，包括以下步骤：

步骤S1、构建结合分类任务的目标分割模型，包括分割模块和分类模块两部分；

步骤S2、使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法最小化整体损失函数，从而训练本目标分割模型；

步骤S3、将需要分割的图像输入到训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。

2.根据权利要求1所述的一种结合分类任务的目标分割方法，其特征在于，步骤S1中，所述分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段两部分，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接；所述分割模块用于对图像进行分割处理并产生分割结果图；在训练分割模块的过程中，采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数，以衡量人工标注结果与分割结果之间的相似性。

3.根据权利要求1所述的一种结合分类任务的目标分割方法，其特征在于，步骤S1中，所述分类模块用于判断图像中有无目标并产生分类结果；在训练分类模块的过程中，采用交叉熵损失函数作为分类模块的损失函数，用于约束分类模块的误差；所述分类模块从分割模块的U型网络底端(即收缩阶段的末尾)和右端的倒数第二层中引出数据流用以判断图像中是否存在目标。

4.根据权利要求2所述的一种结合分类任务的目标分割方法，其特征在于，所述步骤S1中，采用的戴斯相似性系数如下所示：

其中，C为图像分割的类别数量；H和W为图像的长和宽；p_h,w,c代表模型输出，即将像素(h,w)预测为c类的概率；g_h,w,c代表在人工标注结果中像素(h,w)是否属于c类，该值由专家标注的训练数据得到。

5.根据权利要求3所述的一种结合分类任务的目标分割方法，其特征在于，所述步骤S1中，采用的交叉熵损失函数如下所示：

其中N表示图像中有无目标的类别数，y_i表示图像属于第i类的真实概率，表示网络预测该图像为第i类的预测概率。

6.根据权利要求1所述的一种结合分类任务的目标分割方法，其特征在于，在步骤S2中，所述整体损失函数通过将分割模块和分类模块的损失函数赋予权重系数并相加从而得到的，所述整体损失函数形式如下：

L_loss＝L_Dice+λL_CE

其中，λ为平衡戴斯相似性系数损失函数和交叉熵损失函数之间重要性的权重系数。