CN109242864B - 基于多分支网络的图像分割结果质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多分支网络的图像分割结果质量评价方法。属于图像处理技术领域。本发明为了取得评价效果更好的图像分割结果质量评价方案，采用基于多分支卷积神经网络的评价网络对分割结果进行评价得出其质量预测分数，为后续的分割性能优化和最佳分割结果挑选提供依据。与现有的对不同图像分割结果进行评的评价方式相比，本发明利用多分支的卷积神经网络，从多方面提取分割图像更全面的特征，从而解决了现有评价方式在关联性较小分割结果差距较大，以及在较为相似的分割结果评价处理时效果不佳的技术问题。

Description

基于多分支网络的图像分割结果质量评价方法

技术领域

本发明属于图像处理领域，具体涉及一种基于多分支网络的图像分割结果质量评价方法。

背景技术

随着大数据人工智能时代的到来，图像数据成为媒体信息的主要载体，获取图像中的信息是当前新型产业的基本需求。图像分割是对图像中出人们感兴趣的目标对象的进行提取，是图像内容分析与理解的关键步骤。迄今为止，研究者们提出了很多有效的图像分割方法，广泛应用于医学图像分析、工业产品检测和智能视频监控等领域，其分割结果的质量对后续的目标识别、场景检测等任务有着重要的影响。然而图像分割算法得到的分割结果好坏不一，与实际目标存在差异，这给图像信息的进一步处理增加了难度，因此实现图像分割结果的筛选已成为迫切需求。

随着图像分割在众多领域的广泛应用，图像分割质量评价开始引起人们的关注。图像分割质量评价是对分割结果的质量进行预测评价的算法，对输入的一个分割结果图像得到一个预测的质量分数，质量分数的高低代表分割结果质量的好坏。通过图像分割质量评价方法我们能够获得分割结果的质量分数，该分数可以直观地反应出分割结果的质量，这对于分割结果的修复和分割性能的优化有着重要的意义。

目前，图像分割质量评价方法主要分为两类：基于提取手工特征的传统评价方法和基于卷积神经网络的评价方法。其中传统方法最为常用，主要是先对分割结果图像提取边缘特征、区域特征及融合二者进行计算。图像分割结果分为多种形式，有目标缺少、目标错分和背景错分等，在面对多种复杂的分割结果图像时，传统方法对图像的适应性较差，无法对复杂场景和目标的特征进行描述，导致无法对分割结果进行较好的评价。另外最近出现基于卷积神经网络的质量评价方法，利用了深度卷积神经网络更好的适应性和对数据较强的表达能力。然而现有的方法对分割图像的特征提取能力有限，提取的特征具有深度但缺乏全面性，其预测得分仅能够在一定误差范围内对分割质量衡量，网络对分割结果质量评价的性能有待提高。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于多分支卷积神经网络的评价网络对分割结果进行评价得出其质量预测分数，为后续的分割性能优化和最佳分割结果挑选提供依据。

本发明的基于多分支网络的图像分割结果质量评价方法，包括下列步骤：

构建分割结果质量评价网络步骤：

以分割结果图像块和原图像块作为分割结果质量评价网络的输入，网络主体依次包括特征提取部分、特征融合部分和分数预测部分；

其中，特征提取部分采用三路多分支卷积结构，每路多分支卷积结构为包括三组卷积层和下采样层组合的结构，其中三路多分支卷积结构的卷积层相同，下采样层各不相同，三路下采样层分别为：最大池化层、均值池化层和步长为2的卷积层；

特征融合部分采用两组卷积层和最大值池化层组合的结构，其输入为三路多分支卷积结构所提取的分割结果和原图的支路特征的级联特征；

分数预测部分包括三个全连接层和sigmoid层，其中连接sigmoid层的全连接层的输出维数为1，sigmoid层将输出归一化到0-1之间，得到对分割质量的预测分数；

训练分割结果质量评价网络步骤：

采集训练样本集：选取常用图像数据集中的图像作为原始图像，使用交互式分割方法设置不同参数得到同意图像的多个分割结果，并计算每个分割结果与分割参考标准之间的IOU分数作为分割结果的质量分数标签；

对原始图像和分割结果进行相同位置的裁剪处理，将得到的原图像块和分割结果图像块作为一个训练样本；并对训练样本进行图像预处理，包括图像均值归一化处理和尺寸归一化处理；

将图像预处理后的分割结果图像块和原图像块输入分割结果质量评价网络进行深度学习训练，训练中采用的损失函数为欧式距离损失函数；当损失函数值满足训练精度需求时停止训练，得到训练好的分割结果质量评价网络；即基于每次迭代训练输出的预测分数，与对应的质量分数标签之间的欧式距离损失函数，得到每次迭代训练的损失值；

获取待评价对象的分割结果的质量分数步骤：

对待评价的分割结果和原始图像进行相同位置的裁剪处理，并对得到的待评价的原图像块和分割结果图像块进行图像预处理，图像预处理方式与训练样本相同；

再将图像预处理后的原图像块和分割结果图像块输入训练好的分割结果质量评价网络，得到该分割结果图像的质量评价预测分数，即分割结果的质量分数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：使用多分支网络结构可以更加全面的提取分割结果与原图中的特征信息，以较好地实现对分割结果质量分数的预测，实验证明对于相似的分割结果网络有很好的预测和区分作用。

附图说明

图1是本发明的分割结果质量评价流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明为了取得评价效果更好的图像分割结果质量评价方案，采用基于多分支卷积神经网络的评价网络对分割结果进行评价得出其质量预测分数，为后续的分割性能优化和最佳分割结果挑选提供依据。与现有的对不同图像分割结果进行评的评价方式相比，本发明利用多分支的卷积神经网络，从多方面提取分割图像更全面的特征，从而解决了现有评价方式在关联性较小分割结果差距较大，以及在较为相似的分割结果评价处理时效果不佳的技术问题。

本发明的基于多分支网络的图像分割结果质量评价方法具体包括下列步骤：

步骤一、构建分割结果质量评价网络。

本发明的分割结果质量评价网络的网络结构如图1所示，网络的输入包括分割结果和原图；网络主体包括三个部分：特征提取部分、特征融合部分和分数预测部分。

其中特征提取部分采用三路多分支卷积结构，每路多分支卷积结构为两个参数共享(原图与分割图像共享)的多分支卷积结构，其包括三组卷积层和下采样层组合的结构，其中三路多分支卷积结构的卷积层相同，下采样层各不相同，三路下采样层分别为：最大池化层、均值池化层和步长为2的卷积层；

本具体实施方式中，优选的卷积层为：卷积核尺寸为3×3，步长为1，填充为1；

优选的三路采样层分别为：

第一路采样层：最大池化层，池化核尺寸为2×2，步长为2；

第二路采样层：均值池化层，池化核尺寸为2×2，步长为2；

第三路采样层：步长为2的卷积层，卷积核尺寸为2×2，填充为0。

特征融合部分采用两组卷积层和最大值池化层组合的结构，其输入为三路多分支卷积结构所提取的分割结果和原图的支路特征的级联特征；例如，图1的三路多分支卷积结构从上到下依次提取的分割结果和原图的支路特征分别记为：A1、B1和C1；A2、B2和C2，则级联特征为：A1A2B1B2C1C2。

分数预测部分包括三个全连接层和sigmoid层，其中连接sigmoid层的全连接层的输出维数为1，sigmoid层将输出归一化到0-1之间，得到对分割质量的预测分数(质量分数)。即在分数预测部分通过三个全连接层对融合后的特征进行计算，得到一维特征，再通过sigmoid层归一化后作为预测分数。

步骤二、分割结果质量评价网络的训练。

1.设置训练样本集，以及设置各训练样本的质量标签分数。

本具体实施方式中，选取VOC 2012图像数据集中所有12303张图片中的15066个实例图像块作为原始图像。采用Grabcut交互式分割方法，以Ground Truth的边界框作为输入交互框，在不同参数γ下对每个交互框的对象进行分割得到多个分割结果。此处参数γ取0,0.1,0.2，……，1,10,20，……，200共31个参数。

然后利用图像分割结果以及数据库自带的分割参考标准(Ground truth)计算其IOU值，将这个IOU(Intersection over Union)值作分割图像的质量标签分数。

其中，IOU值的具体计算公式为：

GT_i表示第i个分割结果对应的GroundTruth，R_i表示第i个分割结果。

由此，原始图像、多参数分割结果、分割结果的质量标签分数构成了多参数交互式分割结果数据库，即训练样本数据。

2.训练样本的图像预处理。

对原图像块和分割结果图像块进行相同位置的裁剪，之后对所有图像进行均值的归一化处理和尺寸归一化处理，本具体实施方式中，图像的归一化尺寸为224*224。

3.分割结果质量评价网络的训练。

将训练集中的分割结果和对应原图按顺序输入分割结果质量评价网络进行深度学习训练，得到对分割质量的预测分数。本发明中，割结果质量评价网络采用欧式距离损失函数作为损失函数，基于预设的初始学习率，当损失满足训练精度需求时停止训练，得到训练好的分割结果质量评价网络。

本具体实施方式中，整个网络基于caffe深度学习框架进行训练，初始学习率为0.00001，在损失降低到一定程度时停止训练，保存最终训练好的网络模型。

步骤三、基于训练好的分割结果质量评价网络获取待评价对象的分割结果的质量分数。

1、对待评价对象进行图像预处理，图像预处理方式与训练样本相同。

本具体实施方式中国，将需要评价的分割结果图像，以最小包含分割目标的边界框为标准裁剪出分割结果图像块，对原始图像进行相同位置的裁剪处理，得到原图像块。

并对所有待评价的分割结果图像块和原图像块进行均值的归一化处理和尺寸归一化处理，即所有的分割结果和原图尺寸归一化处理到224*224。

2.预处理后的分割结果图像块和原图像块输入训练好的分割结果质量评价网络，得到该分割结果图像的质量评价预测分数，即分割结果的质量分数。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (3)

1.基于多分支网络的图像分割结果质量评价方法，其特征在于，包括下列步骤：

构建分割结果质量评价网络步骤：

以分割结果图像块和原图像块作为分割结果质量评价网络的输入，网络主体依次包括特征提取部分、特征融合部分和分数预测部分；

其中，特征提取部分采用三路多分支卷积结构，每路多分支卷积结构为包括三组卷积层和下采样层组合的结构，其中三路多分支卷积结构的卷积层相同，下采样层各不相同，三路下采样层分别为：最大池化层、均值池化层和步长为2的卷积层；

特征融合部分采用两组卷积层和最大值池化层组合的结构，其输入为特征提取部分所提取的分割结果图像块的支路特征和特征提取部分所提取的原图像块的支路特征的级联特征；

分数预测部分包括三个全连接层和sigmoid层，其中连接sigmoid层的全连接层的输出维数为1，sigmoid层将输出归一化到0-1之间，得到对分割质量的预测分数；

训练分割结果质量评价网络步骤：

采集训练样本集：选取图像数据集中的图像作为原始图像，使用交互式分割方法设置不同参数得到同一图像的多个分割结果，并计算每个分割结果与分割参考标准之间的IOU分数作为分割结果的质量分数标签；

对原始图像和分割结果进行相同位置的裁剪处理，将得到的原图像块和分割结果图像块作为一个训练样本；并对训练样本进行图像预处理，包括图像均值归一化处理和尺寸归一化处理；

将图像预处理后的分割结果图像块和原图像块输入分割结果质量评价网络进行深度学习训练，训练中采用的损失函数为欧式距离损失函数；当损失函数值满足训练精度需求时停止训练，得到训练好的分割结果质量评价网络；

获取待评价对象的分割结果的质量分数步骤：

对待评价的分割结果和原始图像进行相同位置的裁剪处理，并对得到的待评价的原图像块和分割结果图像块进行图像预处理，图像预处理方式与训练样本相同；

再将图像预处理后的原图像块和分割结果图像块输入训练好的分割结果质量评价网络，得到该分割结果图像的质量评价预测分数，即分割结果的质量分数。

2.如权利要求1所述的方法，其特征在于，优选的卷积层为：卷积核尺寸为3×3，步长为1，填充为1。

3.如权利要求1或2所述的方法，其特征在于，优选的三路采样层分别为：

第一路采样层：最大池化层，池化核尺寸为2×2，步长为2；

第二路采样层：均值池化层，池化核尺寸为2×2，步长为2；

第三路采样层：步长为2的卷积层，卷积核尺寸为2×2，填充为0。

Images