CN107123123B - 基于卷积神经网络的图像分割质量评价方法 - Google Patents

Abstract

本发明公开了一种新的基于卷积神经网络的图像分割结果评价方法。分割结果评价具有十分重要的作用，有助于分割方法性能的提升以及分割结果的修复。分割结果评价通常被看作回归问题，而卷积神经网络在回归问题上具有非常好的性能，我们采用卷积神经网络来实现分割评价方法。然而，现有的分割评价方法缺乏一个全面有效的分割结果数据库，并且，适合于分割评价的卷积神经网络还有待研究。基于此，本发明充分挖掘了分割目标前景和背景的特征信息，设计了一种全新的分割质量评价卷积神经网络，通过验证，我们的方法表现出了优异的性能。此外，针对数据库的不足，我们构建了一个新的分割数据库，该数据库具有涵盖多种类型的分割结果及其客观评价指标。

Description

基于卷积神经网络的图像分割质量评价方法

技术领域

本发明属于图像处理领域，提出了一种基于卷积神经网络的图像分割质量评价方法，构建了一个新的针对分割评价问题的深度卷积神经网络。

背景技术

图像分割是图像处理中一项关键技术，也是计算机视觉领域中至关重要的一部分。图像分割技术在医学影像分析、交通图像分析、遥感气象服务、军事工程等领域有着广泛的应用。图像分割技术是将图像分成若干个具有特殊性质的区域，并将其中人们感兴趣的部分提取出来，这是图像分析的第一步。在得到分割结果之后，我们需要对图像分割结果的进行评定，图像分割结果的质量如何直接决定了接下来任务的完成情况，如特征提取、目标识别的好坏。

随着图像分割在计算机视觉等众多领域中的广泛应用以及图像分割技术的长足发展，作为图像分割过程中的重要部分，分割质量评价方法也显得越来越重要。分割质量评价的主要过程是对于给定的图像分割结果，通过分割质量评价方法进行计算，给出一个评价分数，分数越高代表分割质量越好，反之则分割质量越差。分割质量评价方法可以直观地给出分割结果的分数，对后续改善图像分割结果、提高图像分割方法性能以及对图像分割结果进行修复都有很重要的意义。

以往的图像分割质量评价方法往往都是通过提取分割结果的手工特征，并对这些特征进行进一步计算得到评价结果。常用的方法有：提取基于边缘的特征、提取基于区域的特征以及同时提取这两种特征并将其进行融合计算。然而，这种方法具有一个严重的缺点：手工特征无法有效地描绘分割结果的多样性。图像分割结果多种多样，有的是对象边缘缺失，有的是对象内部缺失，有的是添加了多余的背景，有的是添加了多余的前景，还有的是前四种的任意结合，在这种复杂的情况下，传统的基于手工特征的分割结果质量评价方法不足以描述这些复杂的情况，所以无法很好的完成这样复杂的分割评价任务。

卷积神经网络近年来在很多领域都取得了非常好的效果，比如对象检测、目标分类、语音识别、目标跟踪以及图像分割等等。因为卷积神经网络包含数以百万计的参数，可以自动地学习多种层次以及多种结构的图像特征。与传统方法相比，卷积神经网络抽象地学习特征的能力对对象大小、位置以及方向的变化等具有非常强的鲁棒性。卷积神经网络可以让机器很好地学习输入数据以及输出数据之间的关系，并通过不断地迭代自动选择特征，免去了人工选择特征的过程。因为这些优点，卷积神经网络得到越来越多的重视。

目前，针对分割质量评价特性而设计的卷积神经网络还有待进一步研究，现有的基于卷积神经网络的分割质量评价方法并不能很好的利用分割图像以及其对应原始图像之间的特征关系。除此以外，适用于深度学习的分割结果数据库尚缺乏。现有的分割结果数据库由于依赖人工评判，因而数据量小，不具有广泛适用性。

本发明提出了一个新型基于卷积神经网络的分割质量评价技术，充分地利用了分割图像以及其对应原始图像之间的对应特征关系，构建了一个针对分割评价问题的双网络结构，并且构建了一个新的适用于卷积神经网络训练的分割结果数据库。我们在自建分割结果数据库和公共数据集上进行了训练和测试，测试结果表明本发明构建的卷积神经网络对于分割结果质量评价具有非常好效果同时具有良好的普适性。

发明内容

本发明的目的在于解决以下技术问题：

针对目前手工评价的不足以及现有的评价算法只对分割结果进行分析而不考虑原始图像的监督信息，我们认为，一个好的分割结果评价应该充分结合原始图像的信息进行表达，充分利用分割图像以及其对应原始图像之间的对应特征关系来进行描述。于是，本发明采用了基于卷积神经网络的评价方法，在完成评价其分割质量并给出可靠打分的同时，设计了双网络结构，充分利用了原始图像的监督信息，弥补了当今方法的不足，为后续分割性能提高或者分割结果修复提供有效的依据。

由于目前并没有大型分割结果数据库，现有的公开的图像分割数据库数据量太小，无法有效的提取不同分割结果的特征，不具有普遍性，无法体现分割对象的多样性和复杂性，无法适用于卷积神经网络的计算。为此我们建立了一个分割结果数据库，该数据库包含20类分割对象，每个分割结果对应一张原始图像以及一个客观评价打分。

本发明采用的技术方案如下：

1.基于卷积神经网络的图像分割质量评价方法,其特征在于包括以下步骤：

步骤1、构建分割结果数据库：

1.1、首先选取图像数据集中图片作为分割结果的原始图像，然后采取候选框生成方法生成大量的对象候选框，并对每个候选框中的对象进行分割，得到最终的分割结果；

1.2、计算分割结果的客观分数，作为参考基准，即label，利用图像分割结果以及数据库自带的分割参考标准计算其IOU值(Intersection Over Union，交并比)，IOU值计算公式如下：

其中GT_i表示第i个分割结果对应的分割参考标准，R_i表示第i个分割结果。

1.3、根据IOU值进一步筛选分割结果，进一步处理数据，使得分割结果的打分在0-1之间更加均匀地分布，防止网络学习过程偏向某一类结果。

步骤2、对分割结果数据库进行预处理得到训练集和测试集：

2.1、对分割结果中前景部分进行裁剪，并用相同大小矩形框对该分割结果对应的原始图像在相同位置进行裁剪；

2.2、将所有裁剪的图像大小归一化为224*224；

2.3、对所有原始图像的三个通道分别计算均值，并对所有分割结果以及原始图像的三个通道进行减均值操作；

2.4、将2.3处理的结果划分为训练集和测试集。

步骤3、预训练卷积神经网络模型：

使用通用卷积神经网络模型对所有训练集中的分割结果进行训练，得到预训练模型；

步骤4、分割质量评价网络训练：

4.1、将训练数据中分割结果及其对应原始图片对应输入两个网络分支进行训练；

4.2、采用两个相同的全卷积结构对分割结果以及对应原始图像提取特征谱，得到分割特征谱和原始图片特征谱；

4.3、使用特征级联层将分割特征谱和原始图片特征谱进行简单地级联，

4.4、得到级联特征之后，设计一个新的卷积层对它们之间对应位置的局部特征进行描述，得到一个局部区域的融合特征谱；

4.5、用三个全连接层对前面融合的特征谱进行全局计算，得到一维特征；

4.6、用一个sigmoid层将全连接层得到的一维特征映射0-1之间，得到分割结果的打分；

4.7、使用Euclideanloss将网络的输出的结果跟label进行比较，计算得到误差，然后误差进行后向传播给前面的层，并计算可学习参数的误差，之后进行可学习参数的更新；

4.8、当误差函数达到最优时，停止参数更新，保存训练模型。

步骤5、分割质量评价网络测试：

5.1、将测试集输入分割质量评价网络；

5.2、使用步骤4中训练好的模型进行测试，得到测试集中所有分割结果的质量评价打分。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

用分割结果的质量打分及其客观评价分数之间的线性相关系数来刻画我们图像分割结果质量评价网络的性能，经过测试，本专利的LCC(线性相关系数)达到了0.8767的优良效果。传统的基于手工特征的方法所达到的LCC不到0.5，因为手工方法无法有效地描述复杂分割结果。现有的基于卷积神经网络的分割评价方法由于其没有深入探索分割结果前景和背景之间关系，其效果仅为0.8534。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的分割结果质量评价流程示意图。

具体实施方式

本说明书中公开的所有特征或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1对本发明作详细说明。

本发明主要工作分为两个阶段：数据库构建以及分割质量评价网络的训练和测试，全部工作可以分为以下5个步骤。

步骤一、数据库构建。

1.1、首先选取VOC2012图像数据集中所有12023张图片作为分割结果的原始图像，然后采取MCG、Selectivesearch等候选框生成方法生成大量的对象候选框，采用交互式分割方法Grabcut对每个候选框中的对象进行分割，得到最终的分割结果。

1.2、计算分割结果的客观打分，利用图像分割结果以及数据库自带的分割参考标准(Ground truth)计算其IOU值，具体计算公式如下：

其中GT_i表示第i个分割结果对应的分割参考标准，R_i表示第i个分割结果。

1.3、根据IOU值进一步筛选分割结果。

步骤二、数据预处理。

2.1、划分训练集和测试集，将分割结果数据库中随机10000张图片对应的分割结果作为训练集，剩余2023张图片对应的分割结果作为测试集。

2.2、图像裁剪，为了有效利用分割结果的局部信息，我们用一个最小正方形(近似正方形)对分割结果中前景部分进行裁剪，并用相同大小矩形框对该分割结果对应的原始图像在相同位置进行裁剪。

2.3、将所有上述处理之后的图像大小归一化为224*224，并利用所有图像的均值对图像进行归一化处理。

步骤三、预训练卷积神经网络模型：

使用VGG-16对所有训练集中的分割结果进行训练，由于质量评价是一个回归问题，样本标签是一维的，且范围在0-1之间，因而我们将VGG-16的最后一个全连接层输出参数设置为1，并把最后一层(Soft max层)改为Sigmoid层，借助Sigmoid函数的特性解决该问题，并采用欧式距离损失作为损失函数。基于Caffe深度学习框架进行训练，初始学习率设置为0.001，得到预训练模型。

步骤四、分割质量评价网络训练：

将训练数据中分割结果及其对应原始图片对应输入两个卷积网络进行训练。我们采用两个相同的全卷积结构(VGG-16中卷积层1到卷积层5)对分割结果以及对应原始图像提取特征谱，使用特征级联层将上述得到的两个特征谱进行融合，设计一个新的卷积层(卷积层6)以及三个全连接层对融合特征进行进一步处理，最后一个全连接层输出数目设置为1，后续处理跟步骤三相同，并使用步骤三中得到的训练模型初始化网络参数。基于Caffe深度学习框架进行训练，初始学习率设置为0.001，得到训练好的网络和模型。

步骤五、用训练好的模型进行测试：

这一步，将预处理好的测试数据输入到步骤四训练好的网络中，得到其评价打分，所有测试数据的评价打分与其标准打分计算直线相关系数得到其测试准确率。在该网络使用过程中，只需要将分割结果及原图进行步骤二的预处理，然后输入到步骤四训练好的网络中，即可得到其分割质量评价打分。

Claims (3)

1.基于卷积神经网络的图像分割质量评价方法,其特征在于包括以下步骤：

步骤1、构建分割结果数据库：

1.1、首先选取图像数据集中图片作为分割结果的原始图像，然后采取候选框生成方法生成大量的对象候选框，并对每个候选框中的对象进行分割，得到最终的分割结果；

1.2、计算分割结果的客观评价分数，作为参考基准，即label，利用图像分割结果以及数据库自带的分割参考标准计算其IOU值,IOU值表示交并比；

1.3、根据IOU值进一步筛选分割结果，使得分割数据均匀分布，防止网络学习过程偏向某一类结果；

步骤2、对分割结果数据库进行预处理，划分训练集和测试集；

步骤3、预训练卷积神经网络模型；

使用通用卷积神经网络模型对所有训练集中的分割结果进行训练，得到预训练模型；

使用VGG-16对所有训练集中的分割结果进行训练，把Softmax层改为Sigmoid层，采用欧式距离损失作为损失函数；基于Caffe深度学习框架进行训练，得到预训练模型；

步骤4、分割质量评价网络训练：

4.1、将训练数据中分割结果及其对应原始图片对应输入两个网络分支进行训练；

4.2、采用两个相同的全卷积结构对分割结果以及对应原始图像提取特征谱，得到分割特征谱和原始图片特征谱；

4.3、使用特征级联层将分割特征谱和原始图片特征谱进行简单地级联；

4.4、得到级联特征之后，添加一个卷积层对它们之间对应位置的局部特征进行描述，得到一个局部区域的融合特征谱；

4.5、用三个全连接层对前面融合的特征谱进行全局计算，得到一维特征；

4.6、用一个sigmoid层将全连接层得到的一维特征映射0-1之间，得到分割结果的打分值；

4.7、使用Euclideanloss将网络的输出的结果跟label进行比较，计算得到误差，然后误差进行后向传播给前面的层，并计算可学习参数的误差，之后进行可学习参数的更新；

4.8、当误差函数达到最优时，停止参数更新，保存训练模型；

步骤5、分割质量评价网络测试：

5.1、将测试集输入分割质量评价网络；

5.2、使用步骤4中训练好的模型进行计算，得到测试集中所有分割结果的质量评价分数。

2.根据权利要求1所述的基于卷积神经网络的图像分割质量评价方法,其特征在于，步骤2具体包括以下步骤：

2.1、对分割结果中前景部分进行裁剪，并用相同大小矩形框对该分割结果对应的原始图像在相同位置进行裁剪；

2.2、将所有裁剪的图像大小归一化为224*224；

2.3、对所有原始图像的三个通道分别计算均值，并将所有分割结果以及原始图像的三个通道进行减均值操作；

2.4、将2.3处理的结果划分为训练集和测试集。

3.根据权利要求1所述的基于卷积神经网络的图像分割质量评价方法,其特征在于，IOU值计算公式如下：

其中GT_i表示第i个分割结果对应的分割参考标准，R_i表示第i个分割结果。