CN108428234B - 基于图像分割结果评价的交互式分割性能优化方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络分割质量评价的交互式分割优化方法，旨在解决现有技术中交互式分割方法的分割参数人工选择耗时耗力，同时交互分割参数固定而导致交互式分割结果准确率不高的问题；本发明提出了一种新的基于分割质量评价的自动选择交互式分割方法参数以获取最优分割的方法，利用分割质量评价来获得最优的分割参数从而提高了分割的准确性，其中分割质量评价采用基于卷积神经网络的方法，保证了评价的高准确率，构建了一个新的交互式分割性能优化结构；本发明适用于图像处理领域相关领域。

Description

基于图像分割结果评价的交互式分割性能优化方法

技术领域

本发明属于图像处理领域，具体涉及一种基于图像分割结果评价的交互式分割性能优化方法。

背景技术

图像分割是图像处理、计算机视觉领域中的关键技术，图像分割是通过给图像上每个像素点打标签的方法将数字图像分割成不同的像素区域，使得同一个像素区域具有某种共同的视觉特性。图像分割的目的是简化或者改变图像的表示方式，使之更有实际意义以及更易于分析理解。图像分割往往是图像分析的第一步，其结果对后续特征提取、图像分类、图像理解都具有很重要的意义。

在图像分割领域中，交互式分割或者说基于先验的分割方法是一个重要的研究部分。由于目前的计算机还无法达到理解高层语义的水平，机器自动分割很难达到预期的目的，而手动分割工程量又十分巨大，因而交互式分割成为了研究热点，尤其当图像对十分复杂时，交互式分割能够更容易提取人们感兴趣的部分、完成分割任务的要求。图像分割方法发展到现在，人们已经提出了很多的交互式分割方法，其中比较有名的是Grabcut，Randomwalker和Active contour model。

交互式分割是指根据用户的交互信息，对图像中的像素点进行判断，决定其属于前景还是背景。交互式分割的主要过程是：进行交互，根据交互信息进行分割，因而交互式分割结果的好坏依赖于初始的交互信息。为了得到更好交互式分割结果，我们对现有的交互式分割方法做了详细的分析，我们发现，交互式分割方法常常是参数化的，不同的参数会得到不同的分割结果，而实际使用过程中，交互式分割参数常常是固定的，这就导致交互式分割结果不一定是最优的。因此，根据输入图像的不同，在现有的交互式分割方法基础上，如何自动地获取最优的分割结果，是一个值得研究的问题。

另一方面，分割结果质量评价方法为我们的研究提供了一个新的思路。分割结果评价，可以在无监督的情况下实现对大批量的分割结果给一个客观评价打分，进而对于交互式分割根据输入图像选择最优结果提供了一条有效的解决方式。因此本发明提出了一个新的基于分割结果质量评价的交互式分割优化方法。本发明首先构建了一个新的基于卷积神经网络的图像分割结果评价结构，该分割结果评价结构具有十分有效的性能。基于该结构，本发明提出了一个根据输入图像结果自动选择交互式分割参数，以获得最优分割结果的方法。

发明内容

本发明的目的在于：针对现有技术中交互式分割方法的分割参数人工选择耗时耗力，同时交互分割参数固定而导致交互式分割结果准确率不高的问题，本申请提供了一种自动选择参数的基于图像分割结果评价的交互式分割性能优化方法。

本发明采用的技术方案如下：

一种基于图像分割结果评价的交互式分割性能优化方法,包括以下步骤：

步骤1：构建基于多尺度卷积神经网络的分割质量评价结构，并根据现有的分割结果数据库对分割质量评价结构进行迭代训练得到卷积神经网络分割质量评价模型；

具体地，所述步骤1的具体步骤为：

步骤1.1:选取质量评价指标，即分割准确值IOU；

步骤1.2：构建基于多尺度卷积神经网络的分割质量评价结构；

步骤1.3：根据现有的分割结果数据库对分割质量评价结构进行迭代训练得到卷积神经网络分割质量评价模型以及模型参数；

步骤2：对样本图像进行交互式分割得到交互式分割结果数据库；

具体地，所述步骤2的具体步骤为：

步骤2.1：选取交互式分割法以及交互式分割法参数；

步骤2.2：选取样本图像，并在不同的交互式分割法参数下对样本图像进行交互式分割；

步骤2.3：获得了样本图像、不同交互式分割法参数下的分割结果、每个分割结果对应的分割准确值组成的交互式分割结果数据库；

步骤3：利用交互式分割结果数据库以及卷积神经网络模型进行迭代训练并获得分割评价网络模型；

具体地，所述步骤3的具体步骤为：

步骤3.1:多尺度预处理方式对步骤2中的交互式分割结果数据库处理得到多尺度交互式分割结果数据库；

步骤3.2：根据多尺度交互式分割结果数据库以及卷积神经网络分割质量评价模型迭代训练得到分割评价网络模型，并利用步骤1中的模型参数对分割评价网络模型进行初始化；

步骤4：对目标图像进行分割得到交互式分割结果，根据分割评价网络模型对交互式分割结果进行评价，选择最高评价分数所对应的交互式分割参数作为该目标图像的最优分割参数；

具体地，所述步骤4的具体步骤为：

步骤4.1：选取目标图像交互框，根据交互框以及不同的交互式分割参数对目标图像进行分割得到交互式分割结果；

步骤4.2：对步骤4.1得到的交互式分割结果进行多尺度预处理得到多尺度交互式分割结果；

步骤4.3：根据步骤3得到的分割评价网络模型对多尺度交互式分割结果评价得到分割结果的评价分数；

步骤4.4：选择最高评价分数所对应的交互式分割参数作为该目标图像的最优分割参数，根据最优分割参数输出对应的最优交互分割结果。

优选地，所述步骤2.1和步骤2.2中的交互式分割参数选取30个。

具体地，所述分割准确率IOU的计算式为：

其中GTi表示第i个分割结果对应的分割参考标准，Ri表示第i个分割结果。

交互式分割参数有很多，比如光滑项系数，高斯混合模型的个数，交互式分割会有一些参数对结果影响较大，不一定是某一个，可能是某两个，具体通过实验验证，或者根据算法原理进行选择。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本申请巧妙的将分割评价有效的引入交互式分割法中，获得最佳的交互式分割参数，进而获得最优的交互分割结果，解决了现有技术中交互式分割方法的分割参数固定化而导致交互式分割结果准确率不高的问题，克服了传统的先分割再评价的技术壁垒，同时解决了如何将分割评价有效的引入交互式分割法的难题，同时本申请提供了一种新的自动选择交互式分割参数的方法；

2.本申请采用多尺度卷积神经网络以最大程度上的提取图像中的有用信息，其中分割质量评价采用基于卷积神经网络的方法，保证了评价的高准确率，构建了一个新的交互式分割性能优化结构；

3.本申请采用的分割评价优化分割参数，现有的分割方法主要参数化，所以本申请的分割优化方法具有较好的通用性，适用于大多数的分割方法；

4.本申请采用交互式分割参数，进一步提高了分割的准确性，同时提高了后续应用比如分类、识别等的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1是本发明分割优化方法的流程示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例主要工作分为两个阶段：分割质量评价网络的训练和交互式分割最优参数选择，可以分为以下4个步骤；

步骤一、构建基于卷积神经网络的分割质量评价结构

1.1:数据预处理，在现有的分割结果数据库上，分别选取20000和4000个分割结果作为本次分割评价网络的训练数据和测试数据。对于本次训练，我们将选取的分割结果进行多尺度切割处理，获得三个尺度的样本对(分割结果，原始图像)；

1.2:构建卷积神经网络结构，使用VGG-16的卷积层结构作为特征提取基础网络，采用6个特征提取网络对同一组的6个输入样本分别进行特征提取。使用特征级联层对获得的一组特征谱进行融合，后续使用一个卷积核为3*3的卷积层对级联特征进行进一步融合，卷积层后连接三个全连接层，输出特征个数分别为4096、4096、1。全连接层后接一个Sigmoid层，以得到0到1之间的回归值，最后采用欧式距离损失函数来计算损失；

1.3:训练卷积神经网络，在1.1得到的训练数据上进行训练，初始学习率设置为0.001，多次迭代，直到模型收敛，保存此时的网络模型参数；

步骤二、构建交互式分割结果数据库

2.1:选取交互式分割方法Grabcut的分割参数，对Grabcut分割算法的不同参数进行试验分析，确定对其分割结果影响较大的参数：能量项参数γ，作为我们本次参数选择的目标参数；

2.2:构建交互式分割数据库，在VOC2012数据库上选取5000个图像作为本次构建数据库的原始图像，对于每一个图像，采用候选框生成算法自动为其选择一个目标对象存在可能性最大的候选框作为交互框的输入信息。选取γ参数值为0.1，…,1,10,20,…,200，对每一个图像及其对应交互框进行交互式分割，获得大量的交互式分个结果，使用IOU计算公式，为每一个分割结果计算准确率；

步骤三、优化训练分割结果评价网络模型

3.1:数据预处理，对2.2得到的交互式分割结果进行多尺度切割处理，获得如1.1中同样的数据形式；

3.2:优化训练分割评价网络模型，使用处理后的训练数据重新优化训练步骤一中得到的基于卷积神经网络的分割结果质量评价网络，在此次训练模型初始化时，我们采用步骤一中保存的模型参数进行设置。学习率设置为0.0001，多次迭代训练，知道网络收敛，保存网络模型；

步骤四、交互式分割最优参数选择

4.1:进行交互，使用人工方式对输入图像进行目标框标记；

4.2:进行分割，基于4.1得到的交互框，采用30个γ取值不同的Grabcut算法对输入图像进行分割，得到30个交互式分割结果；

4.3:数据处理，采用多尺度切割方法对上述得到的交互式分割结果进行处理，并保存成图像对的形式；

4.4:分割评价，将上述得到的图像样本输入到步骤三中的到的分割评价网络模型中，获得对其30个交互式分割结果的质量打分；

4.5:参数选择，根据上述得到的分割质量打分，对其排序，获得最高打分，选择其对应的分割参数及交互式分割结果，作为该输入图像的最优分割参数及最优分割结果；

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于图像分割结果评价的交互式分割性能优化方法,其特征在于，包括以下步骤：

步骤1：构建基于多尺度卷积神经网络的分割质量评价结构，并根据现有的分割结果数据库对分割质量评价结构进行迭代训练得到卷积神经网络分割质量评价模型；

步骤2：对样本图像进行交互式分割构建交互式分割结果数据库；

步骤3：利用交互式分割结果数据库以及卷积神经网络分割质量评价模型进行迭代训练并获得分割评价网络模型；

步骤4：对目标图像进行分割得到交互式分割结果，根据分割评价网络模型对交互式分割结果进行评价，选择最高评价分数所对应的交互式分割参数作为该目标图像的最优分割参数，根据最优分割参数输出对应的最优交互分割结果；

所述步骤4的具体步骤为：

步骤4.1：选取目标图像交互框，根据交互框以及不同的交互式分割参数对目标图像进行分割得到交互式分割结果；

步骤4.2：对步骤4.1得到的交互式分割结果进行多尺度预处理得到多尺度交互式分割结果；

步骤4.3：根据步骤3得到的分割评价网络模型对多尺度交互式分割结果评价得到分割结果的评价分数；

步骤4.4：选择最高评价分数所对应的交互式分割参数作为该目标图像的最优分割参数，根据最优分割参数输出对应的最优交互分割结果。

2.如权利要求1所述的基于图像分割结果评价的交互式分割性能优化方法,其特征在于，所述步骤1的具体步骤为：

步骤1.1:选取质量评价指标，即分割准确值IOU；

步骤1.2：构建基于多尺度卷积神经网络的分割质量评价结构；

步骤1.3：根据现有的分割结果数据库对分割质量评价结构进行迭代训练得到卷积神经网络分割质量评价模型以及模型参数。

3.如权利要求2所述的基于图像分割结果评价的交互式分割性能优化方法,其特征在于，所述步骤2的具体步骤为：

步骤2.1：选取交互式分割法以及交互式分割法参数；

步骤2.2：选取样本图像，并在不同的交互式分割法参数下对样本图像进行交互式分割；

步骤2.3：获得了样本图像、不同交互式分割法参数下的分割结果、每个分割结果对应的分割准确值组成的交互式分割结果数据库。

4.如权利要求3所述的基于图像分割结果评价的交互式分割性能优化方法,其特征在于，所述步骤3的具体步骤为：

步骤3.1:多尺度预处理方式对步骤2中的交互式分割结果数据库处理得到多尺度交互式分割结果数据库；

步骤3.2：根据多尺度交互式分割结果数据库以及卷积神经网络分割质量评价模型迭代训练得到分割评价网络模型，并利用步骤1中的模型参数对分割评价网络模型进行初始化。

5.如权利要求3或4所述的基于图像分割结果评价的交互式分割性能优化方法,其特征在于，所述步骤2.1和步骤2.2中的交互式分割参数选取30个。

6.如权利要求2所述的基于图像分割结果评价的交互式分割性能优化方法,其特征在于，

所述分割准确值 IOU的计算式为：

其中GTi表示第i个分割结果对应的分割参考标准，Ri表示第i个分割结果。

Images