CN107437246B - 一种基于端到端全卷积神经网络的共同显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于端到端全卷积神经网络深度模型，用于在一组相互关联的图像中发现其共同显著目标的问题。具体包括如下步骤：获取用于训练显著性检测的多组图像数据集，并定义算法目标；共享卷积层，对组内图像进行共同的语义特征学习；分别对每帧图像进行单独的特征表达；在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征；建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架；使用所述学习框架检测图像组的共同显著性结果。本发明用于真实图像数据的显著性分析，面对各类复杂情况具有较佳的效果和鲁棒性。

Description

一种基于端到端全卷积神经网络的共同显著性检测方法

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于端到端全卷积神经网络共同显著性检测方法。

背景技术

共同显著性目标检测被定义为如下问题：在包含多张图像的一组图形中中发现具有共同属性的显著性前景目标。近年来，在计算机视觉任务如图像或视频分割、目标定位等领域中得到了广泛应用。该任务主要有两个关键点：第一是如何产生有效的特征表达；第二是如何对组内图像间的互动关系进行建模从而更好的得到最终的显著性图。针对第一点，本发明认为共同显著性检测任务重的特征表达不仅应该反映单张图像的独有特性，而且应该表达图像之间的关联关系；针对第二点，本发明认为组内图像相互之间在不同方面都是上下文相关的，而共同显著性检测任务可以利用组内图像之间的一致性信息获取它们的互动信息，并且相互增强各自的显著性区域。传统方法一般将单张图像的特有特征与组内图像的共同特性分别计算，或者不考虑单张图像的属性，尽管这些方法有一定的创新性，但是这却不能很好的互动语义信息，这在本任务中是非常重要的。

由于统计建模的有效性，目前基于学习的方法逐渐被应用到显著性检测任务中。现有的基于学习的方法主要采用深度学习框架，输入一组图像，输出检测的显著性图。深度学习能够有效地解决特征表达的问题，

发明内容

为解决上述问题，本发明的目的在于提供一种基于端到端全卷积神经网络共同显著性检测方法。该方法基于深度神经网络，利用以图像组为基础(整组输入和整组输出)的机制。在Co-saliency检测中，组内图像相互关联，例如具有相似目标，显著性目标的颜色、形状、对比度等关联性强，因此我们的工作基于卷积神经网络在特征层面上对组内图像的互动关系和语义信息进行了学习，以得到更好的组内共享特征。另外，为了保证每张图像的个性特征，我们对组内的每张图像进行单独的特征表达。结合上述两方面，我们设计了一个统一的端到端深度学习框架对组内共享特征和单张图像特征的互动及关联关系进行联合学习，从而使模型更具准确性和鲁棒性。

为实现上述目的，本发明的技术方案为：

基于端到端全卷积神经网络共同显著性检测方法，包括以下步骤：

S1、获取用于训练显著性检测的多组图像数据集，并定义算法目标；

S2、对组内图像进行共同的语义特征学习；

S3、分别对每帧图像进行单独的特征表达；

S4、在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征；

S5、建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架；

S6、使用所述学习框架检测图像组的共同显著性结果。

基于上述方案，各步骤可以通过如下方式实现：

进一步的，步骤S1中，所述的用于训练显著性检测的多组图像数据集，包括相互关联的图像组

其中I_i为第i张图像，K为图像组中图像张数；

定义算法目标为：检测组内图像的共同显著性区域

其中R_i为第i张图像的显著性区域。

进一步的，步骤S2中，对组内图像进行共同的语义特征学习具体包括：

S21、对图像数据集进行分组处理，提取每张图像的Gist特征和Lab特征并计算图像之间的欧氏距离度量得到与每张图像最相似的4张图像，组成每组5张图像，作为训练的算法输入；

S22、使用每一层加入ReLU激活函数的十三层卷积操作和max-pooling操作对

每一张图像I_i提取初始的高层语义特征s_i,即：

S_i＝f_shared(I_i；θ_Shared)

其中θ_shared为卷积参数；

S23、通过整组输入，得到每张图像初始特征

进一步的，步骤S3中，分别对每帧图像进行单独的特征表达具体包括：

使用三层卷积操作，对每张图像进行更深层的特征提取，输入为所述高层语义特征s_i,即：

x_i＝f_single(S_i；θ_single)

其中θ_single为卷积参数，x_i为提取到的更深层的特征。

进一步的，步骤S4中，在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征具体包括：

S41、对组内图像IG，利用融合策略将上述初始特征s进行拼接操作；

S42、对融合后的特征，通过每一层加入ReLU激活函数的三层卷积操作进行组内互动关系的学习，得到图像组的语义特征：

X＝f_intra(s；θ_intra)

其中θ_intra为卷积参数。

进一步的，步骤S5中，建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架具体包括：

S51、建立联合学习框架包括两个方面：图像组的共享特征X和单张图像的独立特征x_i,作为该步骤的输入，通过拼接操作、卷积操作以及反卷积操作，输出组内每张图像各自的显著性检测值R；

S52、神经网络的结构表示为映射(x，X)→R,用公式表示为：

R＝f_{collaborative}(xX；θ_{collaborative})

其中θ_{collaborative}为卷积参数，x为单张图像的独立特征x_i的集合。

进一步的，步骤S6中，使用所述学习框架检测图像组的共同显著性结果包括：

基于由S1～S5建立的统一的端到端联合学习框架，采用组输入、组输出，在训练中，将多组图像输入该神经网络中，所有的卷积参数θ通过最小化损失函数学习得到，其中错误率由显著性图与真值比较得到，损失函数采用平方欧氏损失函数；

和

分别为原始图像和真值的训练样本集，N为图像组的数目，则损失函数计算公式表示为：

其中θ＝{θ_shared，θ_single，θ_intra，θ_{collaborative}}为卷积参数。

本发明的基于端到端全卷积神经网络共同显著性检测方法，相比于现有的共同显著性检测方法，具有以下有益效果：

首先，本发明的共同显著性检测方法定义了显著性检测中的两个个重要问题，即图像的显著性特征表达、图像之间的互动关系建模。通过寻求这两个方向的解决方法，可以有效地解决复杂场景中的图像组的共同显著性检测。

其次，本发明提出了一个统一的以组为单位的深度共同显著性检测方法，该方法实现组输入、组输出，并利用图像之间的互动关系，实现组内图像的一致性表达(例如共同前景和相似背景等)，同时也对单张图像的独有特性(独有目标和特有属性)进行特征表达。有效地提升了显著性检测的结果。

最后，本发明的显著性检测方法提出端到端的深度学习网络去联合优化特征表达学习过程和协同学习过程，从而得到了更加鲁棒的共同显著性结果。

本发明的基于端到端全卷积神经网络共同显著性检测方法，在视频、图像分割和视频压缩中，能够有效提高场景分析的准确度和效率，具有良好的应用价值。例如，在视频语义提取及压缩任务中，本发明的共同显著性检测方法能够快速准确地定位视频中显著性目标区域，从而判断出视频中最具价值的重要部分，为后续分析提供依据。

附图说明

图1为本发明的的流程示意图；

图2为实施例中的原始图像；

图3为实施例中的共同显著性结果与真值、其他方法的效果对比图；

图4为实施例中的联合学习框架相对于单张图像的显著性检测效果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，在本发明的较佳实施例中，一种基于端到端全卷积神经网络共同显著性检测方法，包括以下步骤：

首先，获取所述的用于训练显著性检测的多组图像数据集，包括相互关联的图像组

其中I_i为第i张图像，K为图像组中图像张数；

定义算法目标为：检测组内图像的共同显著性区域

其中R_i为第i张图像的显著性区域。

其次，对组内图像进行共同的语义特征学习具体包括：

第一步，对图像数据集进行分组处理，提取每张图像的Gist特征和Lab特征并计算图像之间的欧氏距离度量得到与每张图像最相似的4张图像，组成每组5张图像，作为训练的算法输入。

第二步，使用十三层卷积操作(每一层加入ReLU激活函数)或者max-pooling操作对

每一张图像I_i提取初始的高层语义特征s_i,即：

S_i＝f_shared(I_i；θ_Shared)

其中θ_shared为卷积参数；

第三步，通过整组输入，得到每张图像初始特征

接下来，分别对每帧图像进行单独的特征表达具体包括：

使用三层卷积操作，对每张图像进行更深层的特征提取，输入为上述共享特征s_i,即：

x_i＝f_single(S_i；θ_single)

其中θ_single为卷积参数，x_i为提取到的更深层的特征；

之后，在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征具体包括：

第一步，对组内图像IG，利用融合策略将上述初始特征s进行拼接操作；

第二步，对融合后的特征，通过三层卷积操作(每一层加入ReLU激活函数)进行组内互动关系的学习，得到图像组的语义特征：

X＝f_intra(s；θ_intra)

其中θ_intra为卷积参数；

然后，建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架具体包括：

第一步，建立联合学习框架包括两个方面：图像组的共享特征X和单张图像的独立特征x_i,作为该步骤的输入，通过拼接操作、卷积操作以及反卷积操作，输出组内每张图像各自的显著性检测值R；

第二步，神经网络的结构表示为映射(x，X)→R,用公式可以表示为：

R＝f_{collaborative}(x，X；θ_{collaborative})

其中θ_{collaborative}为卷积参数，x为单张图像的独立特征x_i的集合。

最后，使用所述学习框架检测图像组的共同显著性结果包括：

基于由S1～S5建立的统一的端到端联合学习框架，采用组输入、组输出，在训练中，将多组图像输入该神经网络中，所有的卷积参数θ通过最小化损失函数学习得到，其中错误率由显著性图与真值比较得到，损失函数采用平方欧氏损失函数；

和

分别为原始图像和真值的训练样本集，N为图像组的数目，则损失函数计算公式表示为：

其中θ＝{θ_shared，θ_single，θ_intra，θ_{collaborative}}为卷积参数。

下面将上述方法应用于具体实施例中，以便本领域技术人员能够更好地理解本发明的效果。

实施例

本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在三个具有真值标注的数据集上实施，分别为：

iCoseg数据集：该数据集包含643张图像，有38个分组。

MSRC-V2数据集：该数据集包含591张图像，有23个分组。

Cosal2015数据集：该数据集包含2015张图像，有50个分组。

本实例在每个数据集上选取两组数据进行实验，两组实例都分别提取每张图像的Gist特征和Lab特征并计算图像之间的欧氏距离度量得到每张图像最相似的4张，组成每组5张图像，如图2所示；

2)通过十三层卷积操作，得到每张图像的初始特征；

3)使用三层卷积操作，对每张图像进行更深层的特征提取；

4)对组内5张图像，利用融合策略，将上述初始特征进行拼接操作，并对融合后的特征进行卷积操作，实现组内互动关系的学习，得到该图像组的语义特征；

5)建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架，得到最终的显著性图，如图3所示，同时加入其它方法的结果对比；

6)为验证本发明中联合学习框架的效果，对比最终的共同显著性结果与单张图像的显著性结果，可以看出，共同显著性结果加强了组内共同目标区域，并且减弱了其他区域。如图4所示。

5)本实例检测结果的检测精度见表1所示。图中数据显示了本发明在平均F-measure，AUC以及MAE三个指标上的表现，与其他传统方法相比，在整体上有了进一步的提升。其中F-measure表示准确度与回归之间的目标检索平衡度：

其中η²在实验中设置为0.3。AUC指标是指ROC曲线下方的面积，可以较好的反应检测结果。MAE是指显著性图与真值之间的像素级的平均误差。

表1本实例各评价指标

通过以上技术方案，本发明实施基于深度学习技术提供了一种基于端到端全卷积神经网络共同显著性检测方法。本发明可以在各种真实图像数据上建模图像的上下文关联关系，从而得到准确的显著性检测结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于端到端全卷积神经网络共同显著性检测方法，其特征在于，包括以下步骤：

S1、获取用于训练显著性检测的多组图像数据集，并定义算法目标；

S2、对组内图像进行共同的语义特征学习；

S3、分别对每帧图像进行单独的特征表达；

S4、在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征；

S5、建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架；

S6、使用所述学习框架检测图像组的共同显著性结果；

所述步骤S1中，所述的用于训练显著性检测的多组图像数据集，包括相互关联的图像组

其中I_i为第i张图像，K为图像组中图像张数；

定义算法目标为：检测组内图像的共同显著性区域

其中R_i为第i张图像的显著性区域；

所述步骤S2中，对组内图像进行共同的语义特征学习具体包括：

S21、对图像数据集进行分组处理，提取每张图像的Gist特征和Lab特征并计算图像之间的欧氏距离度量得到与每张图像最相似的4张图像，组成每组5张图像，作为训练的算法输入；

S22、使用每一层加入ReLU激活函数的十三层卷积操作和max-pooling操作对

每一张图像I_i提取初始的高层语义特征s_i，即：

s_i＝f_shared(I_i；θ_shared)

其中θ_shared为卷积参数；

S23、通过整组输入，得到每张图像初始特征

所述步骤S3中，分别对每帧图像进行单独的特征表达具体包括：

使用三层卷积操作，对每张图像进行更深层的特征提取，输入为所述高层语义特征s_i，即：

x_i＝f_single(s_i；θ_single)

其中θ_single为卷积参数，x_i为提取到的更深层的特征；

所述步骤S4中，在特征层同时学习组内图像的互动关系和语义信息，得到组内图像共享特征具体包括：

S41、对组内图像IG，利用融合策略将上述初始特征s进行拼接操作；

S42、对融合后的特征，通过每一层加入ReLU激活函数的三层卷积操作进行组内互动关系的学习，得到图像组的语义特征：

X＝f_intra(s；θ_intra)

其中θ_intra为卷积参数；

所述步骤S5中，建立组内共享特征和单张图像特征的互动及关联关系的联合学习框架具体包括：

S51、建立联合学习框架包括两个方面：图像组的共享特征X和单张图像的独立特征x_i，作为该步骤的输入，通过拼接操作、卷积操作以及反卷积操作，输出组内每张图像各自的显著性检测值R；

S52、神经网络的结构表示为映射(x，X)→R，用公式表示为：

R＝f_{collaborative}(x，X；θ_{collaborative})

其中θ_{collaborative}为卷积参数，x为单张图像的独立特征x_i的集合。

Images