CN107133955B - 一种多层次结合的协同显著性检测方法 - Google Patents

Abstract

本发明属于显著性检测技术领域，提供了一种多层次结合的协同显著性检测方法。步骤如下：1)提取目标框及目标框初始筛选；2)目标框粗略筛选及分割目标区域；3)基于噪声检测的目标区域精确筛选；4)超像素分割及特征提取；5)超像素分类；6)多尺度融合及扩散。本发明的效果和益处是从两个不同层次着手进行协同显著性检测，层层递进，用目标层提供的目标模板信息指导了超像素层的精细分类，综合利用了不同层次的优势，互相弥补了不足，更准确地检测出了一组图像中共有的目标。

Description

一种多层次结合的协同显著性检测方法

技术领域

本发明属于显著性检测技术领域，涉及到一种多层次结合的协同显著性检测方法，特别涉及到目标区域筛选、超像素分类方法。

背景技术

随着科技的发展，计算机视觉的关注度不断提高。图像显著性检测是计算机视觉中的热点课题，旨在找出图像中最引人注意、最具信息量的区域。而随着实际生活中多媒体技术和社交媒体的发展，很多情况下会有成组的图片出现，这些图片往往只是目标的姿势、拍摄角度等方面有所不同，但目标的整体特征相似，协同显著性检测正适用于这种情况。协同显著性检测，目的是检测出一组图像中共有的显著目标，是传统显著性检测的分支领域，可应用于视频目标跟踪，目标检测，图像协同定位等计算机视觉应用中，目前也受到了广泛的关注。

现有的协同显著性检测方法基本都依赖于单一层次，如目标层，超像素层，像素层等。然而这种单一层次上进行的显著性检测虽有各自的优势，却也存在着一定的局限性。2014年Liu等提出的算法是在目标层上进行的，通过计算不同目标分割区域的对比度，来描述图像内的显著性，再通过计算整组图像间目标区域的相似度来计算图像间的显著性。该算法是在较大尺度的目标层上进行计算，因此可以把握目标整体结构信息，定位目标位置，但在目标的细节信息上却不够细致准确。2015年Zhang等提出的算法是基于超像素的，将超像素作为事例，应用多事例学习模型来解决协同显著性检测，并将其整合到自步进学习机制中。该算法可通过超像素对目标边缘等细节信息检测更准确，却无法较好把握目标整体结构信息。因此，若能在不同层次上来进行协同显著性检测，整合各个层次的优势，互相弥补不足，则会得到更好的结果。

发明内容

本发明要解决的技术问题是如何对一组图像中共有的显著目标进行检测。提供了一种多层次结合的协同显著性检测方法。

本发明的技术方案：

一种多层次结合的协同显著性检测方法，步骤如下：

1)提取目标框及目标框初始筛选

本方法需要在图像分组放置的图像库上进行检测，图像库中每组图像内的多个图像都包含相同或相似的目标；

对每幅图像提取1000至2000个目标框，计算每个目标框占所属图像的面积比例，将比例超过70％以及不足30％的目标框删除；

2)目标框粗略筛选及分割目标区域

将每幅图像在上一步中保留下来的目标框叠加，形成初始灰度图，将小于0.3的灰度值称为背景灰度值；对应初始灰度图，统计每个目标框内包含像素对应的背景灰度值之和，并除以对应目标框面积，作为背景值得分；对每幅图像，取背景值得分最小的前30个目标框保留；并用基于高阶能量项的分割方法对每个目标框进行分割，得到30个具有轮廓信息的不规则目标区域；再通过edgebox算法得到每幅图像的目标边缘图；通过计算每个目标区域的边缘与对应的目标边缘图中目标边缘的重合度，目标区域与目标边缘图中重心距离等线索，每个目标区域得到一个得分，按照得分从大到小的顺序排列，取前10个目标区域保留；

3)基于噪声检测的目标区域精确筛选

首先分别提取整组图像每个目标区域的R-CNN(Regions with convolutionalneural networks)特征，每个目标区域共8192维，将一组图像中所有目标区域一起进行检测，噪声检测的目标函数如下：

其中，α₁,α₂均为参数，均取0.1；x_i为目标区域i的R-CNN特征；f为分类函数，f(x_i)则代表目标区域i的预测标签；n和n⁺分别代表所有目标区域的个数，以及正类目标区域的个数；y_i为软标签，其取值为或L＝D-W，W表示两个临近目标区域间的相似度，其元素计算如下：ε为设定的参数；其中目标区域i处于j的邻近集合中，且目标区域j也处于i的邻近集合中；D是一个对角矩阵，其对角元素定义为

现采用迭代求解方式对噪声检测的目标函数进行求解；首先将分类函数f定义为f＝Kβ，其中β＝[β₁,β₂,...,β_n]^T是系数，K代表核矩阵，其核映射为k(x)＝[κ(x₁,x),...,κ(x_n,x)]^T，因而分类函数也可表示为f(x)＝β^Tk(x)；将β₀初始化为则随后，不断迭代更新f；在每一次迭代t中，通过参考有噪声的标签矩阵y_t，此噪声检测的目标函数可产生新的预测标签f_t+1＝Kβ；然后再由f_t+1得到更精细的标签y_t+1，并且保留到下次迭代之中，根据实际需求进行多次迭代；最后根据标签f的正负，将所有目标区域分成模板类(正)和噪声类(负)两类；模板类中的目标区域包含较准确的目标信息，而并不准确的目标区域则被视为噪声，分到噪声类中；

将噪声类中的所有目标区域去除，不论其来自于哪幅图像；将模板类中属于同一幅图像的目标区域叠加，得到一个灰度图，再用基于高阶能量项的分割方法将其分割，得到属于该幅图像的模板；

4)超像素分割及特征提取

对每幅图像，用SLIC(Simple linear iterative cluster)算法进行多尺度超像素分割，通过已训练好的VGG(Visual Geometry group)网络为每个超像素提取VGG特征，选用VGG1-1层和池化1层的输出，将其分别转化到与图像大小对应的尺寸上，进而得到每个像素的对应值作为该像素的特征；对于每个超像素，再计算其包含的像素特征的平均值，作为该超像素的特征；将每层输出串联起来，得到最终超像素特征；

5)超像素分类

将每一组内所有图像的各个尺度超像素输入到如下所述超像素分类模型中，首先需要求解如下目标函数，得到转移矩阵Q；

其中，A为超像素VGG特征矩阵，a_v和a_z则分别代表超像素v和z的VGG特征；Q为需要求解的转移矩阵，h_vz为超像素v和z的相似度；目标函数中第一项的F代表F范数；γ₁与γ₂是设定好的参数，均取0.0001；N为总的超像素个数；P为超像素的伪真值标签矩阵，伪真值标签取值分为正负两类，取值为+1或-1；我们根据噪声检测中得到的模板计算标签矩阵P；首先计算各个超像素中处于对应模板的前景区域中的面积占该超像素总面积的比例；当该比例大于70％时，赋予此超像素正标签，反之则赋予其负标签；若某幅图像在噪声检测中并未得到模板，则该图像的超像素不作为训练超像素来计算转移矩阵Q；

选定超像素标签后，则开始对超像素分类的目标函数进行求解；标签分为正负两类，先从第r类的转移矩阵Q_r入手，对其求偏导数如下:

其中，P_r是第r类的标签矩阵；E_r是一个对角矩阵，其中第m个对角元e_mr由Q_r中第m个对角元计算得到；计算公式如下：随后迭代更新Q_r和E_r的值，根据实际需求进行多次迭代；每一次迭代θ中，通过固定由上公式计算出再固定将更新为其中η是一个参数；

根据求解得到的Q_r，分别计算组内所有超像素属于每一类的预测得分A^TQ_r；若该超像素在正类中得分高，则判为正类，反之则判为负类；根据正类超像素对应灰度值为1，负类超像素对应灰度值为0，每幅图像得到对应的二值分类结果图；

6)多尺度融合及扩散

上一步骤中每幅图像在多尺度下均得到对应的二值分类结果图，将每幅图像的多幅二值分类结果图叠加，得到灰度图S₁，将叠加的灰度图S₁按照自适应的阈值分割，得到分类后的二值图S₂；其中自适应阈值设定为μ+σ，μ为该图像灰度值均值，σ为标准差；

再将多尺度叠加后所得二值图S₂用graphcut算法分割，每幅图像中以分割后灰度值为1的部分为前景种子点，根据流行排序算法进行扩散，得到扩散后的灰度显著性图S₃；再与多尺度叠加得到的灰度图S₁融合，融合公式如下：S＝2*S₁+S₃；将所得融合图S归一化后便得到最终的显著性图。

本发明的效果和益处是从两个不同层次着手进行协同显著性检测，层层递进，用目标层提供的目标模板信息指导了超像素层的精细分类，综合利用了不同层次的优势，互相弥补了不足，更准确地检测出了一组图像中共有的目标。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法利用多层次结合的协同显著性检测的结果图。左侧一列是原图像，右侧一列是对应的本发明方法的协同显著性检测结果图。

具体实施方式

以下结合技术方案(和附图)详细叙述本发明的具体实施方式。

用于实施的软件环境是：

实施例中运行的软件环境是Matlab2011a，Windows7系统。

如图1所示，为本具体实施方式中协同显著性检测方法的流程图，包括以下步骤：

1)提取目标框及目标框初始筛选

本方法需在分组放置的图像库上进行检测，图像库中每组图像内的多个图像都包含相同或相似的目标；本实施例在iCoseg图像库上进行了实验；

对每幅图像提取1000至2000个目标框，计算每个目标框占所属图像的面积比例，将比例超过70％以及不足30％的目标框删除；

2)目标框粗略筛选及分割目标区域

将每幅图像在上一步中保留下来的目标框叠加，形成初始灰度图，将小于0.3的灰度值称为背景灰度值；对应初始灰度图，统计每个目标框内包含像素对应的背景灰度值之和，并除以对应目标框面积，作为背景值得分；对每幅图像，取背景值得分最小的前30个目标框保留；并用基于高阶能量项的分割方法对每个目标框进行分割，得到30个具有轮廓信息的不规则目标区域；再通过edgebox算法得到每幅图像的目标边缘图；通过计算每个目标区域的边缘与对应的目标边缘图中目标边缘的重合度，目标区域与目标边缘图中重心距离等线索，每个目标区域得到一个得分，按照得分从大到小的顺序排列，取前10个目标区域保留；

3)基于噪声检测的目标区域精确筛选

首先分别提取整组图像每个目标区域的R-CNN特征，每个目标区域共8192维，将一组图像中所有目标区域一起进行检测，噪声检测的目标函数如下：

其中，α₁,α₂均为参数，本实施例中均取0.1；x_i为目标区域i的R-CNN特征；f为分类函数，f(x_i)则代表目标区域i的预测标签；n和n⁺分别代表所有目标区域的个数，以及正类目标区域的个数；y_i为软标签，其取值为或L＝D-W，W表示两个临近目标区域间的相似度，其元素计算如下：ε为设定的参数；其中目标区域i处于j的邻近集合中，且目标区域j也处于i的邻近集合中；D是一个对角矩阵，其对角元素定义为

现采用迭代求解方式对噪声检测的目标函数进行求解；首先将分类函数f定义为f＝Kβ，其中β＝[β₁,β₂,...,β_n]^T是系数，K代表核矩阵，其核映射为k(x)＝[κ(x₁,x),...,κ(x_n,x)]^T，因而分类函数也可表示为f(x)＝β^Tk(x)；将β₀初始化为则随后，不断迭代更新f；在每一次迭代t中，通过参考有噪声的标签矩阵y_t，此噪声检测的目标函数可产生新的预测标签f_t+1＝Kβ；然后再由f_t+1得到更精细的标签y_t+1，并且保留到下次迭代之中，根据实际需求进行多次迭代；最后根据标签f的正负，将所有目标区域分成模板类(正)和噪声类(负)两类；模板类中的目标区域包含较准确的目标信息，而并不准确的目标区域则被视为噪声，分到噪声类中；

将噪声类中的所有目标区域去除，不论其来自于哪幅图像；将模板类中属于同一幅图像的目标区域叠加，得到一个灰度图，再用基于高阶能量项的分割方法将其分割，得到属于该幅图像的模板；

4)超像素分割及特征提取

对每幅图像，用SLIC算法进行多尺度超像素分割，通过已训练好的VGG网络为每个超像素提取VGG特征，选用VGG1-1层和池化1层的输出，将其分别转化到与图像大小对应的尺寸上，进而得到每个像素的对应值作为该像素的特征；对于每个超像素，再计算其包含的像素特征的平均值，作为该超像素的特征；将每层输出串联起来，得到最终超像素特征；

5)超像素分类

将每一组内所有图像的各个尺度超像素输入到如下所述超像素分类模型中，首先需要求解如下目标函数，得到转移矩阵Q；

其中，A为超像素VGG特征矩阵，a_v和a_z则分别代表超像素v和z的VGG特征；Q为需要求解的转移矩阵，h_vz为超像素v和z的相似度；目标函数中第一项的F代表F范数；γ₁与γ₂是设定好的参数，均取0.0001；N为总的超像素个数；P为超像素的伪真值标签矩阵，伪真值标签取值分为正负两类，取值为+1或-1；我们根据噪声检测中得到的模板计算标签矩阵P；首先计算各个超像素中处于对应模板的前景区域中的面积占该超像素总面积的比例；当该比例大于70％时，赋予此超像素正标签，反之则赋予其负标签；若某幅图像在噪声检测中并未得到模板，则该图像的超像素不作为训练超像素来计算转移矩阵Q；

选定超像素标签后，则开始对超像素分类的目标函数进行求解；标签分为正负两类，先从第r类的转移矩阵Q_r入手，对其求偏导数如下:

其中，P_r是第r类的标签矩阵；E_r是一个对角矩阵，其中第m个对角元e_mr由Q_r中第m个对角元计算得到；计算公式如下：随后迭代更新Q_r和E_r的值，根据实际需求进行多次迭代；每一次迭代θ中，通过固定由上公式计算出再固定将更新为其中η是一个参数；

根据求解得到的Q_r，分别计算组内所有超像素属于每一类的预测得分A^TQ_r；若该超像素在正类中得分高，则判为正类，反之则判为负类；根据正类超像素对应灰度值为1，负类超像素对应灰度值为0，每幅图像得到对应的二值分类结果图；

6)多尺度融合及扩散

上一步骤中每幅图像在多尺度下均得到对应的二值分类结果图，将每幅图像的多幅二值分类结果图叠加，得到灰度图S₁，将叠加的灰度图S₁按照自适应的阈值分割，得到分类后的二值图S₂；其中自适应阈值设定为μ+σ，μ为该图像灰度值均值，σ为标准差；

再将多尺度叠加后所得二值图S₂用graphcut算法分割，每幅图像中以分割后灰度值为1的部分为前景种子点，根据流行排序算法进行扩散，得到扩散后的灰度显著性图S₃；再与多尺度叠加得到的灰度图S₁融合，融合公式如下：S＝2*S₁+S₃；将所得融合图S归一化后便得到最终的显著性图。

本实施例中，图2为本发明方法利用多层次结合的协同显著性检测的结果图。左侧一列是原图像，右侧一列是对应的本发明的协同显著性检测结果图。从图中可以看出，本发明方法可以很好地将同组图像中的共同显著性目标检测出来。

Claims (1)

1.一种多层次结合的协同显著性检测方法，其特征在于，步骤如下：

1)提取目标框及目标框初始筛选

本协同显著性检测方法在图像分组放置的图像库上进行检测，图像库中每组图像内的多个图像都包含相同或相似的目标；

对每幅图像提取1000～2000个目标框，计算每个目标框占所属图像的面积比例，将比例超过70％以及不足30％的目标框删除；

2)目标框粗略筛选及分割目标区域

将每幅图像在步骤1)中保留下来的目标框叠加，形成初始灰度图，将小于0.3的灰度值称为背景灰度值；对应初始灰度图，统计每个目标框内包含像素对应的背景灰度值之和，并除以对应目标框面积，作为背景值得分；对每幅图像，取背景值得分最小的前30个目标框保留；用基于高阶能量项的分割方法对每个目标框进行分割，得到30个具有轮廓信息的不规则目标区域；再通过edgebox算法得到每幅图像的目标边缘图；通过计算每个目标区域的边缘与对应的目标边缘图中目标边缘的重合度，目标区域与目标边缘图中重心距离，每个目标区域得到一个得分，按照得分从大到小的顺序排列，取前10个目标区域保留；

3)基于噪声检测的目标区域精确筛选

首先分别提取整组图像每个目标区域的R-CNN特征，每个目标区域共8192维，将一组图像中所有目标区域一并进行检测，噪声检测的目标函数如下：

其中，α₁,α₂均为参数，取0.1；x_i为目标区域i的R-CNN特征；f为分类函数，f(x_i)则代表目标区域i的预测标签；n和n⁺分别代表所有目标区域的个数以及正类目标区域的个数；y_i为软标签，其取值为或L＝D-W，W表示两个临近目标区域间的相似度，其元素计算如下：ε为设定的参数；其中目标区域i处于j的邻近集合中，且目标区域j也处于i的邻近集合中；D是一个对角矩阵，其对角元素定义为

采用迭代求解方式对噪声检测的目标函数进行求解；首先将分类函数f定义为f＝Kβ，其中β＝[β₁,β₂,...,β_n]^T是系数，K代表核矩阵，其核映射为k(x)＝[κ(x₁,x),...,κ(x_n,x)]^T，因而分类函数也表示为f(x)＝β^Tk(x)；将β₀初始化为则随后，不断迭代更新f；在每一次迭代t中，通过参考有噪声的标签矩阵y_t，此噪声检测的目标函数产生新的预测标签f_t+1＝Kβ；然后再由f_t+1得到更精细的标签y_t+1，并且保留到下次迭代中，根据实际需求进行多次迭代；最后根据标签f的正负，将所有目标区域分成模板类和噪声类两类，标签f是正定义为模板类，标签f是负定义为噪声类；

将所有图像中噪声类中的所有目标区域去除；将模板类中属于同一幅图像的目标区域叠加，得到一个灰度图，再用基于高阶能量项的分割方法将其分割，得到属于该幅图像的模板；

4)超像素分割及特征提取

对每幅图像，用SLIC算法进行多尺度超像素分割，通过已训练好的VGG网络为每个超像素提取VGG特征，选用VGG1-1层和池化1层的输出，将其分别转化到与图像大小对应的尺寸上，进而得到每个像素的对应值作为该像素的特征；对于每个超像素，再计算其包含的像素特征的平均值，作为该超像素的特征；将每层输出串联起来，得到最终超像素特征；

5)超像素分类

将每一组内所有图像的各个尺度超像素输入到超像素分类模型中，首先需要求解如下目标函数，得到转移矩阵Q；

其中，A为超像素VGG特征矩阵，a_v和a_z则分别代表超像素v和z的VGG特征；Q为需要求解的转移矩阵，h_vz为超像素v和z的相似度；目标函数中第一项的F代表F范数；γ₁与γ₂是设定好的参数，均取0.0001；N为总的超像素个数；P为超像素的伪真值标签矩阵，伪真值标签取值分为正负两类，取值为+1或-1；我们根据噪声检测中得到的模板计算标签矩阵P；首先计算各个超像素中处于对应模板的前景区域中的面积占该超像素总面积的比例；当该比例大于70％时，赋予此超像素正标签，反之则赋予其负标签；若某幅图像在噪声检测中并未得到模板，则该图像的超像素不作为训练超像素来计算转移矩阵Q；

选定超像素标签后，则开始对超像素分类的目标函数进行求解；标签分为正负两类，先从第r类的转移矩阵Q_r入手，对其求偏导数如下:

其中，P_r是第r类的标签矩阵；E_r是一个对角矩阵，其中第m个对角元e_mr由Q_r中第m个对角元计算得到；计算公式如下：随后迭代更新Q_r和E_r的值，根据实际需求进行多次迭代；每一次迭代θ中，通过固定由上公式计算出再固定将更新为其中η是一个参数；

根据求解得到的Q_r，分别计算组内所有超像素属于每一类的预测得分A^TQ_r；若该超像素在正类中得分高，则判为正类，反之则判为负类；根据正类超像素对应灰度值为1，负类超像素对应灰度值为0，每幅图像得到对应的二值分类结果图；

6)多尺度融合及扩散

步骤5)中每幅图像在多尺度下均得到对应的二值分类结果图，将每幅图像的多幅二值分类结果图叠加，得到灰度图S₁，将叠加的灰度图S₁按照自适应的阈值分割，得到分类后的二值图S₂；其中自适应阈值设定为μ+σ，μ为该图像灰度值均值，σ为标准差；

再将多尺度叠加后所得二值图S₂用graphcut算法分割，每幅图像中以分割后灰度值为1的部分为前景种子点，根据流行排序算法进行扩散，得到扩散后的灰度显著性图S₃；再与多尺度叠加得到的灰度图S₁融合，融合公式如下：S＝2*S₁+S₃；将所得融合图S归一化后便得到最终的显著性图。