CN103700091B - 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，步骤如下：三维体数据生成阶段，首先将二维图像进行超像素分解并进DT行三角化，得到二维图像对应的三维体数据；Biharmonic分布计算阶段，得到各超像素点的Biharmonic扩散结果；描述子生成阶段，对超像素点的Biharmonic等值线上的采样点之间的L2距离进行直方图统计，形成对各等值线的形状描述；多尺度低秩分解阶段，该阶段基于各超像素点的Biharmonic等值线形状描述，并对不同尺度下低秩分解得到的稀疏矩阵进行作差，通过残差矩阵求和，得到最终显著性物体检测结果。本发明基于GPU并行实现，可对图像中单个、多个显著性物体进行检测，具有显著性物体检测精度高，显著性物体检测全面，抗噪性好等特点。

Description

基于多尺度低秩分解且结构信息敏感的图像显著性物体检测 方法

技术领域

本发明涉及到一种基于对图像超像素点的图形热扩散信息进行多尺度低秩分解的图像显著性物体检测方法。

背景技术

九十年代末期至今，针对显著性物体检测的研究已经发展了近15年。该领域涉及对单张含复杂背景图像进行单个、多个显著性物体进行检测。显著性物体检测通常用于图像的预处理阶段，能够帮助后续工作很好的指引出图像场景中的相对有意义的物体，通常应用于图像重定位，图像压缩，视频会议等。近几年来，随着人们对显著性物体特性的逐步理解，显著性物体检测的精度已经得到了很大的提高，并逐渐成为了图像视觉领域最具影响的研究方法之一。

显著性物体检测常用方法通常依赖于建立一种能够区分显著性物体以及非显著性背景的衡量标准，包括局部、全局对比度检测，全局唯一性度量等。遗憾的是，由于图像场景的复杂程度高，始终存在某些特殊的情况，显著性物体和非显著性背景在其特征描述空间存在重叠，导致基于单一的显著性衡量标准的显著性检测方法效果并不理想。因此，近一段时间，人们尝试通过复杂的数学建模的方法，如马尔科夫随机场、能量最小化方程等，同时考虑多种显著性衡量标准来对显著性物体进行检测，其结果是带来了显著性物体检测结果的性能获得了进一步提升。然而，基于多种显著性衡量标准的显著性物体检测方法遇到了瓶颈，即多种不同特征空间的衡量标准的结合所导致的特征空间复杂化，导致某些原本在单一特征空间上很容易区分的显著性物体和非显著性背景变得很难区分，从而使得出现某些极端的错误检测。

为了解决上述问题，本发明采用采用基于等值线上采样点的L2距离的直方图描述方法，使得生成的特征空间能够对显著性物体以及非显著性背景做到很好的区分，并在此特征空间中采用多尺度低秩分解来获得相对完整的显著性物体检测。该方法对显著性物体检测精度高，显著性物体检测完整，适用领域广，抗噪性好等特点。

发明内容

本发明解决的技术问题是：通过采用图形学中几何扩散方法生成一种全新的特征空间，该特征空间能够将局部信息和全局信息有效的结合来对显著性物体以及非显著性背景进行区分；基于该特征空间，采用多尺度低秩分解的方法对显著性物体进行完整且准确的检测。

本发明采用的技术方案为：一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于包括以下四个步骤：

步骤（1）、二维图像到三维体数据的转换：通过对二维图像进行超像素分解，以各超像素中心点，进行Delaunay三角划分，依据三角划分拓扑结构信息，并以超像素中心点RGB均值作为Z轴，最终将二维图像数据转换为三维体数据；

步骤（2）、Biharmonic分布计算：基于步骤（1）中得到的三维体数据，通过构建拉普拉斯矩阵，并对其进行特征值、特征向量分解，从而计算每一个超像素点对应的Biharmonic分布；

步骤（3）、描述子生成阶段：对于每一个超像素点，基于步骤（2）得到的Biharmonic分布结果，计算并形成其对应的Biharmonic等值线，并对各等值线上采样点之间的L2距离进行直方图统计，从而获得各像素点的描述子描述结果；

步骤（4）、多尺度低秩分解阶段：基于步骤（3）生成的超像素多尺度描述结果，对不同尺度下低秩分解得到的稀疏矩阵进行作差，并最终将各残差稀疏矩阵进行求和，得到图像的显著性物体检测结果。

进一步的，步骤（1）中所述的二维图像到三维体数据的转换方法，该方法以超像素分解得到的各超像素中心点作为顶点进行Delaunay三角形划分，然后依据超像素点的平均RGB值作为Z轴，将二维图像拉伸到三维空间。

进一步的，步骤（2）中所述的Biharmonic分布计算时，其拉普拉斯矩阵的构建依赖于步骤（1）中生成的三维体数据拓扑结构信息，然后对拉普拉斯矩阵进行特征值、特征向量分解，并利用谱分析的方法求得每一个超像素点的Biharmonic分布情况。

进一步的，步骤（3）中对各超像素点的描述方法，该方法基于各超像素点的Biharmonic扩散部分，从而计算得到其对应的Biharmonic等值线，并对等值线上的采样点之间的L2距离进行直方图统计，最终将多条等值线的直方图统计结果作为该超像素点的描述。

进一步的，步骤（4）中，首先对于步骤（3）获取的特征空间进行不同预定义秩级的低秩分解，并将相邻的秩级低秩分解得到的稀疏矩阵进行作差，并将得到的残差稀疏矩阵进行求和，得到最终的显著物体检测结果。

本发明的原理在于：

（1）通过超像素分解，将原二维图像的数据规模进行压缩，并以超像素中心点作为Delaunay三角划分的顶点，从而将二维图像转换为三维体数据，保证了赖于拉普拉斯矩阵的Biharmonic距离的可行性以及正确性。

（2）对于给定的Biharmonic分布的各等值线，分别对其上面的采样点之间的L2距离进行直方图统计，并将属于不同等值线的直方图统计结果作为给定Biharmonic分布起始超像素点的描述，从而成功的将局部信息与全局信息有效、统一的进行了结合。

（3）对于基于等值线采样点之间L2距离直方图统计的描述子空间，采用多尺度低秩分解，通过将相邻秩级的低秩分解得到的稀疏矩阵进行求差得到的残差稀疏矩阵，并将不同秩级之差得到的残差矩阵进行求和，得到最终的显著值计算结果，从而尽可能的得到完整且正确的显著性物体检测结果。

本发明与现有技术相比的优点在于：

1、本发明提出的通过对二维图像进行超像素分解，并以超像素中心点作为三角划分的顶点来完成二维图像到三维体数据的转换，使得传统的三维几何扩散的度量方法成功的应用到了二维图像领域。

2、本发明提出的通过对Biharmonic等值线上采样点之间的L2距离的直方图统计作为各超像素点的描述方法将局部信息与全局信息结合到了统一的多尺度特征空间，增加了显著性物体与非显著性背景之间的可分性。

3、本发明提出的多尺度低秩分解能够很好的发挥本文提出的多尺度特征空间对显著性物体检测的优势，从而能够较传统的单尺度低秩分解更为完整得对显著性物体进行检测。

4、由于本发明基于采用几何扩散方法作为显著性物体的衡量基础，因此较其它显著性检测方法具有更好的抗噪性。

附图说明

图1为基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法的总体处理流程；

图2为二维图像的超像素分解，并以超像素中心点为顶点进行Delaunay三角划分；

图3为基于Delaunay三角划分的结果，将二维图像拉伸到三维空间，并对各超像素点计算Biharmonic分布；

图4为对以各超像素点为中心的Biharmonic分布趋势采用等值线进行描述；

图5为对单条等值线上的采样点之间的L2距离的直方图统计示意图；

图6为多尺度低秩分解示意图；

图7为最终显著性检测结果示意图；

图8为本发明对于噪声图像的显著性物体检测结果示意图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

图1给出了基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法的总体处理流程。

本文发明一种基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法，主要步骤介绍如下：

1.三维体数据形成

（1）超像素分解

该方法首先通过SLIC超像素分解，将原二维图像分解为以超像素点为最小单位的超像素图，其中，SLIC超像素分解参数sigma_s设为60，sigma_r设为0.01，超像素分解结果如附图2（b）所示。

（2）Delaunay三角划分

以超像素分解结果为基础，计算每一个超像素的中心点，并以R、G、B三通道各自的均值作为该中心点的颜色值。并以此中心点作为顶点，进行Delaunay三角划分，其中，三角划分仅仅考虑超像素中心点的x、y坐标。Delaunay三角划分结果如附图2（c）所示。

（3）三维体数据形成

基于Delaunay三角划分的结果，以各超像素点之间的三角划分拓扑结构作为x轴、y轴信息，以各超像素点的RGB颜色均值作为z轴，对二维三角拓扑结构进行三维拉伸，拉伸结果如附图3（a）所示。

至此，完成了从二维图像到三维体数据的转换，P＝{P₁,P₂,...,P_n}包含三维体数据上的全部顶点信息。

2.Biharmonic分布计算

（1）拉普拉斯矩阵构建

基于上述二维到三维转换的体数据P，构建拉普拉斯矩阵L＝A^-1M，其中A为对角矩阵，对角元素等比于与顶点共边的三角形面积，M矩阵的计算方法如下：

$M_{\mathrm{ij}}=\left\{\begin{array}{cccccc}{\mathrm{\Σ}}_k{m}_{i,j}& \mathrm{if}& & & i=j& \\ {-m}_{\mathrm{ij}}& \mathrm{if}& p_j& \mathrm{and}& \begin{array}{cc}{p}_j& \mathrm{are}\end{array}& \mathrm{adjacent}\\ 0& & & & \mathrm{otherwise}& \end{array}\right.$

其中，m_ij＝cotα_ij+cotβ_ij，α_ij和β_ij为共边p_ip_j的两相邻三角形对角值。三角形边长p_ip_j的计算方法为|r_i-r_j|+|g_i-g_j|+|b_i-b_j|，即超像素点i与j之间的RGB通道颜色均值差的绝对值之和。

（2）Biharmonic值计算

首先，对于上述步骤构建的拉普拉斯矩阵L进行特征值、特征向量分解，从而，可以计算出超像素点p_i到超像素点p_j之间的Biharmonic距离D(i,j)²，

${D(i,j)}^2=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{({\mathrm{\φ}}_k\left(i\right)-{\mathrm{\φ}}_k\left(j\right){)}^2}{{\mathrm{\λ}}_k^2}$

其中φ_k(i)表示第k个特征向量的第i维，λ_k表示第k个特征值，并且全部的特征向量按照特征值从大到小依次排列，K=100，表示仅考虑最小的100个特征值对应的特征向量。对于全部的超像素点，按如上方式进行计算，便能得到以不同的超像素点为起始点的Biharmonic分布结果，附图3（b）显示了以位于图3（a）正中心的超像素点为起始点到其他全部超像素点的Biharmonic距离分布结果。

3.超像素描述子形成

（1）等值线计算

基于上述步骤得到的以各超像素点为起始点的Biharmonic距离分布结果，计算其相应的全部等值线。等值线的具体计算方法为：①将整体Biharmonic分布进行归一化处理，从而使得全部超像素的Biharmonic距离值处于[0,1]之间；②遍历全部的三角形，对三角形的各条边按照其两端的顶点Biharmonic值进行等距线性插值，距离间隔为1/I，其中I为预期最多得到的等值线条数，实际计算中，I=30，新插值的点等距落在三角形的边上；③遍历全部的三角形，对新插入的节点进行筛选，当对于某一个插值节点，存在两个或两个以上的其它节点的Biharmonic值之差小于1/(I*1000)，则将该节点以及对应的节点全部过滤掉，剩下的节点全部保留，用于生成最终的等值线；④遍历全部最终剩下的节点，按其插值得到的Biharmonic值赋予不同的等值线标号，等值线标号为B*I，其中B为该节点对应的Biharmonic值。

至此，对于不同的等值线标号，能够索引到一系列的插值节点，等值线计算结果如附图4所示。

（2）采样点L2距离计算

给定等值线标号，将全部索引到得节点作为采样点，并对任意采样点计算其到其它全部采样点之间的欧式距离，最终将全部的欧式距离保存，用于描述等值线扩散形状，具体计算方法如附图5所示。

（3）L2距离直方图统计

对于前面计算得到的任意两采样点之间的欧式距离，通过将其全部归一化到[0,1]区间，设置总体直方图统计间隙为1/40，统计各采样点之间的欧式距离落入这些间隙的概率，并最终将各统计间隙的概率拼接成含40个元素的向量，作为该等给定等值线的形状的描述。重复上述过程，获得以给定超像素点为起始点的Biharmonic分布的全部等值线的扩散形状描述，最终将各等值线的直方图统计结果合并，作为该超像素点的最终描述子描述。

4.多尺度低秩分解

（1）单尺度低秩分解

分别采用GoDec低秩分解方法进行低秩分解，其中，GoDec低秩分解的详细方法为：

(L*,S*)＝argmin_L,S(rank(L)+λ||S||0)

s.t.rank(L)≤r and card(S)≤c

其中rank以及card分别为预估计的低秩矩阵秩级以及进行低秩分解所要考虑的特征维数。给定预先估计的低秩矩阵秩级分别为7，8，9，10，11，12，13总共七个秩级，card值设为12000，总共迭代10次。低秩分解的最终结果为：F=L+S，其中F为各超像素点的Biharmonic等值线采样点L2直方图统计描述结果，如附图6中所示的F Matrix，其中L代表原特征矩阵F中的共性部分，S则为稀疏部分。由于事先给定了7组不同的预估秩级，因此总共得到8个稀疏矩阵S_5:12，如附图6中的Sparse Matrix。

（2）稀疏矩阵作差

对于给定不同的预估秩级进行低秩分解得到的稀疏矩阵，S₅到S₁₂，按如下方法进行作差处理：

①S₁＝s₅-s₆②S₂＝s₆-s₇③S₃＝s₇-s₈④S₄＝s₈-s₉⑤S₅＝s₉-s₁₀⑥S₆＝s₁₀-s₁₁⑦S₇＝s₁₁-s₁₂

从而得到残差稀疏矩阵S₁到S₇，如附图6中的Residual Matrix所示。

（3）残差稀疏矩阵求和

最终的显著值矩阵的计算方法为：S＝|S₁|+|S₂|+...+|S₇|，并将S矩阵中的列元素进行求和，求和的结果作为第该列对应的超像素点的显著性物体检测值。

附图7给出了本发明对二维图像的显著性物体检测结果，附图8给出了在不同的噪声点个数的影响下，本发明对显著性物体检测的结果。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于包括以下四个步骤：

步骤(1)、二维图像到三维体数据的转换：通过对二维图像进行超像素分解，以各超像素中心点，进行Delaunay三角划分，依据三角划分拓扑结构信息，并以超像素中心点RGB均值作为Z轴，最终将二维图像数据转换为三维体数据；

步骤(2)、Biharmonic分布计算：基于步骤(1)中得到的三维体数据，通过构建拉普拉斯矩阵，并对其进行特征值、特征向量分解，从而计算每一个超像素点对应的Biharmonic分布；

步骤(3)、描述子生成阶段：对于每一个超像素点，基于步骤(2)得到的Biharmonic分布结果，计算并形成其对应的Biharmonic等值线，并对各等值线上采样点之间的L2距离进行直方图统计，从而获得各超像素点的描述子描述结果；

步骤(4)、多尺度低秩分解阶段：基于步骤(3)生成的超像素多尺度描述结果，对不同尺度下低秩分解得到的稀疏矩阵进行作差，并最终将各残差稀疏矩阵进行求和，得到图像的显著性物体检测结果。

2.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于：步骤(1)中所述的二维图像到三维体数据的转换方法，该方法以超像素分解得到的各超像素中心点作为顶点进行Delaunay三角形划分，然后依据超像素点的平均RGB值作为Z轴，将二维图像拉伸到三维空间。

3.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于：步骤(2)中所述的Biharmonic分布计算时，其拉普拉斯矩阵的构建依赖于步骤(1)中生成的三维体数据拓扑结构信息，然后对拉普拉斯矩阵进行特征值、特征向量分解，并利用谱分析的方法求得每一个超像素点的Biharmonic分布情况。

4.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于：步骤(3)中对各超像素点的描述方法，该方法基于各超像素点的Biharmonic扩散部分，从而计算得到其对应的Biharmonic等值线，并对等值线上的采样点之间的L2距离进行直方图统计，最终将多条等值线的直方图统计结果作为该超像素点的描述。

5.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于：步骤(4)中，首先对于步骤(3)获取的特征空间进行不同预定义秩级的低秩分解，并将相邻的秩级低秩分解得到的稀疏矩阵进行作差，并将得到的残差稀疏矩阵进行求和，得到最终的显著物体检测结果。