CN107301643A - 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 - Google Patents
基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 Download PDFInfo
- Publication number
- CN107301643A CN107301643A CN201710419857.0A CN201710419857A CN107301643A CN 107301643 A CN107301643 A CN 107301643A CN 201710419857 A CN201710419857 A CN 201710419857A CN 107301643 A CN107301643 A CN 107301643A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- pixel
- super
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明公开了一种基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法，主要解决现有方法在复杂图像中不能完整一致地检测出显著目标的问题。其实现方案为：1.对输入图像做过分割，得到超像素集；2.采用处于边界区域的超像素构建背景字典；3.在鲁棒稀疏表示模型中采用两个拉普拉斯正则项分别约束表示系数和重构误差的一致性，并利用背景字典求解模型得到表示系数矩阵和重构误差矩阵；5.联合表示系数矩阵和重构误差矩阵构建显著性因子，得到超像素级显著图；6.将超像素级显著图映射得到像素级显著图。实验表明本发明具有较好的背景抑制效果，并能够完整地检测图像显著目标，可用于复杂场景图像的显著目标检测。
Description
技术领域
本发明涉及图像处理领域，具体是一种显著目标检测方法，可用于复杂背景图像的显著目标检测。
技术背景
显著目标检测，旨在检测场景中与周围区域具有显著差别、且吸引人眼注意的目标，并将该显著目标完整一致地与背景分离。作为一种重要的图像处理方式，显著目标检测已广泛应用于图像分割、图像恢复、目标识别等图像处理领域。
基于稀疏表示的图像显著目标检测是显著目标检测的一类重要方法。该类方法首先将输入图像过分割成若干个图像块或超像素；然后，构建一个过完备字典，并对图像块或超像素进行稀疏重构；最后，根据重构系数或重构误差计算图像块或超像素的显著值。
早期的基于稀疏表示的显著目标检测方法如“Y.Li,Y.Zhou,L.Xu,X.Yang,Incremental sparse saliency detection,in:International Conference on ImageProcessing,2009,pp.3093–3096.”“B.Han,H.Zhu,Y.Ding,Bottom-up saliency based onweighted sparse coding residual,in:International Conference on Multimedea,2011,pp.1117–1120.”是将待测试图像块的周围邻域块作为该图像块的字典，利用此字典稀疏重构该图像块。因此，此类方法通常对显著目标边界赋予较高的显著值。
近年来，为了解决上述问题，产生了一些有效的稀疏表示方法，例如“H.Lu,X.Li,L.Zhang,R.Xiang,Dense and sparse reconstruction error based saliencydescriptor,IEEE Transactions on Image Processing 25(4)(2016)1592–1603.”该方法基于边界先验，利用图像边界区域构建背景字典，利用此背景字典对图像超像素进行稀疏表示，得到重构误差，然后利用重构误差定义显著性因子得到最终显著值。然而，此类方法只是独立的计算了各个图像超像素的显著值，没有考虑图像的空间局部一致性和空间特征一致性，因此，显著目标检测结果的一致性较差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法，以提高在复杂场景图像中对显著目标的检测一致性。
实现本发明的关键技术是采用鲁棒稀疏表示方法，将图像中的显著目标看成稀疏的“野点”：首先对图像过分割得到若干超像素，利用图像边界构建背景字典，采用此背景字典对输入图像进行鲁棒稀疏表示。同时，考虑空间局部一致性和特征空间一致性，采用拉普拉斯正则项约束待测试超像素与其空间邻域内超像素的表示系数和重构误差的相似性。其具体实现步骤包括如下：
(1)利用简单线性迭代聚类算法SLIC将输入图像过分割为N个超像素，选取处于图像边界区域的超像素构建背景字典D＝[d1,...djK,dK]∈Rm×K，其中dj为第j个字典原子，j＝1,...,K，K为字典原子个数，Rm为m维特征向量；
(2)采用鲁棒稀疏表示方法，构建如下显著目标检测模型：
s.t.X＝DZ+E
其中，X为输入图像，D为背景字典，E为重构误差矩阵，Z为表示系数矩阵，||Z||1为矩阵Z的l1范数，||E||2,1为矩阵E的l2,1范数， 拉普拉斯矩阵L定义为L＝C-W，矩阵W∈RN×N为关联矩阵，构建方法为：Wi,j＝ωij，权重ωij表示第i个超像素与其邻域内第j个超像素之间的相似性，对角矩阵C∈RN×N定义为：zi和ei分别为表示系数矩阵Z和重构误差矩阵E的第i列，λ1为平衡因子，实验设置为0.1，λ2和λ3为两个权衡参数，实验设置为0.01；
(3)利用交替方向乘子算法ADMM和SpaRSA算法联合求解上述模型，得到背景字典D、最优的超像素的重构误差矩阵E*和表示系数矩阵Z*；
(4)构建超像素级显著性因子：
(4a)采用每个超像素的重构误差的能量构建基于重构误差的显著性因子SalE，即：
其中，E*(:,i)为第i个超像素si对应的重构误差，i＝1,...,N，||E*(:,i)||2为向量E*(:,i)的l2范数，E*表示最优的重构误差矩阵，σE为高斯核尺度参数，实验设置为σE＝4；
(4b)采用每个超像素的表示系数的稀疏度和能量共同构建显著性因子SalZ，即：
其中，Z*(:,i)为第i个超像素si对应的表示系数；||Z*(:,i)||0和||Z*(:,i)||2分别为向量Z*(:,i)的l0范数和l2范数，其分别代表第i个超像素si的表示系数稀疏度和能量，Z*表示最优的表示系数矩阵；
(4c)根据由重构误差和表示系数得到的显著性因子SalE和SalZ，构建最终的显著性因子Sal，即：
Sal(si)＝SalE(si)α×SalZ(si)1-α，
其中，α为权衡因子，实验设置为0.8；每个显著性因子的值对应于每个超像素的显著值；
(5)将每个超像素的显著值赋给其区域内的每个像素，得到最终输出的像素级显著图。
本发明具有如下效果：
1)本发明将鲁棒稀疏表示模型应用于显著目标检测中，将显著目标看成稀疏的“野点”，从而，将复杂的显著目标检测问题转化为简单的稀疏追踪问题；
2)本发明考虑空间局部一致性和特征空间一致性，采用拉普拉斯正则项分别约束待测试超像素与其空间邻域内超像素的表示系数和重构误差的相似性，并利用重构误差和表示系数共同构建显著性因子，提高了对背景的抑制效果，并能够实现完整一致地检测显著目标。
附图说明
图1为本发明的实现流程框图。
图2为背景区域超像素和显著目标区域超像素对应的表示系数稀疏度和幅度图；
图3为本发明与现有三种检测方法在MSRA10K数据库下进行显著目标检测实验的结果图；
图4为本发明与现有三种检测方法进行显著目标检测的部分实验结果比较图。
具体实施方式
以下结合附图对本发明的实施例和效果做进一步详细的描述。
参照图1，本发明的实现步骤如下：
步骤1，对待分割图像进行过分割。
(1a)输入待分割图像，并利用简单线性迭代聚类SLIC算法将该待分割输入图像过分割为N个超像素：S＝[s1,si...,sN]，si为第i个超像素，i＝1,...,N；
(1b)对于每个超像素si，在RGB、HSV和CIELab三种颜色特征空间中提取9维的颜色特征向量xi∈R9。
步骤2，构建背景字典.
基于边界先验信息，处于边界区域的超像素更可能为背景区域超像素，因此本发明利用图像边界区域的超像素构建背景字典D＝[d1,...djK,dK]∈Rm×K，其中dj为第j个字典原子，j＝1,...,K，K为字典原子个数，Rm为m维特征向量。
步骤3，构建显著目标检测模型。
(3a)采用鲁棒稀疏表示模型，将输入图像的显著目标看成稀疏的“野点”，从而将输入图像分解成两部分，一部分是由背景字典稀疏表示的区域，该区域通常对应背景区域；另一部分是采用稀疏误差表示的区域，稀疏误差大的区域通常对应显著目标；因此将显著目标检测问题转换为稀疏追踪问题。
(3b)利用鲁棒稀疏表示模型将输入图像稀疏表示为：
其中，X为输入图像，D为背景字典，E为重构误差矩阵，Z为表示系数矩阵，||Z||1为矩阵Z的l1范数，||E||2,1为矩阵E的l2,1范数，λ1为平衡因子，实验设置为0.1；
(3c)利用图像中的空间局部一致性和特征空间一致性约束表示系数和重构误差的相似性：
考虑图像中的空间局部一致性，如果待测试超像素与其空间邻域内的超像素具有相似的显著性，则在同一个背景字典下，它们具有相似的表示系数和重构误差，同时，考虑图像中的特征空间一致性，如果待测试超像素与其空间邻域内特征相似的超像素具有相似的显著性，则在同一个背景字典下，它们具有相似的表示系数和重构误差，其约束规则如下：
(3c1)本模型采用基于表示系数矩阵得到的拉普拉斯正则项tr(ZLZT)约束待测试超像素与其空间邻域内超像素的表示系数的相似性，该正则项tr(ZLZT)表示如下：
其中zi为表示系数矩阵Z的第i列,ωij为第i个超像素si与第j个超像素sj之间的相似性：
式中，为两个超像素间的空间距离相似性，pi,pj∈R2分别为两个超像素的中心位置，为两个超像素间的特征相似性，xi,xj∈Rm分别为两个超像素的特征向量，σp和σf为两个数值不同的高斯核尺度参数，σf＝1；
拉普拉斯矩阵L定义为L＝C-W，矩阵W∈RN×N为关联矩阵，构建方法为：Wi,j＝ωij，对角矩阵C∈RN×N定义为：tr(g)为矩阵的迹；
(3c2)本模型采用基于重构误差矩阵得到的拉普拉斯正则项tr(ELET)约束待测试超像素与其空间邻域内超像素的重构误差的相似性,该正则项tr(ELET)表示如下：
其中，ei为重构误差矩阵E的第i列；
(3d)由(3b)和(3c)得到本发明的显著目标检测模型：
s.t.X＝DZ+E
其中，λ1为平衡因子，实验设置为0.1，λ2和λ3分别为tr(ZLZT)和tr(ELET)的权衡参数，λ2＝0.01，λ3＝0.01；
(3e)利用交替方向乘子算法ADMM和SpaRSA算法联合求解(3d)得到的显著目标检测模型，得到最优的重构误差矩阵E*和最优的表示系数矩阵Z*。
所述交替方向乘子算法ADMM见参考文献：R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,S.Susstrunk,SLIC superpixels compared to state-of-the-artsuperpixel methods,IEEE Transactions onPatternAnalysis andMachineIntelligence 34(11)(2012)2274-2281.
所述SpaRSA算法见参考文献：S.Boyd,N.Parikh,E.Chu,B.Peleato,J.Eckstein,Distributed optimization and statistical learning via the alternatingdirection method of multipliers,Foundations&Trends inMachine Learning 3(1)(2010)1-122.
步骤4，构建显著性因子。
(4a)利用最优的重构误差矩阵E*构建显著性因子SalE：
给定背景字典，背景区域超像素对应的重构误差比较低，而显著目标区域超像素对应的重构误差比较高，基于此，利用每个超像素的重构误差的能量构建显著性因子SalE(si)，即
其中，E*(:,i)为超像素si对应的重构误差；||E*(:,i)||2为向量E*(:,i)的l2范数，其代表超像素si对应的重构误差的能量；σE为高斯核尺度参数，实验设置为σE＝4；
(4b)利用最优的表示系数矩阵Z*构建显著性因子SalZ：
根据给定背景字典，背景区域超像素对应的表示系数比较稀疏，且幅度比较小，而显著目标区域超像素的表示系数比较稠密，且幅度较大的特点，利用每个超像素对应的表示系数的稀疏度和能量共同构建显著性因子SalZ(si)，即：
其中，Z*(:,i)为超像素si的重构系数；||Z*(:,i)||0为向量Z*(:,i)的l0范数，代表超像素si对应的表示系数的稀疏度；||Z*(:,i)||2为向量Z*(:,i)的l2范数，代表超像素si对应的表示系数的能量；σZ为高斯核尺度参数，本实例实验设置为σZ＝4；
(4c)对于每个超像素si，联合利用重构误差得到的显著性因子SalE(si)和利用表示系数得到的显著性因子SalZ(si)构建最终的显著性因子Sal(si)：
Sal(si)＝SalE(si)α×SalZ(si)1-α，
其中，α为权衡因子，实验设置为0.8。
步骤五，输出像素级显著图。
根据每个超像素si对应的显著性因子的值Sal(si)得到该超像素的显著值Msp(si)：Msp(si)＝Sal(si)，从而得到超像素级别的显著图；
定义每个像素点的显著值Mp(p)等于其所在超像素区域的显著值，表示如下：
Mp(p)＝Msp(si),if p∈si，
其中，Mp(p)为第p个像素点的显著值，得到最终输出的像素级显著图。
本发明的效果可通过以下实验进一步说明：
一、实验条件
所有实验均在Windows 7操作系统下采用Matlab 2013软件实现。
二、实验内容
实验1：
使用本发明方法在公共图像数据库MSRA10K下进行显著目标检测实验，选取实验结果对检测得到的背景区域超像素与显著目标区域超像素对应的表示系数的稀疏度和幅度进行比较，结果如图2所示,其中图2(a)为背景区域超像素与显著目标区域超像素对应的表示系数的稀疏度比较图，图3(b)为背景区域超像素与显著目标区域超像素对应的表示系数的幅度比较图。
从图2(a)可以看出，给定背景字典，背景超像素对应的表示系数较稀疏，而显著目标超像素对应的表示系数较稠密；从图2(b)可以看出，背景超像素对应的表示系数幅度较小，而显著目标超像素对应的幅度较大。图2结果表明本发明根据表示系数的稀疏度和幅度构建显著性因子具有合理性。
实验2：
使用本发明方法与其他三种显著目标检测方法在MSRA10K数据库下进行显著目标检测实验，并对实验结果采用准确率-召回率(P-R)曲线、F-Measure曲线两种评价指标进行客观评价，结果如图3所示，其中图3(a)为准确率-召回率(P-R)曲线结果比较图，图3(b)为F-Measure曲线结果比较图。图3中RSR-LC表示本发明方法，RSR-B表示采用鲁棒稀疏表示模型，字典选用背景字典的显著目标检测方法；SR-B表示采用稀疏表示模型，字典选用背景字典的显著目标检测方法；SR-S表示采用稀疏表示模型，选用待测超像素的邻域超像素作为字典的显著目标检测方法。
从图3可以看出，本发明方法RSR-LC与其他三种方法相比，具有更高的PR曲线和F-measure曲线，从而表明了本发明方法考虑空间局部一致性和特征空间一致性进行显著目标检测的有效性和优越性。
实验3：
使用本发明方法RSR-LC与其他三种显著目标检测方法RSR-B、SR-B、SR-S在MSRA10K数据库下进行显著目标检测实验，并对部分实验结果进行直观的比较，结果如图4所示，其中，Original表示数据库中的原始图像，GT表示人工标定的二值图。
从图4可以看出，本发明方法在显著目标检测的完整一致性方面具有更好的性能，且对背景具有更好的抑制效果。
Claims (3)
1.一种基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法，包括：
(1)利用简单线性迭代聚类算法SLIC将输入图像过分割为N个超像素，选取处于图像边界区域的超像素构建背景字典D＝[d1,...djK,dK]∈Rm×K，其中dj为第j个字典原子，j＝1,...,K，K为字典原子个数，Rm为m维特征向量；
(2)采用鲁棒稀疏表示方法，构建如下显著目标检测模型：
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>Z</mi>
<mo>,</mo>
<mi>E</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ZLZ</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>3</mn>
</msub>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ELE</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
s.t. X＝DZ+E
其中，X为输入图像，D为背景字典，E为重构误差矩阵，Z为表示系数矩阵，||Z||1为矩阵Z的l1范数，||E||2,1为矩阵E的l2,1范数， 拉普拉斯矩阵L定义为L＝C-W，矩阵W∈RN×N为关联矩阵，构建方法为：Wi,j＝ωij，权重ωij表示第i个超像素与其邻域内第j个超像素之间的相似性，对角矩阵C∈RN×N定义为：zi和ei分别为表示系数矩阵Z和重构误差矩阵E的第i列，λ1为平衡因子，实验设置为0.1，λ2和λ3为两个权衡参数，实验设置为0.01；
(3)利用交替方向乘子算法ADMM和SpaRSA算法联合求解上述模型，得到最优的超像素的重构误差矩阵E*和表示系数矩阵Z*；
(4)构建超像素级显著性因子：
(4a)采用每个超像素的重构误差的能量构建基于重构误差的显著性因子SalE，即：
<mrow>
<msub>
<mi>Sal</mi>
<mi>E</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>E</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，E*(:,i)为第i个超像素si对应的重构误差，i＝1,...,N，||E*(:,i)||2为向量E*(:,i)的l2范数，E*表示最优的重构误差矩阵，σE为高斯核尺度参数，实验设置为σE＝4；
(4b)采用每个超像素的表示系数的稀疏度和能量共同构建显著性因子SalZ，即：
<mrow>
<msub>
<mi>Sal</mi>
<mi>Z</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>Z</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>Z</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，Z*(:,i)为第i个超像素si对应的表示系数；||Z*(:,i)||0和||Z*(:,i)||2分别为向量Z*(:,i)的l0范数和l2范数，其分别代表第i个超像素si的表示系数稀疏度和能量，Z*表示最优的表示系数矩阵，σZ为高斯核尺度参数，实验设置为4。；
(4c)根据由重构误差和表示系数得到的显著性因子SalE和SalZ，构建最终的显著性因子Sal，即：
Sal(si)＝SalE(si)α×SalZ(si)1-α，
其中，α为权衡因子，实验设置为0.8；每个显著性因子的值对应于每个超像素的显著值；
(5)将每个超像素的显著值赋给其区域内的每个像素，得到最终输出的像素级显著图。
2.根据权利要求1所述的方法，其特征在于步骤(2)采用鲁棒稀疏表示方法，构建显著目标检测模型,按如下步骤进行：
(2a)将显著目标看成稀疏的“野点”，将显著目标检测问题转化为稀疏追踪问题，利用鲁棒稀疏表示模型将输入图像稀疏表示为：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>Z</mi>
<mo>,</mo>
<mi>E</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>X</mi>
<mo>=</mo>
<mi>D</mi>
<mi>Z</mi>
<mo>+</mo>
<mi>E</mi>
<mo>;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
(2b)利用图像的空间局部一致性和特征空间一致性，采用拉普拉斯正则项约束待测试超像素与其空间邻域内超像素的表示系数和重构误差的一致性，即：
<mrow>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ZLZ</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ELE</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>e</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
其中，L为拉普拉斯矩阵，tr(ZLZT)为用拉普拉斯矩阵L约束表示系数矩阵Z得到的系数矩阵拉普拉斯正则项，tr(ELET)为用拉普拉斯矩阵L约束重构误差矩阵E得到的重构误差拉普拉斯正则项，tr(g)为矩阵的迹，ωij表示第i个超像素与其邻域内第j个超像素之间的相似性：
式中，为两个超像素间的空间距离相似性，pi,pj∈R2分别为两个超像素的中心位置，为两个超像素间的特征相似性，xi,xj∈Rm分别为两个超像素的特征向量，σp和σf为两个数值不同的高斯核尺度参数，σf＝1；
(2c)根据(2a)和(2b)得到显著目标检测模型：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>Z</mi>
<mo>,</mo>
<mi>E</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ZLZ</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>3</mn>
</msub>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>ELE</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>X</mi>
<mo>=</mo>
<mi>D</mi>
<mi>Z</mi>
<mo>+</mo>
<mi>E</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
</mtable>
<mo>.</mo>
</mrow>
3.根据权利要求1所述的方法，其特征在于步骤(4b)中构建显著性因子，按如下步骤进行：
(4b1)采用表示系数的稀疏度计算超像素的显著性
<mrow>
<msubsup>
<mi>Sal</mi>
<mi>Z</mi>
<mrow>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>i</mi>
<mi>t</mi>
<mi>y</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>Z</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
</mrow>
其中，Z*(:,i)为第i个超像素si对应的表示系数；||Z*(:,i)||0为向量Z*(:,i)的l0范数，其代表第i个超像素si的表示系数稀疏度，Z*表示最优的表示系数矩阵；
(4b2)采用表示系数的能量计算超像素的显著性
<mrow>
<msubsup>
<mi>Sal</mi>
<mi>Z</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>e</mi>
<mi>r</mi>
<mi>g</mi>
<mi>y</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>Z</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>Z</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
2
其中，||Z*(:,i)||2为向量Z*(:,i)的l2范数，其代表第i个超像素si的表示系数的能量；
(4b3)联合(4b1)和(4b2)得到基于表示系数的显著性因子SalZ：
<mrow>
<msub>
<mi>Sal</mi>
<mi>Z</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>Sal</mi>
<mi>Z</mi>
<mrow>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>i</mi>
<mi>t</mi>
<mi>y</mi>
</mrow>
</msubsup>
<mo>&times;</mo>
<msubsup>
<mi>Sal</mi>
<mi>Z</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>e</mi>
<mi>r</mi>
<mi>g</mi>
<mi>y</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>Z</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>Z</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>Z</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
3
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710419857.0A CN107301643B (zh) | 2017-06-06 | 2017-06-06 | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710419857.0A CN107301643B (zh) | 2017-06-06 | 2017-06-06 | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107301643A true CN107301643A (zh) | 2017-10-27 |
| CN107301643B CN107301643B (zh) | 2019-08-06 |
Family
ID=60134738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710419857.0A Expired - Fee Related CN107301643B (zh) | 2017-06-06 | 2017-06-06 | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107301643B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
| CN108460379A (zh) * | 2018-02-06 | 2018-08-28 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
| CN108509771A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 一种基于稀疏匹配的多组学数据关联关系发现方法 |
| CN108549891A (zh) * | 2018-03-23 | 2018-09-18 | 河海大学 | 基于背景与目标先验的多尺度扩散显著目标检测方法 |
| CN111930934A (zh) * | 2020-06-05 | 2020-11-13 | 江苏理工学院 | 一种基于对偶局部一致的约束稀疏概念分解的聚类方法 |
| CN113344013A (zh) * | 2021-07-15 | 2021-09-03 | 西安电子科技大学 | 基于图低秩稀疏分解的极化sar图像特征挖掘方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899873A (zh) * | 2015-05-18 | 2015-09-09 | 西安电子科技大学 | 基于各项异性扩散空间的sar图像显著性区域检测方法 |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN105825200A (zh) * | 2016-03-31 | 2016-08-03 | 西北工业大学 | 基于背景字典学习和结构稀疏表示的高光谱异常目标检测方法 |
-
2017
- 2017-06-06 CN CN201710419857.0A patent/CN107301643B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899873A (zh) * | 2015-05-18 | 2015-09-09 | 西安电子科技大学 | 基于各项异性扩散空间的sar图像显著性区域检测方法 |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN105825200A (zh) * | 2016-03-31 | 2016-08-03 | 西北工业大学 | 基于背景字典学习和结构稀疏表示的高光谱异常目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| QIANG ZHANG ET AL: "Multiple-Scale Salient-Region Detection of SAR Image Based on Gamma Distribution and Local Intensity Variation", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| YUNA SEO ET AL: "Salient object detection based on sparse representation with image-specific prior", 《IEEE INTERNATIONAL SYMPOSIUM ON CONSUMER ELECTRONICS》 * |
| 刘甜甜: "基于稀疏和低秩表示的显著性目标检测", 《电子科技》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
| CN107992874B (zh) * | 2017-12-20 | 2020-01-07 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
| CN108460379A (zh) * | 2018-02-06 | 2018-08-28 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
| CN108460379B (zh) * | 2018-02-06 | 2021-05-04 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
| CN108549891A (zh) * | 2018-03-23 | 2018-09-18 | 河海大学 | 基于背景与目标先验的多尺度扩散显著目标检测方法 |
| CN108509771A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 一种基于稀疏匹配的多组学数据关联关系发现方法 |
| CN111930934A (zh) * | 2020-06-05 | 2020-11-13 | 江苏理工学院 | 一种基于对偶局部一致的约束稀疏概念分解的聚类方法 |
| CN111930934B (zh) * | 2020-06-05 | 2023-12-26 | 江苏理工学院 | 一种基于对偶局部一致的约束稀疏概念分解的聚类方法 |
| CN113344013A (zh) * | 2021-07-15 | 2021-09-03 | 西安电子科技大学 | 基于图低秩稀疏分解的极化sar图像特征挖掘方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107301643B (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949255B (zh) | 图像重建方法及设备 | |
| Yuan et al. | Factorization-based texture segmentation | |
| CN105574534B (zh) | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 | |
| CN108460338B (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
| CN107301643B (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
| Singh et al. | Svm-bdt pnn and fourier moment technique for classification of leaf shape | |
| Thai et al. | Image classification using support vector machine and artificial neural network | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN105608478B (zh) | 一种图像的特征提取与分类联合方法及系统 | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
| CN107392107A (zh) | 一种基于异构张量分解的人脸特征提取方法 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN112634149A (zh) | 一种基于图卷积网络的点云去噪方法 | |
| WO2017070923A1 (zh) | 一种人脸识别方法和装置 | |
| CN110197255A (zh) | 一种基于深度学习的可变形卷积网络 | |
| Singh et al. | Leaf identification using feature extraction and neural network | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| Lin et al. | A Fourier domain training framework for convolutional neural networks based on the Fourier domain pyramid pooling method and Fourier domain exponential linear unit | |
| CN114913379A (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
| Wang et al. | Low rank representation on SPD matrices with log-Euclidean metric | |
| CN109447147B (zh) | 基于双图稀疏的深度矩阵分解的图像聚类方法 | |
| CN114463397A (zh) | 一种基于渐进式滤波的多模态图像配准方法 | |
| CN113673465A (zh) | 图像检测方法、装置、设备及可读存储介质 | |
| Singh et al. | Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200902 Address after: 400030, stone road 70, Shapingba District, Chongqing, attached to 4-15-3 Patentee after: CHONGQING JIANGXUE TECHNOLOGY Co.,Ltd. Address before: 710071, No. 2 Taibai South Road, Yanta District, Shaanxi, Xi'an Patentee before: XIDIAN University |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190806 Termination date: 20210606 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |