CN108022244A - 一种基于前景和背景种子用于显著目标检测的超图优化方法 - Google Patents
一种基于前景和背景种子用于显著目标检测的超图优化方法 Download PDFInfo
- Publication number
- CN108022244A CN108022244A CN201711235811.XA CN201711235811A CN108022244A CN 108022244 A CN108022244 A CN 108022244A CN 201711235811 A CN201711235811 A CN 201711235811A CN 108022244 A CN108022244 A CN 108022244A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- super
- pixel
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于前景和背景种子用于显著目标检测的超图优化方法，包括如下步骤：使用SLIC算法将图像过分割成超像素，计算各超像素的位置和颜色特征；将超像素定义为超图的结点，根据超像素间的全局位置相关性、局部位置相关性和颜色相关性构造概率超图，用于描述输入图像；基于图像边缘超像素和所构造的概率超图、前景种子和背景种子信息，获取前景种子和背景种子信息；提出概率超图优化框架，融合所构造的概率超图，检测出自然场景图像中的显著目标。本发明充分考虑输入图像中的前景种子和背景种子信息，构造能够描述图像中复杂关系的概率超图，提高复杂自然场景图像中显著目标检测的性能，本发明所得检测结果与数据库中的真值图更加一致。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种基于前景和背景种子用于显著目标检测的超图优化方法。
背景技术
由于显著目标检测能够广泛应用于图像分割、图像质量评估、图像压缩、目标识别等计算机视觉任务重，近年来显著目标检测吸引了大量学者对其进行研究。由于图能够方便地描述图像中包含的信息，一些学者提出了基于图的显著目标检测方法。这些方法将每个输入图像表示成一个图，并且通过在图的边上进行信息传播获得最终的显著目标检测结果。
这些方法一般明确使用一种种子结点信息，即前景种子或者背景种子。而显著目标检测的目的是将显著的前景区域与不显著的背景区域分开，所以前景种子和背景种子都很重要。另一方面，这些方法使用简单图来描述图像中包含的信息，即用边来连接两个结点。这种方式只能描述图像中的二阶关系而不能描述多个结点之间的多阶关系。因此，开发出一种能够融合前景和背景种子信息并且包含图像结点间多阶关系的显著目标检测方法是非常必要的。
发明内容
本发明所要解决的技术问题在于，提供一种基于前景和背景种子用于显著目标检测的超图优化方法，能够提高复杂自然场景图像中显著目标检测的性能。
为解决上述技术问题，本发明提供一种基于前景和背景种子用于显著目标检测的超图优化方法，包括如下步骤：
(1)使用SLIC算法将图像过分割成超像素，计算各超像素的位置和颜色特征；
(2)将超像素定义为超图的结点，根据超像素间的全局位置相关性、局部位置相关性和颜色相关性构造概率超图，用于描述输入图像；
(3)基于图像边缘超像素和所构造的概率超图，获取前景种子和背景种子信息；
(4)提出概率超图优化框架，融合所构造的概率超图、前景种子和背景种子信息，检测出自然场景图像中的显著目标。
优选的，步骤(1)中，将待处理的图像使用SLIC方法过分割成300个同质的超像素，为每个超像素提取其空间位置特征和CIELab颜色特征。
优选的，步骤(2)具体为：将过分割而成的超像素定义为超图的结点，根据局部位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在图像中共享边的邻居结点；根据全局位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和每个位于图像边缘的超像素；根据颜色相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在CIELab颜色空间中欧几里得距离小于0.15的超像素；一个结点属于一条超边的概率定义为这个结点与这条超边中质心结点的相似度；用一个伴随矩阵H来存储超图中结点和超边的包含关系：
如果一个结点vi包含在一条超边ej中，那么对应的伴随关系值H(vi,ej)等于这个结点vi属于这条超边ej的概率；否则，对应的伴随关系值等于0；
两个结点间的相似度根据位置和颜色特征进行计算：
在上式中，i和j分别代表两个结点，SIM(i,j)代表连接两个结点的相似度，Ds(i,j)和Dc(i,j)分别表示两个结点之间的空间距离和颜色距离，分别定义为两个结点空间位置特征和颜色特征的欧几里得距离，尺度参数σ2是控制距离对相似度影响的一个常数，设置为0.1；
基于伴随矩阵H和相似度矩阵SIM计算各条超边的权重：
上式中，vej代表超边ej中的质心结点，如果包含在超边ej中的各个结点都有一个很高的概率属于这条超边并且与质心结点具有相近的相似度，那么这条超边具有一个很高的权重；否则，这条超边将具有一个较低的权重；
基于以下公式计算超边的度：
优选的，步骤(3)具体为：分别将图像的四条边缘作为初始的背景种子结点，基于下述优化函数获取四个背景图；
用向量B存储各超像素属于背景的可能性，向量O表明各超像素是否是初始背景种子结点，即是否位于图像的四条边之一；如果一个超像素vi位于图像边缘，O(vi)＝1，表明该超像素是背景种子结点；否则，O(vi)＝0；
在Ω项中，B(vi)和B(vj)分别表示超像素vi和vj属于背景的可能性，H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek，W(ek)/De(ek)是超边ek正则化之后的超边权重，Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于背景的可能性应该较相近，Λ项是拟合项：如果一个超像素属于初始背景种子结点，那么这个超像素属于背景的可能性越大，α是拟合项的权重，设为0.2；
基于图像的四条边缘：Otop，Odown，Oleft和Oright，根据优化函数可以得到四个背景图：Btop，Bdown，Bleft和Bright，通过整合这四个背景图得到临时显著图T；
T＝(1-Btop).*(1-Bdown).*(1-Bleft).*(1-Bright)
最终的前景种子和背景种子通过阈值化临时显著图而得；
如果一个结点vi的值T(vi)大于等于阈值thf，那么这个结点属于前景种子结点；如果一个结点vi的值T(vi)小于等于阈值thb，那么这个结点属于背景种子结点；阈值thf和阈值thb分别设置为0.2和0.5。
优选的，步骤(4)具体为：构造一个超图优化框架，融合所构造的概率超图、前景种子和背景种子信息，从而检测出自然场景图像中的显著目标：
用向量S存储各超像素属于显著目标的可能性；在Ω项中，S(vi)和S(vj)分别表示超像素vi和vj属于显著目标的可能性，H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek，W(ek)/De(ek)是超边ek正则化之后的超边权重，Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于显著目标的可能性应该较相近；在Ψ项中，Lf是显著目标的类别标签，设为1；Qf(vi)表明结点vi是否是前景种子，Ψ是前景拟合项；如果一个超像素是前景种子结点，那么这个超像素的最终显著值应该越接近显著目标的类别标签；在Φ项中，Lb是背景的类别标签，设为-1；Qb(vi)表明结点vi是否是背景种子；Φ是背景拟合项，如果一个超像素是背景种子结点，那么这个超像素的最终显著值应该越接近背景的类别标签；上式中，λf和λb是权重参数，分别设置为0.05和0.1。
本发明的有益效果为：本发明充分考虑输入图像中的前景种子和背景种子信息，构造能够描述图像中复杂关系的概率超图，有助于提高复杂自然场景图像中显著目标检测的性能；本发明与其他十九种显著目标检测方法进行了比较，验证了该方法所得显著目标检测结果与数据库中的真值图更加一致。
附图说明
图1为本发明的方法流程示意图。
图2为本发明应用于显著目标检测问题时，与十九中显著目标检测方法的视觉比较示意图。
具体实施方式
如图1所示，本实施例的基于前景和背景种子用于显著目标检测的超图优化方法，依次包括以下步骤：
S1：使用现有的SLIC算法将图像过分割成超像素，计算各超像素的位置和颜色特征；
将待处理的图像使用SLIC方法过分割成300个同质的超像素，为每个超像素提取其空间位置特征和CIELab颜色特征；
S2：将超像素定义为超图的结点，根据超像素间的全局位置相关性、局部位置相关性和颜色相关性构造概率超图，用于描述输入图像；
将过分割而成的超像素定义为超图的结点。根据局部位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在图像中共享边的邻居结点。根据全局位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和每个位于图像边缘的超像素。根据颜色相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在CIELab颜色空间中欧几里得距离小于0.15的超像素。一个结点属于一条超边的概率定义为这个结点与这条超边中质心结点的相似度。用一个伴随矩阵H来存储超图中结点和超边的包含关系。
如果一个结点vi包含在一条超边ej中，那么对应的伴随关系值H(vi,ej)等于这个结点vi属于这条超边ej的概率；否则，对应的伴随关系值等于0。
两个结点间的相似度根据位置和颜色特征进行计算。
在上式中，i和j分别代表两个结点，SIM(i,j)代表连接两个结点的相似度。Ds(i,j)和Dc(i,j)分别表示两个结点之间的空间距离和颜色距离，分别定义为两个结点空间位置特征和颜色特征的欧几里得距离。尺度参数σ2是控制距离对相似度影响的一个常数，设置为0.1。
基于伴随矩阵H和相似度矩阵SIM计算各条超边的权重。
上式中，vej代表超边ej中的质心结点。如果包含在超边ej中的各个结点都有一个很高的概率属于这条超边并且与质心结点具有相近的相似度，那么这条超边具有一个很高的权重；否则，这条超边将具有一个较低的权重。
基于以下公式计算超边的度。
S3：基于图像边缘超像素和所构造的概率超图，获取前景种子和背景种子信息；
分别将图像的四条边缘作为初始的背景种子结点，基于下述优化函数获取四个背景图。
用向量B存储各超像素属于背景的可能性。向量O表明各超像素是否是初始背景种子结点，即是否位于图像的四条边之一：如果一个超像素vi位于图像边缘，O(vi)＝1，表明该超像素是背景种子结点；否则，O(vi)＝0。
在Ω项中，B(vi)和B(vj)分别表示超像素vi和vj属于背景的可能性。H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek。W(ek)/De(ek)是超边ek正则化之后的超边权重。Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于背景的可能性应该较相近。Λ项是拟合项：如果一个超像素属于初始背景种子结点，那么这个超像素属于背景的可能性越大。α是拟合项的权重，设为0.2。
基于图像的四条边缘(Otop，Odown，Oleft和Oright)，根据权利要求12所述的优化函数可以得到四个背景图：Btop，Bdown，Bleft和Bright。通过整合这四个背景图得到临时显著图T。
T＝(1-Btop).*(1-Bdown).*(1-Bleft).*(1-Bright)
最终的前景种子和背景种子通过阈值化临时显著图而得。
如果一个结点vi的值T(vi)大于等于阈值thf，那么这个结点属于前景种子结点。如果一个结点vi的值T(vi)小于等于阈值thb，那么这个结点属于背景种子结点。阈值thf和阈值thb分别设置为0.2和0.5。
S4：提出一个概率超图优化框架，融合所构造的，从而检测出自然场景图像中的显著目标。
构造一个超图优化框架，融合所构造的概率超图、前景种子和背景种子信息，从而检测出自然场景图像中的显著目标：
用向量S存储各超像素属于显著目标的可能性。在Ω项中，S(vi)和S(vj)分别表示超像素vi和vj属于显著目标的可能性。H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek。W(ek)/De(ek)是超边ek正则化之后的超边权重。Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于显著目标的可能性应该较相近。在Ψ项中，Lf是显著目标的类别标签，设为1。Qf(vi)表明结点vi是否是前景种子。Ψ是前景拟合项：如果一个超像素是前景种子结点，那么这个超像素的最终显著值应该越接近显著目标的类别标签。在Φ项中，Lb是背景的类别标签，设为-1。Qb(vi)表明结点vi是否是背景种子。Φ是背景拟合项：如果一个超像素是背景种子结点，那么这个超像素的最终显著值应该越接近背景的类别标签。上式中，λf和λb是权重参数，分别设置为0.05和0.1。
此处，将本方法和十九种当前最好的显著目标检测方法进行了对比。这十九种方法分别是：GB方法、FT方法、MSS方法、CB方法、RC方法、HC方法、GS方法、SF方法、GR方法、AM方法、HM方法、HS方法、BD方法、BSCA方法、CL方法、GP方法、RRWR方法、PM方法和MST方法。比较结果如图2所示。第a列是输入的原图，第v列是人工标注的真值图，第u列是本方法的检测结果，其他各列是其余不同方法的检测结果。由图可以看出，本发明有助于在复杂自然场景图像中检测出显著目标，使得检测结果与人工标注的真值图更加一致。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。
Claims (5)
1.一种基于前景和背景种子用于显著目标检测的超图优化方法，其特征在于，包括如下步骤：
(1)使用SLIC算法将图像过分割成超像素，计算各超像素的位置和颜色特征；
(2)将超像素定义为超图的结点，根据超像素间的全局位置相关性、局部位置相关性和颜色相关性构造概率超图，用于描述输入图像；
(3)基于图像边缘超像素和所构造的概率超图，获取前景种子和背景种子信息；
(4)提出概率超图优化框架，融合所构造的概率超图、前景种子和背景种子信息，检测出自然场景图像中的显著目标。
2.如权利要求1所述的基于前景和背景种子用于显著目标检测的超图优化方法，其特征在于，步骤(1)中，将待处理的图像使用SLIC方法过分割成300个同质的超像素，为每个超像素提取其空间位置特征和CIELab颜色特征。
3.如权利要求1所述的基于前景和背景种子用于显著目标检测的超图优化方法，其特征在于，步骤(2)具体为：将过分割而成的超像素定义为超图的结点，根据局部位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在图像中共享边的邻居结点；根据全局位置相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和每个位于图像边缘的超像素；根据颜色相关性基于每个结点vi构造一条超边：这条超边中包含作为质心结点的超像素vi和与超像素vi在CIELab颜色空间中欧几里得距离小于0.15的超像素；一个结点属于一条超边的概率定义为这个结点与这条超边中质心结点的相似度；用一个伴随矩阵H来存储超图中结点和超边的包含关系：
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
如果一个结点vi包含在一条超边ej中，那么对应的伴随关系值H(vi,ej)等于这个结点vi属于这条超边ej的概率；否则，对应的伴随关系值等于0；
两个结点间的相似度根据位置和颜色特征进行计算：
<mrow>
<mi>S</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>D</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
在上式中，i和j分别代表两个结点，SIM(i,j)代表连接两个结点的相似度，Ds(i,j)和Dc(i,j)分别表示两个结点之间的空间距离和颜色距离，分别定义为两个结点空间位置特征和颜色特征的欧几里得距离，尺度参数σ2是控制距离对相似度影响的一个常数，设置为0.1；
基于伴随矩阵H和相似度矩阵SIM计算各条超边的权重：
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<mi>H</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>S</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
</mrow>
上式中，vej代表超边ej中的质心结点，如果包含在超边ej中的各个结点都有一个很高的概率属于这条超边并且与质心结点具有相近的相似度，那么这条超边具有一个很高的权重；否则，这条超边将具有一个较低的权重；
基于以下公式计算超边的度：
<mrow>
<msub>
<mi>D</mi>
<mi>e</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</msub>
<mi>H</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
4.如权利要求1所述的基于前景和背景种子用于显著目标检测的超图优化方法，其特征在于，步骤(3)具体为：分别将图像的四条边缘作为初始的背景种子结点，基于下述优化函数获取四个背景图；
<mrow>
<mi>B</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>B</mi>
</munder>
<mo>{</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>&Omega;</mi>
<mo>+</mo>
<mi>&alpha;</mi>
<mi>&Lambda;</mi>
<mo>}</mo>
</mrow>
<mrow>
<mi>&Omega;</mi>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mi>e</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>B</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>B</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>&Lambda;</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mi>B</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>O</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
用向量B存储各超像素属于背景的可能性，向量O表明各超像素是否是初始背景种子结点，即是否位于图像的四条边之一；如果一个超像素vi位于图像边缘，O(vi)＝1，表明该超像素是背景种子结点；否则，O(vi)＝0；
在Ω项中，B(vi)和B(vj)分别表示超像素vi和vj属于背景的可能性，H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek，W(ek)/De(ek)是超边ek正则化之后的超边权重，Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于背景的可能性应该较相近，Λ项是拟合项：如果一个超像素属于初始背景种子结点，那么这个超像素属于背景的可能性越大，α是拟合项的权重，设为0.2；
基于图像的四条边缘：Otop，Odown，Oleft和Oright，根据优化函数可以得到四个背景图：Btop，Bdown，Bleft和Bright，通过整合这四个背景图得到临时显著图T；
T＝(1-Btop).*(1-Bdown).*(1-Bleft).*(1-Bright)
最终的前景种子和背景种子通过阈值化临时显著图而得；
<mrow>
<msub>
<mi>Q</mi>
<mi>f</mi>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<msub>
<mi>th</mi>
<mi>f</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>Q</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&le;</mo>
<msub>
<mi>th</mi>
<mi>b</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
如果一个结点vi的值T(vi)大于等于阈值thf，那么这个结点属于前景种子结点；如果一个结点vi的值T(vi)小于等于阈值thb，那么这个结点属于背景种子结点；阈值thf和阈值thb分别设置为0.2和0.5。
5.如权利要求1所述的基于前景和背景种子用于显著目标检测的超图优化方法，其特征在于，步骤(4)具体为：构造一个超图优化框架，融合所构造的概率超图、前景种子和背景种子信息，从而检测出自然场景图像中的显著目标：
<mrow>
<mi>S</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>S</mi>
</munder>
<mo>{</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>&Omega;</mi>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>f</mi>
</msub>
<mi>&Psi;</mi>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>b</mi>
</msub>
<mi>&Phi;</mi>
<mo>}</mo>
</mrow>
<mrow>
<mi>&Omega;</mi>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mi>e</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>&Psi;</mi>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>Q</mi>
<mi>f</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>L</mi>
<mi>f</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>&Phi;</mi>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>Q</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>L</mi>
<mi>b</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
用向量S存储各超像素属于显著目标的可能性；在Ω项中，S(vi)和S(vj)分别表示超像素vi和vj属于显著目标的可能性，H(vi,ek)和H(vj,ek)表明超像素vi和vj是否属于超边ek，W(ek)/De(ek)是超边ek正则化之后的超边权重，Ω项是一个平滑项，表明经常包含于同一超边并且超边具有较高权重的两个结点属于显著目标的可能性应该较相近；在Ψ项中，Lf是显著目标的类别标签，设为1；Qf(vi)表明结点vi是否是前景种子，Ψ是前景拟合项；如果一个超像素是前景种子结点，那么这个超像素的最终显著值应该越接近显著目标的类别标签；在Φ项中，Lb是背景的类别标签，设为-1；Qb(vi)表明结点vi是否是背景种子；Φ是背景拟合项，如果一个超像素是背景种子结点，那么这个超像素的最终显著值应该越接近背景的类别标签；λf和λb是权重参数，分别设置为0.05和0.1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235811.XA CN108022244B (zh) | 2017-11-30 | 2017-11-30 | 一种基于前景和背景种子用于显著目标检测的超图优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235811.XA CN108022244B (zh) | 2017-11-30 | 2017-11-30 | 一种基于前景和背景种子用于显著目标检测的超图优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108022244A true CN108022244A (zh) | 2018-05-11 |
| CN108022244B CN108022244B (zh) | 2021-04-06 |
Family
ID=62077683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711235811.XA Active CN108022244B (zh) | 2017-11-30 | 2017-11-30 | 一种基于前景和背景种子用于显著目标检测的超图优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108022244B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522909A (zh) * | 2018-11-26 | 2019-03-26 | 东南大学 | 一种基于空间、颜色和中央偏置先验的概率超图构造方法 |
| CN109741358A (zh) * | 2018-12-29 | 2019-05-10 | 北京工业大学 | 基于自适应超图学习的超像素分割方法 |
| CN111967485A (zh) * | 2020-04-26 | 2020-11-20 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
| CN113658191A (zh) * | 2021-07-05 | 2021-11-16 | 中国人民解放军火箭军工程大学 | 一种基于局部概率超图相异度量的红外弱小目标检测方法 |
| CN114332135A (zh) * | 2022-03-10 | 2022-04-12 | 之江实验室 | 一种基于双模型交互学习的半监督医学图像分割方法及装置 |
| CN116187299A (zh) * | 2023-03-07 | 2023-05-30 | 广东省技术经济研究发展中心 | 一种科技项目文本数据检定评价方法、系统及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
| CN103413307A (zh) * | 2013-08-02 | 2013-11-27 | 北京理工大学 | 一种基于超图的图像共分割方法 |
| CN107292253A (zh) * | 2017-06-09 | 2017-10-24 | 西安交通大学 | 一种道路行驶区域的视觉检测方法 |
-
2017
- 2017-11-30 CN CN201711235811.XA patent/CN108022244B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
| CN103413307A (zh) * | 2013-08-02 | 2013-11-27 | 北京理工大学 | 一种基于超图的图像共分割方法 |
| CN107292253A (zh) * | 2017-06-09 | 2017-10-24 | 西安交通大学 | 一种道路行驶区域的视觉检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINXIA ZHANG 等: "A novel graph-based optimization framework for salient object detection", 《PATTERN RECOGNITION》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522909A (zh) * | 2018-11-26 | 2019-03-26 | 东南大学 | 一种基于空间、颜色和中央偏置先验的概率超图构造方法 |
| CN109522909B (zh) * | 2018-11-26 | 2022-03-11 | 东南大学 | 一种基于空间、颜色和中央偏置先验的概率超图构造方法 |
| CN109741358A (zh) * | 2018-12-29 | 2019-05-10 | 北京工业大学 | 基于自适应超图学习的超像素分割方法 |
| CN111967485A (zh) * | 2020-04-26 | 2020-11-20 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
| CN111967485B (zh) * | 2020-04-26 | 2024-01-05 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
| CN113658191A (zh) * | 2021-07-05 | 2021-11-16 | 中国人民解放军火箭军工程大学 | 一种基于局部概率超图相异度量的红外弱小目标检测方法 |
| CN114332135A (zh) * | 2022-03-10 | 2022-04-12 | 之江实验室 | 一种基于双模型交互学习的半监督医学图像分割方法及装置 |
| CN114332135B (zh) * | 2022-03-10 | 2022-06-10 | 之江实验室 | 一种基于双模型交互学习的半监督医学图像分割方法及装置 |
| CN116187299A (zh) * | 2023-03-07 | 2023-05-30 | 广东省技术经济研究发展中心 | 一种科技项目文本数据检定评价方法、系统及介质 |
| CN116187299B (zh) * | 2023-03-07 | 2024-03-15 | 广东省技术经济研究发展中心 | 一种科技项目文本数据检定评价方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108022244B (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022244A (zh) | 一种基于前景和背景种子用于显著目标检测的超图优化方法 | |
| CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
| CN105488809B (zh) | 基于rgbd描述符的室内场景语义分割方法 | |
| Bastin | Comparison of fuzzy c-means classification, linear mixture modelling and MLC probabilities as tools for unmixing coarse pixels | |
| Lu et al. | A survey of image classification methods and techniques for improving classification performance | |
| Arévalo et al. | Shadow detection in colour high‐resolution satellite images | |
| CN110363134B (zh) | 一种基于语义分割的人脸遮挡区定位方法 | |
| Recky et al. | Windows detection using k-means in cie-lab color space | |
| CN104573685B (zh) | 一种基于线性结构提取的自然场景文本检测方法 | |
| CN104715481B (zh) | 基于随机森林的多尺度印刷品缺陷检测方法 | |
| Motta et al. | Graph-based measures to assist user assessment of multidimensional projections | |
| CN106023145A (zh) | 基于超像素标注的遥感图像的分割与识别方法 | |
| CN105260738A (zh) | 基于主动学习的高分辨率遥感影像变化检测方法及系统 | |
| CN106021575A (zh) | 一种视频中同款商品检索方法及装置 | |
| CN107563442A (zh) | 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法 | |
| CN107808157A (zh) | 一种雷管编码定位及识别的方法及装置 | |
| CN107305691A (zh) | 基于图像匹配的前景分割方法及装置 | |
| Ghanea et al. | Automatic building extraction in dense urban areas through GeoEye multispectral imagery | |
| CN104102928A (zh) | 一种基于纹理基元的遥感图像分类方法 | |
| CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN107578424A (zh) | 一种基于时空分类的动态背景差分检测方法、系统及装置 | |
| CN106650810A (zh) | 基于光谱属性信息和空间信息的水库水体分类方法及装置 | |
| CN114004998B (zh) | 基于多视张量积扩散的非监督极化sar图像地物分类方法 | |
| US20170053178A1 (en) | Processing hyperspectral or multispectral image data | |
| CN107633264A (zh) | 基于空谱多特征极限学习的线性共识集成融合分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |