CN110088805A - 一种用于显著性前景检测和多对象分割的迭代法 - Google Patents

一种用于显著性前景检测和多对象分割的迭代法 Download PDF

Info

Publication number
CN110088805A
CN110088805A CN201780078605.4A CN201780078605A CN110088805A CN 110088805 A CN110088805 A CN 110088805A CN 201780078605 A CN201780078605 A CN 201780078605A CN 110088805 A CN110088805 A CN 110088805A
Authority
CN
China
Prior art keywords
image
pixel
score
conspicuousness
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780078605.4A
Other languages
English (en)
Other versions
CN110088805B (zh
Inventor
亚历山大·路易
大卫·克洛斯特曼
麦加·库塞
内森·卡希尔
大卫·梅辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodak Alaris Inc
Original Assignee
Kodak Alaris Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodak Alaris Inc filed Critical Kodak Alaris Inc
Publication of CN110088805A publication Critical patent/CN110088805A/zh
Application granted granted Critical
Publication of CN110088805B publication Critical patent/CN110088805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文公开了一种在图像中执行迭代前景检测和多对象分割的系统和方法。引入了新的背景先验来改进前景分割结果。三种互补方法检测并分割包含多个对象的前景。第一种方法执行图像的迭代分割以拉出图像中的显著性对象。在第二种方法中，使用图像图的更高维度嵌入以估计显著性得分并提取多个显著性对象。第三种方法使用度量以在迭代计算图像显著图的替代方法中自动挑选要考虑的特征向量的数量。实验结果表明，这些方法成功地从图像中精确地提取了多个前景对象。

Description

一种用于显著性前景检测和多对象分割的迭代法
背景技术
随着硅技术的不断小型化以及消费者和手机相机的激增，捕获的图像数量已呈指数增长。无论图像是存储在个人计算机上还是驻留在社交网络(例如Instagram、Flickr)上，庞大数量的图像需要方法来确定各种图像属性，诸如对象存在，或请求自动图像管理。消费者摄影的核心问题之一在于确定图像的美学吸引力。问题本身具有挑战性，因为图像的整体美学价值取决于其技术质量、构图、情感价值等。为了结合所有这些方面，必须建立复杂的系统，以考虑图像美学的所有方面。一个这样的方面是预测图像中的显著性对象的存在和可能的分割，这可以向系统通知关于系统在确定美学吸引力时应该考虑的特征。
最近F.Perazzi,O.Sorkine-Hornung,A.Sorkine-Hornung的“Efficient SalientForeground Detection for Images and Video using Fiedler Vectors,”EurographicsWorkshop on Intelligent Cinematography and Editing，瑞士苏黎世，2015年5月5日，中提出了一种用于计算消费者质量图像中的显著性前景的有效方法。然而，这种方法无法有效地处理场景中包含多个对象的图像。特别地，在多个断开连接的对象的情况下，该方法只能正确地检测场景中的单个显著性对象。期望有一种能够克服现有技术方法的这种主要缺陷的系统和方法。
发明内容
根据本发明的系统和方法通过采用迭代法克服了现有技术系统和方法的缺陷，从而可以分析包括具有多个主体的图像的更宽(广泛)的图像阵列，以用于显著性前景对象。
本发明涉及用于迭代前景检测和多对象分割的系统和方法。引入了新的“背景先验”以改进前景分割结果。此外，呈现并演示了三个互补(complimentary)的实施方式以检测和分割包含多个对象的前景。第一实施方式执行图像的迭代分割以“拉出”图像中的各种显著性对象。在第二实施方式中，使用图像图(图形，graph)的更高维度嵌入来估计显著性得分(分数)并提取多个显著性对象。在第三实施方式中，使用新提出的度量以在迭代计算图像显著图的替代方法中自动挑选要考虑的特征向量的数量。实验结果表明，所提出的方法成功地以比以前的方法好得多的精度从图像中提取多个前景对象。
附图说明
图1示出了应用本发明的方法后的显著图的比较，特别地示出了原始图像和根据现有技术方法的对应的显著图以及根据本发明的改进的显著图；
图2示出了具有多个单独的对象的原始图像和根据本发明的具有非零特征向量的多个显著图；
图3示出了具有单个对象的原始图像和根据本发明的具有非零特征向量的多个显著图；
图4示出了对应于本发明第一实施方式的流程图；
图5示出了本发明的方法的进程的一个示例，特别地示出了具有多个单独的对象的原始图像，以及与本发明方法的若干次迭代相关联的最佳显著图的选择；
图6示出了本发明方法的进程的一个示例，特别地示出了具有单个对象的原始图像，以及与本发明方法的若干次迭代相关联的最佳显著图的选择；
图7示出了本发明方法的进程的一个示例，特别地示出了具有四个单独的对象的原始图像，以及与本发明方法的若干次迭代相关联的最佳显著图的选择；
图8示出了对应于本发明第二实施方式的流程图；
图9示出了本发明方法的进程的另一个示例，其中特征向量的总数是3，并且具有单个对象的图像的最佳显著图对应于一次迭代，而具有四个对象的图像的最佳显著图对应于三次迭代；
图10示出了对应于本发明第三实施方式的流程图；
图11示出了本发明的方法的进程的另一个示例，其针对具有多个显著性主体的图像和对应的显著图，总共进行本发明的方法的六次迭代；
图12示出了本发明方法的进程的另一个示例，其针对具有单个显著性主体的图像，其中仅执行一次迭代；
图13示出了根据本发明第三方法获得的显著图的示例；以及
图14示出了根据本发明的方法使用更高维度节点嵌入的改进的显著图中的性能的示例。
具体实施方式
本发明涉及一种用于在图像场景中自动检测显著性前景对象并迭代地分割这些对象的系统和方法。
为了有效地表示图像，Perazzi等人使用由F.Perazzi,P.Krahenbuhl,Y.Pritch在2012年计算机视觉和模式识别会议的会议记录第733-740页的论文“Saliency filters:Contrast based filtering for salient region detection”中提出的SLIC(SimpleLinear Iterative Clustering，简单线性迭代聚类)超像素分割算法的修改版本。在该例中，在颜色-XY空间(其使用CIELab颜色空间替代传统的RGB空间)中使用K-means(均值)聚类将图像分割成超像素。在超像素分割之后，图像被表示为图(Graph)G＝{V,E}，也称为图像区域邻接图(“Image Region Adjacency Graph，RAG”)，其中每个顶点v∈V表示来自SLIC的超像素，并被分配超像素的平均Lab颜色值。为了模拟图像中的局部关系，边集合E由连接顶点i和j的边组成，如果它们对应的超像素在分割的图像中共享边界的话。为每个边分配与相邻超像素之间的Lab色差成比例的权重(加权)：
其中，ci是ith超像素的平均Lab颜色，并且e是小常数，以确保算法的数值稳定性(例如，e＝10-4)。为了表示大多数边界像素属于背景的假设，GraphG可以通过以下来增强：背景节点b，其被分配边界的平均颜色；以及连接背景节点和图像的边上的超像素的一组边，其具有由等式(1)计算的权重。
为了给图像的超像素中的每个超像素分配显著性得分，Perazzi等人计算图像RAG的图拉普拉斯矩阵L的特征分解。然后使用Fiedler向量，第二个最小的特征向量来计算显著性得分。给定Fiedler向量f，所述显著性得分S计算如下：
S＝-sign(fb)·f (2)
然后，将S缩放到范围[0,1]，其中，fb表示对应于背景节点的Fiedler向量的元(项，条目)。
因为本发明的实施方式使用高维度嵌入/表示，所以通过以下方式计算显著性得分：
S(i)＝||fi-fb|| (3)
其中S(i)是向量S的第i个分量以及第i个超像素的显著性得分，并且fi和fb是第i个超像素和背景超像素的嵌入。
本发明的实施方式旨在增强“背景先验”，这将被更详细地描述。存在背景通常非常杂乱的图像，因此通过考虑平均背景颜色来计算边权重将无法通过计算非常小的权重来有效地捕获所述背景先验，因为平均背景颜色将与边界超像素中的每个大不相同，从而导致不满意的显著图。为了校正这种缺陷，代替了将平均边界背景颜色(边界超像素的平均颜色)分配给图像背景节点，将表示背景的一组颜色分配给背景节点。执行边界颜色的K-Means聚类，然后用K-Means聚类中心，来表示节点中的背景先验。为了计算背景节点和边界区域之间的边权重，在k个聚类中心颜色中的每个和区域i之间计算权重的最大值：
如图1所示，当使用多个“颜色”增强背景先验时，可以更好地加强背景先验。图1示出了在这种加强之后对显著图的比较。特别地，图1示出了原始图像101及其显著图真实值104，以及根据本发明得到的显著图102，其比Perazzi等人得到的显著图103好得多。
本发明的实施方式还涉及检测多个对象，这将被更详细地描述。根据本发明实施方式的前景分割方法允许通过使用以下方案来检测图像中的多个显著性主体：(1)迭代前景分割方案，以及(2)两个替代的多对象前景分割方案，其使用图像区域邻接图(“RAG”)的特征向量作为节点的嵌入和对附加对象的存在的分析。然后使用该嵌入来计算替代的显著性得分。两种方案都使用度量来确定理想的前景分割。接下来，描述用于挑选最佳显著图的度量和作为该度量的主要组成部分的轮廓得分。
现在更详细地描述轮廓得分。为了判断前景分割的质量，使用将显著性得分聚类为两个(前景/背景)聚类的K-Means聚类，然后计算称为“轮廓得分”的度量，其由Rousseeuw首次引入(P.Rousseeuw,“Silhouettes:A graphical aid to the interpretation andvalidation of cluster analysis,”Journal of Computational and AppliedMathematics,20:53–65,1987)。轮廓得分是用于聚类分析的解释和验证的可能的度量中的一个。
为了计算轮廓得分，需要产生的聚类和不同点(例如，超像素和在我们的算法中分配给它们的显著性得分)之间的距离矩阵(或Rousseeuw使用的相异性)。对于每个点i，本发明的方法计算：
·a(i)：到如i的同一的聚类(标记为聚类A)中的点的平均距离，
·D(i,C)：到聚类C中的点的平均距离，
·b(i)＝minC≠AD(i,C)：通过选择D(i,C)的最小值，我们计算针对i的到下一个最佳聚类分配的距离。
点i的最终轮廓得分计算如下：
然后，通过对所有超像素取s(i)的平均值，将s(i)结合为图像的最终得分fsil。
现在描述停止标准/度量。在下一部分中详述的两个上述多对象分割方案都依赖于某种停止标准或度量，所述停止标准或度量将确定在计算具有多个对象的图像的显著图时要考虑的理想的迭代次数或特征向量的数量。为了确定理想的迭代次数或特征向量的数量，使用将轮廓得分fsil与图像的平均图像显著性结合的度量：
其中，S(x,y)是位置(x，y)处的图像显著性得分，A(I)表示图像的面积，并且平均图像显著性是各个位置(x，y)处的图像显著性得分的总和除以图像的面积A(I)。然后，为了挑选最终显著图，选择具有在等式(6)中定义的最高总体图像显著性得分的图。
现在描述特征向量中对象的存在。重要的是要注意在RAG拉普拉斯矩阵特征分解的较高维度中嵌入的多个显著性对象的存在。这可以在图2中看到，其中，示出了图像及其特征向量的图(我们通过计算每个超像素到背景节点的缩放距离来计算特征向量的显著性)。例如，图2示出了包括多个对象的第一原始图像201a、来自第一非零特征向量的显著图202a、来自第二非零特征向量的显著图203a、来自第三非零特征向量的显著图204a以及最终显著图205a。图2还示出了包括多个对象的第二原始图像201b、来自第一非零特征向量的显著图202b、来自第二非零特征向量的显著图203b、来自第三非零特征向量的显著图204b以及最终显著图205b。然而，如图3所示，对于仅包含单个显著性对象的图像中的许多图像并非如此。可以看出，Fiedler向量选出图像中最显著性的对象并且后续的特征向量(有时几个)包含关于对象的冗余信息。图3中示出的是包括单个显著性对象的第一原始图像301a、来自第一非零特征向量的对应显著图302a以及来自第二非零特征向量的对应显著图303a。图3中还示出了包括单个显著性对象的第二原始图像301b、来自第一非零特征向量的对应显著图302b以及来自第二非零特征向量的对应显著图303b。
现在描述基于特征值差异的停止标准。不同的停止标准基于后续维度之间的百分比特征值差异。首先计算增强区域邻接图的完全特征分解。然后获取第一个k非零特征值的子集，并计算后续维度之间的百分比差异：
其中，λi是第i个特征值。
然后，为了获得理想维度n，选择产生最大差异的维度：
n＝argmax1≤i＜k{Δi} (8)
现在描述根据本发明实施方式的多对象分割方案。下面描述第一迭代前景分割方案：
·使用先前介绍的改进的背景模型执行Perazzi等人所述的初始前景分割，并计算该图的得分图像(scoreimage)。
·现在，迭代执行以下步骤：
1.找出显著性得分Si大于阈值Sth的节点或超像素的集合￡。
2.通过切掉属于集合￡的节点来修改图像RAG(存储这些节点的显著性得分以供以后处理)。
3.通过计算新图的Fiedler向量并以与Perazzi等人描述的相同方式对其进行计算和修改，找到RAG中剩余的区域的新的显著性得分。
4.将较小区域的显著性得分与来自集合￡的节点的得分结合，以获得新的显著性图像并计算其得分图像。
5.重复预定次数的迭代。
6.选择具有最高得分图像的分割图。
图4示出了对应于上述第一方案的流程图。在步骤402处，决定在选择最佳显著图时要考虑的迭代次数n。在步骤404处，如前所述计算初始显著性得分S(也是Si)(考虑该i＝1次迭代)。在步骤406处，计算用于迭代i次的得分图像。在步骤408处，询问是否i<n。如果是，则i＝i+1。如果否，则在步骤418处，选择具有最佳得分图像的图。在步骤410处，找到显著性得分Si-1大于阈值Sth的节点或超像素的集合￡。在步骤412处，从RAG中切掉属于集合￡的节点。如前所述，计算缩减图的显著性得分。在步骤414处，将较小区域的显著性得分与来自集合￡的节点的得分结合。在步骤416处，使用新的显著性得分计算显著图，并返回到步骤406。
图5示出了本发明的方法的进程的示例实施方式，其中，选择具有三次或四次迭代的最佳显著图。例如，在图5中，原始图像501a具有对于迭代k＝1、k＝2、k＝3以及k＝4的对应的显著图502a、503a、504a以及505a。注意，显著图506a被选择为最佳显著图，其恰好对应于三次迭代(即，k＝3)之后的显著图。图5还示出了原始图像501b，其具有对于迭代k＝1、k＝2、k＝3以及k＝4的对应的显著图502b、503b、504b以及505b。另外，显著图506b被选择为最佳显著图，但是在这种情况下，其对应于四次迭代(即，k＝4)之后的显著图。
根据本发明的实施方式的用于前景分割的替代方案如下进行：
·构建如Perazzi等人所述的图像的RAG，并用改进的背景节点进行增强。
·构建图像RAG的拉普拉斯矩阵。
·考虑对应于非零特征值的k个最小特征向量，并将它们用作图节点的k维嵌入。
·通过以下来计算新的显著性得分：
1.计算节点i和背景节点的k维嵌入之间的距离。
2.将所有距离重新缩放到处于[0，1]之间的范围内，这将给出相关的显著性得分S。
·为通过考虑具有不同数量的特征向量(我们考虑最多四个特征向量来嵌入我们的图)的投影创建的图计算度量(诸如上面描述的度量)，并选择具有通过该度量获得的最高得分的图(即，如果使用上述度量，则为最高的得分图像)。
现在考虑图6和图7中描绘的图像和显著图的对应序列。图6示出了具有一个显著性对象的场景的原始图像601以及特征向量的数量针对超像素嵌入变化的对应的显著图：一个特征向量602、两个特征向量603以及三个特征向量604。根据得分将具有一个特征向量的显著图602选择为最佳。图7示出了具有多个显著性对象的场景的原始图像701以及特征向量的数量针对超像素嵌入变化的对应的显著图：一个特征向量702、两个特征向量703以及三个特征向量704。在这种情况下，根据得分将具有三个特征向量的显著图704选择为最佳。
图8示出了对应于本发明的第二方法的流程图。在步骤802处，决定在选择最佳显著图时要考虑的总迭代次数n。在步骤804处，构建如Perazzi等人所述的图像的RAG并用改进的背景节点进行增强。在步骤806处，构建图像RAG的拉普拉斯矩阵并计算其分解，并且将k设置为等于1。在步骤808处，考虑对应于k个最小非零特征值的k个最小特征向量，并将其用作图节点的k维嵌入。k维嵌入是图像RAG的节点中的每个的数值表示。嵌入包括从考虑的k个特征向量获得的k个数值描述符(即，使用对应于特定节点的每个特征向量的分量，例如，如果被称为i的节点用特征向量的第m个分量表示，则节点i的k维嵌入包括每个特征向量的第m个分量)或由从考虑的k个特征向量获得的k个数值描述符构成。在步骤810处，计算节点i和背景节点的k维嵌入之间的距离。在步骤812处，所有距离都被重新缩放到处于[0，1]之间的范围内，这给出了相关的显著性得分S。在步骤814处，计算显著图和新的显著性得分。在步骤816处，计算用于第i次迭代的得分图像。在步骤818处，询问是否k<n？如果是，则k＝k+1，并且该方法在步骤808处继续。如果否，则该方法终止于步骤820处并且具有最佳得分图像的显著图被选中。
图9示出了当要考虑选择的特征向量的总数是3时，本发明的实施方式的进程的示例。换句话说，在第一步骤中，选择迭代次数为n。在图9所示的实施方式中，n设定为等于3。图9示出了原始图像901a，其包括单个对象。图9还示出了第二原始图像901b，其包括四个对象。图像902a和图像902b对应于k＝1的迭代，以及具有一个特征向量的显著图。图像903a和图像903b对应于k＝2的迭代，以及具有两个特征向量的显著图。图像904a和图像904b对应于k＝3的迭代，以及具有三个特征向量的显著图。请注意，对于原始图像901a(其仅包含一个对象)，最佳图是具有一次迭代的图像902a。对于原始图像901b(其包含四个对象)，最佳图是具有三次迭代的图像904b。
本发明的替代实施方式涉及一种包括提取多个显著性对象的方法。根据该实施方式，该方法首先计算要考虑的所需特征向量的数量，并随后构建显著图。作为该方法的一部分，使用自适应方式来计算阈值。自适应阈值由R.Achanta,S.Hemami,F.Estrada以及S.Süsstrunk在IEEE International Conference on Computer Vision and PatternRecognition第1597-1604页(2009)的“Frequency-tuned Salient Region Detection”中提出。自适应阈值被定义为平均图像显著性的两倍：
该实施方式涉及一种包括以下步骤的方法：
·首先，预先计算要考虑的特征向量的数量n。
·使用改进的背景先验计算超像素的显著性得分S的向量。
·如果n＝1，则该方法完成。否则，对于n≥2重复以下过程。假设已经计算了第一个k(k<n维)的显著性得分，我们称之为Sk。为了将第k+1维纳入到最终显著性得分S的计算中，步骤如下：
○通过计算每个超像素到背景节点的距离并在[0；1]之间重新缩放得分来计算第k+1维的显著性得分Sk+1。
○基于SK+1计算阈值并提取对于为真的超像素i的集合，并调用集合N。
○对于i∈N,令否则
○如果k+1<n，则重复该过程，否则构建图像显著图。
图10示出了对应于该方法的流程图。在步骤1002处，决定在选择最佳显著图时要考虑的迭代次数n。在步骤1004处，构建如Perazzi等人所述的图像的RAG，并使用改进的背景节点进行增强。步骤1006询问是否n>1？如果否，则该方法终止于步骤1016处，这通过根据显著性得分计算显著图完成，所述显著性得分通过根据图像邻接图的拉普拉斯矩阵计算第二最小特征向量得到，所述图像邻接图是使用增强的背景先验从图像中构建的；如果是，则该方法在步骤1008处继续。从k＝2开始，计算当前维度K的显著性得分。在步骤1010处，计算维度k的图像阈值Tk。在步骤1012处，如上所述计算每个超像素i的显著性得分Sk的新向量。步骤1014询问k是否等于n。如果是，则该方法终止于步骤1016处。如果否，则将k设置为k+1，并且该方法在步骤1008处继续。
图11示出了图10中所示并且如上所述的方法的进程的示例。图11包括原始图像1100，所述原始图像包括多个显著性对象。针对第一次迭代(k＝1)示出了维度显著图1101a和总显著图1101b。针对第二次迭代(k＝2)示出了维度显著图1102a和总显著图1102b。针对第三次迭代(k＝3)示出了维度显著图1103a和总显著图1103b。针对第四次迭代(k＝4)示出了维度显著图1104a和总显著图1104b。针对第五次迭代(k＝5)示出了维度显著图1105a和总显著图1105b。最后，针对第六次迭代(k＝6)示出了维度显著图1106a和总显著图1106b。，如图1107所示，最佳维度(在本例中为6)是根据等式(8)选择的。
图12示出了图10中所示并且如上所述的方法的进程的示例。图12包括原始图像1200，所述原始图像包括单个显著性对象。针对第一次迭代(k＝1)示出了维度显著图1201a和总显著图1201b。如图1202所示，根据等式(8)选择最佳维度(在本例中为1)。
图13示出了通过图10所示并且如上所述的方法获得的显著图的示例。特别地，图13示出了示例图(1305，1306)——对于多主体图像由等式(7)定义的特征值函数差之一(图1305)，以及对于单个主体图像的特征值函数差之一(图1306)。图1305对应于原始图像1301，其包含多个显著性对象。原始图像1301的最终显著图示出为1302。图1306对应于原始图像1302，其仅包含单个显著性对象。原始图像1303的最终显著图示出为1304。
下面描述本发明的方法的计算性能。根据经验，颜色的K-Means聚类对整个算法的性能影响很小，这是因为聚类是在平均超像素颜色上进行的，并且边界中的超像素数量比边界中的像素数量要小得多。
下面描述本发明的分割结果。通过为背景节点分配一组最常见的颜色，在图像具有“复杂”背景或图像中的多种颜色的情况下，得到的图在将边界连接到背景节点的边上具有更高权重，这经常产生良好的前景检测结果。
当分析原始图像的显著图时，可以看出本发明的方法倾向于挑选出具有独特颜色的单个对象。因此，为了检测多个前景主体，本发明的实施方式迭代地检测前景中最显著的对象。从图14中描绘的示例输出可以看出，获得了与现有技术方法相比检测多个显著性对象的改进结果。
图14中的最后三组图像示出了在使用较高维度节点嵌入的情况下的前景分割的结果(与仅使用如Perazzi等人的Fiedler向量相反)。图14示出了三个原始图像(1401a、1401b以及1401c)，它们对应的显著图是根据Perazzi等人描述的现有技术方法获得的(1402a、1402b以及1402c)，以及根据本文描述的本发明获得的对应的显著图(1403a、1403b以及1403c)。总之，本发明的方法提供：
1.修改图像先验：代替了为图像“背景”节点分配平均边界背景颜色(边界超像素的平均颜色)，该方法首先执行颜色的K-Means聚类。然后，该方法将一组代表聚类中心的颜色附加到背景节点。为了计算背景节点和边界区域之间的边权重，采用在k个聚类中心颜色中的每个和区域i之间计算的权重的最大值：
2.迭代分割方案，其扩展前景分割以允许图像中存在多个显著性主体。
3.替代的多对象前景分割，其使用图像RAG的特征向量作为节点的嵌入。然后使用该嵌入来计算替代的显著性得分。
4.使用针对多对象分割的新停止标准和度量。
尽管前述书面描述描述了本发明的示例性实施方式，但是本领域普通技术人员将理解，发明人已经预期存在这些实施方式的变型和组合。因此，本发明不受本文描述的任何示例性实施方式的严格限制。在不脱离本发明的精神或范围的情况下，可以对实施方式进行改变、修改和偏离并且仍然实现本发明的优点。本领域普通技术人员应理解这些改变、修改和偏离被所附权利要求所涵盖。

Claims (17)

1.一种用于检测和分割多个前景对象的方法，包括：
(a)使用利用了增强背景模型的超像素分割在数字图像上执行初始前景分割，以生成图像邻接图；
(b)根据所述图像邻接图计算一组显著性得分；
(c)从所述图像邻接图中找到所述显著性得分大于指定阈值的一组节点或超像素；
(d)通过切掉所述一组节点中的节点来修改所述图像邻接图，并存储这些节点的所述显著性得分；
(e)通过计算修改后的图像邻接图的Fiedler向量，确定保留在所述图像邻接图中的区域的新的显著性得分；
(f)将所述区域的所述新的显著性得分与来自所述一组节点的所述节点的所述显著性得分结合，以获得新的显著性图像；
(g)计算所述新的显著性图像的新的总体显著性得分；
重复步骤(c)至(g)预定次数的迭代；以及
选择具有最高总体图像显著性得分的分割图。
2.根据权利要求1所述的方法，其中，所述增强背景模型包括多色背景模型，所述多色背景模型通过对在Lab颜色空间中表示的超像素颜色进行聚类获得。
3.根据权利要求1所述的方法，其中，所述图像邻接图包括所述数字图像的缩减图像表示，其中一组像素由对应的超像素中的像素的平均颜色表示，并由图中的节点表示，并且如果所述对应的超像素在原始图像中共享边界，则通过连接所述图中的两个区域来表示所述图像中的局部关系。
4.根据权利要求1所述的方法，其中，通过使用所述Fiedler向量，并且将所得到的得分重新缩放到[0；1]之间，来计算所有显著性得分。
5.根据权利要求1所述的方法，其中，通过将轮廓得分与平均图像显著性结合来计算所述新的总体显著性得分。
6.根据权利要求1所述的方法，其中，切掉节点包括从所述数字图像的图表示中去除具有超过预定阈值的显著性值的节点。
7.一种用于检测和分割多个前景对象的方法，包括：
(a)通过使用增强背景模型对图像进行超像素图像分割来构建所述图像的图像邻接图；
(b)构建所述图像邻接图的拉普拉斯矩阵；
(c)将对应于非零特征值的k个最小特征向量作为图节点的k维嵌入来嵌入所述图像邻接图中；
(d)通过以下方式计算新的显著性得分：
(i)计算节点i和背景节点的k维嵌入之间的距离；
(ii)将所有距离重新归一化到处于[0，1]之间的范围内，以产生相关的显著性得分；
(e)计算由所述相关的显著性得分产生的显著图的总体图像显著性得分；
(f)针对在从一到预定数的范围内的不同k重复步骤(c)到(e)；以及
(g)选择具有最高总体图像显著性得分的所述显著图。
8.根据权利要求7所述的方法，其中，所述图像邻接图包括所述图像的缩减图像表示，其中一组像素由对应的超像素中的像素的平均颜色表示，并由图中的节点表示，并且如果所述对应的超像素在原始图像中共享边界，则通过连接所述图中的两个区域来表示所述图像中的局部关系。
9.根据权利要求7所述的方法，其中，所述增强背景模型包括多色背景模型，所述多色背景模型通过对在Lab颜色空间中表示的超像素颜色进行聚类获得。
10.根据权利要求7所述的方法，其中，所述k维嵌入包括针对所述图像区域邻接图的每个节点的数值表示，其中每个嵌入包括从所考虑的k个特征向量获得的对应于特定节点的k个数值描述符。
11.根据权利要求7所述的方法，其中，通过将轮廓得分与平均图像显著性结合来计算所述总体图像显著性得分。
12.根据权利要求7所述的方法，其中，通过以下来计算总体图像显著图：创建与所述图像大小相同的新灰度图像，并为每个像素分配显著性得分，所分配的所述显著性得分对应于所述像素所属的所述超像素的显著性得分。
13.一种用于检测和分割图像中的多个前景对象的方法，包括：
(a)计算迭代次数n，其代表两个后续特征值的维度之间的最大百分比差；
(b)通过使用增强背景模型对所述图像进行超像素图像分割来构建图像邻接图；
(c)当n不等于1并且从维度k等于2开始时，针对当前维度k根据所述图像邻接图计算一组显著性得分；
(d)提取具有大于预定阈值的显著性得分的一组超像素；
(e)计算所提取的所述一组超像素中的每个超像素的新的显著性得分；
(f)重复步骤(c)至(e)，直至维度k等于n；
(g)基于一组最新的显著性得分计算图像显著图。
14.根据权利要求13所述的方法，其中，所述图像邻接图包括所述图像的缩减图像表示，其中一组像素由对应的超像素中的像素的平均颜色表示，并且由图中的节点表示，并且如果所述对应的超像素在原始图像中共享边界，则通过连接所述图中的两个区域来表示所述图像中的局部关系。
15.根据权利要求13所述的方法，其中，所述增强背景模型包括多色背景模型，所述多色背景模型通过对在Lab颜色空间中表示的超像素颜色进行聚类获得。
16.根据权利要求13所述的方法，其中，通过使用Fiedler向量并且将所得到的得分重新缩放到[0；1]之间来计算所有显著性得分。
17.根据权利要求13所述的方法，其中，所述阈值作为平均图像显著性得分的函数而被计算。
CN201780078605.4A 2016-12-20 2017-12-19 用于检测和分割多个前景对象的方法 Active CN110088805B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662436803P 2016-12-20 2016-12-20
US62/436,803 2016-12-20
PCT/US2017/067309 WO2018118914A2 (en) 2016-12-20 2017-12-19 An iterative method for salient foreground detection and multi-object segmentation

Publications (2)

Publication Number Publication Date
CN110088805A true CN110088805A (zh) 2019-08-02
CN110088805B CN110088805B (zh) 2023-06-06

Family

ID=60991573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078605.4A Active CN110088805B (zh) 2016-12-20 2017-12-19 用于检测和分割多个前景对象的方法

Country Status (4)

Country Link
US (2) US10706549B2 (zh)
EP (1) EP3559906B1 (zh)
CN (1) CN110088805B (zh)
WO (1) WO2018118914A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132810B2 (en) * 2017-02-01 2021-09-28 Hitachi, Ltd. Three-dimensional measurement apparatus
CN109359654B (zh) * 2018-09-18 2021-02-12 北京工商大学 基于频率调谐全局显著度和深度学习的图像分割方法及系统
CN110111338B (zh) * 2019-04-24 2023-03-31 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法
JP7475959B2 (ja) * 2020-05-20 2024-04-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111815582B (zh) * 2020-06-28 2024-01-26 江苏科技大学 改进背景先验和前景先验的二维码区域检测方法
CN112200826B (zh) * 2020-10-15 2023-11-28 北京科技大学 一种工业弱缺陷分割方法
CN112163589B (zh) * 2020-11-10 2022-05-27 中国科学院长春光学精密机械与物理研究所 一种图像处理方法、装置、设备及存储介质
CN112418218B (zh) * 2020-11-24 2023-02-28 中国地质大学（武汉） 目标区域检测方法、装置、设备及存储介质
CN112991361B (zh) * 2021-03-11 2023-06-13 温州大学激光与光电智能制造研究院 一种基于局部图结构相似度的图像分割方法
CN113160251B (zh) * 2021-05-24 2023-06-09 北京邮电大学 一种基于显著性先验的图像自动分割方法
CN113705579B (zh) * 2021-08-27 2024-03-15 河海大学 一种视觉显著性驱动的图像自动标注方法
CN114998320B (zh) * 2022-07-18 2022-12-16 银江技术股份有限公司 视觉显著性检测的方法、系统、电子装置和存储介质
CN115631208B (zh) * 2022-10-13 2023-06-16 中国矿业大学 基于改进主动轮廓模型的无人机影像矿区地裂缝提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216116A1 (en) * 2012-02-02 2013-08-22 Peter Yim Method and system for image segmentation
CN104809729A (zh) * 2015-04-29 2015-07-29 山东大学 一种鲁棒的图像显著性区域自动分割方法
US9147255B1 (en) * 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US20160163058A1 (en) * 2013-07-31 2016-06-09 Yichen Wei Geodesic saliency using background priors
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835820B2 (en) * 2005-10-11 2010-11-16 Vanderbilt University System and method for image mapping and visual attention
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8965077B2 (en) * 2010-05-18 2015-02-24 Siemens Corporation Methods and systems for fast automatic brain matching via spectral correspondence
US20170337711A1 (en) * 2011-03-29 2017-11-23 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
US8401292B2 (en) * 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9595114B2 (en) * 2013-08-28 2017-03-14 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Semi automatic target initialization method based on visual saliency
US9330334B2 (en) * 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10192117B2 (en) * 2015-06-25 2019-01-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
US20180295375A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
US10573044B2 (en) * 2017-11-09 2020-02-25 Adobe Inc. Saliency-based collage generation using digital images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216116A1 (en) * 2012-02-02 2013-08-22 Peter Yim Method and system for image segmentation
US9147255B1 (en) * 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US20160163058A1 (en) * 2013-07-31 2016-06-09 Yichen Wei Geodesic saliency using background priors
CN104809729A (zh) * 2015-04-29 2015-07-29 山东大学 一种鲁棒的图像显著性区域自动分割方法
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEDERICO PERAZZI等: "Efficient Salient Foreground Detection for Images and Video", 《EUROGRAPHICS WORKSHOP ON INTELLIGENT CINEMATOGRAPHY AND EDITING (2015)》 *
汪成等: "基于SLIC超像素分割显著区域检测方法的研究", 《 南京邮电大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
EP3559906B1 (en) 2024-02-21
US20180174301A1 (en) 2018-06-21
CN110088805B (zh) 2023-06-06
WO2018118914A2 (en) 2018-06-28
EP3559906A2 (en) 2019-10-30
WO2018118914A3 (en) 2018-07-26
US10706549B2 (en) 2020-07-07
US11120556B2 (en) 2021-09-14
US20200286239A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN110088805A (zh) 一种用于显著性前景检测和多对象分割的迭代法
Panjwani et al. Markov random field models for unsupervised segmentation of textured color images
CN108537239B (zh) 一种图像显著性目标检测的方法
Bansal et al. Color image segmentation using CIELab color space using ant colony optimization
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
JP2014041476A (ja) 画像処理装置、画像処理方法及びプログラム
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN108205657A (zh) 视频镜头分割的方法、存储介质和移动终端
Costa et al. Estimating the number of clusters in multivariate data by self-organizing maps
Yarlagadda et al. A reflectance based method for shadow detection and removal
CN111091129A (zh) 一种基于多重颜色特征流形排序的图像显著区域提取方法
Wang Image matting with transductive inference
Arjun et al. Analysis of image segmentation methods on Amrita's Indian side face profile database
Irie et al. Robust learning for deep monocular depth estimation
Upadhyay et al. Modified self organizing feature map neural network (MSOFM NN) based gray image segmentation
Elashry et al. Feature matching enhancement using the graph neural network (gnn-ransac)
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法
Yuan et al. Segmentation of colour images with highlights and shadows sing fuzzy-like reasoning
Schleyer et al. A new method for colour image segmentation
Ristic et al. Image segmentation method based on self-organizing maps and K-means algorithm
Khelifi et al. A new multi-criteria fusion model for color textured image segmentation
KA A Review on Example-based Colourization
Akshara et al. A Review on Example-based Colourization
Wang et al. Salient object detection by optimizing robust background detection
Sonny et al. A Novel Localized Approach to Single Image Dehazing Based on Haze-Lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant