CN106886995B - 多线性示例回归器聚合的图像显著对象分割方法 - Google Patents

多线性示例回归器聚合的图像显著对象分割方法 Download PDF

Info

Publication number
CN106886995B
CN106886995B CN201710024794.9A CN201710024794A CN106886995B CN 106886995 B CN106886995 B CN 106886995B CN 201710024794 A CN201710024794 A CN 201710024794A CN 106886995 B CN106886995 B CN 106886995B
Authority
CN
China
Prior art keywords
image
significant
significant object
degree
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710024794.9A
Other languages
English (en)
Other versions
CN106886995A (zh
Inventor
陈小武
夏长群
李甲
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Aeronautics and Astronautics
Original Assignee
Beijing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Aeronautics and Astronautics filed Critical Beijing University of Aeronautics and Astronautics
Priority to CN201710024794.9A priority Critical patent/CN106886995B/zh
Publication of CN106886995A publication Critical patent/CN106886995A/zh
Priority to US15/792,712 priority patent/US10387748B2/en
Application granted granted Critical
Publication of CN106886995B publication Critical patent/CN106886995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多线性示例回归器聚合的图像显著对象分割方法，包括：通过构建图像显著基准数据集，分析总结出显著对象以及非显著对象的属性与特点；使用背景先验并构建二次优化问题计算初始显著概率图，根据该初始概率图选择最可信前景与背景种子点，随后通过局部线性嵌入算法进行流形保持的前景度传播，生成最终前景度概率图；随后，通过似物性采样方法对图像生成对象候选集，使用形状、前景度以及关注度三种特征来表征每一个候选对象，并对每一张训练图像训练线性示例回归器以表征该张图像的特定显著方式；最后，将多个线性示例器进行聚合，对测试图像的候选对象集计算显著值，形成一个能处理各种复杂场景的图像显著对象分割模型。

Description

多线性示例回归器聚合的图像显著对象分割方法
技术领域
本发明涉及计算机视觉和图像视频处理领域，具体涉及多线性示例回归器聚合的图像显著对象分割方法。
背景技术
图像显著对象分割是作为计算机视觉的重要基础问题，越来越吸引当前研究者的兴趣与关注。在图像显著对象分割过程中，最为关键的步骤是使用视觉属性凸显出显著对象，并抑制非显著对象等背景干扰。然而，针对复杂场景，并不确切知道是哪种视觉属性可以使得显著对象持续凸显，此外，对于显著对象与非显著对象拥有相同视觉属性情况，也不清楚如何将他们正确的分割与区分。因此，在研究发展显著对象分割模型之前，十分有必要调查清楚什么是显著对象，以及什么是非显著对象。
在过去十年间，已经有很多研究工作在努力对显著对象作出一个既全面又令人信服的定义。比如，Jiang等人在2013年的CVPR会议上发表论文提出显著对象由独特度、聚焦度以及对象度三者共同表征。在Cheng等人2013年CVPR会议上发表的工作中，显著对象被认为是独特的，而且具有紧凑的空间分布。在2012年Goferman等人发表在TPAMI的工作中，认为与局部或全局的周边上下文图像相比，显著对象具有独特的区分性。基于这些发现，很多研究提出了显著对象分割模型，通过设计不同的启发式特征，用于判别图像区域、超像素或像素级的显著性。通常来说，这些显著对象分割模型在明显具有可区分性的简单场景都取得了不错的性能，然而，针对复杂场景，显著对象和非显著对象通常有共同的视觉属性，使得这些分割模型都很难正确的将显著对象与非显著对象区分开。
在当前，使用大规模图像基准数据集，可以训练出做够复杂的图像显著对象分割模型，比如2015年He等人在IJCV上使用深度神经网络在超像素级别上训练显著对象分割模型，2016年Liu等人在CVPR上提出用循环神经网络得到层次化显著性分割模型。这些模型可以部分满足复杂场景下存在的问题，但是这些模型的训练难度非常大，而且所需要的大量训练基准图像数据并不容易满足。此外，由于深度神经网络、循环神经网络等深度学习技术的“黑箱”特性，实际上并不清楚哪部分视觉属性在区分显著对象与非显著对象的过程中贡献最大。
因此，探索显著对象和非显著对象各自的本质，不仅对设计表征候选对象集的视觉属性描述有重要启发，而且对构建能自适应各种复杂场景的图像显著对象分割模型具有重要指导作用。
发明内容
根据上述实际需求和关键问题，本发明的目的在于：构建图像显著基准数据集，深入分析在构建数据集过程中被保留与被丢弃的图像，探索与总结显著对象与非显著对象的本质视觉属性；为抑制有多相似对象的干扰背景，本发明提出一种基于流形保持的前景度传播方法，生成前景度概率图；为能自适应处理不同复杂度的场景，构建的显著对象分割模型使得能选择最相关的线性示例回归器表征的显著方式，抑制不相关的显著方式。
为完成本发明的目的，本发明采用的技术方案是：多线性示例回归器聚合的图像显著对象分割方法，该方法包括如下步骤：
步骤(1)、分析构建图像显著基准数据集中的显著对象与非显著对象，总结并定义非显著对象和显著对象各自的本质视觉属性；
步骤(2)、基于超像素划分，使用背景先验假设条件，结合局部线性嵌入算法，指导流形保持的前景度传播，联合生成图像前景度概率图；
步骤(3)、基于本发明所提供的前景度概率图、非显著对象以及显著对象的视觉属性特点，定义图像显著对象分割的步骤为：
步骤(3.1)、将每一张训练图像利用似物性采样方法生成候选对象集，定义每一个图像候选对象的特征描述，包括几何形状特征，前景度特征以及关注度特征；
步骤(3.2)、将该张训练图像的候选对象当成训练样本，并设定正负样本，基于线性支持向量机，构建线性示例回归器；
步骤(3.3)、定义多线性示例回归器聚合方式，对每一测试图像的候选对象自适应判断其显著值，使得更好抑制非显著对象，凸显显著对象，完成图像显著对象分割；
步骤(2)中的前景度概率图，首先将图像划分为超像素，然后引入背景先验假设条件，构建二次优化问题，求解出初始前景概率图，自适应选取阈值，选取最可信前景与背景种子点；然后利用局部线性嵌入算法，构建每个超像素与特征空间中最近邻的线性关系，结合可信种子点进行流形保持的前景度传播，可凸显显著对象并抑制包含有多相似对象的候选背景对象，得到最终前景概率图。
进一步地，首先本发明探索并总结显著对象与非显著的视觉属性特点。通过构建图像显著基准数据集，深入分析在构建数据集过程中被丢弃和被包含的图像，全面调研显著对象与非显著对象的本质视觉属性。在认定图像是否包含显著对象时，若认为具有歧义性或迷惑性，则将其丢弃。相似对象多、边界形状复杂以及对象度偏低是阻止其被认为是无歧义的显著对象的三个原因。而对于包含明确显著对象的图像，发现不同的图像具有显著不同的显著方式，因此显著对象分割模型要能自适应的满足不同的图像场景，并能抑制干扰非显著对象。
进一步地，而其中非显著对象的三个特点，分别是相似对象多、边界形状复杂以及对象度偏低。相似对象多是指对于一张包含多个相似候选对象的图像，很难决定哪个对象最显著。换句话说，当多个对象都可能被认为是显著对象时，将不可避免的带来多标签歧义性。边界形状复杂是指当一个对象的形状越复杂，则越可能被认为是非显著对象。对象度偏低是指由于语义属性的关系，最显著的区域也会被认为是非显著对象。这些语义对象常常被当作图像背景。
进一步地，根据非显著对象的主要特点，本发明定义候选对象的特征描述。首先，利用似物性采样方法将图像划分为候选对象集，每一个候选对象用似物性分值来表征成为对象的概率。根据非显著对象的三个本质视觉属性特点，即相似对象多、边界形状复杂以及对象度偏低，对每一个图像候选对象进行特征描述，包括几何形状特征，前景度特征以及关注度特征。为此，用步骤(2)生成的前景度概率图，生成前景度特征；用预训练好的关注视点检测模型生成关注概率图，对每一个候选对象生成关注度特征；此外，对每一个候选对象用长宽比、面积周长比、重心位置、离心率等表征其几何属性。
进一步地，本发明构建线性示例回归器。针对每一张训练图像，首先生成候选对象集，使用三种特征描述对其进行表征；然后根据该训练图像的基准显著图对每一候选计算基准度，设定基准度的阈值，将候选对象集划分为正负样本；最后利用线性支持向量机，训练线性示例回归器，以表征其特定的凸显显著对象和抑制非显著对象的方式。
进一步地，每一个线性示例回归器都表征其对应训练图像的特定显著方式，为了能处理任意复杂度场景的显著对象分割任务，应能自适应的聚合其线性示例回归器。针对测试图像的任一候选对象，每一个线性示例回归器都可计算其表征的显著概率，设计感知函数，使其凸显最相关的线性示例回归器，抑制不相关的回归器带来的噪声，提高最终显著结果的准确性。
与现有图像显著对象分割方法相比，本发明有益的特点是：
(1)本发明通过构建图像基准显著数据集，探索和分析显著对象与非显著对象的本质视觉属性特点；
(2)本发明结合背景先验和局部线性嵌入算法，提出一种流形保持的前景度传播方法，生成前景度概率图，可抑制包含有多相似对象的干扰背景；
(3)本发明提出多线性示例回归器聚合的图像显著对象分割方法，表征各种不同的显著方式，针对不同复杂度场景的图像，可自适应的选择最相关的线性示例回归器，抑制不相关的回归器带来的噪声。
附图说明
图1是本发明的构建图像显著基准数据集过程中被丢弃的非显著图像示意图，其中，图1(a)为包含多个相似候选对象的代表图像示意，图1(b)为包含复杂边界候选对象的代表图像示意，图1(c)为包含低对象度候选对象的代表图像示意；
图2是本发明的流形保持的前景度概率传播示意图，其中，图2(a)为输入图像，图2(b)为用于种子点选取的初始前景度概率图，图2(c)为流形保持的图像前景度概率图；
图3是本发明的多线性示例回归器不同聚合方式结果示意图，其中，图3(a)为输入图像，图3(b)为图像基准显著图，图3(c)为通过计算多线性示例分割结果最大值得到的图像显著分割结果，图3(d)为通过计算多线性示例分割结果平均值得到的图像显著分割结果，图3(e)为通过本发明提出的多线性示例回归器聚合方式得到的图像显著分割结果；
图4是本发明的多线性示例回归器聚合的图像显著对象分割方法流程示意图。
具体实施方式
下面结合附图对本发明作详细说明。
参阅图1本发明的构建图像显著基准数据集过程中被丢弃的非显著图像示意图。本发明在构建图像显著基准数据集过程中，对不同场景复杂度的图像源进行分析，对于包含确切显著对象的图像，将其纳入数据集中，对于包含歧义性或者模糊性显著对象的图像，则将其丢弃。对于未纳入基准数据集中的图像，本发明总结分析将该类图像认定为未包含显著对象的原因，归纳出三个最主要的原因。如图1所示，对于图1(a)中所示图像，每张都包含多个相似对象，因此很难决定哪个对象最显著；对于图1(b)中所示图像，所包含对象要么边界非常模糊，要么被其他对象部分遮挡或掩盖，很难让人手动标注出清晰的对象边界轮廓；对于图1(c)中所示图像，当中显著的区域都是关于道路、水、岩石、或者云朵等语义，而此类语义的语义常常出现在图像的背景中。因此，通过以上三个原因，结合之前已有关于显著对象的定义，本发明提出一个新的关于显著对象的定义，即拥有有限的相似干扰对象，有一个相对清楚简单的边界，而且显著对象具有较高的似物性。此外，在构建数据集的过程中，对于纳入数据集中具有明确显著对象的图像，本发明发现每张图像有不同的场景复杂度，而且，每张图像存在自身特定的显著方式。
参阅图2本发明的流形保持的前景度概率传播示意图。正如之前所述，如果一张图像内包含多个形似对象，则这些对象大概率上是非显著对象。换句话说，图像内对象之间的相似性是判别显著对象与非显著对象的重要线索。基于此，本发明提出一种估计图像前景概率的方法，根据对象之间相似性，描述显著对象可能存在的位置。为此，首先根据2012年提出的SLIC方法划分成N个超像素，根据经验值，本发明将N值设为200。对任一超像素Si，用ci和pi分别表达其在LAB颜色空间中的颜色向量以及对应的平均位置向量。
为生成流形保持的前景概率图，给定特征对{ci,pi}，首先需要选取最可信的前景和背景种子点。为了简化表达，本发明使用指示向量y＝[y1,...,yN]来表征一张图的前景概率，其中yi∈[0,1]代表任一超像素Si的前景概率。为了估计y的值，我们使用背景先验，即假设图像边界的区域都属于背景。基于此，我们初始化y的值，将落在图像边界的超像素对应的初始前景概率值设为0，否则为1；随后，构建如下优化问题，得到优化后的前景概率
s.t.0鞍1,
其中，代表与超像素Si邻接的超像素索引集；λμ是作用于第二平滑项的常数，用于提高空间邻域超像素之间的前景概率相似性；αij是正权重参数，用于衡量两个超像素Si与Sj之间的颜色相似性，考虑到该优化问题仅仅包含二次和线性项，本发明可用梯度下降方法求解该二次规划问题。此外，为了尽可能的抑制与图像边界具有相似性的可能背景区域，本发明考虑了颜色之间的差异性αij。在本发明实际过程中，我们分别用图像上边界，图像下边界，图像左边界，图像右边界对y初始化。设 为各自优化后的前景概率值，可以联合得到指示向量中超像素的最终前景概率值，
基于本发明设定两个阈值Tlow与Thigh，得到最可信的前景与背景种子点。也就是说，将满足的超像素设定为前景种子点，将满足的超像素设定为背景种子点。在实际过程中，本发明根据经验值将Thigh设定为前景概率向量的两倍均值，Tlow设定0.05。
在选取种子点过程中，仅仅使用了颜色对比度，因为难免会将非显著的超像素认定为前景种子点。由于非显著对象常常会有多个相似候选对象，因为本发明进一步提出一种基于流形保持前景度传播的前景概率图。不同于种子点的选取过程，我们引入了局部线性嵌入算法来指导前景度传播过程。如图2中A、B与C三点的示意关系，在新生成的前景概率图中，保持超像素与其最近邻之间的位置与颜色关系。在这种方式下，大的显著对象将可以被显著的凸显出来。为了构建超像素之间的空间关系，求解如下问题：
其中，是超像素Si的K个最近邻的索引号，在本发明中，K的值设为5。最后，可以得到一个N×N的关系矩阵W＝[wij]，用于记录在特征空间中所有超像素之间的流形结构关系。基于此矩阵，前景度可用如下公式进行传播，
s.t.0鞍1,
其中，S是所选取的前景背景种子点集合；gi是指示值，当超像素Si属于前景种子点集合时值为1，否则为0；代表最终前景概率向量的第i项。在上式中，第一项用于描述流形保持的前景度传播，第二项用于保证与种子点前景概率的一致性。λle是用于平衡第一项和第二项的常数值。由于第一项和第二项都是平方误差，因此可用最小二乘算法求解最终概率值。最后，将超像素的前景概率值赋予其包含的所有像素，使得前景概率向量转换为前景概率图。
参阅图3本发明的多线性示例回归器不同聚合方式结果示意图。给定前景概率图，可通过聚合不同的线性示例回归器，训练得到图像显著对象分割模型。设定I为图像训练集，G是图像I∈I对应的基准图。首先，本发明使用2014年Arbelaez在CVPR提出的MCG方法将图像生成候选对象集，将候选对象候选集设定为O。此外，本发明使用视点关注模型生成关注图，也就是视点密度概率图，揭示图像中最受关注的区域。更进一步的，我们对每一个候选对象O∈OI都计算基准显著概率值，
其中，p代表候选对象O中的一个像素。在训练分割模型的过程中，我们仅选择满足G(O)＞0.7的候选对象作为正样本，满足G(O)＜0.3的候选对象作为负样本，分别表示为与随后，我们对正样本和负样本中的每一个候选对象O计算启发式特征vO。该特征包括MCG方法中的14维形状描述以及额外的11维形状描述，包括重心位置、长宽比、方向以及离心率等；此外，还有27维度的前景度描述以及27维度的关注度描述。最终，对一个候选对象O可用79维度的特征向量vO表示。
给定特征描述，通过最小化求解以下能量公式，本发明对每一张训练图像都训练一个线性示例回归器f(v)，用于表征该张训练图像的特定显著方式，
其中，根据经验值，C+和C-分别设为1/|O+|和1/|O-|，用于平衡正负样本数量的影响。此外，w和b是线性示例回归器f(v)的参数。
给定所有的线性示例回归器，对于测试图像中的候选对象O，可以得到|I|个显著值，表示为{fI(vO)|I∈I}。然而，每一个线性回归器计算出的显著值都落在不同的范围内，因此如果让这|I|个显著值直接相加，则会导致生成不准确的显著图。如图3中的(c)和(d)所示。图3(a)是原始图像，图3(b)是对应的基准图，图3(c)中结果的计算方式是求这|I|个显著值的最大值，作为候选对象O最终的显著值，图3(d)中结果的计算方式是求这|I|个显著值的平均值，作为候选对象O最终的显著值。
为了更好的聚合单个线性回归器的结果，本发明针对{fI(O)}提出了一种增强操作，加大了关联最相关线性示例回归器结果的概率，抑制了不相关线性示例回归器结果带来的影响。增强操作主要采用了以下感知函数，
其中，x∈{fI(O)}。a和b是预定义的参数，用于控制操作的增强程度，使得不确定的中间分值都被抑制，而置信度高的线性示例回归器的分值被保留。在这种方式下，将强调了与测试图像显著方式一致性高的线性示例回归器，使得聚合后的显著对象分割模型具有更将的自适应性。图3(e)为采用本操作后的显著对象分割结果图。最后，我们将增强后的超像素的显著概率值转化为像素级的显著概率图，
其中，ξ(p∈O)是指示函数，如果像素p∈O，则值为1，否则值为0。随后，将得到的显著概率图归一化为[0,1]之间，并且采用发表在2015年Zhang等人发表在ICCV上的后处理形态操作方法，提高显著概率图的对比度，得到更加准确平滑的显著对象分割结果。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (6)

1.多线性示例回归器聚合的图像显著对象分割方法，其特征在于，该方法包含以下步骤：
步骤(1)、分析构建图像显著基准数据集中的显著对象与非显著对象，总结并定义非显著对象和显著对象各自的本质视觉属性；
步骤(2)、基于超像素划分，使用背景先验假设条件，结合局部线性嵌入算法，指导流形保持的前景度传播，联合生成图像前景度概率图；
步骤(3)、基于前景度概率图、非显著对象以及显著对象的视觉属性特点，定义图像显著对象分割的步骤为：
步骤(3.1)、将每一张训练图像利用似物性采样方法生成候选对象集，定义每一个图像候选对象的特征描述，包括几何形状特征，前景度特征以及关注度特征；
步骤(3.2)、将该张训练图像的候选对象当成训练样本，并设定正负样本，基于线性支持向量机，构建线性示例回归器；
步骤(3.3)、定义多线性示例回归器聚合方式，对每一测试图像的候选对象自适应判断其显著值，使得更好抑制非显著对象，凸显显著对象，完成图像显著对象分割；
步骤(2)中的前景度概率图，首先将图像划分为超像素，然后引入背景先验假设条件，构建二次优化问题，求解出初始前景度概率图，自适应选取阈值，选取最可信前景与背景种子点；然后利用局部线性嵌入算法，构建每个超像素与特征空间中最近邻的线性关系，结合可信种子点进行流形保持的前景度传播，可凸显显著对象并抑制包含有多相似对象的候选背景对象，得到最终前景度概率图。
2.根据权利要求1所述的多线性示例回归器聚合的图像显著对象分割方法，其特征在于：步骤(1)中的显著对象与非显著的视觉属性特点，通过构建图像显著基准数据集，深入分析在构建数据集过程中被丢弃和被包含的图像，全面调研显著对象与非显著对象的本质视觉属性，在认定图像是否包含显著对象时，若认为具有歧义性或迷惑性，则将其丢弃，相似对象多、边界形状复杂以及对象度偏低是阻止其被认为是无歧义的显著对象的三个原因，而对于包含明确显著对象的图像，发现不同的图像具有显著不同的显著方式，因此显著对象分割模型要能自适应的满足不同的图像场景，并能抑制干扰非显著对象。
3.根据权利要求1所述的多线性示例回归器聚合的图像显著对象分割方法，其特征在于：步骤(1)中被认为是非显著对象的三个原因，分别是相似对象多、边界形状复杂以及对象度偏低，相似对象多是指对于一张包含多个相似候选对象的图像，很难决定哪个对象最显著，即当多个对象都可能被认为是显著对象时，将不可避免的带来多标签歧义性，边界形状复杂是指当一个对象的形状越复杂，则越可能被认为是非显著对象，对象度偏低是指由于语义属性的关系，最显著的区域也会被认为是非显著对象，被当作图像背景。
4.根据权利要求1所述的多线性示例回归器聚合的图像显著对象分割方法，其特征在于：步骤(3.1)中的候选对象的特征描述，首先，利用似物性采样方法将图像划分为候选对象集，每一个候选对象用似物性分值来表征成为对象的概率，根据非显著对象的三个本质视觉属性特点，即相似对象多、边界形状复杂以及对象度偏低，对每一个图像候选对象进行特征描述，包括几何形状特征，前景度特征以及关注度特征，为此，用步骤(2)生成的前景度概率图，生成前景度特征；用预训练好的关注视点检测模型生成关注概率图，对每一个候选对象生成关注度特征；此外，对每一个候选对象用长宽比、面积周长比、重心位置、离心率表征其几何属性。
5.根据权利要求1所述的多线性示例回归器聚合的图像显著对象分割方法，其特征在于：步骤(3.2)中的构建线性示例回归器，针对每一张训练图像，首先生成候选对象集，使用步骤(3.1)的三种特征描述对其进行表征；然后根据该训练图像的基准显著图对每一候选计算基准度，设定基准度的阈值，将候选对象集划分为正负样本；最后利用线性支持向量机，训练线性示例回归器，以表征其特定的凸显显著对象和抑制非显著对象的方式。
6.根据权利要求1所述的多线性示例回归器聚合的图像显著对象分割方法，其特征在于：步骤(3.3)中的多线性示例回归器聚合方式，每一个线性示例回归器都表征其对应训练图像的特定显著方式，为了能处理任意复杂度场景的显著对象分割任务，应能自适应的聚合其线性示例回归器，针对测试图像的任一候选对象，每一个线性示例回归器都可计算其表征的显著概率，设计感知函数，使其凸显最相关的线性示例回归器，抑制不相关的回归器带来的噪声，提高最终显著结果的准确性。
CN201710024794.9A 2017-01-13 2017-01-13 多线性示例回归器聚合的图像显著对象分割方法 Active CN106886995B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710024794.9A CN106886995B (zh) 2017-01-13 2017-01-13 多线性示例回归器聚合的图像显著对象分割方法
US15/792,712 US10387748B2 (en) 2017-01-13 2017-10-24 Method for salient object segmentation of image by aggregating multi-linear exemplar regressors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710024794.9A CN106886995B (zh) 2017-01-13 2017-01-13 多线性示例回归器聚合的图像显著对象分割方法

Publications (2)

Publication Number Publication Date
CN106886995A CN106886995A (zh) 2017-06-23
CN106886995B true CN106886995B (zh) 2019-09-20

Family

ID=59176297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710024794.9A Active CN106886995B (zh) 2017-01-13 2017-01-13 多线性示例回归器聚合的图像显著对象分割方法

Country Status (2)

Country Link
US (1) US10387748B2 (zh)
CN (1) CN106886995B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527350B (zh) * 2017-07-11 2019-11-05 浙江工业大学 一种面向视觉特征退化图像的固废对象分割方法
CN108319985B (zh) * 2018-02-07 2022-05-17 北京航空航天大学 图像语义标注的方法和装置
CN109145906B (zh) * 2018-08-31 2020-04-24 北京字节跳动网络技术有限公司 目标对象的图像确定方法、装置、设备及存储介质
CN109559316A (zh) * 2018-10-09 2019-04-02 浙江工业大学 一种改进的基于超像素的图论分割方法
CA3118049A1 (en) * 2018-11-01 2020-05-07 Delaval Holding Ab Tool-positioning system and method, rotary milking platform, computer program and non-volatile data carrier
CN110443809A (zh) * 2019-07-12 2019-11-12 太原科技大学 带边界约束的结构敏感性彩色图像分割超像素化方法
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110610143B (zh) * 2019-08-27 2023-05-12 汇纳科技股份有限公司 多任务联合训练的人群计数网络方法、系统、介质及终端
CN110909724B (zh) * 2019-10-08 2023-11-28 华北电力大学 一种多目标图像的缩略图生成方法
CN110866896B (zh) * 2019-10-29 2022-06-24 中国地质大学（武汉） 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN111192244B (zh) * 2019-12-25 2023-09-29 新绎健康科技有限公司 一种基于关键点确定舌部特征的方法及系统
CN111325710A (zh) * 2020-01-13 2020-06-23 镇江优瞳智能科技有限公司 一种基于双边注意力机制的rgb-d显著性物体检测方法
US11275970B2 (en) * 2020-05-08 2022-03-15 Xailient Systems and methods for distributed data analytics
CN112085020B (zh) * 2020-09-08 2023-08-01 北京印刷学院 一种视觉显著性目标检测方法及装置
CN113313791B (zh) * 2021-07-30 2021-10-01 深圳市知小兵科技有限公司 互联网游戏的图像处理方法及相关设备
US20230137744A1 (en) * 2021-10-29 2023-05-04 Microsoft Technology Licensing, Llc Deep gradient activation map model refinement
CN115205510B (zh) * 2022-07-12 2023-04-07 中国科学院长春光学精密机械与物理研究所 基于显著性特征信息判别的复杂场景红外点目标识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034102A (zh) * 2010-11-26 2011-04-27 北京大学 图像显著对象提取方法、互补显著度图学习方法及系统
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103747240A (zh) * 2013-12-25 2014-04-23 浙江大学 融合颜色和运动信息的视觉显著性滤波方法
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934577B2 (en) * 2014-01-17 2018-04-03 Microsoft Technology Licensing, Llc Digital image edge detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034102A (zh) * 2010-11-26 2011-04-27 北京大学 图像显著对象提取方法、互补显著度图学习方法及系统
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103747240A (zh) * 2013-12-25 2014-04-23 浙江大学 融合颜色和运动信息的视觉显著性滤波方法
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法

Also Published As

Publication number Publication date
US10387748B2 (en) 2019-08-20
CN106886995A (zh) 2017-06-23
US20180204088A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN106886995B (zh) 多线性示例回归器聚合的图像显著对象分割方法
Li et al. Cancer metastasis detection with neural conditional random field
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN105654021B (zh) 检测人群对目标位置关注度的方法及设备
Guo et al. Fuzzy superpixels for polarimetric SAR images classification
JP6458394B2 (ja) 対象追跡方法及び対象追跡装置
Zhang et al. Hybrid region merging method for segmentation of high-resolution remote sensing images
CN109360232B (zh) 基于条件生成对抗网络的室内场景布局估计方法和装置
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
CN110020592A (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN105354862A (zh) 一种监控视频中运动目标的阴影检测方法、系统
CN109117755A (zh) 一种人脸活体检测方法、系统和设备
CN109039503A (zh) 一种频谱感知方法、装置、设备及计算机可读存储介质
CN107067037B (zh) 一种使用llc准则定位图像前景的方法
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
US20170147874A1 (en) Methods and systems for generating a three dimensional representation of a human body shape
Zhang et al. Enhanced spatially constrained remotely sensed imagery classification using a fuzzy local double neighborhood information c-means clustering algorithm
Naqvi et al. Feature quality-based dynamic feature selection for improving salient object detection
CN108256567A (zh) 一种基于深度学习的目标识别方法及系统
CN110060278A (zh) 基于背景减法的运动目标的检测方法及装置
CN105184815B (zh) 聚众事件检测方法及系统
CN111881915A (zh) 一种基于多种先验信息约束的卫星视频目标智能检测方法
CN114049503A (zh) 一种基于非端到端深度学习网络的显著性区域检测方法
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法
CN110363792A (zh) 一种基于光照不变性特征提取的遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant