CN107067037B - 一种使用llc准则定位图像前景的方法 - Google Patents

一种使用llc准则定位图像前景的方法 Download PDF

Info

Publication number
CN107067037B
CN107067037B CN201710263340.7A CN201710263340A CN107067037B CN 107067037 B CN107067037 B CN 107067037B CN 201710263340 A CN201710263340 A CN 201710263340A CN 107067037 B CN107067037 B CN 107067037B
Authority
CN
China
Prior art keywords
image
foreground
region
super
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710263340.7A
Other languages
English (en)
Other versions
CN107067037A (zh
Inventor
杨春蕾
普杰信
谢国森
刘中华
梁灵飞
董永生
司彦娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN201710263340.7A priority Critical patent/CN107067037B/zh
Publication of CN107067037A publication Critical patent/CN107067037A/zh
Application granted granted Critical
Publication of CN107067037B publication Critical patent/CN107067037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种使用LLC准则定位图像前景的方法，从标准测试集中选取大量随机图像，结合其显著区域真值标注图，提取图像前景的先验知识、形成LLC码本，使用LLC准则对待测图像的各个区域是否属于前景进行粗分类，并给出相应的显著性概率值；使用距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等基于对比的特征描述图像超像素区域，并用来学习前景\背景的典型特征作为指导图像超像素区域分类的先验知识，从经验角度获取高层知识只需学习一次即可多次指导区域分类，与仅从当前图像提取高层知识的方法相比不仅大大加快了前景定位的速度，而且用来提取的优势查询可使基于流形排序所获得的显著图中前景边界更加清晰、噪声更少。

Description

一种使用LLC准则定位图像前景的方法
技术领域
本发明涉及模式识别技术、信息融合技术、信息编码技术和数字图像处理技术领域，具体的说是一种使用LLC准则定位图像前景的方法。
背景技术
模式识别技术是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。显著性检测中的模式识别指的是对图像中背景和目标的识别与分类。显著目标是图像中从背景中突出的人或事物，一般包含更多人们感兴趣的、更有用的信息。显著目标检测的主要任务即检测并标定出显著目标所在的区域。由于检测结果可以被直接使用，因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。
常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术。显著目标检测技术中的关键是通过像素、超像素、区域块等检测单位间的局部或全局特征差来确定各个检测单位的显著值，因此，特征提取是计算特征差的基本步骤。由于显著颜色是引起人类视觉注意的最根本特征，人们通常选取颜色计算特征差。目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已接近测试集的标准，但在多目标和复杂背景下，尤其是在显著目标与背景相融的场景下不能取得较好的表现。当图像场景复杂时，颜色特征可能不足以作为目标与背景的分类依据。这是因为场景的复杂通常表现为以下特性：1、场景中含有多个结构复杂的目标，并可能部分相互重叠；2、目标区域呈不规则形状； 3、目标分布于图像四周；4、目标与背景具有相似的色调，或者二者均具有杂乱的色调。在上述特性中，最后一个特性是难以用颜色特征差将目标从背景中提取出来的，此时纹理特征差将可作为显著目标检测的重要依据。此外，位于图像中心区域的事物往往被最先注意，背景常分布在图像四周的边界区域，这就凸显了区域间的空间关系特征的优势，该特征也可为显著性检测提供了可参考的线索。当颜色差不足以提供显著目标检测的线索时，如何运用图像的多个特征并将它们有效地融合是需要解决的关键问题。另一方面，由于图像场景复杂时机器视觉难以将前景从杂乱的背景中检测出来，造成多种先进算法生成的显著图中存在前景区域附近噪声较多、甚至前景边界模糊的现象，提高了进一步的前景或目标识别的难度。
图像前景的定位技术属于图像显著性检测技术中非常重要的一个环节，在使用先验知识或其他深度信息进行分析后，图像前景被粗略地定位，在此基础上进一步进行细致地检测可使生成的显著图精准度更高，而且检测时间会大大加快。
基于局部性约束的线性编码（Locality-constrained Linear Coding，简称LLC）是一种高效且鲁棒的分类技术，最初主要用于图像分类。由于强调稀疏编码过程中的“特征局部性”，其使用促使图像分类的正确率提高很多。同时，LLC方案还具有快速性的特点，其原理简单，大大缩短了编码所需的时间。
特征向量模型（Feature Vector Model）被广泛使用于图像处理领域。多个特征数据可按照“均一权值”或“差额权值”的方式被融合入一个向量中表示，表示方法简单且易于参与运算。本发明仅涉及“均一权值”的向量模型来融合图像区域的质心、颜色和纹理特征。
K-means聚类是一种聚类分析算法，是典型的基于原型的目标函数聚类方法的代表，通过不断地取离种子点的最近欧氏距离（相似度测量）作为优化的目标函数，利用函数求极值的方法得到迭代运算的调制规则，以达到聚类所有数据的目的。
简单线性迭代聚类（Simple Linear Iterative Clustering，简称SLIC）是一种高效的图像分割法，该方法将图像分割为n个超像素（n的取值一般在200左右具有最佳效果），划分为同一个超像素的像素或图像块具有颜色相似性和内部紧致性。目前，很多高效的显著目标检测算法以SLIC超像素作为特征提取和显著值计算的基本检测单位，不仅可以达到快速检测的目标而且获得的显著图也更加平滑。
发明内容
本发明的目的是提供一种使用LLC准则定位图像前景的方法，从标准测试集中选取大量随机图像，结合其显著区域真值标注图，提取图像前景的先验知识、形成LLC码本，使用LLC准则对待测图像的各个区域是否属于前景进行粗分类，并给出相应的显著性概率值。
为解决上述技术问题，本发明采用的技术方案为：
一种使用LLC准则定位图像前景的方法，包括以下步骤：
步骤一：码本生成：实现为生成LLC所使用的码本进行的大规模图像样本抽取、图像过分割、图像区域样本筛选及标定、图像区域样本特征提取、区域样本聚类生成码本；
步骤二：待测图像区域划分及特征提取：实现待测图像过分割，提取待测图过分割后的各图像区域特征；
步骤三：使用LLC准则对每个过分割图像区域进行稀疏编码：根据过分割图像区域特征提取结果，按照局部性原理和LLC准则进行线性编码，获得所有过分割图像区域的稀疏编码码字；
步骤四：图像区域粗分类：实现LLC编码码字转换为显著性概率值的结果，得到知识先验图；
步骤五：图像前景定位：按照背景优先的图流形排序法获得背景先验图，通过融合知识先验图用以消除图像区域粗分类造成的大部分噪声，精准地定位图像前景。
所述步骤一中码本生成的方法为：
1）从标准测试集中抽样N幅图像；
2）将原图像用SLIC算法分割成n个超像素；
3）提取每幅被抽样图像的显著性真值标注图，按照步骤2）中的分割结果映射到真值标注图，依据公式（1）将仅包含前景像素或仅包含背景像素的超像素区域纳入备选图像区域样本，并标定该图像区域样本属于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素区域；
Figure 100002_DEST_PATH_IMAGE002
（1）
其中
Figure 100002_DEST_PATH_IMAGE004
为第i幅抽样图像被纳入的第t个区域样本，该样本来源于第i幅抽样图像的第j个超像素区域
Figure 100002_DEST_PATH_IMAGE006
；
Figure 100002_DEST_PATH_IMAGE008
表示真值标注图中对应该区域的平均值，其值为1时说明属于前景，用
Figure 100002_DEST_PATH_IMAGE010
指示，
Figure 557507DEST_PATH_IMAGE008
值为0时说明该区域属于背景，由
Figure 100002_DEST_PATH_IMAGE012
指示；
4）提取各备选图像区域样本的质心、Lab颜色自然特征，计算其距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值，按照公式（2）和公式（3）形成对比特征向量表示单个图像区域样本；
Figure 100002_DEST_PATH_IMAGE014
（2）
其中，mi为第i幅抽样图像被选入的区域样本个数；
Figure 100002_DEST_PATH_IMAGE016
（3）
其中，
Figure 100002_DEST_PATH_IMAGE018
表示来源于归一化后的同一幅图像的区域样本的特征，归一化过程仅在同一幅图像的区域样本内进行；
5）将步骤4）所形成的对比特征向量组成对比特征矩阵，使用K-means聚类算法按照公式（4）给出的条件聚类为K个中心；
Figure 100002_DEST_PATH_IMAGE020
（4）
6）使用步骤5）生成的K个聚类中心构成码本，其对应的标定结果依序组成长度为K的标定向量。
所述步骤二中待测图像区域划分及特征提取的方法为：
1）将待测图像用SLIC算法分割成n个超像素；
2）提取待测图像各超像素的质心，用横纵坐标表示；
3）提取待测图像各超像素在Lab空间下的三个颜色均值；
4）分别计算待测图像各超像素距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值，按照公式（2）的特征构成形式形成对比特征向量表示单个图像超像素区域。
所述步骤三中使用LLC准则对每个过分割图像区域进行稀疏编码的方法为：对于每一个图像超像素，按照公式（5）和（6）所示LLC编码规则，使用在步骤一中已生成的码本，得到每个超像素对应的编码向量;
Figure 100002_DEST_PATH_IMAGE022
（5）
其中，
Figure 100002_DEST_PATH_IMAGE024
是待测超像素区域的对比特征向量；
Figure 100002_DEST_PATH_IMAGE026
表示待测超像素区域与码本Brc各元素的距离；K为经K-means聚类后的质心个数，此外,
Figure 100002_DEST_PATH_IMAGE028
（6）。
所述步骤四中图像区域粗分类的方法为：按照编码向量和标定向量依据公式（7）计算每个图像超像素区域的显著性概率值，得到知识先验图;
Figure 100002_DEST_PATH_IMAGE030
（7）
其中
Figure 100002_DEST_PATH_IMAGE032
和
Figure 100002_DEST_PATH_IMAGE034
是分别对应于编码正例和反例的非负系数集，pn和nn分别为这两个非负系数集中的元素个数。
所述步骤五中图像前景定位，通过下述步骤实现：
1）按照背景优先的图流形排序法依据公式（8）和（9）获得背景先验图；
Figure 100002_DEST_PATH_IMAGE036
（8）
其中μ值为0.99，W为图结构的仿射矩阵，由n×n个元素
Figure 100002_DEST_PATH_IMAGE038
构成，n为图像中的超像素个数，W ij 表示i、j两个对应邻接超像素间的特征距离，
Figure 100002_DEST_PATH_IMAGE040
标记了度矩阵
Figure 100002_DEST_PATH_IMAGE042
，
Figure 100002_DEST_PATH_IMAGE044
是一个二值指示向量，为流形排序的查询输入，用来标记查询种子，*依次表示l、r、u、d，即图像四个边界;
Figure 100002_DEST_PATH_IMAGE046
（9）
其中，
Figure 100002_DEST_PATH_IMAGE048
表示按位乘法，
Figure 100002_DEST_PATH_IMAGE050
表示依次按照图像的左、右、上、下四个边界标记查询种子后，依据公式（8）获得的边界先验显著图;
2）将背景先验图和知识先验图按照公式（10）融合，获得较为精准的图像前景定位图;
Figure DEST_PATH_IMAGE052
（10）
其中，
Figure DEST_PATH_IMAGE048A
表示矩阵或向量间的对应元素按位乘法。
本发明的有益效果：
（1）使用距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等基于对比的特征描述图像超像素区域，并用来学习前景\背景的典型特征作为指导图像超像素区域分类的先验知识，从经验角度获取高层知识只需学习一次即可多次指导区域分类，与仅从当前图像提取高层知识的方法相比大大加快了前景定位的速度；
（2）图像前景定位以超像素区域分类为根本，定位出的前景边界清晰、易于提取做进一步细化处理；
（3）采用LLC编码方案简化了区域分类过程，并且由于LLC强调特征局部性，分类结果更倾向于先验知识的经验表达，不易被复杂场景中的杂乱信息干扰；
（4）从整体上来看，本发明生成的知识先验图的噪声比仅从当前图像提取高层知识所生成的知识先验图要多，但是噪声很容易被背景先验图消除，而边界清晰的优势是其他知识先验图很难达到的；
（5）图像前景定位的结果可直接用于改进基于图的流形排序（Graph basedManifold Ranking，简称GMR）的查询，可获得较为明显的性能改进效果，生成的显著图中前景边界更加清晰，噪声更少；在SED2、ECSSD和DUT_OMRON三个具有复杂场景图像特征的标准测试库中，使用提供的GroundTruth依次对比计算出的显著图，图3显示了采用基于本发明获得的前景定位图改进图流形排序得到的显著图结果，以及过程中生成的各个步骤图，图4展示了基于本发明获得的知识先验图与仅从当前图像提取高层知识所生成的知识先验图的比较、基于本发明改进的图流形排序得到的显著图与采用文献[C. Yang, L. Zhang, H.Lu, et al., Saliency detection via graph-based manifold ranking,” in: IEEEConf. on Computer Vision and Pattern Recognition (CVPR), 2013, pp. 3166-3173]得到的图流形排序显著图的比较：步骤图与比较图均显示了基于本发明获得的知识先验图在前景定位精准度与前景边界清晰这两方面的明显优势。表1记载了使用基于本发明提取优势查询并输入图流形排序得到的显著图在平均Fmeasure值（越高越好）及MAE值（越低越好）等评价标准与其他经典算法的比较结果，最好的两个结果用加粗字体标出；表中数据表明：使用本发明定位图像前景改进显著性检测方法使得检测效果得到了明显提高。
表1 多算法性能比较（DL算法使用了本发明结果改进图流形排序的查询输入）
Figure DEST_PATH_IMAGE054
附图说明
图1是本发明涉及的使用LLC准则定位图像前景的方法的总流程图；
图2是本发明涉及的码本生成的流程图；
图3是基于本发明前景定位的显著性检测步骤图（从左至右：原图、知识先验图、背景先验图、前景定位图、用前景定位图改进查询所得的流形排序显著图、真值图）；
图4是基于本发明获得的知识先验图与改进图流形排序的效果展示（从左至右：原图、基于本发明获得的知识先验图、从当前图像直接提取高层知识所生成的知识先验图、GBR图流形排序生成的显著图、用本发明获得的前景定位图改进图流形排序查询获得的显著图、真值标注图）。
具体实施方式
下面结合具体实施方式对本发明做进一步的阐述。
本发明所涉及的通过使用LLC准则定位图像前景的方法，包括：码本生成、待测图像区域划分及特征提取、使用LLC准则对每个过分割图像区域进行稀疏编码、图像区域粗分类和图像前景定位等步骤。
本发明所涉及的码本生成方案依据标准测试集中的真值标注图筛选前/背景信息确定的区域作为生成码本的样本，大规模样本再通过K-means聚类使得码本元素中的样本特征更具代表性。
本发明所涉及的图像区域划分采用目前性能较好的像素聚类技术——SLIC法，聚类后的超像素不仅内部紧致，而且能够有效保存显著目标边缘，保证了最后生成的显著图平滑和较清晰地显示目标轮廓。
本发明所涉及的超像素区域特征提取选用了图像超像素区域距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等对比特征，自然特征不再作为判断区域是否属于前/背景的依据。
本发明所涉及的LLC准则是鲁棒的，常用于图像分类。强调局部性原理的线性编码不仅实现起来简单易行，而且分类的准确度高。
本发明所涉及的图像区域粗分类根据LLC编码结果测定区域的显著性概率，由此生成的知识先验图具有目标突出、边界清晰的优势。
本发明所涉及的图像前景定位通过背景先验图消除知识先验图中存在的背景噪声，但仍可以保证知识先验图目标突出、边界清晰的优势不被破坏，可为高效的显著性检测方法——图流形排序提供优势前景查询，促使生成的显著图在邻域显著性光滑的基础上能保证更为清晰的前景边界并减少噪声影响。
为说明本发明涉及的使用LLC准则定位图像前景的方法，结合实施例及附图阐述如下：
图1为本发明通过使用LLC准则定位图像前景的方法的总流程图。本方法通过8个基本步骤实现码本生成、待测图像区域划分及特征提取、使用LLC准则对每个过分割图像区域进行稀疏编码、图像区域粗分类和图像前景定位等，包括：
（一）从标准测试集中抽样N幅图像，对每一幅图像使用SLIC算法将原图像分割成n个（n的值为200个左右）超像素，同时从标准测试集中提取当前图像对应的真值标注图，按照SLIC分割结果映射并分割真值标注图。依据公式（1）将仅包含前景像素或仅包含背景像素的超像素区域纳入备选图像区域样本，并标定该图像区域样本属于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素区域；
（二）提取各个超像素区域的距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等对比特征，组成表示区域样本集的特征矩阵，用公式（2）和（3）表示并存放；
（三）使用K-means聚类算法将对比特征矩阵中的
Figure DEST_PATH_IMAGE056
个区域样本聚类为K个中心，其中K的选取需满足公式（4），且可达到
Figure DEST_PATH_IMAGE058
；
（四）使用聚类后的K个中心及其标签构成LLC码本；
（五）输入一幅待测图像，使用SLIC算法将该图像分割成n个（n的值为200个左右）超像素，对每一个超像素区域提取其距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等对比特征，组成表示该超像素区域的特征向量，使用公式（5）和（6）表示的改进的LLC准则对该超像素区域进行编码，设定非零编码系数个数kn1满足
Figure DEST_PATH_IMAGE060
，获得一个K维的编码向量；
（六）按照编码向量和标定向量依据公式（7）计算每个图像超像素区域的粗显著性概率值，归一化待测图像中所有超像素区域的粗显著性概率值得到知识先验图；
（七）按照背景优先的图流形排序法[C. Yang, L. Zhang, H. Lu, et al.,Saliency detection via graph-based manifold ranking,” in: IEEE Conf. onComputer Vision and Pattern Recognition (CVPR), 2013, pp. 3166-3173]依据公式（8）和（9）获得背景先验图；
（八）将背景先验图和知识先验图按照公式（10）融合，获得较为精准的图像前景定位图。
注：归一化过程按照公式（11）计算；
超像素区域样本筛选：
Figure DEST_PATH_IMAGE061
（1）
其中
Figure 986564DEST_PATH_IMAGE004
为第i幅抽样图像被纳入的第t个区域样本，该样本来源于第i幅抽样图像的第j个超像素区域
Figure 235143DEST_PATH_IMAGE006
；
Figure 223828DEST_PATH_IMAGE008
表示真值标注图中对应该区域的平均值，其值为1时说明属于前景，用
Figure 507041DEST_PATH_IMAGE010
指示，
Figure 195684DEST_PATH_IMAGE008
值为0时说明该区域属于背景，由
Figure 931559DEST_PATH_IMAGE012
指示；
表示区域样本集的特征矩阵：
Figure DEST_PATH_IMAGE062
（2）
其中，mi为第i幅抽样图像被选入的区域样本个数。
超像素区域特征向量：
Figure DEST_PATH_IMAGE063
（3）
其中，
Figure 536984DEST_PATH_IMAGE018
表示来源于归一化后的同一幅图像的区域样本的特征，归一化过程仅在同一幅图像的区域样本内进行。
聚类中心K的选择：
Figure DEST_PATH_IMAGE020A
（4）
本发明改进的LLC准则：
Figure DEST_PATH_IMAGE064
（5）
其中，
Figure DEST_PATH_IMAGE024A
是待测超像素区域的对比特征向量；
Figure DEST_PATH_IMAGE026A
表示待测超像素区域与码本Brc各元素的距离； K为经K-means聚类后的质心个数，此外，
Figure 658393DEST_PATH_IMAGE028
（6）
其中，τ被用来调节局部LLC进行类别局部适配时的权重衰减速度。
超像素区域粗显著性概率值：
Figure DEST_PATH_IMAGE065
（7）
其中
Figure DEST_PATH_IMAGE032A
和
Figure DEST_PATH_IMAGE034A
是分别对应于编码正例和反例的非负系数集，pn和nn分别为这两个非负系数集中的元素个数。
图流形排序计算显著性：
Figure 540505DEST_PATH_IMAGE036
（8）
其中μ值为0.99，W为图结构的仿射矩阵，由n×n个元素
Figure 357151DEST_PATH_IMAGE038
构成，n为图像中的超像素个数，W ij 表示i、j两个对应邻接超像素间的特征距离，
Figure 438370DEST_PATH_IMAGE040
标记了度矩阵
Figure 430597DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE066
是一个二值指示向量，为流形排序的查询输入，用来标记查询种子，*依次表示l、r、u、d，即图像四个边界。
背景先验图生成：
Figure DEST_PATH_IMAGE067
（9）
其中，
Figure DEST_PATH_IMAGE048AA
表示Hadamard multiplication（按位乘法），
Figure 31081DEST_PATH_IMAGE050
表示依次按照图像的左、右、上、下四个边界标记查询种子后，依据公式（8）获得的边界先验显著图;
Figure DEST_PATH_IMAGE069
（10）
其中，
Figure DEST_PATH_IMAGE070
表示矩阵（或向量）间的对应元素按位乘法。
归一化公式：
Figure DEST_PATH_IMAGE072
（11）。

Claims (6)

1.一种使用LLC准则定位图像前景的方法，其特征在于，包括以下步骤：
步骤一：码本生成：实现为生成LLC所使用的码本进行的大规模图像样本抽取、图像过分割、图像区域样本筛选及标定、图像区域样本特征提取、区域样本聚类生成码本；
步骤二：待测图像区域划分及特征提取：实现待测图像过分割，提取待测图过分割后的各图像区域特征；
步骤三：使用LLC准则对每个过分割图像区域进行稀疏编码：根据过分割图像区域特征提取结果，按照局部性原理和LLC准则进行线性编码，获得所有过分割图像区域的稀疏编码码字；
步骤四：图像区域粗分类：实现LLC编码码字转换为显著性概率值的结果，得到知识先验图；
步骤五：图像前景定位：按照背景优先的图流形排序法获得背景先验图，通过融合知识先验图用以消除图像区域粗分类造成的大部分噪声，精准地定位图像前景。
2.如权利要求1所述的使用LLC准则定位图像前景的方法，其特征在于：所述步骤一中码本生成的方法为：
1）从标准测试集中抽样N幅图像；
2）将原图像用SLIC算法分割成n个超像素；
3）提取每幅被抽样图像的显著性真值标注图，按照步骤2）中的分割结果映射到真值标注图，依据公式（1）将仅包含前景像素或仅包含背景像素的超像素区域纳入备选图像区域样本，并标定该图像区域样本属于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素区域；
Figure DEST_PATH_IMAGE002
（1）
其中
Figure DEST_PATH_IMAGE004
为第i幅抽样图像被纳入的第t个区域样本，该样本来源于第i幅抽样图像的第j个超像素区域
Figure DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE008
表示真值标注图中对应该区域的平均值，其值为1时说明属于前景，用
Figure DEST_PATH_IMAGE010
指示，
Figure 798245DEST_PATH_IMAGE008
值为0时说明该区域属于背景，由
Figure DEST_PATH_IMAGE012
指示；
4）提取各备选图像区域样本的质心、Lab颜色自然特征，计算其距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值，按照公式（2）和公式（3）形成对比特征向量表示单个图像区域样本；
Figure DEST_PATH_IMAGE014
（2）
其中，mi为第i幅抽样图像被选入的区域样本个数；
Figure DEST_PATH_IMAGE016
（3）
其中，
Figure DEST_PATH_IMAGE018
表示来源于归一化后的同一幅图像的区域样本的特征，归一化过程仅在同一幅图像的区域样本内进行；
5）将步骤4）所形成的对比特征向量组成对比特征矩阵，使用K-means聚类算法按照公式（4）给出的条件聚类为K个中心；
Figure DEST_PATH_IMAGE020
（4）
6）使用步骤5）生成的K个聚类中心构成码本，其对应的标定结果依序组成长度为K的标定向量。
3.如权利要求2所述的使用LLC准则定位图像前景的方法，其特征在于：所述步骤二中待测图像区域划分及特征提取的方法为：
1）将待测图像用SLIC算法分割成n个超像素；
2）提取待测图像各超像素的质心，用横纵坐标表示；
3）提取待测图像各超像素在Lab空间下的三个颜色均值；
4）分别计算待测图像各超像素距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值，按照公式（2）的特征构成形式形成对比特征向量表示单个图像超像素区域。
4. 如权利要求1所述的使用LLC准则定位图像前景的方法，其特征在于：所述步骤三中使用LLC准则对每个过分割图像区域进行稀疏编码的方法为：对于每一个图像超像素，按照公式（5）和（6）所示LLC编码规则，使用在步骤一中已生成的码本，得到每个超像素对应的编码向量;
Figure DEST_PATH_IMAGE022
（5）
其中，
Figure DEST_PATH_IMAGE024
是待测超像素区域的对比特征向量；
Figure DEST_PATH_IMAGE026
表示待测超像素区域与码本Brc各元素的距离； K为经K-means聚类后的质心个数，此外，
Figure DEST_PATH_IMAGE028
（6）。
5. 如权利要求1所述的使用LLC准则定位图像前景的方法，其特征在于：所述步骤四中图像区域粗分类的方法为：按照编码向量和标定向量依据公式（7）计算每个图像超像素区域的显著性概率值，得到知识先验图;
Figure DEST_PATH_IMAGE030
（7）
其中
Figure DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE034
是分别对应于编码正例和反例的非负系数集，pn和nn分别为这两个非负系数集中的元素个数。
6.如权利要求1所述的使用LLC准则定位图像前景的方法，其特征在于：所述步骤五中图像前景定位，通过下述步骤实现：
1）按照背景优先的图流形排序法依据公式（8）和（9）获得背景先验图；
Figure DEST_PATH_IMAGE036
（8）
其中μ值为0.99，W为图结构的仿射矩阵，由n×n个元素W ij 构成，1≤i≤n，1≤j≤n，n为图像中的超像素个数， W ij 表示i、j两个对应邻接结点间的特征距离，
Figure DEST_PATH_IMAGE038
标记了度矩阵
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE042
是一个二值指示向量，为流形排序的查询输入，用来标记查询种子，*依次表示l、r、u、d，即图像四个边界;
Figure DEST_PATH_IMAGE044
（9）
其中，
Figure DEST_PATH_IMAGE046
表示按位乘法，
Figure DEST_PATH_IMAGE048
表示依次按照图像的左、右、上、下四个边界标记查询种子后，依据公式（8）获得的边界先验显著图;
2）将背景先验图和知识先验图按照公式（10）融合，获得较为精准的图像前景定位图;
Figure DEST_PATH_IMAGE050
（10）
其中，
Figure DEST_PATH_IMAGE046A
表示矩阵或向量间的对应元素按位乘法。
CN201710263340.7A 2017-04-21 2017-04-21 一种使用llc准则定位图像前景的方法 Active CN107067037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710263340.7A CN107067037B (zh) 2017-04-21 2017-04-21 一种使用llc准则定位图像前景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710263340.7A CN107067037B (zh) 2017-04-21 2017-04-21 一种使用llc准则定位图像前景的方法

Publications (2)

Publication Number Publication Date
CN107067037A CN107067037A (zh) 2017-08-18
CN107067037B true CN107067037B (zh) 2020-08-04

Family

ID=59600631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710263340.7A Active CN107067037B (zh) 2017-04-21 2017-04-21 一种使用llc准则定位图像前景的方法

Country Status (1)

Country Link
CN (1) CN107067037B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992874B (zh) * 2017-12-20 2020-01-07 武汉大学 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN110570352B (zh) * 2019-08-26 2021-11-05 腾讯科技（深圳）有限公司 图像标注方法、装置、系统及细胞标注方法
CN110826608A (zh) * 2019-10-25 2020-02-21 广州思德医疗科技有限公司 一种图像分类方法及装置
CN111507892B (zh) * 2020-04-15 2022-03-15 广西科技大学 一种图像细化方法及系统
CN113469976A (zh) * 2021-07-06 2021-10-01 浙江大华技术股份有限公司 一种对象检测的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310195A (zh) * 2013-06-09 2013-09-18 西北工业大学 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN104463882A (zh) * 2014-12-15 2015-03-25 西安电子科技大学 基于形状补全区域图和特征编码的sar图像分割方法
CN104462199A (zh) * 2014-10-31 2015-03-25 中国科学院自动化研究所 一种网络环境下的近似重复图像搜索方法
CN104778476A (zh) * 2015-04-10 2015-07-15 电子科技大学 一种图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774499B2 (en) * 2011-02-28 2014-07-08 Seiko Epson Corporation Embedded optical flow features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310195A (zh) * 2013-06-09 2013-09-18 西北工业大学 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN104462199A (zh) * 2014-10-31 2015-03-25 中国科学院自动化研究所 一种网络环境下的近似重复图像搜索方法
CN104463882A (zh) * 2014-12-15 2015-03-25 西安电子科技大学 基于形状补全区域图和特征编码的sar图像分割方法
CN104778476A (zh) * 2015-04-10 2015-07-15 电子科技大学 一种图像分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Locality-constrained Linear Coding for image classification;Wang J 等;《The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2010》;20100618;第3360-3367页 *
Patch-based object tracking via Locality-constrained Linear Coding;Gu K 等;《2016 35th Chinese Control Conference》;20161231;第7015-7020页 *
Saliency Detection via Graph-Based Manifold Ranking;Yang C 等;《CVPR2013》;20131231;第3166-3173页 *
利用稀疏协同模型的目标跟踪算法;李飞彬 等;《计算机辅助设计与图形学学报》;20161231;第2175-2185页 *
基于多层次的目标检测方法研究;黄焱;《中国优秀硕士学位论文全文数据库信息科技辑》;20160229;I138-1831 *

Also Published As

Publication number Publication date
CN107067037A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107067037B (zh) 一种使用llc准则定位图像前景的方法
Lee et al. Deep saliency with encoded low level distance map and high level features
CN112101150B (zh) 一种基于朝向约束的多特征融合行人重识别方法
CN105022982B (zh) 手部运动识别方法和装置
Scharfenberger et al. Statistical textural distinctiveness for salient region detection in natural images
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
Cheng et al. Outdoor scene image segmentation based on background recognition and perceptual organization
CN105761238B (zh) 一种通过灰度统计数据深度信息提取显著目标的方法
CN105740915B (zh) 一种融合感知信息的协同分割方法
CN111125416A (zh) 一种基于多特征融合的图像检索方法
Shahab et al. How salient is scene text?
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN108846416A (zh) 显著图像的提取处理方法及系统
CN104732534B (zh) 一种图像中显著目标的抠取方法及系统
Laradji et al. Instance segmentation with point supervision
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN107622280A (zh) 基于场景分类的模块化处方式图像显著性检测方法
Sima et al. Bottom-up merging segmentation for color images with complex areas
CN109815973A (zh) 一种适用于鱼类细粒度识别的深度学习方法
CN111815582A (zh) 改进背景先验和前景先验的二维码区域检测方法
CN106846377A (zh) 一种基于颜色属性和主动特征提取的目标跟踪算法
CN110136143A (zh) 基于admm算法的马氏场下多分辨率遥感图像分割方法
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant