CN107622280A - 基于场景分类的模块化处方式图像显著性检测方法 - Google Patents
基于场景分类的模块化处方式图像显著性检测方法 Download PDFInfo
- Publication number
- CN107622280A CN107622280A CN201710827725.1A CN201710827725A CN107622280A CN 107622280 A CN107622280 A CN 107622280A CN 201710827725 A CN201710827725 A CN 201710827725A CN 107622280 A CN107622280 A CN 107622280A
- Authority
- CN
- China
- Prior art keywords
- image
- map
- scene
- detection
- saliency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
基于场景分类的模块化处方式图像显著性检测方法，根据图像的FP显著图和bpGMR显著图构成图像场景色调复杂度表示模型；罗列在显著性检测过程中可能会使用到的所有检测模块，按照不同的简单色调场景结构类别和复杂色调场景结构类别选取适用的检测模块构成整体的检测流程对待测图像检测,得到最终的显著图。解决图像场景的“简单色调复杂结构”造成的前景目标误检问题与“复杂色调”场景中的天空区域引起的前景目标误检问题，借鉴医生给病人根据不同病情、按照不同药品或检查手段的治疗目标而开具不同处方的方式，提出不同的场景特征应使用不同的显著性检测方案，使得检测更具针对性，从而提高图像显著性检测的效果和效率。
Description
技术领域
本发明涉及模式识别技术、数据分析建模技术、信息编码技术和数字图像处理技术。具体涉及模式分类技术、自然图像显著目标检测技术、图像特征提取及融合技术、数据分析及建立分类模型技术、图像超像素分割技术的基于场景分类的模块化处方式图像显著性检测方法。
背景技术
模式识别技术是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。显著性检测中的模式识别指的是对图像中背景和目标的识别与分类。显著目标是图像中从背景中突出的人或事物，一般包含更多人们感兴趣的、更有用的信息。显著目标检测的主要任务即检测并标定出显著目标所在的区域。由于检测结果可以被直接使用，因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。
常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术。显著目标检测技术中的关键是通过像素、超像素、区域块等检测单位间的局部或全局特征差来确定各个检测单位的显著值，因此，特征提取是计算特征差的基本步骤。由于显著颜色是引起人类视觉注意的最根本特征，人们通常选取颜色计算特征差。目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已能够接近测试集的标准，但在存在多目标、大目标或极小尺寸目标的场景中，以及色调复杂场景下仍不能取得较好的表现。当图像场景复杂时，颜色特征可能不足以作为目标与背景的分类依据。这是因为场景的复杂性通常表现为以下特性：1、场景中含有多个结构复杂的目标[1]，并可能部分相互重叠[2]；2、目标区域呈不规则形状[3]；3、目标分布于图像四周；4、目标与背景具有相似的色调，或者二者均具有杂乱的色调。我们认为“色调简单且结构简单”的场景和“色调复杂且结构复杂”的场景在需要进行显著性检测和目标识别的日常场景中并不多见，人们往往需要识别那些色调相对简单但结构较为复杂的场景中的目标。然而，据已掌握资料，目前还没有学者对图像的场景结构进行针对性分类，现有的显著性检测算法也基本上是通用型的，算法不会根据场景的类别及特点调整检测方法和流程，这是检测算法在复杂场景中效果不佳的原因之一。另一方面，由于图像场景复杂时机器视觉难以将前景从杂乱的背景中检测出来，造成多种先进算法生成的显著图中存在前景区域附近噪声较多、甚至前景边界模糊的现象，造成进一步识别前景或目标难度的增大。
数据分析及建立分类模型技术应用在图像显著性检测领域是一种通过分析特征提取后的数据，根据一定的分类目标训练出分类模型的技术。分类模型常基于高效的支持向量机[4]模型(Support Vector Machine，简称SVM)，该模型是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。给定一组训练样本，每个标记为属于两类，一个SVM训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。
简单线性迭代聚类(Simple Linear Iterative Clustering，简称SLIC[5])是一种高效的图像分割法，该方法将图像分割为n个超像素(n的取值一般在200左右具有最佳效果)，划分为同一个超像素的像素或图像块具有颜色相似性和内部紧致性。目前，性能较好的图像显著性检测方法大多基于SLIC超像素分割，不仅可以达到快速检测的目标而且获得的显著图也更加平滑。目前，很多高效的显著目标检测算法以SLIC超像素作为特征提取和显著值计算的基本检测单位。
[1]Shi,J.,Yan,Q.,Xu,L.,et al.,“Hierarchical saliency detection onextended cssd,”IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.9,no.4,pp.1-14,2014.
[2]Zhu,W.,Liang,S.,Wei,Y.,et al.,“Saliency optimization from robustbackground detection,”IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2014,pp.2814–2821.
[3]Qiu,Y.,Sun,X.,She,M.F.,“Saliency detection using hierarchical manifoldlearning,”Neurocomputing.Vol.168,no.C,pp.538-549,2015.
[4]Cortes,Corinna；and Vapnik,Vladimir N.；"Support-Vector Networks",Machine Learning,20,1995.
[5]Achanta,R.,Shaji,A.,Smith,K.,et al.,“Slic superpixels,”Tech.rep,2010.
[6]C.Yang,L.Zhang,H.Lu,et al.,Saliency detection via graph-based manifoldranking,”in:IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2013,pp.3166-3173.
[7]Y.Wei,F.Wen,W.Zhu,and et al.,“Geodesic saliency using backgroundpriors,”in European Conference on Computer Vision,2012,pp.29–42.
[8]N.Tong,H.Lu,L.Zhang,and et al.,“Saliency detection with multiscalesuperpixels,”IEEE Signal Processing Letters.,vol.21,no.9,pp.1035–1039,2014.
[9]C.Yang,L.Zhang,H.Lu,“Graph-regularized saliency detection with convex-hull-based center prior”,IEEE Signal Processing Letters.vol.20,no.7,pp.637-640,2013.
[10]R.Margolin,L.Zelnik-Manor,and A.Tal,“Saliency for imagemanipulation,”Visual Computer.,vol.29,no.5,pp.381–392,2013.
[11]F.Perazzi,P.Krahenbuhl,Y.Pritch,and et al.,“Saliency filters:Contrastbased filtering for salient region detection,”in IEEE Conf.on Computer Visionand Pattern Recognition(CVPR).IEEE,2012,pp.733–740.
[12]J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”Advances inNeural Information Processing Systems.,vol.19,pp.545–552,2006.
[13]R.Achanta and S.Susstrunk,“Saliency detection using maximum symmetricsurround,”in 17th IEEE Int.Conf.on Image Processing(ICIP),2010,pp.2653–2656.
[14]Achanta,R.,Hemamiz,S.,Estraday,F.,et al.,“Frequency-tuned salientregion detection,”IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2009,pp.1597-1604.
[15]X.Hou and L.Zhang,“Saliency detection:A spectral residual approach,”in IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2007,pp.1–8.
[16]S.Goferman,L.Zelnik-Manor,and A.Tal,“Context-aware saliencydetection,”IEEE Trans.on Pattern Analysis and Machine Intelligence.,vol.34,no.10,pp.1915–1926,2012。
发明内容
为解决上述技术问题，本发明通过解决图像场景的“简单色调复杂结构”造成的前景目标误检问题与“复杂色调”场景中的天空区域引起的前景目标误检问题，借鉴医生给病人根据不同病情、按照不同药品或检查手段的治疗目标而开具不同处方的方式，提出不同的场景特征应使用不同的显著性检测方案，使得检测更具针对性，从而提高图像显著性检测的效果和效率。
为实现上述技术目的，所采用的技术方案是：基于场景分类的模块化处方式图像显著性检测方法，包括以下步骤：
步骤一、对待测图像用SLIC算法进行超像素分割，提取各待测图过分割后的各图像区域特征；
步骤二、依据提取的各图像区域特征，以图像区域为计算单元改进经典FT模型生成基于超像素计算的spFT显著图，通过spFT显著图获取大致的前景区域生成基于前景先验的FP显著图(简称FP先验图)；以经典GMR模型为基础，采用图像边角为查询生成背景先验的bpGMR显著图(简称bpGMR先验图)，并通过FP显著图和bpGMR显著图的信息融合生成基本的图像前景定位图；
步骤三、根据图像的FP显著图和bpGMR显著图构成图像场景色调复杂度表示模型；
步骤四、将2P张待测图像分别挑选为简单色调场景和复杂色调场景，分别标定后构成训练样本集，按照图像场景色调复杂度表示模型将训练样本集进行色调复杂度表示，根据不同的判定标准，将简单色调场景进行简单色调场景结构类别分类；
步骤五、罗列在显著性检测过程中可能会使用到的所有检测模块，按照不同的简单色调场景结构类别和复杂色调场景结构类别选取适用的检测模块构成整体的检测流程对待测图像检测,得到最终的显著图Sal。
本发明所述的改进的FT模型为其中，spFTi表示第i个超像素的spFT显著值，为待测图像所有超像素的Lab颜色特征的均值向量，||*||表示欧氏距离，为待测图像每个超像素在Lab颜色空间的三个颜色均值构成的特征向量。
本发明所述的图像场景色调复杂度表示模型构成方法是，分别计算改进的FT模型的FP先验图和bpGMR模型的bpGMR先验图的信息熵；分别以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以 和表示；计算和的差图系数以及和的差图系数以1倍平均灰度作为阈值计算FP先验图的二值图计算二值图和的两个相交系数和利用FP先验图信息熵、bpGMR先验图的信息熵、和的差图系数、和的差图系数、二值图和的两个相交系数和构成图像场景色调复杂度表示模型。
本发明所述的差图系数的计算公式是
ρ(bMap1,bMap2)＝len(Db(bMap1,bMap2))/(w*h)
其中，w和h表示图像的宽和高，两个二值图bMap1和bMap2的差图系数为二者的差图Db(bMap1,bMap2)中显著像素的个数除以图像面积。
本发明所述的两个相交系数和的计算公式是
其中，∪表示求两个二值图显著部分的相交区域，相交系数为该相交区域面积除以分母二值图显著部分的面积。
本发明所述的所有的检测模块为
DM1
DM2
DM3 Salst1＝FP
DM4 Salst1＝bpGMR
DM5 Salst2＝spFT
DM6 3&7or 4&7or 5根据min(en(FP),en(bpGMR),en(spFT))
DM7 Salst2＝(D-αW)-1qst1
DM8 Sal＝era(Salst2)
DM9 Sal＝Salst2
DM10
其中，Salst1表示第一阶段显著图，Salst2表示第二阶段显著图，FP为FP先验图，bpGMR为bpGMR先验图，以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以和表示，Db(*)为两个二值图的差图,en(*)函数用来计算灰度图的信息熵,W为图结点间的仿射矩阵，D为W对应的度矩阵,qst1表示以一倍平均灰度为阈值提取显著图Salst1中的最显著超像素生成的查询向量，era(*)函数表示对显著图Salst2进行天空区域干扰性的擦除,为以2倍平均灰度为阈值计算基于spFT显著图的二值图，为以2倍平均灰度为阈值计算DM8和DM9获得的显著图Sal的二值图。
本发明所述的检测流程包括
本发明所述的简单色调场景分类为简单结构、多目标结构、靠近边界目标结构、大目标结构；简单结构、多目标结构、靠近边界目标结构、大目标结构分别对应简单结构检测流程、多目标结构检测流程、靠近边界目标结构检测流程、大目标结构检测流程；
简单色调场景不同结构类别的判定标准为：
多目标结构判断条件：
其中Intb(*)表示两个二值图的相交图，符号用来表示两个图像区域之间没有连接；
边界目标结构判断条件：
其中是一个表明二值图占据图像A15c部分的比例，A15c表示四个图像边角，每个边角的长度仅有对应图像边界的五分之一；
大尺寸前景结构判断条件：
上述提出的表示为以1倍平均灰度作为阈值计算FP先验图的二值图，表示1倍平均灰度作为阈值计算bpGMR先验图的二值图。
本发明所述的复杂色调场景被划分为不确定结构和图像顶部天空区域结构，当时，复杂色调场景为图像顶部天空区域结构，其中，Ssky为(D-αW)-1q，W为图结点间的仿射矩阵，D为W对应的度矩阵，q为查询输入，α＝0.99，S为根据输入q而输出的排序向量，t为最显著的图像顶部天空区域超像素的个数，通常t<n/3，n为图像超像素总个数；
图像顶部天空区域结构对应图像顶部天空区域结构检测流程，其余复杂色调场景对应不确定结构检测流程。
本发明当简单色调场景和复杂色调场景时，在各检测流程之后加入极小尺寸目标检测流程，其中，为以2倍平均灰度为阈值计算基于超像素改进的spFT显著图的二值图，为以2倍平均灰度为阈值计算基于简单色调场景结构类别和复杂色调场景结构类别的检测流程显著图的二值图，极小尺寸目标检测流程计算，生成最终的显著图Sal。
本发明有益效果是：(1)图像的显著性检测方案依据场景的色调和结构复杂度不同而不同，可减少因不同的场景结构复杂性造成的前景区域的误检和漏检；另一方面，避免了在色调复杂的场景，人们使用例如增加用来辨识的特征、多尺度和引入复杂数学模型等方法来提升检测效果所造成的算法时间花费高而性能提升少的情况；(2)仅使用Lab颜色特征，大大加快了算法运行速度；(3)色调复杂性分类模型和天空区域辨识模型的建立基于从经验角度获取高层知识，只需学习一次即可多次指导区域分类，与仅从当前图像提取高层知识的方法相比大大加快了分类的速度；(4)通过天空区域辨识模型的作用，可消除图像顶部的高亮度天空区域对图像前景显著值计算的干扰，这是现有的含有中心优先的算法所无法达到的效果；(5)对图像中存在极小尺寸目标的辨识，填补了基于图流行排序类算法无法检测极小尺寸目标的空白，对整体的检测框架进行了多策略优势互补。
附图说明
图1为本发明的原理流程图；
图2为本发明的各检测模块表图；
图3为本发明的检测处方表图；
图4为采用基于本发明获得的显著图结果图；
图5为图4处理过程中生成的各个步骤图及在SED2数据库上的性能比较图；
图6为五张具有代表性的图像及其色调复杂度表示值；
图7为图3各分类的实施例过程图；
图8为对FT算法与GMR方法的改进对比效果图。
具体实施方式
如图1所示，基于场景分类的模块化处方式图像显著性检测方法，包括：
待测图像区域划分及特征提取：实现待测图像过分割，提取待测图过分割后的各图像区域特征；
图像前景定位：依据提取的各图像区域特征，以图像区域(超像素)为计算单元改进经典的FT[14]模型获取大致的前景而生成基于前景先验(Foreground Prior，简称FP)的FP显著图(简称FP先验图)；改进文献[6]的背景先验GMR模型，以图像边角为查询生成背景先验(Background Prior)的GMR显著图(简称bpGMR先验图)，通过FP先验图和bpGMR显著图的信息融合生成基本的图像前景定位图；
场景色调复杂度表示：实现为图像场景分类进行的图像场景色调复杂度表示，根据图像的FP先验图和bpGMR先验图的信息熵、二值图差值等数据建立色调复杂度表示模型；
场景分类：将2P张待测图像分别挑选为简单色调场景和复杂色调场景，分别标定后构成训练样本集，按照图像场景色调复杂度表示模型将训练样本集进行色调复杂度表示，根据不同的判定标准，将简单色调场景进行简单色调场景结构类别分类；
基于场景分类的图像显著性检测：如图2、3所示，罗列在显著性检测过程中可能会使用到的所有检测模块，按照不同的简单色调场景结构类别和复杂色调场景结构类别选取适用的检测模块构成整体的检测流程对待测图像检测，实现依据场景分类结果提供不同的显著性检测策略，达到提高检测效果和效率的目的；
图像顶部天空区域显著性干扰辨识：实现基于场景分类的图像显著性检测之后的优化处理，具体包括：图像中的天空区域分类模型的建立、对图像顶部天空区域的辨识、对图像顶部天空区域是否会干扰图像前景显著性计算的辨识，以及对干扰图像前景显著性计算的天空区域的干扰移除；
图像极小尺寸目标辨识：实现基于场景分类的图像显著性检测之后的优化处理，具体包括：通过基于场景分类的图像显著性检测之后获得的显著图Sal与基于超像素计算的spFT显著图之间的差值，辨识图像中是否存在极小尺寸的前景目标，并补充因前述步骤造成的极小尺寸的前景目标的显著性缺失问题。
本发明所述的待测图像区域划分及特征提取，通过下述步骤实现：
步骤一、将待测图像用SLIC[5]算法分割成200个左右的超像素；
步骤二、提取待测图像各超像素在Lab空间下的三个颜色均值，生成特征向量。
本发明所述的图像前景定位，通过下述步骤实现：
步骤一、改进经典的FT[14]模型，获得基于超像素计算的FT显著图(SuperPixel basedFrequency-tuned图，简称spFT显著图)，提取spFT显著图中的显著区域，作为查询按照图流形排序法[9]获得前景优先的FP先验图；
步骤二、改进经典的GMR[6]模型，以图像四个边角作为查询按照图流形排序法[9]获得背景优先的bpGMR先验图；
步骤三、将FP先验图和bpGMR先验图按照Hadamard multiplication(按位乘法)融合，获得较为精准的图像前景定位图。
本发明所述的图像场景色调复杂度表示模型的建立方法，通过下述步骤实现：
步骤一、分别计算FP先验图和bpGMR先验图的信息熵；
步骤二、分别以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以和表示；
步骤三、计算和的差图系数以及和的差图系数以表示两个二值图差别的大小，系数越小说明场景色调复杂度越小；
步骤四、以1倍平均灰度作为阈值计算FP先验图的二值图计算二值图和的两个相交系数和以表示前景先验图和背景先验图的相似程度，系数越大说明场景色调复杂度越小；
步骤五、按照前四个步骤得到的数据，构成图像场景色调复杂度表示模型。
本发明所述的场景分类，通过下述步骤实现：
步骤一、从经典的简单场景图像库和复杂场景图像库中分别挑选出典型的具有简单色调和复杂色调场景的图片各p张，分别标定后构成训练样本集；
步骤二、按照图像场景色调复杂度表示模型将训练样本集中的2p张图片进行色调复杂度表示，依据标定的标签训练一个基于SVM和色调复杂度的场景分类模型；
步骤三、使用图像场景色调复杂度表示模型表示待测图片，并将表示向量输入分类模型，获得待测图片属于色调简单或复杂场景的类别输出；
步骤四、依据不同的判定标准，将简单色调场景进一步划分为简单结构、多目标结构、靠近边界目标结构、大目标结构等子类。
本发明所述的模块化处方式图像显著性检测，通过下述步骤实现：
步骤一、给出在显著性检测过程中可能会使用到的所有的检测模块，如图2；
步骤二、按照不同的色调类别和结构类别选取适用的检测模块构成整体的检测流程，对待测图像检测，如图3。
本发明所述的所有的检测模块为
DM1
DM2
DM3 Salst1＝FP
DM4 Salst1＝bpGMR
DM5 Salst2＝spFT
DM6 3&7or 4&7or 5根据min(en(FP),en(bpGMR),en(spFT))
DM7 Salst2＝(D-αW)-1qst1
DM8 Sal＝era(Salst2)
DM9 Sal＝Salst2
DM10
其中，Salst1表示第一阶段显著图，Salst2表示第二阶段显著图，FP为FP先验图，bpGMR为bpGMR先验图，以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以和表示，Db(*)为两个二值图的差图,en(*)函数用来计算灰度图的信息熵,W为图结点间的仿射矩阵，D为W对应的度矩阵,qst1表示以一倍平均灰度为阈值提取显著图Salst1中的最显著超像素生成的查询向量，era(*)函数表示对显著图Salst2进行天空区域干扰性擦除,为以2倍平均灰度为阈值计算基于spFT显著图的二值图，为以2倍平均灰度为阈值计算DM8和DM9获得的显著图Sal的二值图。
本发明所述的检测流程包括
本发明所述的图像顶部天空区域显著性干扰辨识，通过下述步骤实现：
步骤一、从经典图像库中挑选出若干张含有天空区域的图片，按照SLIC法将图片分割为若干个超像素。将属于天空区域的超像素和属于非天空区域的超像素分离，并分别选择其中的r个超像素作为正例和反例训练一个基于SVM的天空区域辨识器；
步骤二、对于(经过色调复杂度分类后的)色调复杂的图像，选取图像上1/3部分的超像素作天空区域辨识，如果存在属于天空区域的超像素，将其作为查询输入图流行排序[6]模型获得较为完整的天空区域；
步骤三、如果检测出的图像顶部天空区域满足一定的干扰辨识条件，则将该部分天空区域的颜色重置为图像剩余部分的颜色平均值，以消除该区域可能造成的显著值干扰。
本发明所述的图像极小尺寸目标辨识，通过下述步骤实现：
步骤一、以2倍平均灰度为阈值计算基于超像素改进的spFT显著图的二值图和前述步骤获得的显著图的二值图
步骤二、计算和的差图系数当该系数满足图像极小尺寸目标检测遗漏条件时，将该极小尺寸目标填补至最终的显著图Sal中。
本发明所涉及的待测图像区域划分及特征提取采用目前性能较好的像素聚类技术——SLIC[5]法，聚类后的超像素不仅内部紧致，而且能够有效保存显著目标边缘，保证了最后生成的显著图平滑和较清晰地显示目标轮廓；提取的特征仅选用Lab颜色特征，算法仅需极少时间即可完成特征的提取和对比工作。
本发明所涉及的图像前景定位的方法，包括：改进经典的FT[14]模型和GMR[6]模型、生成前景优先和背景优先的先验图、融合先验图生成图像前景定位图等步骤。
本发明所涉及的场景色调复杂度表示，通过计算先验图的信息熵、先验图的二值图对比及数据分析实现。
本发明所涉及的场景分类需要从经典的简单场景图像库和复杂场景图像库中分别挑选出典型的具有简单色调和复杂色调场景的图片，分别标定后构成训练样本集；色调复杂度分类模型的建立是基于SVM分类的，而结构复杂度分类需要根据对先验图的分析结果，并依据不同的判定标准决定。
本发明所涉及的模块化处方式图像显著性检测方法，包括：罗列在显著性检测过程中可能会使用到的所有检测模块(步骤)，以及按照不同的色调类别和结构类别选取适用的检测模块构成整体的检测流程(处方)对待测图像检测。
本发明所涉及的图像顶部天空区域显著性干扰辨识过程主要包括了图像顶部天空区域的辨识和擦除可能会引起干扰的天空区域的显著性这两个部分。辨识的过程仅需要一次性选取训练样本并训练天空区域辨识器即可完成多次辨识。擦除工作的前提需通过天空区域是否会引起显著性干扰的判别。
本发明所涉及的超像素区域特征提取选用了图像超像素区域距图像中心的质心距离、局部Lab颜色对比值和全局Lab颜色对比值等对比特征，自然特征不再作为判断区域是否属于前/背景的依据。
本发明所涉及的图像极小尺寸目标辨识方法，弥补了基于图流形排序类的算法无法计算极小尺寸目标的缺憾。
本发明所涉及的检测模块和处方是根据场景的不同色调和结构而进行的不同检测方案处理，尤其是在结构复杂的场景中具有绝对的检测优势，从而提高检测算法的整体性能。
为说明本发明涉及的基于场景分类的模块化处方式图像显著性检测方法，结合实施例及附图阐述如下：
图1为本发明通过使用基于场景分类的模块化处方式图像显著性检测方法的总流程图。本方法通过7个基本步骤实现待测图像区域划分及特征提取、图像前景定位场景色调复杂度表示、场景分类、模块化处方式图像显著性检测、图像顶部天空区域显著性干扰辨识和图像极小尺寸目标辨识等，包括：
(一)使用SLIC[5]算法将原图像I分割成n个(n的值为200个左右)超像素(I＝{sp1,sp2,…,spn})，提取每个超像素在Lab颜色空间的三个颜色均值，构成特征向量
(二)按照公式(1)改进经典的FT[14]模型，获得基于超像素计算的FT显著图(SuperPixel based Frequency-tuned图，简称spFT显著图)，提取spFT显著图中的显著区域，作为查询按照公式(2)获得前景优先的FP先验图；改进经典的GMR[6]模型，以图像四个边角作为查询按照公式(2)获得背景优先的bpGMR先验图；将FP先验图和bpGMR先验图按照公式(3)融合，获得较为精准的图像前景定位图Salst1；
(三)分别计算FP先验图和bpGMR先验图的信息熵；分别以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以 和表示；按照公式(4)计算和的差图系数以及和的差图系数以1倍平均灰度作为阈值计算FP先验图的二值图按照公式(5)计算二值图和的两个相交系数和按照公式(6)构成图像场景色调复杂度表示模型；
(四)从经典的简单场景图像库和复杂场景图像库中分别挑选出典型的具有简单色调和复杂色调场景的图片各p张，分别标定后构成训练样本集；按照图像场景色调复杂度表示模型将训练样本集中的2p张图片按照公式(6)进行色调复杂度表示，依据标定的标签训练一个基于SVM和色调复杂度的场景分类模型；按照公式(6)表示待测图片并生成对应的表示向量，将待测图像的表示向量输入分类模型，获得待测图片属于色调简单或复杂场景的类别输出；依据公式(7)-(9)的判定标准，将简单色调场景进一步划分为简单结构(默认)、多目标结构、靠近边界目标结构、大目标结构等子类；根据公式(10)判断FP和bpGMR先验图可能失效的情况出现；
(五)给出附图2所示的在显著性检测过程中可能会使用到的所有检测模块(步骤)；按照不同的色调类别和结构类别选取适用的检测模块构成整体的检测流程，对待测图像检测获得显著图Salst2；
(六)从经典图像库中挑选出若干张含有天空区域的图片，按照SLIC法将图片分割为200个左右的超像素。将属于天空区域的超像素和属于非天空区域的超像素分离，并分别选择其中的r个超像素作为正例和反例训练一个基于SVM的天空区域辨识器；对于(经过色调复杂度分类后的)色调复杂的图像，选取图像上1/3部分的超像素作天空区域辨识，如果存在属于天空区域的超像素，将其作为查询输入公式(2)获得较为完整的天空区域Ssky，并按照公式(11)提取出其中最为显著的天空区域；如果检测出的图像顶部天空区域满足公式(12)的干扰辨识条件，则将该部分天空区域的颜色重置为图像剩余部分的颜色平均值(附图2检测模块中的Sal＝era(Salst2))，以消除该区域可能造成的显著值干扰，优化显著图Salst2；
(七)以2倍平均灰度为阈值计算基于超像素改进的spFT显著图的二值图和前述步骤获得的显著图的二值图计算和的差图系数当该系数满足公式(13)的条件时，将该极小尺寸目标填补至Salst2中生成最终的显著图Sal，否则Salst2作为最终的显著图Sal输出。
注：图流形排序后的结果向量均需要进行归一化，归一化过程按照公式(14)计算；
改进的基于超像素计算的FT显著性模型：
其中，spFTi表示第i个超像素的spFT显著值，为待测图像所有超像素的Lab颜色特征的均值向量，||*||表示欧氏距离。
图流形排序：
S＝(D-αW)-1q (2)其中，W为图结点间的仿射矩阵，D为W对应的度矩阵，q为查询输入，α＝0.99，S为根据输入q而输出的排序向量。
前景定位：
其中，表示向量(或矩阵)间的Hadamard multiplication(按位乘法)。
两个二值图的差图系数：
ρ(bMap1,bMap2)＝len(Db(bMap1,bMap2))/(w*h) (4)其中，w和h表示图像的宽和高，两个二值图bMap1和bMap2的差图系数为二者的差图Db(bMap1,bMap2)中显著像素的个数除以图像面积。
两个二值图的相交系数：
其中，∪表示求两个二值图显著部分的相交区域，相交系数为该相交区域面积除以分母二值图显著部分的面积。
场景色调复杂度表示模型(表示向量)：
其中，en(*)函数用来计算灰度图的信息熵。
多目标结构判断条件：
其中Intb(*)表示两个二值图的相交图，符号用来表示两个图像区域之间没有连接。
边界目标结构判断条件：
其中是一个表明二值图占据图像A15c部分的比例，A15c表示四个图像边角，每个边角的长度仅有对应图像边界的五分之一。
大尺寸前景结构判断条件：
判断FP和bpGMR先验图可能失效的情况出现：
en(bpGMR)+en(FP)＞10并且其中，λ，η和ζ分别被设置为0.3，0.3和2.0。
最显著的图像顶部天空区域：
其中，t为最显著的图像顶部天空区域超像素的个数，通常t<n/3(n为图像超像素总个数)。
图像顶部天空区域干扰性判别条件：
其中，Y为辨识出的天空区域超像素集合，T为处于图像顶部三分之一的所有超像素集合，δ表示图像顶部六分之一的位置，cen(K∩T)＜δ表示所有处在图像顶部三分之一的显著天空区域的平均质心需高于δ才有可能干扰前景显著值的计算。
极小尺寸目标结构判断条件：
其中，β＝0.005表示差图系数极小时有效，避免误检噪声。
归一化公式：
在SED2、ECSSD和DUT_OMRON三个具有复杂场景图像特征的标准测试库中，并使用提供的GroundTruth(真值)对比本发明计算出的显著图。图4显示了采用基于本发明获得的显著图结果，以及过程中生成的各个步骤图及在SED2数据库上的性能比较。图4为利用发明内容进行的复杂结构场景步骤图，从左到右依次为前景定位图(用DM1表示)、第一阶段显著图(复杂结构检测及前景完整性检测之后生成，用Salst1表示)、第二阶段显著图(优化处理后生成，用Salst2表示)、最终生成的显著图(去掉天空、添加极小尺寸目标之后生成，用Ours表示)；图4、5表明了本发明在色调简单但结构复杂的场景和存在图像顶部干扰前景显著性计算的天空区域的场景中具有明显的前景检出完整性优势。
图6显示了基于本发明获得的bpGMR先验图、二值图和二值差图，以及图像色调复杂度表示模型的实例展示。
图6：五张具有代表性的图像及其色调复杂度表示值。(上)从左到右：输入图像、bpGMR先验图、二值图、二值图、和的差图、二值图、二值图、和的差图，前两幅图像为简单色调场景，后三幅图像包含复杂色调场景；(下)en_bpGMR,en_FP,Db12,Db0515,mc_FP和mc_bpGMR分别表示色调复杂度表示模型中的先验图信息熵、二值图差图系数、二值图相交系数等六个元素值。说明bpGMR图几个二值图的差图及差图系数具有较强的可辩意义(分辨简单色调和复杂色调场景)。
表1为多算法性能比较图(Ours表示本发明的检测结果)
图6表明本发明提出的色调复杂度表示模型具有较好的色调复杂度辨识力。表1记载了这些显著图在平均Fmeasure值(越高越好)等评价标准与其他经典算法的比较结果，最好的两个结果分别用下划线标出；表中数据表明：使用基于场景分类的图像显著性检测方法使得检测效果得到了明显提高。
Claims (10)
1.基于场景分类的模块化处方式图像显著性检测方法，其特征在于：包括以下步骤：
步骤一、对待测图像用SLIC算法进行超像素分割，提取各待测图过分割后的各图像区域特征；
步骤二、依据提取的各图像区域特征，以图像区域为计算单元改进经典FT模型获取大致的前景区域而生成基于前景先验的FP显著图；以经典GMR模型为基础，以图像边角为查询生成背景先验的bpGMR显著图，通过FP显著图和bpGMR显著图的信息融合生成基本的图像前景定位图；
步骤三、根据图像的FP显著图和bpGMR显著图构成图像场景色调复杂度表示模型；
步骤四、将2p张待测图像分别挑选为简单色调场景和复杂色调场景，分别标定后构成训练样本集，按照图像场景色调复杂度表示模型将训练样本集进行色调复杂度表示，根据不同的判定标准，将简单色调场景进行简单色调场景结构类别分类；
步骤五、罗列在显著性检测过程中可能会使用到的所有的检测模块，按照不同的简单色调场景结构类别和复杂色调场景结构类别选取适用的检测模块构成整体的检测流程对待测图像检测,得到最终的显著图Sal。
2.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的改进经典FT模型为其中，spFTi表示第i个超像素的spFT显著值，为待测图像所有超像素的Lab颜色特征的均值向量，||*||表示欧氏距离，为待测图像每个超像素在Lab颜色空间的三个颜色均值构成的特征向量。
3.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的图像场景色调复杂度表示模型构成方法是，分别计算FP显著图和bpGMR显著图的信息熵；分别以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以和表示；计算和的差图系数以及和的差图系数以1倍平均灰度作为阈值计算FP先验图的二值图计算二值图和的两个相交系数和利用FP先验图信息熵、bpGMR先验图的信息熵、和的差图系数、和的差图系数、二值图和的两个相交系数和构成图像场景色调复杂度表示模型。
4.如权利要求3所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的差图系数的计算公式是
ρ(bMap1,bMap2)＝len(Db(bMap1,bMap2))/(w*h)
其中，w和h表示图像的宽和高，两个二值图bMap1和bMap2的差图系数为二者的差图Db(bMap1,bMap2)中显著像素的个数除以图像面积。
5.如权利要求3所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的两个相交系数和的计算公式是
<mrow>
<mi>m</mi>
<mi>c</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>FP</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>FP</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
<mo>&cap;</mo>
<msubsup>
<mi>bpGMR</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>FP</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
</mrow>
</mfrac>
<mo>,</mo>
<mi>m</mi>
<mi>c</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>bpGMR</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>FP</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
<mo>&cap;</mo>
<msubsup>
<mi>bpGMR</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>bpGMR</mi>
<mi>b</mi>
<mn>1</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
其中，∪表示求两个二值图显著部分的相交区域，相交系数为该相交区域面积除以分母二值图显著部分的面积。
6.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的所有的检测模块为
DM1
DM2
DM3 Salst1＝FP
DM4 Salst1＝bpGMR
DM5 Salst2＝spFT
DM6 3&7or4&7or 5根据min(en(FP),en(bpGMR),en(spFT))
DM7 Salst2＝(D-αW)-1qst1
DM8 Sal＝era(Salst2)
DM9 Sal＝Salst2
DM10
其中，Salst1表示第一阶段显著图，Salst2表示第二阶段显著图，FP为FP先验图，bpGMR为bpGMR先验图，以0.5倍、1倍、1.5倍和2倍平均灰度作为阈值计算bpGMR先验图的四个二值图，并分别以和表示，Db(*)为两个二值图的差图,en(*)函数用来计算灰度图的信息熵,W为图结点间的仿射矩阵，D为W对应的度矩阵,qst1表示以一倍平均灰度为阈值提取显著图Salst1中的最显著超像素生成的查询向量，era(*)函数表示对显著图Salst2进行天空区域干扰性擦除,为以2倍平均灰度为阈值计算基于spFT显著图的二值图，为以2倍平均灰度为阈值计算DM8和DM9获得的显著图Sal的二值图。
7.如权利要求6所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的检测流程包括
8.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的简单色调场景分类为简单结构、多目标结构、靠近边界目标结构、大目标结构；简单结构、多目标结构、靠近边界目标结构、大目标结构分别对应简单结构检测流程、多目标结构检测流程、靠近边界目标结构检测流程、大目标结构检测流程；
简单色调场景不同结构类别的判定标准为：
多目标结构判断条件：
其中Intb(*)表示两个二值图的相交图，符号用来表示两个图像区域之间没有连接。
边界目标结构判断条件：
其中是一个表明二值图占据图像A15c部分的比例，A15c表示四个图像边角，每个边角的长度仅有对应图像边界的五分之一；
大尺寸前景结构判断条件：
上述提出的表示为以1倍平均灰度作为阈值计算FP先验图的二值图，表示1倍平均灰度作为阈值计算bpGMR先验图的二值图。
9.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：所述的复杂色调场景划分为不确定结构和图像顶部天空区域结构，当时，复杂色调场景为图像顶部天空区域结构，其中，Ssky为(D-αW)-1q，W为图结点间的仿射矩阵，D为W对应的度矩阵，q为查询输入，α＝0.99，S为根据输入q而输出的排序向量，t为最显著的图像顶部天空区域超像素的个数，通常t<n/3，n为图像超像素总个数；
图像顶部天空区域结构对应图像顶部天空区域结构检测流程，其余复杂色调场景对应不确定结构检测流程。
10.如权利要求1所述的基于场景分类的模块化处方式图像显著性检测方法，其特征在于：当简单色调场景和复杂色调场景时，在各检测流程之后加入极小尺寸目标检测流程，其中，为以2倍平均灰度为阈值计算基于超像素改进的spFT显著图的二值图，为以2倍平均灰度为阈值计算基于简单色调场景结构类别和复杂色调场景结构类别的检测流程显著图的二值图，极小尺寸目标检测流程计算，生成最终的显著图Sal。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827725.1A CN107622280B (zh) | 2017-09-14 | 2017-09-14 | 基于场景分类的模块化处方式图像显著性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827725.1A CN107622280B (zh) | 2017-09-14 | 2017-09-14 | 基于场景分类的模块化处方式图像显著性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107622280A true CN107622280A (zh) | 2018-01-23 |
| CN107622280B CN107622280B (zh) | 2020-06-12 |
Family
ID=61089674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710827725.1A Active CN107622280B (zh) | 2017-09-14 | 2017-09-14 | 基于场景分类的模块化处方式图像显著性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107622280B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003237A (zh) * | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109583455A (zh) * | 2018-11-20 | 2019-04-05 | 黄山学院 | 一种融合递进图排序的图像显著性检测方法 |
| CN112101387A (zh) * | 2020-09-24 | 2020-12-18 | 维沃移动通信有限公司 | 显著性元素识别方法及装置 |
| CN117291291A (zh) * | 2023-08-12 | 2023-12-26 | 江苏信实环境工程有限公司 | 一种基于物联网的虫情智能监控系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913456A (zh) * | 2016-04-12 | 2016-08-31 | 西安电子科技大学 | 基于区域分割的视频显著性检测方法 |
| US9483709B2 (en) * | 2012-08-29 | 2016-11-01 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
| CN107085725A (zh) * | 2017-04-21 | 2017-08-22 | 河南科技大学 | 一种通过基于自适应码本的llc聚类图像区域的方法 |
-
2017
- 2017-09-14 CN CN201710827725.1A patent/CN107622280B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9483709B2 (en) * | 2012-08-29 | 2016-11-01 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
| CN105913456A (zh) * | 2016-04-12 | 2016-08-31 | 西安电子科技大学 | 基于区域分割的视频显著性检测方法 |
| CN107085725A (zh) * | 2017-04-21 | 2017-08-22 | 河南科技大学 | 一种通过基于自适应码本的llc聚类图像区域的方法 |
Non-Patent Citations (3)
| Title |
|---|
| YUNG-CHIEH CHOU ; PO-CHYI SU: "Efficient content-based cropping using visual saliency and SLIC for image retargeting", 《2016 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS-TAIWAN (ICCE-TW)》 * |
| 王玉: "复杂环境下的显著性目标检测研究", 《中国优秀硕士学位论文全文数据库》 * |
| 项导: "视觉显著性物体检测方法及应用研究", 《中国博士学位论文全文数据库》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003237A (zh) * | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
| US11887362B2 (en) | 2018-07-03 | 2024-01-30 | Arashi Vision Inc. | Sky filter method for panoramic images and portable terminal |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109165682B (zh) * | 2018-08-10 | 2020-06-16 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109583455A (zh) * | 2018-11-20 | 2019-04-05 | 黄山学院 | 一种融合递进图排序的图像显著性检测方法 |
| CN112101387A (zh) * | 2020-09-24 | 2020-12-18 | 维沃移动通信有限公司 | 显著性元素识别方法及装置 |
| WO2022063189A1 (zh) * | 2020-09-24 | 2022-03-31 | 维沃移动通信有限公司 | 显著性元素识别方法及装置 |
| CN117291291A (zh) * | 2023-08-12 | 2023-12-26 | 江苏信实环境工程有限公司 | 一种基于物联网的虫情智能监控系统及方法 |
| CN117291291B (zh) * | 2023-08-12 | 2024-04-23 | 江苏信实环境工程有限公司 | 一种基于物联网的虫情智能监控系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107622280B (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Akbari et al. | Polyp segmentation in colonoscopy images using fully convolutional network | |
| CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| CN109154978B (zh) | 用于检测植物疾病的系统和方法 | |
| CN109670528B (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
| CN106803247B (zh) | 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN107194937B (zh) | 一种开放环境下中医舌象图像分割方法 | |
| CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
| Guedri et al. | Indexing and images retrieval by content | |
| CN107067037B (zh) | 一种使用llc准则定位图像前景的方法 | |
| WO2019197021A1 (en) | Device and method for instance-level segmentation of an image | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108647703B (zh) | 一种基于显著性的分类图像库的类型判断方法 | |
| Mehrjardi et al. | A survey on deep learning-based image forgery detection | |
| CN113298018A (zh) | 基于光流场和脸部肌肉运动的假脸视频检测方法及装置 | |
| CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| CN108596244A (zh) | 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| Boudhane et al. | Optical fish classification using statistics of parts | |
| Chua et al. | Contour detection from deep patch-level boundary prediction | |
| Soni et al. | Text region extraction from scene images using agf and mser | |
| Murthy et al. | A Novel method for efficient text extraction from real time images with diversified background using haar discrete wavelet transform and k-means clustering | |
| CN113642429B (zh) | 一种基于tpp-tccnn的海洋鱼类识别方法 | |
| CN110555342A (zh) | 一种图像识别方法、装置和图像设备 | |
| Ravikumar et al. | Analysis of Segmentation Techniques Using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |