CN106952251B - 一种基于吸附模型的图像显著性检测方法 - Google Patents
一种基于吸附模型的图像显著性检测方法 Download PDFInfo
- Publication number
- CN106952251B CN106952251B CN201710111506.3A CN201710111506A CN106952251B CN 106952251 B CN106952251 B CN 106952251B CN 201710111506 A CN201710111506 A CN 201710111506A CN 106952251 B CN106952251 B CN 106952251B
- Authority
- CN
- China
- Prior art keywords
- cluster
- region
- pixel
- csr
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001179 sorption measurement Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000007599 discharging Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 230000007480 spreading Effects 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000000946 synaptic effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000005267 amalgamation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于吸附模型的图像显著性检测方法，包括下述步骤：首先来确定候选的显著性区域和背景区域，并通过形状滤波和边界滤除来优化候选的显著性区域和背景区域候选显著性区域计算；然后通过基于漏电的积分放电模型的胜者得全网络来确定视觉场景中的关注焦点；使用基于关注焦点和背景区域的吸附过程来判断候选的显著性区域是否是显著的；最后通过度量显著性区域和背景区域的颜色差异和空间距离来度量显著性区域中每个像素点的显著性值，并通过显著性传播和高斯滤波优化显著性图。本发明选用ASD数据集进行测试，能够保证显著图结果符合要求，在其它各类自然图像上也均能得到准确度高的显著图结果。
Description
技术领域
本发明属于图像处理领域，特别涉及自然彩色图像的显著性检测方法。
背景技术
随着移动互联网的高速发展，图像，语音以及视频等信息每天的产量是数以万计。面对这些海量数据信息的日益增长，利用计算机系统来处理和分析显得尤为重要。针对图像及视频这类信息的处理，如何快速准确地从大量的视觉信息资源中找到并提取出与任务相关的那部分信息，也即视觉显著性检测问题，一直是计算机视觉和信息处理研究中的热点之一。图像显著性检测就是检测出视觉场景中含有最多信息量，最能引起人眼关注的区域或目标。最近几年，图像显著性检测在计算机视觉中占据越来越重要的地位，很多数字图像处理问题中都会使用到显著性检测。研究表明视觉显著性检测与人类的视觉关注系统有很大的关系。视觉关注系统认为，当人们观看场景时，人眼会先聚焦于关注焦点，接着会进一步对关注焦点周围的信息进行分析和处理，并得到更多有关显著性区域或目标的信息，然后视觉关注系统会继续搜索视觉场景，来判断是否还有其他的关注焦点。图像的显著性区域指的是人类视觉系统最关注的图像区域。视觉显著性跟人类视觉系统如何感知和处理视觉刺激紧密相关。人类视觉系统通过对图像中区域的颜色、纹理、形状等特征信息处理，可以很容易地判断图像中的显著性区域，并关注到图像的重要部分。
显著性检测于上个世纪九十年代被首次提出，到现在已发展成为计算机视觉分析领域中的一个很重要的分支。最近几年，越来越多的学者投入到视觉显著性检测的研究工作中来，涌现了大量的显著性检测方法，大致分为基于任务驱动的自顶向下的方法和基于数据驱动的自底向上的方法。自顶向下的方法需要一些特殊的先验知识；自底向上的方法不需要先验知识，主要通过局部和全局的特征对比来检测出图像的显著性。由于自顶向下的方法需要一些先验知识，使得这种类型的显著性检测方法的计算速度通常较慢，而且正确性不高。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于吸附模型的图像显著性检测方法。该显著性检测方法是基于吸附模型的图像显著性检测方法，算法实现效率高效，参照人工标记的显著性区域，提取的显著性区域精确、完整，具有良好的视觉效果。
本发明的目的通过以下技术方案实现：一种基于吸附模型的图像显著性检测方法，主要包括以下步骤：
S1、候选显著性区域计算；使用FCM算法分别对CIELab和CIEHSV颜色空间上的L,a,b,H,S颜色通道进行聚类，然后计算各个颜色通道上各个聚类的聚集度。根据聚集度的值，将各个聚类分为候选的显著性区域所在的聚类和背景区域所在的聚类。
S2、确定关注焦点；计算候选的显著性区域中各区域的聚集度，颜色差异度，关注度以及中心偏移度，利用聚集度，颜色差异度，关注度以及中心偏移度来度量区域的显著性，然后根据各个候选的显著性区域的显著性构建一幅显著性图，将此显著性图作为基于漏电的积分放电模型的胜者得全(WTA)网络的输入，多次运用WTA网络，得到多个获胜点。对获胜点所在的候选显著性区域进行投票来确定人眼的关注焦点。
S3、显著性区域吸附过程；对于候选的显著性区域中的每一个区域，计算背景区域和关注焦点分别对其的吸附力，通过判断两者对其吸附力的大小来确定区域是否是显著性的。如果视觉场景中有多个关注焦点，则进行多次吸附过程，最后将多次的吸附结果合并起来。
S4、显著性度量。通过背景区域和显著性区域之间的特征差异来度量每一个像素点显著性，并通过显著性传播和高斯滤波来进一步优化，得到最终的显著性图。
优选的，步骤S1中候选显著性区域计算具体步骤为：
S1.1、对原RGB图像转换到Lab和HSV颜色空间，得到L，a，b，H，S五个颜色通道，第i个通道标记为CFi；
S1.2、利用模糊C均值聚类算法(FCM)对步骤S1.1的L，a，b，H，S五个颜色通道进行聚类，设置分类个数Nc，共得到5×Nc个聚类，第i个颜色通道上的第j个聚类标记为Clusteri j；
S1.3、计算步骤S1.2中每个聚类的聚集度如公式(1)所示，
式子中，|Clusteri j|表示聚类Clusteri j中像素点的个数，表示聚类Clusteri j中像素点p的坐标，表示聚类Clusteri j的聚类中心坐标；
S1.4、将每个颜色通道上的聚类Clusteri j按照其聚集度由小到大进行排序，然后取每个颜色通道中前个聚类作为候选的显著性区域所在的聚类，得到一个聚类集合{CS}，其中表示大于的最小整数，其他的聚类被选择作为背景区域所在的聚类集合{BS}；
S1.5、利用形状滤波和边界滤除来优化步骤S1.4得到的聚类集合{CS}；
所述步骤S1.5包含以下步骤：
S1.5.1、对每个颜色通道上的每个聚类Clusteri j进行快速傅里叶变换得到F(Clusteri j)；
S1.5.2、使用静态小波变换(SWT)来分解对数振幅谱log(|F(CSk)|)，进行完两级分解后，得到三个细节图和一个近似图。使用中值滤波对每一级的细节图进行滤波，然后通过阈值分割，滤除每一级的细节图中的噪音信号。重建去噪的细节图与近似图得到去了噪声的图像As(CSk)；
S1.5.3、利用公式(2)，将去噪后的图像As(CSk)和原始的相位频谱p(CSk)结合在一起求傅里叶变换的逆变换可以得到去噪后的聚类cfa(CSk)：
式子中，CSk表示第k个聚类集合；
S1.5.4、利用大津算法(Ostu)二值化方法对cfa(CSk)进行二值化得到bcfa(CSk)，滤除CSk中与bcfa(CSk)交集为零的区域，得到优化后的聚类集合{CS}。
S1.5.5、对于聚类中每一个联通区域，求其边界像素点，当其边界像素点在整个区域中所占的比重大于一定的值时，这样的区域被认为是背景噪音，如公式(3)所示：
式中，Bnd表示图像边界像素点的集合，p是区域的像素点，R是待判断的区域，|·|表示满足条件的像素点的个数。
S1.5.6、对于聚类集合中每个聚类的联通区域R，根据步骤S1.5.5计算的BC值，当如果BC(R)大于2％时，R被认为是背景噪音，将其从聚类集合{CS}中删除，并将其添加到背景聚类集合{BS}中，这样得到最终的候选显著性区域集合{CSRj(1≤j≤Ns)}和背景区域集合{BGRj(1≤j≤Nb)}，Ns和Nb表示对应的个数。
优选的，步骤S2中确定关注焦点具体如下：
S2.1、计算每个候选的显著性区域CSRj与步骤S1得到的背景区域集合{BGRj(1≤j≤Nb)}之间的颜色差异性Differences(CSRj)，如公式(4)所示：
式中，Color(BGRi)和Color(CSRj)分别表示BGRi和CSRj区域内像素点颜色特征的均值，Nb表示背景区域的个数。
S2.2、计算候选的显著性区CSRj的关注度；
所述步骤S2.2包括以下步骤：
S2.2.1，利用公式(5)计算得到图像的像素级的关注度Fp(q)；
S2.2.2、根据上述步骤S1得到的像素级的关注度计算得到图像区域级别的关注度Fr(Ri)，得到区域关注图FM，如公式(6)所示
式中，Ri表示区域，Bi表示区域Ri中的mi个边界像素；Ei表示区域Ri中的ni个内部边界像素点；表示像素点p的梯度值。
S2.2.3、取出区域级关注图FM中的靠近图像边界的区域，利用公式(3)计算其边界比例，如果得到的边界比例大于2％，且其本身关注度小于整幅图像的均值关注度，认为其是关注图中的背景区域BFR，不属于背景区域BFR的区域被标记为前景区域FR。
S2.2.4、对上述步骤S2.2.3的关注图利用公式(7)进行优化得到优化后的关注图FMO；
式中，|BFRj|表示背景区域BFRj中像素点的个数，Color(FRi),Color(BFRj)分别表示前景区域FR和背景区域BFR的颜色特征；
S2.2.5、根据步骤S1得到的候选显著性区域集合{CSRj(1≤j≤Ns)}和上述步骤的到的关注图FMO，利用公式(8)，计算每个候选显著性区域CSRj的关注度Focusness(CSRj)；
式中|CSRj|表示候选的显著性区域CSRj中像素点的个数,FMO(CSRj(p))表示CSRj中像素点p的优化后的关注度。
S2.3、利用候选的显著性区域CSRj中每个像素点与图像中心的距离均值来计算每个候选的显著性区域的中心偏移Center(CSRj)，如公式(9)所示；
式中c(p)是CSRj中像素点p的坐标，center是图像中心的坐标。
S2.4、度量每个候选显著区域CSRj的显著性MS(CSRj)，如公式(10)所示；
式中，Juv(CSRj)表示候选的显著性区域CSRj所在的聚类的聚集度，Differences(CSRj)表示CSRj的颜色差异性，Focusness(CSRj)表示候选显著性区域CSRj的关注度，Center(CSRj)表示每个候选的显著性区域的中心偏移；
S2.5、根据步骤S2.4得到的每个候选的显著性区域的MS构造出显著图，将此显著性图作为基于漏电的积分放电模型的胜者得全(WTA)网络的突触输入，通过迭代胜者得全(WTA)网络直到确定获胜点，记录多次的获胜点WinnerLocaton(i)，(1≤i≤10)；
S2.6、对获胜点进行投票，根据候选显著性区域的投票数来确定关注焦点FoA,如公式(11)所示；
优选的，所述步骤S3包括以下步骤：
S3.1、对步骤S1中得到的候选显著性区域中的每个区域R，利用公式(12)计算其来自关注焦点虚拟吸附力ff(R)，利用公式(13)计算其来自背景区域的吸附力bf(R)；
式子中，FoAk和BGRi分别表示关注焦点和背景区域；|·|表示区域集合的基线；feature(R)表示区域R的均值特征，其特征形式是[L,a,b,H,S,Focusness]，L，a，b，H，S表示五个颜色特征，Focusness为步骤S3计算的关注度特征；spatial(·,·)表示两个区域之间的空间距离，变量σ用来调整特征与空间之间的重要性。
S3.2、根据步骤S3.1计算得到的ff(R)和bf(R)，如果ff(R)≥bf(R)，则区域R是显著性区域，将R从候选显著区域集合{CSR}中删除，将其加入到关注焦点集合{FoA}中；如果ff(R)＜bf(R)，则R是背景区域，将R从候选显著区域集合{CSR}中删除，将其加入到背景区域集合{BGR}中。当处理完所有的候选显著性区域时，吸附过程结束。
优选的，所述步骤S4包括以下步骤：
S4.1、使用超像素块分割方法SLIC(Simple Linear Iterative Clustering)来进行图像超像素块分割，输入的自然图像过分割为M个超像素块SPi(1≤i≤M)。为了区分显著性区域和背景区域，将超像素块分为显著性超像素块和背景超像素块，如果|SPi∩SR|＝|SPi|，SPi被设为显著性的超像素块SSP；如果|SPi∩SR|＝0，SPi被设为背景超像素块BSP；否则，如果0＜|SPi∩SR|＜|SPi|，将SPi一分为二，属于显著性区域的那一部分归为显著性超像素块，属于背景区域的那一部分被归为背景超像素块。对于背景超像素块，直接将其的显著性值设为0，即S(BSPi)＝0；
S4.2、利用颜色差异来度量的每个显著性超像素块SSPi的显著性值，如公式(14)所示；
式子中，|BSP|是背景超像素块集合BSP的个数，Color(SSPi)和Cen(SSPi)分别表示显著性超像素块SSPi的均值颜色特征和中心坐标，Color(BSPb)和Cen(BSPb)分别表示背景超像素块BSPb的均值颜色特征和中心坐标。当计算完所有的显著超像素块后，得到显著性图S；
S4.3、为保证显著性图中两个相似超像素块的显著性一致性，采用显著性传播的方法计算每个超像素块的传播显著性。
所述步骤S4.3包括以下步骤：
S4.3.1、使用k-means算法将图像的超像素块分为K个聚类，在聚类k(k＝1,2,...,K)中有Mk个超像素块，步骤S4.2中得到的属于聚类k的超像素块i(i＝1,2,...,Mk)的显著性被表示为Sk(i)，利用公式(15)来计算超像素块i(i＝1,2,...,Mk)的传播显著性
式中；Sk(i)，Sk(j)分别表示超像素块i，j的原始的显著性值，μ1和μ2是前后两个项之间的权值，Color(i)和Color(j)分别表示超像素块i，j的均值颜色特征，σc表示权值变量；
S4.3.2、计算完每个聚类的超像素块的传播显著性后得到传播后的显著性图S～，将每一个超像素块的显著性值分配给每一个内部的像素点，可以得到像素级别的显著性图其中(x,y)表示像素点的坐标；
S4.4、对像素级别的显著性图结果进行高斯滤波，得到最终显著图Sal(x,y)；
本发明的原理：
本发明对自然彩色图像提取显著性区域，具有良好的视觉效果和整体精确性和完整性；先提取自然图像的颜色特征，对每个颜色通道进行FCM聚类，利用聚集度来确定候选的显著性区域和背景区域，并通过形状滤波和边界滤除来优化候选的显著性区域和背景区域；接着通过基于漏电的积分放电模型的胜者得全网络(WTA)来确定视觉场景中的关注焦点；模拟视觉关注机制,设计吸附过程，使用来自关注焦点和背景区域的吸附力来判断候选的显著性区域是否显著；最后通过度量显著性区域和背景区域的颜色差异和空间距离来度量显著性区域中每个像素点的显著性值，并通过显著性传播和高斯滤波优化显著性图，保证了显著图的完整性和精确性。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明将传统的三阶段显著性检测模型转换为基于吸附模型的检测方法，避免了传统方法选择采用何种融合方式的问题，将显著性检测转换为一种区域的不断吸附的过程，更符合人眼的视觉关注机制。
2、本发明利用FCM算法在各个颜色通道上进行聚类，使用聚类的聚集度确定背景区域集合和候选的显著性区域集合，采用形状滤波的方法去除小的区域，得到更加准确的聚类。
3、本发明采用基于漏电的积分放电模型的胜者得全(WTA)网络，可以得到比较精确的关注点。将候选的显著性区域的颜色差异度、关注度、中心偏移度以及聚集度融合在一起的得到的显著性图作为胜者得全网络的输入，并引入返回抑制机制。通过对多次的获胜者进行投票来确定关注焦点。
4、本发明通过计算显著性区域和背景区域的颜色差异来度量显著性值，并使用显著性传播和高斯滤波来优化显著性图。
5、本发明在ASD数据库上对本文提出的方法进行实验，通过实验结果图发现，在多数自然图像上，本发明的方法都能得到完整并精确的区域。
附图说明
图1是本发明的总体流程图；
图2是本发明的确定候选显著性区域的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，一种基于吸附模型的图像显著性检测方法，具体实现方式如下：
1、候选显著性区域计算：如图2所示为本发明确定候选显著性区域的流程图，具体实现如下：
(1)对原RGB图像转换到Lab和HSV颜色空间，得到L，a，b，H，S五个颜色通道，第i个通道标记为CFi；
(2)利用模糊C均值聚类算法(FCM)对步骤11的L，a，b，H，S五个颜色通道进行聚类，设置分类个数Nc＝5，共得到25个聚类，第i个颜色通道上的第j个聚类标记为Clusteri j；
(3)计算步骤(2)中每个聚类的聚集度
(4)将每个颜色通道上的聚类Clusteri j按照其聚集度由小到大进行排序，然后取每个颜色通道中前个聚类作为候选的显著性区域所在的聚类，得到一个聚类集合{CS}，其中表示大于的最小整数，其他的聚类被选择作为背景区域所在的聚类集合{BS}；
(5)利用形状滤波和边界滤除来优化步骤(4)得到的聚类集合{CS}，得到最终的候选显著性区域集合{CSRj(1≤j≤Ns)}和背景区域集合{BGRj(1≤j≤Nb)}，Ns和Nb表示对应的个数。
2、确定关注焦点，包括如下步骤：
(1)对计算每个候选的显著性区域CSRj与步骤1得到的背景区域集合{BGRj(1≤j≤Nb)}之间的颜色差异性Differences(CSRj)；
(2)计算每个候选的显著性区CSRj的关注度Focusness(CSRj)；
(3)利用候选的显著性区域CSRj中每个像素点与图像中心的距离均值来计算每个候选的显著性区域的中心偏移Center(CSRj)；
(4)利用每个区域的聚集度、差异度，关注度以及中心偏移等四个指标度量每个候选显著区域CSRj的显著性值MS(CSRj)；
(5)根据步骤(4)得到的每个候选的显著性区域的MS构造出显著图，将此显著性图作为基于漏电的积分放电模型的胜者得全(WTA)网络的突触输入，通过迭代胜者得全(WTA)网络直到确定获胜点，迭代次数设置为10，记录多次的获胜点WinnerLocaton(i)，其中1≤i≤10；
(6)对获胜点进行投票，根据候选显著性区域的投票数来确定关注焦点FoA。
3、显著性区域吸附过程，包括如下步骤：
(1)对步骤1中得到的候选显著性区域中的每个区域R，计算其来自关注焦点虚拟吸附力ff(R)和其来自背景区域的吸附力bf(R)；
(2)根据(1)计算得到的ff(R)和bf(R)，如果ff(R)≥bf(R)，则区域R是显著性区域，将R从候选显著区域集合{CSR}中删除，将其加入到关注焦点集合{FoA}中；如果ff(R)＜bf(R)，则R是背景区域，将R从候选显著区域集合{CSR}中删除，将其加入到背景区域集合{BGR}中。当处理完所有的候选显著性区域时，吸附过程结束。
4、显著性度量，包括如下步骤：
(1)使用超像素块分割方法SLIC(Simple Linear Iterative Clustering)来进行图像超像素块分割，为M个超像素块SPi(1≤i≤M)，M设置为200，并将超像素块分为显著性超像素块和背景超像素块，如果|SPi∩SR|＝|SPi|，SPi被设位显著性的超像素块SSP；如果|SPi∩SR|＝0，SPi被设为背景超像素块BSP；否则，如果0＜|SPi∩SR|＜|SPi|，将SPi一分为二，属于显著性区域的那一部分归为显著性超像素块，属于背景区域的那一部分被归为背景超像素块。对于背景超像素块，直接将其的显著性值设为0，即S(BSPi)＝0；
(2)利用颜色差异来度量的每个显著性超像素块SSPi的显著性值S(SSPi)，当计算完所有的显著超像素块后，得到显著性图S；
(3)计算每个超像素块的传播显著性
(4)计算完每个聚类的超像素块的传播显著性后得到传播后的显著性图将每一个超像素块的显著性值分配给每一个内部的像素点，可以得到像素级别的显著性图其中(x,y)表示像素点的坐标；
(5)对像素级别的显著性图结果进行高斯滤波，得到最终显著图Sal(x,y)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于吸附模型的图像显著性检测方法，其特征在于，包括如下步骤：
S1、候选显著性区域计算；使用模糊C均值聚类算法FCM分别对CIELab和CIEHSV颜色空间上的L,a,b,H,S颜色通道进行聚类，然后计算各个颜色通道上各个聚类的聚集度；根据聚集度的值，将各个聚类分为候选的显著性区域所在的聚类和背景区域所在的聚类；
S2、确定关注焦点；计算候选的显著性区域中各区域的聚集度，颜色差异度，关注度以及中心偏移度，利用聚集度，颜色差异度，关注度以及中心偏移度来度量区域的显著性，然后根据各个候选的显著性区域的显著性构建一幅显著性图，将此显著性图作为基于漏电的积分放电模型的胜者得全网络的输入，多次运用胜者得全网络，得到多个获胜点；对获胜点所在的候选显著性区域进行投票来确定人眼的关注焦点；
S3、显著性区域吸附过程；对于候选的显著性区域中的每一个区域，计算背景区域和关注焦点分别对其的吸附力，通过判断两者对其吸附力的大小来确定区域是否是显著性的；如果视觉场景中有多个关注焦点，则进行多次吸附过程，最后将多次的吸附结果合并起来；
S4、显著性度量；通过背景区域和显著性区域之间的特征差异来度量每一个像素点显著性，并通过显著性传播和高斯滤波来进一步优化，得到最终的显著性图。
2.根据权利要求1所述的一种基于吸附模型的图像显著性检测方法，其特征在于，步骤S1中候选显著性区域计算具体步骤为：
S1.1、对原RGB图像转换到Lab和HSV颜色空间，得到L，a，b，H，S五个颜色通道，第i个通道标记为CFi；
S1.2、利用模糊C均值聚类算法对步骤S1.1的L，a，b，H，S五个颜色通道进行聚类，设置分类个数Nc，共得到5×Nc个聚类，第i个颜色通道上的第j个聚类标记为Clusteri j；
S1.3、计算步骤S1.2中每个聚类的聚集度如公式(1)所示，
式子中，|Clusteri j|表示聚类Clusteri j中像素点的个数，表示聚类Clusteri j中像素点p的坐标，表示聚类Clusteri j的聚类中心坐标；
S1.4、将每个颜色通道上的聚类Clusteri j按照其聚集度由小到大进行排序，然后取每个颜色通道中前个聚类作为候选的显著性区域所在的聚类，得到一个聚类集合{CS}，其中表示大于的最小整数，其他的聚类被选择作为背景区域所在的聚类集合{BS}；
S1.5、利用形状滤波和边界滤除来优化步骤S1.4得到的聚类集合{CS}；
所述步骤S1.5包含以下步骤：
S1.5.1、对每个颜色通道上的每个聚类Clusteri j进行快速傅里叶变换得到F(Clusteri j)；
S1.5.2、使用静态小波变换来分解对数振幅谱log(|F(CSk)|)，进行完两级分解后，得到三个细节图和一个近似图；使用中值滤波对每一级的细节图进行滤波，然后通过阈值分割，滤除每一级的细节图中的噪音信号；重建去噪的细节图与近似图得到去了噪声的图像As(CSk)；
S1.5.3、利用公式(2)，将去噪后的图像As(CSk)和原始的相位频谱p(CSk)结合在一起求傅里叶变换的逆变换可以得到去噪后的聚类cfa(CSk)：
式子中，CSk表示第k个聚类集合；
S1.5.4、利用大津算法二值化方法对cfa(CSk)进行二值化得到bcfa(CSk)，滤除CSk中与bcfa(CSk)交集为零的区域，得到优化后的聚类集合{CS}；
S1.5.5、对于聚类中每一个联通区域，求其边界像素点，当其边界像素点在整个区域中所占的比重大于一定的值时，这样的区域被认为是背景噪音，如公式(3)所示：
式中，Bnd表示图像边界像素点的集合，p是区域的像素点，R是待判断的区域，|·|表示满足条件的像素点的个数；
S1.5.6、对于聚类集合中每个聚类的联通区域R，根据步骤S1.5.5计算的BC值，当如果BC(R)大于2％时，R被认为是背景噪音，将其从聚类集合{CS}中删除，并将其添加到背景聚类集合{BS}中，这样得到最终的候选显著性区域集合{CSRj(1≤j≤Ns)}和背景区域集合{BGRj(1≤j≤Nb)}，Ns和Nb表示对应的个数。
3.根据权利要求1所述的一种基于吸附模型的图像显著性检测方法，其特征在于，步骤S2中确定关注焦点具体如下：
S2.1、计算每个候选的显著性区域CSRj与步骤S1得到的背景区域集合{BGRj(1≤j≤Nb)}之间的颜色差异性Differences(CSRj)，如公式(4)所示：
式中，Color(BGRi)和Color(CSRj)分别表示BGRi和CSRj区域内像素点颜色特征的均值，Nb表示背景区域的个数；
S2.2、计算候选的显著性区CSRj的关注度；
所述步骤S2.2包括以下步骤：
S2.2.1、利用公式(5)计算得到图像的像素级的关注度Fp(q)；
S2.2.2、根据上述步骤S1得到的像素级的关注度计算得到图像区域级别的关注度Fr(Ri)，得到区域关注图FM，如公式(6)所示
式中，Ri表示区域，Bi表示区域Ri中的mi个边界像素；Ei表示区域Ri中的ni个内部边界像素点；表示像素点p的梯度值；
S2.2.3、取出区域级关注图FM中的靠近图像边界的区域，利用公式(3)计算其边界比例，如果得到的边界比例大于2％，且其本身关注度小于整幅图像的均值关注度，认为其是关注图中的背景区域BFR，不属于背景区域BFR的区域被标记为前景区域FR；
S2.2.4、对上述步骤S2.2.3的关注图利用公式(7)进行优化得到优化后的关注图FMO；
式中，|BFRj|表示背景区域BFRj中像素点的个数，Color(FRi),Color(BFRj)分别表示前景区域FR和背景区域BFR的颜色特征；
S2.2.5、根据步骤S1得到的候选显著性区域集合{CSRj(1≤j≤Ns)}和上述步骤的到的关注图FMO，利用公式(8)，计算每个候选显著性区域CSRj的关注度Focusness(CSRj)；
式中|CSRj|表示候选的显著性区域CSRj中像素点的个数,FMO(CSRj(p))表示CSRj中像素点p的优化后的关注度；
S2.3、利用候选的显著性区域CSRj中每个像素点与图像中心的距离均值来计算每个候选的显著性区域的中心偏移Center(CSRj)，如公式(9)所示；
式中c(p)是CSRj中像素点p的坐标，center是图像中心的坐标；
S2.4、度量每个候选显著区域CSRj的显著性MS(CSRj)，如公式(10)所示；
式中，Juv(CSRj)表示候选的显著性区域CSRj所在的聚类的聚集度，Differences(CSRj)表示CSRj的颜色差异性，Focusness(CSRj)表示候选显著性区域CSRj的关注度，Center(CSRj)表示每个候选的显著性区域的中心偏移；
S2.5、根据步骤S2.4得到的每个候选的显著性区域的MS构造出显著图，将此显著性图作为基于漏电的积分放电模型的胜者得全网络的突触输入，通过迭代胜者得全网络直到确定获胜点，记录多次的获胜点WinnerLocaton(i)，其中1≤i≤10；
S2.6、对获胜点进行投票，根据候选显著性区域的投票数来确定关注焦点FoA,如公式(11)所示；
4.根据权利要求1所述的一种基于吸附模型的图像显著性检测方法，其特征在于，步骤S3显著性区域吸附过程具体如下：
S3.1、对步骤S1中得到的候选显著性区域中的每个区域R，利用公式(12)计算其来自关注焦点虚拟吸附力ff(R)，利用公式(13)计算其来自背景区域的吸附力bf(R)；
式子中，FoAk和BGRi分别表示关注焦点和背景区域；|·|表示区域集合的基线；feature(R)表示区域R的均值特征，其特征形式是[L,a,b,H,S,Focusness]，L，a，b，H，S表示五个颜色特征，Focusness为步骤S3计算的关注度特征；spatial(·,·)表示两个区域之间的空间距离，变量σ用来调整特征与空间之间的重要性；
S3.2、根据步骤S3.1计算得到的ff(R)和bf(R)，如果ff(R)≥bf(R)，则区域R是显著性区域，将R从候选显著区域集合{CSR}中删除，将其加入到关注焦点集合{FoA}中；如果ff(R)＜bf(R)，则R是背景区域，将R从候选显著区域集合{CSR}中删除，将其加入到背景区域集合{BGR}中；当处理完所有的候选显著性区域时，吸附过程结束。
5.根据权利要求1所述的一种基于吸附模型的图像显著性检测方法，其特征在于，步骤S4中显著性度量如下：
S4.1、使用超像素块分割方法SLIC来进行图像超像素块分割，输入的自然图像过分割为M个超像素块SPi，其中1≤i≤M，为了区分显著性区域和背景区域，将超像素块分为显著性超像素块和背景超像素块，如果|SPi∩SR|＝|SPi|，SPi被设为显著性的超像素块SSP；如果|SPi∩SR|＝0，SPi被设为背景超像素块BSP；否则，如果0＜|SPi∩SR|＜|SPi|，将SPi一分为二，属于显著性区域的那一部分归为显著性超像素块，属于背景区域的那一部分被归为背景超像素块；对于背景超像素块，直接将其的显著性值设为0，即S(BSPi)＝0；
S4.2、利用颜色差异来度量的每个显著性超像素块SSPi的显著性值，如公式(14)所示；
式子中，|BSP|是背景超像素块集合BSP的个数，Color(SSPi)和Cen(SSPi)分别表示显著性超像素块SSPi的均值颜色特征和中心坐标，Color(BSPb)和Cen(BSPb)分别表示背景超像素块BSPb的均值颜色特征和中心坐标；当计算完所有的显著超像素块后，得到显著性图S；
S4.3、为保证显著性图中两个相似超像素块的显著性一致性，采用显著性传播的方法计算每个超像素块的传播显著性；
所述步骤S4.3包括以下步骤：
S4.3.1、使用硬聚类算法k-means将图像的超像素块分为K个聚类，在聚类k中有Mk个超像素块，其中k＝1,2,...,K；步骤S4.2中得到的属于聚类k的超像素块i的显著性被表示为Sk(i)，其中i＝1,2,...,Mk；利用公式(15)来计算超像素块i的传播显著性
式中；Sk(i)，Sk(j)分别表示超像素块i，j的原始的显著性值，μ1和μ2是前后两个项之间的权值，Color(i)和Color(j)分别表示超像素块i，j的均值颜色特征，σc表示权值变量；
S4.3.2、计算完每个聚类的超像素块的传播显著性后得到传播后的显著性图将每一个超像素块的显著性值分配给每一个内部的像素点，可以得到像素级别的显著性图其中(x,y)表示像素点的坐标；
S4.4、对像素级别的显著性图结果进行高斯滤波，得到最终显著图Sal(x,y)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710111506.3A CN106952251B (zh) | 2017-02-28 | 2017-02-28 | 一种基于吸附模型的图像显著性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710111506.3A CN106952251B (zh) | 2017-02-28 | 2017-02-28 | 一种基于吸附模型的图像显著性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106952251A CN106952251A (zh) | 2017-07-14 |
| CN106952251B true CN106952251B (zh) | 2019-07-16 |
Family
ID=59468074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710111506.3A Expired - Fee Related CN106952251B (zh) | 2017-02-28 | 2017-02-28 | 一种基于吸附模型的图像显著性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106952251B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108627241B (zh) * | 2018-05-11 | 2020-07-24 | 西安理工大学 | 一种基于高斯混合模型的宽吻海豚click信号检测方法 |
| CN110059728B (zh) * | 2019-03-26 | 2020-11-13 | 浙江科技学院 | 基于注意力模型的rgb-d图像视觉显著性检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867313A (zh) * | 2012-08-29 | 2013-01-09 | 杭州电子科技大学 | 一种融合区域颜色和HoG特征的视觉显著性检测方法 |
| CN103020993A (zh) * | 2012-11-28 | 2013-04-03 | 杭州电子科技大学 | 一种双通道颜色对比度融合的视觉显著性检测方法 |
| CN103996209A (zh) * | 2014-05-21 | 2014-08-20 | 北京航空航天大学 | 一种基于显著性区域检测的红外舰船目标分割方法 |
| CN105139018A (zh) * | 2015-08-31 | 2015-12-09 | 华南理工大学 | 基于颜色和纹理聚集度的图像显著性检测方法 |
| CN105404888A (zh) * | 2015-11-16 | 2016-03-16 | 浙江大学 | 结合颜色和深度信息的显著性目标检测方法 |
| CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
-
2017
- 2017-02-28 CN CN201710111506.3A patent/CN106952251B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867313A (zh) * | 2012-08-29 | 2013-01-09 | 杭州电子科技大学 | 一种融合区域颜色和HoG特征的视觉显著性检测方法 |
| CN103020993A (zh) * | 2012-11-28 | 2013-04-03 | 杭州电子科技大学 | 一种双通道颜色对比度融合的视觉显著性检测方法 |
| CN103996209A (zh) * | 2014-05-21 | 2014-08-20 | 北京航空航天大学 | 一种基于显著性区域检测的红外舰船目标分割方法 |
| CN105139018A (zh) * | 2015-08-31 | 2015-12-09 | 华南理工大学 | 基于颜色和纹理聚集度的图像显著性检测方法 |
| CN105404888A (zh) * | 2015-11-16 | 2016-03-16 | 浙江大学 | 结合颜色和深度信息的显著性目标检测方法 |
| CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于边缘检测的显著区域提取方法";王文正等;《电子技术研发》;20140125;论文第14-15页 |
| "应用图像局部特征和全局特征对比的显著性检测模型";朱玲等;《小型微型计算机系统》;20160930(第9期);论文第2109-2113页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106952251A (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287932B (zh) | 基于深度学习图像语义分割的道路阻断信息提取方法 | |
| Ke et al. | A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing | |
| Xie et al. | Automatic segmentation of dermoscopy images using self-generating neural networks seeded by genetic algorithm | |
| Coburn et al. | A multiscale texture analysis procedure for improved forest stand classification | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN106503739A (zh) | 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统 | |
| CN110399909A (zh) | 一种基于标签约束弹性网图模型的高光谱图像分类方法 | |
| CN107680678A (zh) | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 | |
| Goovaerts et al. | Detection of temporal changes in the spatial distribution of cancer rates using local Moran’s I and geostatistically simulated spatial neutral models | |
| CN108647695A (zh) | 基于协方差卷积神经网络的低对比度图像显著性检测方法 | |
| CN110738132B (zh) | 一种具备判别性感知能力的目标检测质量盲评价方法 | |
| Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
| Casanova et al. | Texture analysis using fractal descriptors estimated by the mutual interference of color channels | |
| Yu et al. | A recognition method of soybean leaf diseases based on an improved deep learning model | |
| Xiao et al. | Citrus greening disease recognition algorithm based on classification network using TRL-GAN | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN103279944A (zh) | 一种基于生物地理优化的图像分割方法 | |
| CN112818920A (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN107481243A (zh) | 基于羊只俯视图的羊只体尺检测方法 | |
| Song et al. | A novel self-learning weighted fuzzy local information clustering algorithm integrating local and non-local spatial information for noise image segmentation | |
| Shao et al. | Research on automatic identification system of tobacco diseases | |
| Yang et al. | Leaf recognition using BP-RBF hybrid neural network | |
| CN113096080A (zh) | 图像分析方法及系统 | |
| CN112215217A (zh) | 模拟医师阅片的数字图像识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190716 |