CN107169417A - 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 - Google Patents

基于多核增强和显著性融合的rgbd图像协同显著性检测方法 Download PDF

Info

Publication number
CN107169417A
CN107169417A CN201710250065.5A CN201710250065A CN107169417A CN 107169417 A CN107169417 A CN 107169417A CN 201710250065 A CN201710250065 A CN 201710250065A CN 107169417 A CN107169417 A CN 107169417A
Authority
CN
China
Prior art keywords
mrow
msub
saliency maps
region
conspicuousness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710250065.5A
Other languages
English (en)
Other versions
CN107169417B (zh
Inventor
刘志
吴莉珊
宋杭科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710250065.5A priority Critical patent/CN107169417B/zh
Publication of CN107169417A publication Critical patent/CN107169417A/zh
Application granted granted Critical
Publication of CN107169417B publication Critical patent/CN107169417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多核增强和显著性融合的RGBD图像协同显著性检测方法。具体步骤为：(1)、将一组具有共同显著对象的彩色图像分割成若干区域，并计算单张RGBD图像显著性图；(2)、样本选择，选出最优聚类结果中类协同显著性值最大的那个类，将这个类中的区域作为正样本，将单张图像显著性值低于阈值的区域作为负样本；(3)、用图像随机采样的方法生成不同的训练集来学习多个不同的模型，以得到基于多核增强的协同显著性图；(4)、将步骤(3)得到的基于多核增强的协同显著性图和步骤(2)得到的基协同显著性图进行线性融合，得到融合协同显著性图，并评价每张融合协同显著性图的质量，以这个质量评价为权重进行自适应的融合，得到最后的RGBD图像的协同显著性图。

Description

基于多核增强和显著性融合的RGBD图像协同显著性检测方法
技术领域
本发明涉及一种图像协同显著性检测方法，特别是一种基于多核增强和显著性融合的RGBD图像(RGB彩色图像与其对应的深度图像)协同显著性检测方法，旨在从一组具有共同显著对象的RGBD图像集中检测出共同显著的对象。
背景技术
随着互联网和多媒体技术的蓬勃发展，人们可以从越来越多的领域如监控视频，社交网络，新闻报道等中获取图像的信息。因此，如何抓取图像中的关键信息是当今人们关注的焦点。显著性检测是一个具有挑战性的领域，旨在提取图像或视频中人们所关注的主要对象的区域，而协同显著对象检测作为视觉显著性的一个新兴的分支，目的是从一组相关图像集中提取出共同显著的对象。协同显著对象检测已经被广泛地应用于图像/视频协同分割，对象协同定位，以及弱监督对象检测等领域。近年来，随着立体照相机、深度照相机以及Kinect传感器的广泛应用，深度信息已经被用到RGBD图像协同显著性检测中。2015年，Fu等人提出一种利用深度信息的基于对象的协同分割算法，能有效处理共有对象没有或者出现不止一次的噪声图像，利用几个现存性能较好的RGB显著性检测模型、协同显著性模型以及RGBD显著性模型，根据秩约束融合各个模型得到的显著性图来得到最终的RGBD协同显著性图，但忽略了不同RGBD图像间深度信息的相关性。2016年，Song等人基于Bagging的聚类提出一个RGBD协同显著性检测的框架，针对不同的RGBD图像集有效地选择不同的特征进行协同显著对象的聚类和检测。首先根据单个图像显著性图和区域预分割生成候选对象区域，然后对特征进行有放回地随机抽样来得到多次聚类结果，最后评价聚类效果将其作融合权重，生成最后的协同显著性图。但就RGBD协同显著性检测而言，仍有很大的发展空间。
发明内容
本发明的目的在于提高现有技术的性能，提出一种基于多核增强和显著性融合的RGBD图像协同显著性检测方法，该方法利用深度信息能够更为准确地提取出RGBD图像组中出现的共同对象，并且有效地抑制无关的背景区域。
为了达到上述目的，本发明采用的技术方案如下：
一种基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于该方法的具体步骤如下：
a.输入原始图像和深度图像N表示图像的总张数，用基于随机森林的RGBD显著性模型得到单张图像的RGBD显著性图，再采用基于轮廓的图像分割算法对输入的原始图像进行预分割，每张图像被分为Q个区域，表示图像In的每个区域，用该区域所有像素点的单张RGBD显著性值的平均值作为该区域的RGBD显著性值，将区域的RGBD显著性值大于阈值T1的区域选为候选对象区域；
b.将步骤a所得的候选对象区域进行聚类，根据聚类结果选择候选的正负样本：取聚类质量最好的那次聚类结果，得到基协同显著性图把这次聚类结果中聚类显著性值最大的那个类的区域作为正的候选样本，取显著性值低于某个设定的阈值T2且位于图像四周的区域作为负的候选样本，所述的聚类显著性值由以下三个值决定：这个类中的所有区域的平均显著性值，这个类中所有区域的各个特征间的欧式距离，以及这个类中区域所属的图像张数占总图像张数的比例；
c.学习模型：对于模型t，首先生成一个随机数INt,1≤INt≤N，从原始图像集中随机有放回地选择INt张图像，构成第t个图像组，从步骤b中得到的正的候选样本中选择出属于这个图像组的区域作为正样本，标记为+1，从步骤b中得到的负的候选样本中选择出属于这个图像组的区域作为负样本，标记为-1，得到样本总数为H的第t个训练样本集其中，ri和li表示样本i的二值标签；由此训练得到模型t，将其应用到所有N张图像的所有区域，从而得到模型t对应的基于多核增强的协同显著性图这样，根据一个图像组就学习到了一个模型，实验中，共生成TT个图片组，也就是学习TT个模型。综合考虑实验效果和执行时间，将TT设为这个图像总张数N的3倍；
d.将步骤c得到的图和步骤b得到的相应BCS图进行线性融合，得到融合协同显著性图；并评价每张融合协同显著性图的质量；以这个质量评价为权重进行自适应的融合，得到最后的协同显著性图。
上述步骤b中的候选正负样本的生成，具体步骤如下：
(b-1)、提取步骤a所得的每个候选区域的颜色、深度、几何等共24维特征。对于某次聚类，我们首先产生一个随机数FNn(1≤FNn≤24)，并从所有特征中随机挑选出FNn个特征，为每个区域构成一个FNn维的特征向量，并用模糊c均值的聚类方法进行聚类；计算每次聚类过程每个聚类的显著性值，并评价每次聚类的质量，所述的聚类质量由聚类分离率、类中的区域数决定，取聚类质量最好的那次聚类结果，得到基协同显著性图把这次聚类结果中聚类显著性值最大的那个类的区域作为正的候选样本，取显著性值低于某个设定的阈值T2且位于图像四周的区域作为负的候选样本。
上述的基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于，所述步骤c中的学习模型的过程，对于模型t，具体步骤如下：
(c-1)、生成M，M＝Nk×Nf个支持向量机其中Nk表示核函数的数目，Nk为4，分别是线性核、多项式核、RBF以及sigmoid核；Nf表示特征集的数目，Nf为10，表示聚类质量最好的前10次聚类使用的特征，r表示每个样本，这些支持向量机将根据各自的权重融合得到最后的强分类器Y(r)；
(c-2)、初始化每个样本的权重为w1(i)＝1/H(i＝1,...,H)，H表示此次用于训练的样本总数；
(c-3)、采用AdaBoost方法融合支持向量机，在第j次迭代中，计算每个支持向量机的分类误差εm，将M个分类器中误差最小的那个分类器作为本次迭代的最佳分类器，记为zj(r)，并计算其核的权重βj，其计算公式为：
其中，εj＝min1≤m≤M{εm}，表示M个分类器中最小的误差，并更新训练样本的权重wj+1(i)，其计算公式为：
(3-4)、经过J次迭代，J＝M，得到最后的分类器作为从第t个训练样本集学习到的模型t。
上述步骤d中的具体步骤如下：
(d-1)、将基于多核增强的协同显著性图和相应的基协同显著性图进行线性融合，得到融合协同显著性图其计算公式为：
(d-2)、评价每个图的显著性质量，其计算公式为：
其中，表示显著性紧密度，表示边界质量，表示显著性直方图，表示颜色分离度，表示分割质量；前两者值越大，后三者值越小说明该显著性图的质量越好，针对首先计算一个占图全部显著性值的p,1＜p＜1的窗口Wp，用这个窗口内的显著性值之和表示在这个比例下显著性图的紧密度，为增加鲁棒性，分别计算p为0.25、0.5和0.75的显著性紧密度，再分别以p为权重，加权相加，得到针对分别计算显著性图在0.25、0.5、0.75和1.0四个缩放比例的边界质量，并以缩放比例为权重，加权相加得到针对首先计算显著性图的颜色直方图，并将其分为20个小区间；计算其占全部区域的比例，得到针对根据显著性图和颜色直方图分布来计算显著对象和背景的直方图分布，该值越小越说明该显著性图显著对象和背景越分离，则该显著性图质量越好；针对分别计算在不同分割尺度下的二值分割质量，并分别以其分割尺度为权重，加权相加，得到归一化到[0，1]；
(d-3)、最后的区域级协同显著性图由以下公式计算得到：
其中，QN＝T/3，即选择显著性质量排名前QN张图像进行融合，最后为追求更好的可视化，利用一个小高斯核函数将区域级协同显著性图转化为最后的像素级协同显著性图。
本发明的基于多核增强和显著性融合的RGBD图像协同显著性检测方法与现有的技术相比，具有如下优点：
该发明基于多核增强和显著性融合进行RGBD图像协同显著性检测，能够更有效完整地突显共同显著的对象，并抑制无关的背景区域。
附图说明
图1是本发明基于多核增强和显著性融合的RGBD图像协同显著性检测的流程图。
图2(a)是本发明步骤(1)中输入的原始RGB彩色图像。
图2(b)是本发明步骤(1)中输入的原始RGB彩色图像对应的深度图像。
图2(c)是本发明由原始图像得到的预分割图像。
图3(a)是本发明基于聚类得到的候选正样本。
图3(b)是本发明基于聚类得到的候选负样本。
图3(c)是基于最好的那次聚类得到的基协同显著性图(BCS)。
图4(a)是本发明的由其中一个模型得到的基于多核增强的协同显著性图(MCS)。
图4(b)是本发明的由其中另一个模型得到的基于多核增强的协同显著性图(MCS)。
图5(a)是本发明步骤(3)基于其中一个模型得到的基于多核增强的协同显著性图(MCS)与最好的那次聚类得到的基协同显著性图(BCS)线性融合得到的融合协同显著性图(ICS)。
图5(b)是本发明基于显著性图质量融合得到的最终RGBD协同显著性图。
具体实施方式
下面结合说明书附图对本发明的实施例作进一步详细说明。
本发明进行的仿真实验是在CPU为4GHz、内存为16G的PC测试平台上编程实现。
如图1所示，本发明的基于多核增强和显著性融合的RGBD图像协同显著性检测，其具体步骤如下：
(1)、输入原始图像和深度图像如图2(a)和图2(b)所示，用基于随机森林的RGBD显著性模型得到单张图像的RGBD显著性图。使用基于轮廓的图像分割算法，预分割原始图像，如图2(c)所示，每张图像被分为Q个区域，表示图像In的每个区域，用该区域所有像素点的平均单张RGBD显著性值作为该区域的RGBD显著性值。将区域显著性值大于阈值T1的区域选为候选对象区域。
(2)、得到候选区域后，提取每个候选区域的颜色、深度、几何等特征用模糊c均值的聚类方法进行聚类。为了平衡聚类性能和算法时间的关系，将聚类次数设为150。计算每次聚类过程每个聚类的显著性值，并评价每次聚类的质量。取聚类质量最好的那次聚类结果，得到聚类协同显著性图如图3(c)所示。把这次聚类结果中聚类显著性值最大的那个类的区域作为正的候选样本，如图3(a)所示，取显著性值低于某个设定的阈值T2且位于图像四周的区域作为负的候选样本，如图3(b)所示。这里聚类质量的标准是采用了论文H.Song,Z.Liu,Y.Xie,L.Wu,and M.Huang."RGBD co-saliency detection viabagging-based clustering,"IEEE Signal Process.Lett.,vol.23,no.12,pp.1722-1726,Dec.2016里CQ的方法，由聚类分离率、类中区域数等决定
(3)、根据不同的图像组学习多个基于多核增强的模型。实验中，共生成TT个图片组，也就是学习TT个模型。综合考虑实验效果和执行时间，将TT设为这个图像总张数N的3倍。对于模型t，首先生成一个随机数INt(1≤INt≤N)从图像集中随机选择INt张图像，构成第t个图像组，从(2)中正的候选样本中选择出属于这个图像组的区域作为正样本(标记为+1)，从(2)中负的候选样本中选择出属于这个图像组的区域作为负样本(标记为-1)，得到样本总数为H的第t个训练样本集由此训练得到模型t，该过程如下：
(3-1)、生成M(M＝Nk×Nf)个支持向量机(弱分类器)其中Nk表示核函数的数目，这里为4，分别是线性核、多项式核、RBF以及sigmoid核；Nf表示特征集的数目，这里为10，表示聚类质量最好的前10次聚类使用的特征，r表示每个样本。这些弱分类器将根据各自的权重融合得到最后的强分类器Y(r)；
(3-2)、初始化每个样本的权重为w1(i)＝1/H(i＝1,...,H)；
(3-3)、采用AdaBoost方法融合弱分类器。在第j次迭代中，计算每个弱分类器的分类误差εm，将M个分类器中误差最小的那个分类器作为本次迭代的最佳分类器，记为zj(r)，并用公式(1)计算其核的权重βj，用公式(2)来更新训练样本的权重wj+1(i)。
(3-4)、经过J次迭代(J＝M)，得到最后的分类器作为从第t个训练样本集学习到的模型t。将学习到的模型t应用到所有N张图像的所有区域，从而得到模型t对应的基于多核增强的协同显著性图用同样方法训练T个模型，得到相应的MCS图。如图4(a)和图4(b)所示，为其中两个模型得到的协同显著性图。
(4)、基于显著性质量的自适应融合。用公式(3)将MCS图和相应的BCS图进行线性融合，得到融合协同显著性图，如图5(a)所示，为其中一组MCS图与相应BCS图的线性融合。用公式(4)评价每个图的显著性质量，根据显著性质量用公式(5)计算得到区域级协同显著性图，并利用一个小高斯核函数将之转化为最后的像素级协同显著性图，如图5(b)所示。
从上述仿真实验结果可以看出，本发明基于多核增强和显著性融合的RGBD图像协同显著性检测，能够更有效完整地突显共同显著的对象，并抑制无关的背景区域。

Claims (4)

1.一种基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于该方法的具体步骤如下：
a.输入原始图像和深度图像N表示图像的总张数，用基于随机森林的RGBD显著性模型得到单张图像的RGBD显著性图，再采用基于轮廓的图像分割算法对输入的原始图像进行预分割，每张图像被分为Q个区域，表示图像In的每个区域，用该区域所有像素点的单张RGBD显著性值的平均值作为该区域的RGBD显著性值，将区域的RGBD显著性值大于阈值T1的区域选为候选对象区域；
b.将步骤a所得的候选对象区域进行聚类，根据聚类结果选择候选的正负样本：取聚类质量最好的那次聚类结果，得到基协同显著性图把这次聚类结果中聚类显著性值最大的那个类的区域作为正的候选样本，取显著性值低于某个设定的阈值T2且位于图像四周的区域作为负的候选样本，所述的聚类显著性值由以下三个值决定：这个类中的所有区域的平均显著性值，这个类中所有区域的各个特征间的欧式距离，以及这个类中区域所属的图像张数占总图像张数的比例；
c.学习模型：对于模型t，首先生成一个随机数INt,1≤INt≤N，从原始图像集中随机有放回地选择INt张图像，构成第t个图像组，从步骤b中得到的正的候选样本中选择出属于这个图像组的区域作为正样本，标记为+1，从步骤b中得到的负的候选样本中选择出属于这个图像组的区域作为负样本，标记为-1，得到样本总数为H的第t个训练样本集其中，ri和li表示样本i的二值标签；由此训练得到模型t，将其应用到所有N张图像的所有区域，从而得到模型t对应的基于多核增强的协同显著性图这样，根据一个图像组就学习到了一个模型，实验中，共生成TT个图片组，也就是学习TT个模型；综合考虑实验效果和执行时间，将TT设为这个图像总张数N的3倍；
d.将步骤c得到的图和步骤b得到的相应BCS图进行线性融合，得到融合协同显著性图；并评价每张融合协同显著性图的质量；以这个质量评价为权重进行自适应的融合，得到最后的协同显著性图。
2.根据权利要求1所述的基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于，所述步骤b中的候选正负样本的生成，具体步骤如下：
(b-1)、提取步骤a所得的每个候选区域的颜色、深度、几何等共24维特征，对于某次聚类，我们首先产生一个随机数FNn(1≤FNn≤24)，并从所有特征中随机挑选出FNn个特征，为每个区域构成一个FNn维的特征向量，并用模糊c均值的聚类方法进行聚类；计算每次聚类过程每个聚类的显著性值，并评价每次聚类的质量，所述的聚类质量由聚类分离率、类中的区域数决定，取聚类质量最好的那次聚类结果，得到基协同显著性图把这次聚类结果中聚类显著性值最大的那个类的区域作为正的候选样本，取显著性值低于某个设定的阈值T2且位于图像四周的区域作为负的候选样本。
3.根据权利要求1所述的基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于，所述步骤c中的学习模型的过程，对于模型t，具体步骤如下：
(c-1)、生成M，M＝Nk×Nf个支持向量机其中Nk表示核函数的数目，Nk为4，分别是线性核、多项式核、RBF以及sigmoid核；Nf表示特征集的数目，Nf为10，表示聚类质量最好的前10次聚类使用的特征，r表示每个样本，这些支持向量机将根据各自的权重融合得到最后的强分类器Y(r)；
(c-2)、初始化每个样本的权重为w1(i)＝1/H(i＝1,...,H)，H表示此次用于训练的样本总数；
(c-3)、采用AdaBoost方法融合支持向量机，在第j次迭代中，计算每个支持向量机的分类误差εm，将M个分类器中误差最小的那个分类器作为本次迭代的最佳分类器，记为zj(r)，并计算其核的权重βj，其计算公式为：
<mrow> <msub> <mi>&amp;beta;</mi> <mi>j</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> </mrow> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <mi>sgn</mi> <mrow> <mo>(</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> </mrow> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> </mrow>
其中，εj＝min1≤m≤M{εm}，表示M个分类器中最小的误差，并更新训练样本的权重wj+1(i)，其计算公式为：
<mrow> <msub> <mi>w</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msub> <mi>w</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <msup> <mi>e</mi> <mrow> <msub> <mi>&amp;beta;</mi> <mi>j</mi> </msub> <msub> <mi>l</mi> <mi>i</mi> </msub> <msub> <mi>z</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow> <mrow> <mn>2</mn> <msqrt> <mrow> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;epsiv;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mfrac> </mrow>
(3-4)、经过J次迭代，J＝M，得到最后的分类器作为从第t个训练样本集学习到的模型t。
4.根据权利要求1所述的基于多核增强和显著性融合的RGBD图像协同显著性检测方法，其特征在于，所述步骤d中的具体步骤如下：
(d-1)、将基于多核增强的协同显著性图和相应的基协同显著性图进行线性融合，得到融合协同显著性图其计算公式为：
<mrow> <msubsup> <mi>ICS</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>MCS</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>+</mo> <msub> <mi>BCS</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow>
(d-2)、评价每个图的显著性质量，其计算公式为：
<mrow> <msubsup> <mi>SQ</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>FCP</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>+</mo> <msubsup> <mi>FB</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>-</mo> <msubsup> <mi>FH</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>-</mo> <msubsup> <mi>FCS</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>-</mo> <msubsup> <mi>FNC</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中，表示显著性紧密度，表示边界质量，表示显著性直方图，表示颜色分离度，表示分割质量；前两者值越大，后三者值越小说明该显著性图的质量越好，针对首先计算一个占图全部显著性值的p,1＜p＜1的窗口Wp，用这个窗口内的显著性值之和表示在这个比例下显著性图的紧密度，为增加鲁棒性，分别计算p为0.25、0.5和0.75的显著性紧密度，再分别以p为权重，加权相加，得到针对分别计算显著性图在0.25、0.5、0.75和1.0四个缩放比例的边界质量，并以缩放比例为权重，加权相加得到针对首先计算显著性图的颜色直方图，并将其分为20个小区间；计算其占全部区域的比例，得到针对根据显著性图和颜色直方图分布来计算显著对象和背景的直方图分布，该值越小越说明该显著性图显著对象和背景越分离，则该显著性图质量越好；针对分别计算在不同分割尺度下的二值分割质量，并分别以其分割尺度为权重，加权相加，得到归一化到[0，1]；
(d-3)、最后的区域级协同显著性图由以下公式计算得到：
<mrow> <msub> <mi>FCS</mi> <mi>n</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>Q</mi> <mi>N</mi> </mrow> </msubsup> <msubsup> <mi>SQ</mi> <mi>n</mi> <mi>t</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>ICS</mi> <mi>n</mi> <mi>t</mi> </msubsup> </mrow>
其中，QN＝T/3，即选择显著性质量排名前QN张图像进行融合，最后为追求更好的可视化，利用一个小高斯核函数将区域级协同显著性图转化为最后的像素级协同显著性图。
CN201710250065.5A 2017-04-17 2017-04-17 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 Active CN107169417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710250065.5A CN107169417B (zh) 2017-04-17 2017-04-17 基于多核增强和显著性融合的rgbd图像协同显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710250065.5A CN107169417B (zh) 2017-04-17 2017-04-17 基于多核增强和显著性融合的rgbd图像协同显著性检测方法

Publications (2)

Publication Number Publication Date
CN107169417A true CN107169417A (zh) 2017-09-15
CN107169417B CN107169417B (zh) 2021-01-12

Family

ID=59849087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710250065.5A Active CN107169417B (zh) 2017-04-17 2017-04-17 基于多核增强和显著性融合的rgbd图像协同显著性检测方法

Country Status (1)

Country Link
CN (1) CN107169417B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909079A (zh) * 2017-10-11 2018-04-13 天津大学 一种协同显著性检测方法
CN108629286A (zh) * 2018-04-03 2018-10-09 北京航空航天大学 一种基于主观感知显著模型的遥感机场目标检测方法
CN108805136A (zh) * 2018-03-26 2018-11-13 中国地质大学（武汉） 一种面向水面污染物监测的显著性检测方法
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN110111295A (zh) * 2018-02-01 2019-08-09 北京中科奥森数据科技有限公司 一种图像协同显著性检测方法及装置
CN110827211A (zh) * 2019-10-10 2020-02-21 杭州智团信息技术有限公司 一种图像细节增强方法
US20200272861A1 (en) * 2017-08-03 2020-08-27 Tohoku University Method for calculating clustering evaluation value, and method for determining number of clusters
CN112329810A (zh) * 2020-09-28 2021-02-05 北京师范大学 一种基于显著性检测的图像识别模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
CN104835146A (zh) * 2015-04-14 2015-08-12 上海大学 基于深度信息和图切割的立体图像中显著对象分割方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
US20160253392A1 (en) * 2013-12-03 2016-09-01 International Business Machines Corporation Recommendation Engine using Inferred Deep Similarities for Works of Literature

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253392A1 (en) * 2013-12-03 2016-09-01 International Business Machines Corporation Recommendation Engine using Inferred Deep Similarities for Works of Literature
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
CN104835146A (zh) * 2015-04-14 2015-08-12 上海大学 基于深度信息和图切割的立体图像中显著对象分割方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
向训文: "RGB-D图像显著性检测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272861A1 (en) * 2017-08-03 2020-08-27 Tohoku University Method for calculating clustering evaluation value, and method for determining number of clusters
US11610083B2 (en) * 2017-08-03 2023-03-21 Tohoku University Method for calculating clustering evaluation value, and method for determining number of clusters
CN107909079A (zh) * 2017-10-11 2018-04-13 天津大学 一种协同显著性检测方法
CN107909079B (zh) * 2017-10-11 2021-06-04 天津大学 一种协同显著性检测方法
CN110111295B (zh) * 2018-02-01 2021-06-11 北京中科奥森数据科技有限公司 一种图像协同显著性检测方法及装置
CN110111295A (zh) * 2018-02-01 2019-08-09 北京中科奥森数据科技有限公司 一种图像协同显著性检测方法及装置
CN108805136A (zh) * 2018-03-26 2018-11-13 中国地质大学（武汉） 一种面向水面污染物监测的显著性检测方法
CN108629286B (zh) * 2018-04-03 2021-09-28 北京航空航天大学 一种基于主观感知显著模型的遥感机场目标检测方法
CN108629286A (zh) * 2018-04-03 2018-10-09 北京航空航天大学 一种基于主观感知显著模型的遥感机场目标检测方法
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN108961220B (zh) * 2018-06-14 2022-07-12 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN110827211A (zh) * 2019-10-10 2020-02-21 杭州智团信息技术有限公司 一种图像细节增强方法
CN110827211B (zh) * 2019-10-10 2023-11-21 杭州智团信息技术有限公司 一种图像细节增强方法
CN112329810A (zh) * 2020-09-28 2021-02-05 北京师范大学 一种基于显著性检测的图像识别模型训练方法及装置
CN112329810B (zh) * 2020-09-28 2023-07-11 北京师范大学 一种基于显著性检测的图像识别模型训练方法及装置

Also Published As

Publication number Publication date
CN107169417B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN107169417A (zh) 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
Zhang et al. Fully convolutional adaptation networks for semantic segmentation
CN109583425B (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN106997597B (zh) 一种基于有监督显著性检测的目标跟踪方法
CN105844295B (zh) 一种基于颜色模型与运动特征的视频烟雾精细分类方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN106504064A (zh) 基于深度卷积神经网络的服装分类与搭配推荐方法及系统
Grcić et al. Dense open-set recognition with synthetic outliers generated by real nvp
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN103119625B (zh) 一种视频人物分割的方法及装置
CN104598924A (zh) 一种目标匹配检测方法
CN106934386A (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
CN104021381B (zh) 一种基于多层级特征的人体动作识别方法
CN111797814A (zh) 基于通道融合和分类器对抗的无监督跨域动作识别方法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN113239801B (zh) 基于多尺度特征学习和多级域对齐的跨域动作识别方法
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN106682684A (zh) 一种基于k均值聚类的目标识别方法
CN109299653A (zh) 一种基于改进完备局部三值模式的人脸表情特征提取方法
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
CN111091059A (zh) 一种生活垃圾塑料瓶分类中的数据均衡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant