CN108388901B - 基于空间-语义通道的协同显著目标检测方法 - Google Patents

基于空间-语义通道的协同显著目标检测方法 Download PDF

Info

Publication number
CN108388901B
CN108388901B CN201810112593.9A CN201810112593A CN108388901B CN 108388901 B CN108388901 B CN 108388901B CN 201810112593 A CN201810112593 A CN 201810112593A CN 108388901 B CN108388901 B CN 108388901B
Authority
CN
China
Prior art keywords
image
collaborative
pixels
significant
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810112593.9A
Other languages
English (en)
Other versions
CN108388901A (zh
Inventor
杨淑媛
焦李成
杜娟妮
冯志玺
张凯
王士刚
王喆
刘志
胡滔
马宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810112593.9A priority Critical patent/CN108388901B/zh
Publication of CN108388901A publication Critical patent/CN108388901A/zh
Application granted granted Critical
Publication of CN108388901B publication Critical patent/CN108388901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间‑语义通道的协同显著目标检测方法。本发明通过模拟人类视觉，根据图像间的协同辅助规则，对待检测的群组图像中彩色图和图像深度图，进行空间协同和语义协同双通道并行处理，利用协同显著性先验获得两种初步协同显著图，融合两个初步协同显著图，得到最终的协同显著图，实现复杂场景群组图像中共同的显著目标的检测，有效地突出了群组图像的共同显著目标并且抑制了复杂的背景噪声，使得本发明具有较好的检测结果，提高了检测的准确率和召回率。

Description

基于空间-语义通道的协同显著目标检测方法
技术领域
本发明属于计算机领域，更进一步涉及计算机视觉技术领域中的一种基于空间-语义通道的协同显著目标检测方法。本发明可以通过计算机模拟人类视觉，根据待检测的目标图像间的协同辅助规则，从复杂场景的待检测图像组中，检测出所有待检测图像中计算机模拟的人类视觉所关注的共同显著的目标区域。
背景技术
近年来，协同显著目标检测成为计算机视觉领域的新兴研究热点，其研究主要致力于通过计算机模拟人类视觉在多幅图像中获得最吸引视觉注意的共同显著的目标区域。经过协同显著目标检测，得到共同的显著目标区域，这样就能够将有限的计算资源分配至图像中的共同的显著目标区域进行重点分析和处理，从而节省了计算和存储资源，提高计算机的处理效率。协同显著目标检测通常应用于目标协同分割、目标协同定位和视频显著目标检测等领域。
苏州大学在其申请的专利文献“基于超像素聚类的协同显著性检测方法”(专利申请号：CN201710283829.0，公开号：CN107103326A)中公开一种基于超像素聚类的协同显著性检测方法。该方法的具体步骤是：1.对每幅图像中前景目标较为单一的图像组数据，构建三层的高斯金字塔，其中，第一层图像由原始图像进行高斯平滑得到，第二层图像由第一层图像降采样后进行高斯平滑得到，第三层图像由第二层图像降采样后进行高斯平滑得到；2.利用基于内容感知的超像素分割方法对每层图像进行超像素分割；3.对超像素块提取颜色、纹理和坐标特征，获得不同尺度上的特征信息；4.使用聚类的方法进一步将超像素块分类，通过计算对比度测度、重复率测度以及位置测度来描述协同显著性，根据3个测度的乘积得到每个尺度上的弱协同显著图；5.对不同尺度超像素处理的结果融合得到最终的协同显著图。该方法时间复杂度以及计算复杂度较低，在前景较为简单的数据集上效果良好。但是，该方法仍然存在的不足之处是，只在超像素层面处理导致检测出的目标区域存在不完整的问题，并且该方法提取的颜色、纹理和坐标这些基本特征不能有效处理目标和背景的颜色和纹理相似的情况，不能排除复杂背景的干扰而突出该组图像的协同显著目标。
Huazhu Fu等人在其发表的论文“Object-based RGBD image co-segmentationwith mutex constraint”(Computer Vision and Pattern Recognition,CVPR 2015 IEEEConference on)中公开了一种基于低秩约束的自适应加权融合的RGBD协同显著目标检测方法。该方法的具体步骤是：1.对每组图像的N张图像利用M种现有的显著目标检测方法进行检测；2.将M种方法得到的初步显著图作为矩阵元素拼成一个M×N的具有低秩性的大矩阵；3.通过对该矩阵进行低秩分解，得到每种方法得到的初步显著图的权重；4.对M种结果进行自适应加权融合即得到最终的协同显著图。该方法通过低秩约束框架合理利用现有算法结果，进行自适应融合，可以得到较好的协同显著图。但是，该方法仍然存在的不足之处是，该方法的精度完全依赖于初始显著图，而初始显著图的获取需要用多种现有技术中的传统方法，耗费时间过大，如果初始显著图效果不好，还会影响该方法对群组图像中协同显著目标的检测精度。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于空间-语义通道的协同显著目标检测方法，从复杂场景的待检测图像组中检测共同显著的目标区域。
实现本发明的具体思路是：对待检测的群组图像中彩色图像和深度图像，进行空间协同和语义协同双通道并行处理。在空间协同处理通道，对待测图像组的像素进行聚类，对聚类结果计算显著值和协同值，相乘融合后获得空间协同显著图；在语义协同处理通道，对待测图像组的潜在目标区域进行聚类，对聚类结果计算协同显著值，得到语义协同显著图；融合空间协同显著图与语义协同显著图，得到最终的协同显著图，实现复杂场景群组图像中共同显著目标的检测，对杂乱背景完成了有效抑制。
本发明的具体步骤如下：
(1)提取图像像素级特征：
(1a)输入待检测的群组图像的彩色图像和深度图像，每组图像包含M幅图像，M表示大于等于2的正整数，每幅图的尺寸为a行b列,共有a×b个像素；
(1b)从每幅彩色图像中提取每个像素的3维红绿蓝RGB颜色特征以及每个像素相对于图像左上角像素的行和列的序号；
(1c)从与每幅彩色图像对应的深度图像中提取每个像素的1维深度值；
(1d)将3维红绿蓝RGB颜色特征、行和列的2维序号特征、1维深度值拼接在一起，得到每个像素的6维特征；
(1e)将图像的所有像素特征按列拉成一个(a×b)×6的特征矩阵；
(1f)将待测图像组中所有图像的特征矩阵，按照纵向排列，得到待检测的群组图像的特征矩阵；
(2)对像素进行聚类：
采用K-means聚类方法，对待检测的群组图像的特征矩阵中所有像素的特征进行K聚类处理，得到K类像素对应的特征中心，以及每一类所包含的所有像素的位置坐标，K取3M和20相比的最小值；
(3)计算每一类的显著值：
(3a)利用特征对比度FCP公式，计算聚类后每一类像素的特征中心与其他每一类像素的特征中心的特征对比度FCP，将该特征对比度FCP作为第一种显著值；
(3b)利用深度偏置DBP公式，计算聚类后每一类的所有像素的深度特征的深度偏置DBP，将该深度偏置DBP作为第二种显著值；
(3c)利用空间偏置SBP公式，计算聚类后的每一类包含的所有像素的位置特征的空间偏置SBP，将该空间偏置SBP得到第三种显著值；
(4)计算全局分布度GCP：
利用全局分布度GCP公式，计算聚类后的每一类包含的所有像素在待测图像组中的全局分布度GCP，将全局分布度GCP作为协同值；
(5)获得空间协同处理通道的空间协同显著图：
(5a)将每一类的三种显著值和协同值相乘，得到融合后的每一类的协同显著值；
(5b)将每一类的协同显著值作为该类包含的每一个像素的显著值，得到空间协同处理通道的空间协同显著值；
(5c)将待测图像组中每幅图像中所有像素的空间协同显著值，组成与待测图像组中每幅图像对应的空间协同显著图；
(6)提取图像区域级特征：
(6a)采用稀疏稠密重建误差的显著检测方法，得到待检测群组图像中每幅图的单一显著值；
(6b)利用gPb-owt-ucm方法，将待检测群组图像中的每幅彩色图像分割成多个区域；
(6c)求每个区域所包含的所有像素的单一显著值的平均值，将该平均值作为该区域的显著值；
(6d)将所有区域中显著值大于0.4的区域，作为潜在目标区域；
(6e)提取每一个潜在目标区域的特征，得到待检测的群组图像的潜在目标区域的特征矩阵；
(7)对区域进行聚类：
采用K-means聚类方法，对待检测的群组图像的潜在目标区域的特征矩阵进行聚类处理，得到L类区域对应的特征中心以及每一类所包含的区域所在图像的序号；
(8)获得每一类区域的协同显著值：
(8a)用每一类区域涉及的图像数除以待测图像组的图像总数，得到每一类区域的深度范围一致性DRP；
(8b)将每一类区域的深度范围一致性与该类区域的平均显著值相乘，得到每一类区域的协同显著值；
(9)获得语义协同处理通道的语义协同显著图：
(9a)将每一类区域的协同显著值作为该类包含的每一个像素的显著值，得到语义协同处理通道的语义协同显著值；
(9b)将待测图像组中每幅图像中所有像素的语义协同显著值，组成与待测图像组中每幅图像对应的语义协同显著图；
(10)获得协同显著图：
(10a)将待测图像组中每幅图像的空间协同显著图与语义协同显著图的每一个像素的协同显著值对应相加，得到融合后的每一个像素的协同显著值；
(10b)将待测图像组中每幅图像中所有像素的协同显著值，组成与待测图像组中每幅图像对应的协同显著图，协同显著图中最亮的区域就是待测图像组中共同的显著目标区域。
本发明与现有技术相比，具有以下优点：
第一，本发明对待检测的群组图像的潜在目标区域的特征矩阵进行聚类处理，获得每一类区域的协同显著值，将每一类区域的协同显著值作为该类包含的每一个像素的显著值，得到语义协同处理通道的语义协同显著值。克服了现有技术的精度完全依赖于初始显著图，耗费时间过大的缺点，使得本发明使得协同显著目标的检测结果更准确，计算更简单。
第二，本发明用每一类区域涉及的图像数除以待测图像组的图像总数，得到每一类区域的深度范围一致性DRP，将每一类区域的深度范围一致性DRP与该类区域的平均显著值相乘，得到每一类区域的协同显著值。本发明充分利用图像的深度信息，克服了现有技术中提取的颜色、纹理和坐标这些基本特征不能有效区分颜色和纹理相似的目标和背景的缺点，使得待测图像组中的共同显著目标被充分突出，抑制了复杂背景，提高了检测的准确率。
第三，本发明将待测图像组中每幅图像的空间协同显著图与语义协同显著图的每一个像素的协同显著值对应相加，得到融合后的每一个像素的协同显著值，这一双通道融合的操作，克服了现有技术只在超像素层面处理导致检测出的目标区域存在不完整的问题，使得检测出的共同目标区域更精准。
附图说明
图1为本发明的流程图；
图2为本发明仿真实验中的待测图像组的彩色图；
图3为本发明仿真实验中的待测图像组的深度图；
图4为本发明仿真实验中的待测图像组的真值图；
图5为本发明仿真实验中的空间协同显著图；
图6为本发明仿真实验中的语义协同显著图；
图7为本发明仿真实验中的最终协同显著图；
图8为本发明仿真实验在RGBD_coseg数据集上与现有技术的结果评价指标的对比图。
具体实施方式
下面结合附图对发明做进一步的描述。
参照附图1，对本发明的具体步骤描述如下。
步骤1，提取图像像素级特征。
输入待检测的群组图像的彩色图像和深度图像，每组图像包含M幅图像，M表示大于等于2的正整数，每幅图的尺寸为a行b列,共有a×b个像素。
从每幅彩色图像中提取每个像素的3维红绿蓝RGB颜色特征以及每个像素相对于图像左上角像素的行和列的序号；从与每幅彩色图像对应的深度图像中提取每个像素的1维深度值。
将3维红绿蓝RGB颜色特征、行和列的2维序号特征、1维深度值拼接在一起，得到每个像素的6维特征；将图像的所有像素特征按列拉成一个(a×b)×6的特征矩阵；将待测图像组中所有图像的特征矩阵，按照纵向排列，得到待检测的群组图像的特征矩阵。
步骤2，对像素进行聚类。
采用K-means聚类方法，对待检测的群组图像的特征矩阵中所有像素的特征进行K聚类处理，得到K类像素对应的特征中心，以及每一类所包含的所有像素的位置坐标，K取3M和20相比的最小值。
步骤3，计算每一类的显著值。
按照下式，计算聚类后每一类像素的特征中心与其他每一类像素的特征中心的特征对比度FCP，将该特征对比度FCP作为第一种显著值，特征对比度越大，显著性越高：
Figure GDA0002435756730000061
其中，ωki表示第k类像素的特征中心与第i类像素的特征中心的特征对比度FCP，∑表示累计求和操作，ni表示第i类像素的像素总数，N表示待测群组图像的像素总数，||·||2表示求欧式距离操作，uk和ui分别表示第k类和第i类的特征中心。
按照下式，计算聚类后每一类的所有像素的深度特征的深度偏置DBP方面的显著性，将该深度偏置DBP作为第二种显著值，表示深度值越小的区域越吸引人类视觉注意，其显著性越高：
Figure GDA0002435756730000071
其中，ωc表示第c类所有像素的深度特征的深度偏置DBP，nc表示第c类像素的总数，Nj表示第c类像素中来自第j个图像的像素总数，
Figure GDA0002435756730000072
表示第j个图像中最大深度值，
Figure GDA0002435756730000073
表示第j个图像中的第m个像素的深度值。
按照下式，计算聚类后的每一类包含的所有像素的位置特征的空间偏置SBP，将该空间偏置SBP作为第三种显著值，表示越靠近图像中心以及离相机越近的区域越吸引人眼注意，显著性越高：
Figure GDA0002435756730000074
其中，ωe表示第e类包含的所有像素的空间偏置SBP，ne表示第e类包含的像素数目，∑表示连加操作，Nj表示第e类所包含的像素点中来自图像j的像素的数目，N(·)表示采用高斯核函数进行归一化操作，||·||2表示求欧式距离操作，
Figure GDA0002435756730000075
表示第j个图像的第n个像素的坐标，oj表示第j个图像的中心坐标。
步骤4，计算全局分布度GCP。
按照下式，计算聚类后的每一类包含的所有像素在待测图像组中的全局分布度GCP，将该全局分布度GCP作为协同值，表示在群组图像中分布越均匀的类越有可能是共同的显著目标区域，协同性越高：
Figure GDA0002435756730000076
其中，ωg表示包含的所有像素在待测图像组中的全局分布度GCP，var(·)表示求方差操作，
Figure GDA0002435756730000077
表示第g类所包含的像素中来自第j个图像的像素的数目与第g类所包含的像素数的比值；
步骤5，获得空间协同处理通道的空间协同显著图。
将每一类的三种显著值和协同值相乘，得到融合后的每一类的协同显著值；将每一类的协同显著值作为该类包含的每一个像素的显著值，得到空间协同处理通道的空间协同显著值；将待测图像组中每幅图像中所有像素的空间协同显著值，组成与待测图像组中每幅图像对应的空间协同显著图。
步骤6，提取图像区域级特征。
采用稀疏重建误差的显著检测方法，得到待检测群组图像中每幅图的单一显著值，步骤如下：
第1步，对待测图像组的每幅图进行超像素分割；
第2步，将图像四周最外层的一圈的超像素作为背景超像素；
第3步，提取每个超像素的RGB红绿蓝特征以及位置坐标，得到每个超像素的特征向量；
第4步：将背景超像素的特征向量按列拼接在一起，得到背景模板字典；
第5步：根据背景模板计算每个超像素的稀疏重建误差和稠密重建误差；
第6步：将稀疏重建误差和稠密重建误差相加，得到每个超像素的显著值；
第7步：将超像素的显著值进行高斯平滑，得到每个像素的显著值。
利用gPb-owt-ucm方法，将待检测群组图像中的每幅彩色图像分割成多个区域，步骤如下：利用gPb-owt-ucm工具包对待测图像组进行处理，得到每幅图像的轮廓图；对每幅图像的轮廓图进行联通域合并，得到多个联通域。
求每个区域所包含的所有像素的单一显著值的平均值，将该平均值作为该区域的显著值。将所有区域中显著值大于0.4的区域，作为潜在目标区域。
提取每一个潜在目标区域的特征，得到待检测的群组图像的潜在目标区域的特征矩阵，具体步骤如下：
第1步，将每个潜在目标区域的像素总数，作为该潜在目标区域的1维面积特征；
第2步，从每幅彩色图像中提取潜在目标区域中每个像素的3维红绿蓝RGB颜色特征，分别计算所有像素的红、绿、蓝的平均值，得到潜在目标区域的3维红绿蓝RGB颜色特征；
第3步，从与每幅彩色图像对应的深度图像中获得每个潜在目标区域中的最大深度值和最小深度值，两者之差作为该潜在目标区域的1维深度范围特征；
第4步，将潜在目标区域的1维面积特征、3维红绿蓝RGB颜色特征、1维深度范围特征拼接在一起，得到潜在目标区域的5维特征；
第5步，将待测图像组中所有潜在目标区域的特征向量，按照纵向排列，得到待检测的群组图像的潜在目标区域的特征矩阵。
步骤7，对区域进行聚类。
采用K-means聚类方法，对待检测的群组图像的潜在目标区域的特征矩阵进行聚类处理，得到L类区域对应的特征中心，以及每一类所包含的区域所在图像的序号。
步骤8，获得每一类区域的协同显著值。
用每一类区域涉及的图像数除以待测图像组的图像总数，得到每一类区域的深度范围一致性DRP；将每一类区域的深度范围一致性DRP与该类区域的平均显著值相乘，得到每一类区域的协同显著值。
步骤9，获得语义协同处理通道的语义协同显著图。
将每一类区域的协同显著值作为该类包含的每一个像素的显著值，得到语义协同处理通道的语义协同显著值；将待测图像组中每幅图像中所有像素的语义协同显著值，组成与待测图像组中每幅图像对应的语义协同显著图。
步骤10，获得协同显著图。
将待测图像组中每幅图像的空间协同显著图与语义协同显著图的每一个像素的协同显著值对应相加，得到融合后的每一个像素的协同显著值；将待测图像组中每幅图像中所有像素的协同显著值，组成与待测图像组中每幅图像对应的协同显著图，协同显著图中最亮的区域就是待测图像组中共同的显著目标区域。
本发明的效果可以通过以下仿真实验进一步说明。
1.仿真实验条件。
本发明的仿真实验是在CPU为Intel(R)Xeon(R)，主频为2.40GHz，内存为16G的WINDOWS 7系统上采用软件MATLAB R2015b进行仿真。本发明的仿真实验是在具有挑战性的公开数据集RGBD_coseg上进行的。该数据集RGBD_coseg为自然图像，图像内容比较复杂。包含16组场景，共183幅图，每一幅图都有其对应的彩色图像和深度图像。每幅图像对应的真值图均是基于像素级别的人为标定而成。
本发明从数据集RGBD_coseg中选择了一组待测图组作为本发明在仿真实验中的图像组的彩色图像(图片尺寸为480×640像素)，如附图2中的图2(a)、图2(b)、图2(c)、图2(d)所示。
从数据集RGBD_coseg中选择了一组待测图组作为本发明在仿真实验中的图像组的深度图像(图片尺寸为480×640像素)，如附图3中的图3(a)、图3(b)、图3(c)、图3(d)所示。
从数据集RGBD_coseg中选择了一组待测图组作为本发明在仿真实验中的图像组的真值图(图片尺寸为480×640像素)，如附图4中的图4(a)、图4(b)、图4(c)、图4(d)所示。
2.仿真实验内容及分析。
附图5是本发明在仿真实验中得到的空间协同显著图。其中，图5(a)是对附图2中的图2(a)和附图3中的图3(a)利用本发明的空间协同处理获得的空间协同显著图；附图5中的图5(b)是对附图2中的图2(b)和附图3中的图3(b)利用本发明的空间协同处理获得的空间协同显著图；附图5中的图5(c)是对附图2中的图2(c)和附图3中的图3(c)利用本发明的空间协同处理获得的空间协同显著图；附图5中的图5(d)是对附图2中的图2(d)和附图3中的图3(d)利用本发明的空间协同处理获得的空间协同显著图；
附图6是本发明在仿真实验中得到的空间协同显著图。其中，图6(a)是对附图2中的图2(a)和附图3中的图3(a)利用本发明的协同处理获得的语义协同显著图；附图6中的图6(b)是对附图2中的图2(b)和附图3中的图3(b)利用本发明的协同处理获得的语义协同显著图；附图6中的图6(c)是对附图2中的图2(c)和附图3中的图3(c)利用本发明的协同处理获得的语义协同显著图；附图6中的图6(d)是对附图2中的图2(d)和附图3中的图3(d)利用本发明的协同处理获得的语义协同显著图；
附图7是本发明在仿真实验中得到的最终协同显著图。其中，图7(a)是对附图5中的图5(a)和附图6中的图6(a)利用本发明进行融合得到的最终协同显著图；附图7中的图7(b)是对附图5中的图5(b)和附图6中的图6(b)利用本发明进行融合得到的最终协同显著图；附图7中的图7(c)是对附图5中的图5(c)和附图6中的图6(c)利用本发明进行融合得到的最终协同显著图；附图7中的图7(d)是对附图5中的图5(d)和附图6中的图6(d)利用本发明进行融合得到的最终协同显著图。
本发明的仿真实验结果分析：
为了证明本发明的效果，现将本发明的方法与现有五种方法在数据集RGBD_coseg上的协同显著目标检测的结果进行对比，现有方法分别是论文“Depth Enhanced SaliencyDetection Method”中公开的深度辅助DE方法，论文“Object-based RGBD image co-segmentation with mutex constraint”中公开的融合FFS方法，论文“An Iterative Co-Saliency Framework for RGBD”中公开的协同显著迭代ICF方法，论文“Co-saliencyDetection for RGBD Images Based on Multi-constraint Feature Matching andCross LabelPropagation”中公开的多特征匹配及传播MFMC方法，论文“Cluster-BasedCo-Saliency Detection”中公开的聚类Cluster方法。
对本发明以及5种现有技术方法在数据集RGBD_coseg上的协同显著目标检测的结果图，绘制准确率-召回率PR曲线以及准确率-召回率-F值柱状图。
在本发明的仿真实验汇总时，使用准确率-召回率PR曲线，其绘制方法如下：
对任意显著性检测方法，将其产生的特征显著图用阈值τ∈[0,255]进行分割，然后比较分割后的二值图与真值图，从而计算每一幅特征显著图在256个阈值下的准确率和召回率。准确率为分割后二值图和真值图目标重叠区域的面积与二值图目标面积的比值，召回率为重叠区域的面积与真值目标面积的比值。计算整个图像库中所有图像特征显著图的256个平均准确率和召回率，并在横轴为召回率、纵轴为准确率的坐标平面上，将它们成对地描述成256个点，将这些点平滑地连接起来，便形成了准确率-召回率曲线。
在仿真实验中用到了准确率-召回率-F值柱状图，其绘制方法如下：
对每种显著性检测算法，对整个图像库的所有特征显著图，分别计算它们的平均准确率和平均召回率，按照下式，计算F值：
Figure GDA0002435756730000111
其中β2表示用于控制准确率和召回率重要程度的参数，β2取值为0.3，P表示平均准确率，R平均召回率。将计算出的平均准确率、平均召回率和F值描绘成柱状图。
附图8为本发明与现有技术在RGBD_coseg数据集上的协同显著目标检测的结果的对比图。如图8(a)为本发明与现有五种方法在数据集RGBD_coseg上的准确率-召回率PR对比曲线，图8(a)中的横轴Recall表示召回率，纵轴Precision表示准确率。六条曲线中，实线表示本发明方法的PR曲线，虚线表示融合FFS方法的PR曲线，“点线”线表示多特征匹配及传播MFMC方法的PR曲线，小圆圈标记的曲线表示聚类Cluster方法的PR曲线，实心黑点表示深度辅助DE方法的PR曲线，加号标记的曲线表示协同显著迭代ICF的PR曲线。
图8(b)是准确率-召回率-F值柱状图，图8(b)中的横坐标标识了本发明的方法和五种现有技术的方法，纵坐标表示了每种方法的准确率Precision、召回率Recall以及F值。其中竖线填充的柱状图表示准确率Precision，横线填充的柱状图表示召回率Recall，方格填充的柱状图表示F值。
一个好的协同显著目标检测方法需要使得准确率、召回率和F值足够大，体现在图8(a)的PR曲线上就是曲线越接近右上角，检测的越为准确。体现在图8(b)的准确率-召回率-F值柱状图中是每个方法对应的三个条柱分别越高越好。从图8(a)可看出本发明的方法的PR曲线最靠近右上方，从图8(b)可以看出，本发明的方法在准确率、召回率和F值上均表现最优。
从本发明与现有技术在RGBD_coseg数据集上的协同显著目标检测的结果的对比图，说明本发明在检测复杂场景群组图像中共同显著目标时非常有效，突出了共同的显著目标区域并且抑制了背景噪声，使得本发明具有较好的检测结果，提高了检测的准确率和召回率。

Claims (8)

1.一种基于空间-语义通道的协同显著目标检测方法，其特征在于，该方法是对待检测的群组图像中彩色图像和深度图像，完成空间协同和语义协同双通道并行处理，在每个通道分别对像素聚类和对区域进行聚类，利用每个通道的协同显著性先验分别对该通道的聚类结果进行处理，获得空间协同显著图和语义协同显著图，融合两个初步协同显著图得到最终协同显著图，实现复杂场景群组图像中共同显著目标的检测；该方法具体步骤包括如下：
(1)提取图像像素级特征：
(1a)输入待检测的群组图像的彩色图像和深度图像，每组图像包含M幅图像，M表示大于等于2的正整数，每幅图的尺寸为a行b列,共有a×b个像素；
(1b)从每幅彩色图像中提取每个像素的3维红绿蓝RGB颜色特征，以及每个像素相对于图像左上角像素的行和列的序号；
(1c)从与每幅彩色图像对应的深度图像中提取每个像素的1维深度值；
(1d)将3维红绿蓝RGB颜色特征、行和列的2维序号特征、1维深度值拼接在一起，得到每个像素的6维特征；
(1e)将图像的所有像素特征按列拉成一个(a×b)×6的特征矩阵；
(1f)将待测图像组中所有图像的特征矩阵，按照纵向排列，得到待检测的群组图像的特征矩阵；
(2)对像素进行聚类：
采用K-means聚类方法，对待检测的群组图像的特征矩阵中所有像素的特征进行K聚类处理，得到K类像素对应的特征中心，以及每一类所包含的所有像素的位置坐标，K取3M和20之间的最小值；
(3)计算每一类的显著值：
(3a)利用特征对比度FCP公式，计算聚类后每一类像素的特征中心与其他每一类像素的特征中心的特征对比度FCP，将该特征对比度FCP作为第一种显著值；
(3b)利用深度偏置DBP公式，计算聚类后每一类的所有像素的深度特征的深度偏置DBP，将该深度偏置DBP作为第二种显著值；
(3c)利用空间偏置SBP公式，计算聚类后的每一类包含的所有像素的位置特征的空间偏置SBP，将该空间偏置SBP作为第三种显著值；
(4)计算全局分布度GCP：
利用全局分布度GCP公式，计算聚类后的每一类包含的所有像素在待测图像组中的全局分布度GCP，将该全局分布度GCP作为协同值；
(5)获得空间协同处理通道的空间协同显著图：
(5a)将每一类的三种显著值和协同值相乘，得到融合后的每一类的协同显著值；
(5b)将每一类的协同显著值作为该类包含的每一个像素的显著值，得到空间协同处理通道的空间协同显著值；
(5c)将待测图像组中每幅图像中所有像素的空间协同显著值，组成与待测图像组中每幅图像对应的空间协同显著图；
(6)提取图像区域级特征：
(6a)采用稀疏稠密重建误差的显著检测方法，得到待检测群组图像中每幅图的单一显著值；
(6b)利用gPb-owt-ucm方法，将待检测群组图像中的每幅彩色图像分割成多个区域；
(6c)求每个区域所包含的所有像素的单一显著值的平均值，将该平均值作为该区域的显著值；
(6d)将所有区域中显著值大于0.4的区域，作为潜在目标区域；
(6e)提取每一个潜在目标区域的特征，得到待检测的群组图像的潜在目标区域的特征矩阵；
(7)对区域进行聚类：
采用K-means聚类方法，对待检测的群组图像的潜在目标区域的特征矩阵进行聚类处理，得到L类区域对应的特征中心以及每一类所包含的区域所在图像的序号；
(8)获得每一类区域的协同显著值：
(8a)用每一类区域涉及的图像数除以待测图像组的图像总数，得到每一类区域的深度范围一致性DRP；
(8b)将每一类区域的深度范围一致性与该类区域的平均显著值相乘，得到每一类区域的协同显著值；
(9)获得语义协同处理通道的语义协同显著图：
(9a)将每一类区域的协同显著值作为该类包含的每一个像素的显著值，得到语义协同处理通道的语义协同显著值；
(9b)将待测图像组中每幅图像中所有像素的语义协同显著值，组成与待测图像组中每幅图像对应的语义协同显著图；
(10)获得协同显著图：
(10a)将待测图像组中每幅图像的空间协同显著图与语义协同显著图的每一个像素的协同显著值对应相加，得到融合后的每一个像素的协同显著值；
(10b)将待测图像组中每幅图像中所有像素的协同显著值，组成与待测图像组中每幅图像对应的协同显著图，协同显著图中最亮的区域就是待测图像组中共同的显著目标区域。
2.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(3a)中所述的特征对比度FCP公式如下：
Figure FDA0002435756720000031
其中，ωki表示第k类像素的特征中心与第i类像素的特征中心的特征对比度FCP，∑表示累计求和操作，ni表示第i类像素的像素总数，N表示待测群组图像的像素总数，||·||2表示求欧式距离操作，uk和ui分别表示第k类和第i类的特征中心。
3.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(3b)中所述深度偏置DBP公式如下：
Figure FDA0002435756720000041
其中，ωc表示第c类所有像素的深度特征的深度偏置DBP，nc表示第c类像素的总数，Nj表示第c类像素中来自第j个图像的像素总数，
Figure FDA0002435756720000042
表示第j个图像中最大深度值，
Figure FDA0002435756720000043
表示第j个图像中的第m个像素的深度值。
4.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(3c)中所述空间偏置SBP公式如下：
Figure FDA0002435756720000044
其中，ωe表示第e类包含的所有像素的空间偏置，ne表示第e类包含的像素数目，∑表示连加操作，Nj表示第e类所包含的像素点中来自图像j的像素的数目，N(·)表示采用高斯核函数进行归一化操作，||·||2表示求欧式距离操作，
Figure FDA0002435756720000047
表示第j个图像的第n个像素的坐标，oj表示第j个图像的中心坐标。
5.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(4)中所述全局分布度GCP公式如下：
Figure FDA0002435756720000045
其中，ωg表示包含的所有像素在待测图像组中的全局分布度GCP，var(·)表示求方差操作，
Figure FDA0002435756720000046
表示第g类所包含的像素中来自第j个图像的像素的数目与第g类所包含的像素数的比值。
6.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(6a)中所述的稀疏稠密重建误差的显著检测方法，步骤如下：
第一步，对待测图像组的每幅图进行超像素分割；
第二步，将图像四周最外层的一圈的超像素作为背景超像素；
第三步，提取每个超像素的RGB红绿蓝特征以及位置坐标，得到每个超像素的特征向量；
第四步：将背景超像素的特征向量按列拼接在一起，得到背景模板字典；
第五步：根据背景模板计算每个超像素的稀疏重建误差和稠密重建误差；
第六步：将稀疏重建误差和稠密重建误差相加，得到每个超像素的显著值；
第七步：将超像素的显著值进行高斯平滑，得到每个像素的显著值。
7.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(6b)中所述的gPb-owt-ucm方法，步骤如下：
第一步，利用gPb-owt-ucm工具包对待测图像组进行处理，得到每幅图像的轮廓图；
第二步，对每幅图像的轮廓图进行联通域合并，得到多个联通域。
8.根据权利要求1所述的基于空间-语义通道的协同显著目标检测方法，其特征在于，步骤(6e)中所述的提取每一个潜在目标区域的特征，得到待测图像组的特征矩阵的步骤如下：
第一步，将每个潜在目标区域的像素总数，作为该潜在目标区域的1维面积特征；
第二步，从每幅彩色图像中提取潜在目标区域中每个像素的3维红绿蓝RGB颜色特征，分别计算所有像素的红、绿、蓝的平均值，得到潜在目标区域的3维红绿蓝RGB颜色特征；
第三步，从与每幅彩色图像对应的深度图像中获得每个潜在目标区域中的最大深度值和最小深度值，两者之差作为该潜在目标区域的1维深度范围特征；
第四步，将潜在目标区域的1维面积特征、3维红绿蓝RGB颜色特征、1维深度范围特征拼接在一起，得到潜在目标区域的5维特征；
第五步，将待测图像组中所有潜在目标区域的特征向量，按照纵向排列，得到待检测的群组图像的潜在目标区域的特征矩阵。
CN201810112593.9A 2018-02-05 2018-02-05 基于空间-语义通道的协同显著目标检测方法 Active CN108388901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810112593.9A CN108388901B (zh) 2018-02-05 2018-02-05 基于空间-语义通道的协同显著目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810112593.9A CN108388901B (zh) 2018-02-05 2018-02-05 基于空间-语义通道的协同显著目标检测方法

Publications (2)

Publication Number Publication Date
CN108388901A CN108388901A (zh) 2018-08-10
CN108388901B true CN108388901B (zh) 2020-06-16

Family

ID=63074354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810112593.9A Active CN108388901B (zh) 2018-02-05 2018-02-05 基于空间-语义通道的协同显著目标检测方法

Country Status (1)

Country Link
CN (1) CN108388901B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712105B (zh) * 2018-12-24 2020-10-27 浙江大学 一种结合彩色和深度信息的图像显著目标检测方法
CN109934112B (zh) * 2019-02-14 2021-07-13 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机
CN111369624B (zh) * 2020-02-28 2023-07-25 北京百度网讯科技有限公司 定位方法和装置
CN116994006B (zh) * 2023-09-27 2023-12-08 江苏源驶科技有限公司 一种融合图像显著性信息的协同显著性检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065136A (zh) * 2013-01-29 2013-04-24 中国电子科技集团公司第二十八研究所 一种基于视觉注意机制的sar图像协同目标识别方法
CN103345763A (zh) * 2013-06-25 2013-10-09 西安理工大学 一种基于多尺度可变块的运动注意力计算方法
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN107133955A (zh) * 2017-04-14 2017-09-05 大连理工大学 一种多层次结合的协同显著性检测方法
CN107358245A (zh) * 2017-07-19 2017-11-17 安徽大学 一种图像协同显著区域的检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153288A1 (fr) * 2012-04-10 2013-10-17 Cassidian Sas Procede permettant la fusion de croyances semantiques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065136A (zh) * 2013-01-29 2013-04-24 中国电子科技集团公司第二十八研究所 一种基于视觉注意机制的sar图像协同目标识别方法
CN103345763A (zh) * 2013-06-25 2013-10-09 西安理工大学 一种基于多尺度可变块的运动注意力计算方法
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN107133955A (zh) * 2017-04-14 2017-09-05 大连理工大学 一种多层次结合的协同显著性检测方法
CN107358245A (zh) * 2017-07-19 2017-11-17 安徽大学 一种图像协同显著区域的检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Deep Spatial-Semantic Attention for Fine-Grained Sketch-Based Image Retrieval;Jifei Song等;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;5552-5561 *
Image Co-segmentation via Saliency Co-fusion;Koteswar Rao Jerripothula等;《 IEEE Transactions on Multimedia》;20160930;第18卷(第9期);1896-1909 *
Learning Deep Feature Fusion for Group Images Classification;Wenting Zhao等;《CCF Chinese Conference on Computer Vision》;20171130;第772卷;566-576 *
Object-based RGBD image co-segmentation with mutex constraint;Huazhu Fu等;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151015;4428-4436 *
基于视觉显著性的目标检测技术研究;郭文波;《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》;20170215;第2017年卷(第02期);I138-3037 *
车辆行驶中的视觉显著目标检测及语义分析研究;缪小冬;《中国博士学位论文全文数据库 工程科技Ⅱ辑（月刊）》;20141215;第2014年卷(第12期);C034-106 *

Also Published As

Publication number Publication date
CN108388901A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
Jiao et al. Local stereo matching with improved matching cost and disparity refinement
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN104867135B (zh) 一种基于指导图像引导的高精度立体匹配方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN105913456A (zh) 基于区域分割的视频显著性检测方法
CN102982539B (zh) 一种基于图像复杂性的特征自适应图像共分割方法
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
Xue et al. Boundary-induced and scene-aggregated network for monocular depth prediction
CN104732534B (zh) 一种图像中显著目标的抠取方法及系统
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN106295657A (zh) 一种视频数据结构化过程中提取人体高度特征的方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN112329662A (zh) 基于无监督学习的多视角显著性估计方法
CN116071625A (zh) 深度学习模型的训练方法、目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant