CN113469175A - 一种结合图论与改进层次元胞自动机的图像显著性检测方法 - Google Patents
一种结合图论与改进层次元胞自动机的图像显著性检测方法 Download PDFInfo
- Publication number
- CN113469175A CN113469175A CN202110694812.0A CN202110694812A CN113469175A CN 113469175 A CN113469175 A CN 113469175A CN 202110694812 A CN202110694812 A CN 202110694812A CN 113469175 A CN113469175 A CN 113469175A
- Authority
- CN
- China
- Prior art keywords
- matrix
- boundary
- image
- nodes
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000001413 cellular effect Effects 0.000 title claims abstract description 26
- 230000001976 improved effect Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000009792 diffusion process Methods 0.000 claims abstract description 6
- 238000010187 selection method Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 52
- 239000010410 layer Substances 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 24
- 210000004027 cell Anatomy 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 10
- 210000003888 boundary cell Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 239000002356 single layer Substances 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉研究领域，特别是指一种结合图论与改进层次元胞自动机的图像显著性检测方法，解决了现有技术中背景冗余和目标检测不完全的问题。本发明包括步骤A：建立低层卷积特征和深层卷积特征相关性关系矩阵：(1)分割图像；(2)对分割后的图像利用FCN网络提取低层卷积特征和深层卷积特征；(3)非线性融合两层层次特征之间的相关性，构建关系矩阵。本发明通过优化的相似矩阵经过迭代更新检测背景，在一定程度上补全丢失的前景，叠加同时也加强了前景和背景之间的关联，一激活些背景结点；背景种子选择方法加强边界的检测能力，使其相似的边界结点的显性状态尽可能一致；显著性扩散方法对背景进一步抑制并优化检测结果。
Description
技术领域
本发明涉及计算机视觉研究领域，特别是指一种结合图论与改进层次元胞 自动机的图像显著性检测方法。
背景技术
显著性检测是计算机视觉中重要的研究领域，其目的是希望计算机模仿人 类视觉系统高效快速地发现场景中最显著的区域。在计算机视觉领域，显著性 检测被应用到图像描述、理解，目标分割以及语义分割等，在计算机图形学中， 显著性检测可以应用于图像自动裁剪，图像重定位等等。
传统的显著性检测主要基于自底向上的方法，通过手工制作的低层特征和 启发性先验信息来解决显著性检测任务；近几年来，深度学习的快速发展使显 著性检测性能有了极大地进步，相比于传统的检测方法，深度学习采用自顶向 下的方法，能够完整有效地检测出显著性目标，但很大程度上依赖于网络框架 的设计和训练样本的选择，如果显著目标没有被充分地训练，那么卷积特征不 能被正确地提取，显著目标也就被不正确地检测。
为了克服分别用低层特征和深层特征进行显著性检测带来的缺陷，出现了 一些结合低层特征和深层特征的方法。Qin等提出了将CNN和基于图论的元胞 自动机相结合的层次元胞自动机方法(HCA)。该方法利用CNN提取图像的浅层 和深层特征，并利用多尺度超像素分割图像各层节点间的相似性构造多个关系 矩阵。然后，将多个亲和矩阵应用于同一单层元胞自动机，在每个尺度上更新 节点的显著性状态，生成多尺度显著性映射。这种基于图的元胞自动机能够挖 掘节点之间的相关性，并不断地抑制背景和突出前景，最终得到的显著性图能 够很好地检测出显著目标。最后，将多尺度显著性映射送入多层元胞自动机中， 用元胞自动机对所有显著性映射进行聚合，并探讨节点显著性状态之间的相关 性，生成最终的显著性映射。然而，显著性检测的结果在很大程度上取决于每 个显著性图的质量，这在很大程度上受关系矩阵构造的影响。在实际应用中， 关系矩阵通常是由低层特征和高层特征线性组合而成。
这种方法的一个重要缺点是不能充分利用多个特征之间的相关性，容易产 生冗余背景或不完全目标的显著性检测。此外，该算法将所有的边界先验作为 背景节点，如果显著对象位于图像边界上，则可以生成完全“反转”的显著性 映射。
亟待出现一种可解决上述问题的新型的图像显著性检测方法。
发明内容
本发明提出一种结合图论与改进层次元胞自动机的图像显著性检测方法， 解决了现有技术中背景冗余和目标检测不完全的问题。
本发明的技术方案是这样实现的：一种结合图论与改进层次元胞自动机的 图像显著性检测方法，包括步骤A：建立低层卷积特征和深层卷积特征相关性 关系矩阵：(1)分割图像；(2)对分割后的图像利用FCN网络提取低层卷积特 征和深层卷积特征；(3)非线性融合两层层次特征之间的相关性，构建关系矩 阵。
进一步地，步骤A中的步骤(1)具体的是对分割后生成的超像素分割图像 创建稀疏无向连接图Gm(V，E)，边的连接采用结点之间的相似度wm(i，j)表示：
wm(i，j)是超像素结点i和邻域结点j之间的边的权重，通常权重定义为：
进一步地，步骤A中的步骤(2)具体的是从FCN-32S网络中提取图像的 第1卷积层特征图和第5卷积层特征图，通过双线性插值方法重置特征图尺寸 为输入图像尺寸，通过简单线性结合两层特征后根据式(1)和(2)建立：
进一步地，步骤A中的步骤(3)具体的是将两个相似矩阵Wm5和Wm1之间 的最大相互关系化为最小化问题：
通过归一化得到学习的相似矩阵WmL：
WmL＝D-1W，(5)
其中
diag(·)表示计算度矩阵。
相似矩阵WmL将和两层超像素特征构建的相似矩阵先分别进行融合，其每个 结点的相邻结点用于增强前景检测：
其中
是结合Wm1和WmL组成的相似矩阵，
是结合Wm5和WmL组成的相 似矩阵，Nm是每一个超像素结点与相邻结点的平均相似度组成的对角矩阵；
两个融合的相似矩阵然后再叠加：
其中Wmo是第m尺度优化的相似矩阵。
优选地，还包括步骤B：边界背景种子选择方法：(1)优化边界结点的显性 状态；
其中，
表示只包含边界结点显性状态的向量，Wmb表示由相似矩阵Wmo中 所有边界结点组成的相似矩阵，
表示相似矩阵Wmb的度矩阵， Wmbi，j表示相似矩阵Wmb中超像素结点i和j之间的相似度，i＝1，2，…，nm，α是常 数0.99，smb表示由sm中边界结点显性状态组成的向量，Wmd表示由相似矩阵 Wmo中所有边界结点与非边界结点组成的相似矩阵，Smd表示由sm中非边界结点 的显性状态组成的向量；
(2)筛选边界背景种子结点；
在显性图Smbo归一化到[0，1]后所有边界元胞显性状态小于他们自己的一定 阈值将作为背景种子，而将剩下的边界元胞则视为显著的，
其中mean(·)表示计算显性图
中边界元胞b的相邻元胞显性状态平均值， j表示
中每个元胞的索引并对应于
中边界元胞b；
(3)利用单层元胞自动机计算出每个尺度分割图像的初始显著图进行边界 显著结点验证。
进一步地，还包括步骤C：显著性扩散方法：基于深度语义特征和Lab颜色 特征的流形排序算法；
在分割后生成的超像素分割图像中根据前景的构造方法构建基于CIE Lab 颜色特征空间的相似矩阵Wmc，然后相似矩阵Wm5被用来抑制假显性元胞，而 Wmc被用来增加真正的前景:
其中smo表示在第m尺度优化的显性图，Dm5表示Wm5的度矩阵，而DmcD 表示Wmc的度矩阵,
表示在Ts迭代更新后的第m尺度显性图。
本发明公开的一种结合图论与改进层次元胞自动机的图像显著性检测方 法，通过优化的相似矩阵经过迭代更新检测背景，在一定程度上补全丢失的前 景，叠加同时也加强了前景和背景之间的关联，一激活些背景结点；背景种子 选择方法加强边界的检测能力，使其相似的边界结点的显性状态尽可能一致； 显著性扩散方法对背景进一步抑制并优化检测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1：不同算法在ECSSD数据集的PR曲线；
图2：不同算法在MSRA5000数据集的PR曲线；
图3：不同算法在HKU-IS数据集的PR曲线；
图4：不同算法在PASCAL-S数据集的PR曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开的一种结合图论与改进层次元胞自动机的图像显著性检测方 法，包括步骤A：建立低层卷积特征和深层卷积特征相关性关系矩阵：(1)分 割图像；(2)对分割后的图像利用FCN网络提取低层卷积特征和深层卷积特征； (3)非线性融合两层层次特征之间的相关性，构建关系矩阵。
进一步地，步骤A中的步骤(1)具体的是对分割后生成的超像素分割图像 创建稀疏无向连接图Gm(V，E)，边的连接采用结点之间的相似度wm(i，j)表示：
wm(i，j)是超像素结点i和邻域结点j之间的边的权重，权重越大说明结点之 间的相似度越大，权重越小说明结点之间的相似度越小，通常权重定义为：
进一步地，步骤A中的步骤(2)具体的是从FCN-32S网络中提取图像的 第1卷积层特征图和第5卷积层特征图，通过双线性插值方法重置特征图尺寸 为输入图像尺寸，通过简单线性结合两层特征后根据式(1)和(2)建立：
线性组合两层特征虽然能够去掉一些冗余的或不重要的特征，保留重要的 特征，但平衡参数ρ并不能完全地权衡两层特征所含有的重要特征，当式(3)第 一项的权重较大时，意味着检测到的显著目标会丢失部分边缘、轮廓信息，而 当第二项的权重较大时，在显著性目标和背景颜色、纹理等相似的场景中会检 测到大量背景。因此，本发明公开一种最优的相似矩阵来克服两层特征线性组 合的局限性，使其有效的融合：
进一步地，步骤A中的步骤(3)具体的是将两个相似矩阵Wm5和Wm1之间 的最大相互关系化为最小化问题：
通过归一化得到学习的相似矩阵WmL：
WmL＝D-1W，(5)
其中
diag(·)表示计算度矩阵。
相似矩阵WmL将和两层超像素特征构建的相似矩阵先分别进行融合以减少 干扰相似关系，其每个结点的相邻结点用于增强前景检测：
其中
是结合Wm1和WmL组成的相似矩阵，
是结合Wm5和WmL组成的相 似矩阵，Nm是每一个超像素结点与相邻结点的平均相似度组成的对角矩阵；增 加该项的目的是为了提高对前景显著结点的检测能力。
两个融合的相似矩阵然后再叠加：
其中Wmo是第m尺度优化的相似矩阵。
优选地，还包括步骤B：边界背景种子选择方法：(1)元胞自动机将图像四 条边界结点预设为背景种子，每次迭代更新结点显性状态的时候，全部边界显 著目标结点被标注为背景，元胞自动机存在有限的能力去调整所有边界显著结 点的显性状态，最后显性图中的部分边界显著结点和周围的显著结点一起被丢 失。为了弥补上面的缺陷，在每次更新单层元胞自动机之前先利用相似矩阵Wmo中所有边界结点之间的相似度和边界结点与其他非边界结点的相似度用下式优 化边界结点的显性状态；
其中，
表示只包含边界结点显性状态的向量，Wmb表示由相似矩阵Wmo中 所有边界结点组成的相似矩阵，
表示相似矩阵Wmb的度矩阵， Wmbi，j表示相似矩阵Wmb中超像素结点i和j之间的相似度，i＝1，2，…，nm，α是常 数0.99，smb表示由sm中边界结点显性状态组成的向量，Wmd表示由相似矩阵 Wmo中所有边界结点与非边界结点组成的相似矩阵，smd表示由sm中非边界结点 的显性状态组成的向量；式中第一项表示将边界结点的显性状态进行扩散，使 其相似的边界结点的显性状态尽可能一致，而第二项表示非边界结点对边界结 点的显性状态所产生的影响，共同考虑边界结点和非边界结点对显性状态的影 响以更准确地选择边界背景种子。
(2)筛选边界背景种子结点；
在显性图smbo归一化到[0，1]后所有边界元胞显性状态小于他们自己的一定 阈值将作为背景种子，而将剩下的边界元胞则视为显著的，
其中mean(·)表示计算显性图
中边界元胞b的相邻元胞显性状态平均值， j表示
中每个元胞的索引并对应于
中边界元胞b；每个边界元胞的阈值 设置为它们相邻元胞显性状态平均值的原因在于如果它们相邻元胞大部分是显 性的并且大于平均值，那么它们应该被考虑为显性的，在每次更新后它们的显 性状态应该是突出的。除了先验显性,在每次迭代更新中没有被连接的边界元 胞被选择为前景,其中主要的技巧是观察优化后的边界元胞与它相邻元胞之间 的差别,如果显性状态低于相邻元胞总体平均状态,这表明该元胞很大概率上 属于背景,否则很大概率属于前景。检测结果显示错误标记的显著边界元胞数 量大大减少，边界检测能力得到显著增强。
(3)利用单层元胞自动机计算出每个尺度分割图像的初始显著图进行边界 显著结点验证。
进一步地，还包括步骤C：显著性扩散方法：基于深度语义特征和Lab颜色 特征的流形排序算法；
在分割后生成的超像素分割图像中根据前景的构造方法构建基于CIE Lab 颜色特征空间的相似矩阵Wmc，然后相似矩阵Wm5被用来抑制假显性元胞，而 Wmc被用来增加真正的前景:
其中smo表示在第m尺度优化的显性图，Dm5表示Wm5的度矩阵，而DmcD 表示Wmc的度矩阵,
表示在Ts迭代更新后的第m尺度显性图。式中第二项是 背景抑制过程，第5卷积层能够帮助从背景中分离前景，它能够被用于抑制背 景的显性状态，CIE Lab颜色可以模拟人类视觉系统,对补全前景具有很大的作 用，因此式中第三项被用于补全抑制掉的前景。
实验结果与分析
实验环境与数据集准备：本发明实验的硬件环境是i5-10210U 2.11GHZ CPU，内存8G的计算机，利用Windows 10操作系统在Matlab R2017b下进行 仿真实验。为了验证本发明算法所改进的效果，本发明比较了4个公开的数据 集：ECSSD，MSRA5000,PASCAL-S,HKU-IS。扩展的复杂场景显著数据集 (ECSSD)包含了1000张不同尺寸的语义丰富但结构复杂的具有像素级显性真值 的自然图像，MSRA-5000数据集来自于MSRA数据集，包含5000张具有复杂 背景且更综合的图像。PASCAL-S数据集源于PASCAL VOC2010语义分割数据 集的验证集，是最有挑战性的显著性数据集之一，包含850张自然图像，HKU-IS 数据集包含4447张具有挑战性的图像，其中的图像包含不同尺寸和位置的多个 目标。
为了客观全面地比较各算法的性能，本发明使用了准确率-召回率(P-R)曲 线，F-measure，平均绝对误差(MAE)和由ROC曲线计算的AUC指标。其中， P-R曲线是先在0到255的每个灰度值范围内将显性图二值化，然后比较显性图 和真值图之间差异的曲线，其计算公式如下：
其中SF表示显性图中被检测为前景的像素集合，GF表示真值图中被标注为 前景的像素集合，|·|表示集合中元素的个数。通常精确率和召回率都越高越好， 但实际上两指标很难满足同样的要求，于是采用F-measure综合衡量两指标性 能，
其中ε2通常设置为0.3，本发明先将显性图通过阈值(将阈值设为平均显性 值的2倍)的方式进行分割，然后再计算F-measure。为了进一步补充上面两个指 标，本发明用平均绝对误差(MAE)定量评估显性图
和真值图
之 间的平均差，即：
误差越小说明显性图与真值图越相似，说明算法的性能也越好。另外，本 发明还计算了ROC曲线的AUC指标，ROC曲线表示接受者操作特征曲线，是 先根据0到255之间的每一个灰度值对显性图进行分类，然后对每个灰度值计 算出对应的真正率(TPR)和假正率(FPR)，最后遍历0到255画出以TPR为横轴， FPR为纵轴的曲线，计算ROC曲线下面的面积就可以得到AUC值，AUC值越 大算法的性能越好。
为了更好地说明本发明所改进算法的合理性，本发明不改变原HCA算法所 设置的最佳参数，即M＝5，n1＝120，n2＝140，n3＝160，n4＝180，n5＝200，σ2＝1/17， Λ＝0.04，Ts＝20，Tc＝3。在相似矩阵构建阶段，AUC随着参数μ的下降而增加， 当μ等于0.0001时F-measure最大，MAE接近于最小值，AUC比最大值低于1 个百分点，参数γ等于10时AUC最大，MAE最小，F-measure比最大值下降1 个百分点。在迭代计算相似矩阵过程中，最大迭代次数对各个指标的影响， F-measure和AUC对迭代次数并不敏感，当迭代次数等于10时MAE最小，所 以最大迭代次数设置为5。对于向量β，本发明初始化为[0.5，0.5]T，这意味着β(1)和β(2)都初始化为0.5。最终，所有额外的参数将被设置如下：μ＝0.0001，γ＝10， iter＝10，β＝[0.5，0.5]T。
本文的改进算法和7个先进的算法进行了比较：BSCA[20]，MDC[2]， DP2LSG[4]，HCA[16]，DSC[22]，CNS[24]，HLR[25]，同时还和6个深度学习 算法进行了比较，包括KSR[21]，KSRAL[23]，MDF[19]，DS[26]，DCL[27]， MWS[28]，每个算法的显性图都是算法作者公开提供或者用公开的算法代码运行 计算获得。从4个数据集的PR曲线图(图1、2、3和4)和表1中可以看到，
表1与传统算法性能对比
本发明算法的各项指标明显优于其他传统算法，在ECSSD数据集上比HCA 算法在F-measure值和AUC值上分别提高了4.5和2个百分点，MAE值降低了 3.6个百分点。另一方面，在MSRA5000数据集上F-measure值比HCA算法高 出5.1个百分点，AUC值高出1.6个百分点，MAE值低于3.2个百分点，而对 于HKU-IS数据集，F-measure值则拉高了8.1个百分点，AUC值拉高了2.7个 百分点，MAE值拉低了4个百分点。最后，在PASCAL-S数据集上，本发明算法同样表现出优异的性能，F-measure值比HCA算法高4.3个百分点，AUC值 高2.2个百分点，MAE值低于2.6个百分点。
对于深度学习算法，从表2中看出：
表2与深度学习算法性能对比
本发明算法明显优于KSR、KSRAL和MDF，虽然F-measure值和AUC值 稍微表现差一点，但MAE值一定程度上低于DS和MWS算法。不过，DCL算 法性能比本发明算法要好一些，从总体来看本发明算法的性能还是非常接近于 它。
与传统算法主观结果对比
本发明算法的显性图比传统算法更接近真值图，对比本发明算法和HCA算 法，目标本身颜色不一致或与背景颜色相似时，由于加入了增强前景和抑制背 景的处理，使得本发明算法能正确地检测出显著目标。对于显著目标接触到边 界时，本发明算法能够更完整的检测出显著目标，这是由于引入的边界背景种 子选择提高了边界显著目标的检测能力，而对于多目标相距较近的场景下，本 发明算法也能够准确将多目标进行分离并准确检测。本发明的算法对小目标也 具有一定检测能力。
深度学习算法主观结果对比：对于深度学习算法而言，当目标本身颜色不 一致时深度学习算法并没有很好地检测出显著目标，要么检测到了冗余背景， 要么检测不完整，本发明算法比深度学习算法能够完整检测出显著目标，而在 目标接触到边界时相比较的6个深度学习算法也具有有限的边界显著目标检测 能力。多目标检测的场景看到，DCL算法在前景检测与本发明算法相差不大， 但它检测到了冗余背景，而MDF算法则很好地检测出了前景并且没有检测到背 景，但本发明算法的检测效果比MDF算法更好。虽然DCL在本发明所选择的 图像中检测效果稍微比本发明要差，但从整体泛化能力上看，DCL算法的性能 优于本发明算法。
本发明公开的一种结合图论与改进层次元胞自动机的图像显著性检测方 法，通过优化的相似矩阵经过迭代更新检测背景，在一定程度上补全丢失的前 景，叠加同时也加强了前景和背景之间的关联，一激活些背景结点；背景种子 选择方法加强边界的检测能力，使其相似的边界结点的显性状态尽可能一致； 显著性扩散方法对背景进一步抑制并优化检测结果。
当然，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员应 该可以根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应 属于本发明所附的权利要求的保护范围。
Claims (6)
1.一种结合图论与改进层次元胞自动机的图像显著性检测方法，其特征在于：包括步骤A：建立低层卷积特征和深层卷积特征相关性关系矩阵：
(1)分割图像；
(2)对分割后的图像利用FCN网络提取低层卷积特征和深层卷积特征；
(3)非线性融合两层层次特征之间的相关性，构建关系矩阵。
2.根据权利要求1所述的一种结合图论与改进层次元胞自动机的图像显著性检测方法，其特征在于：步骤A中的步骤(1)具体的是对分割后生成的超像素分割图像创建稀疏无向连接图Gm(V，E)，边的连接采用结点之间的相似度wm(i，j)表示：
wm(i，j)是超像素结点i和邻域结点j之间的边的权重，通常权重定义为：
3.根据权利要求2所述的一种结合图论与改进层次元胞自动机的图像显著性检测方法，其特征在于：步骤A中的步骤(2)具体的是从FCN-32S网络中提取图像的第1卷积层特征图和第5卷积层特征图，通过双线性插值方法重置特征图尺寸为输入图像尺寸，通过简单线性结合两层特征后根据式(1)和(2)建立：
4.根据权利要求3所述的一种结合图论与改进层次元胞自动机的图像显著性检测方法，其特征在于：步骤A中的步骤(3)具体的是将两个相似矩阵Wm5和Wm1之间的最大相互关系化为最小化问题：
通过归一化得到学习的相似矩阵WmL：
WmL＝D-1W， (5)
其中
diag(·)表示计算度矩阵。
相似矩阵WmL将和两层超像素特征构建的相似矩阵先分别进行融合，其每个结点的相邻结点用于增强前景检测：
其中
是结合Wm1和WmL组成的相似矩阵，
是结合Wm5和VmL组成的相似矩阵，Nm是每一个超像素结点与相邻结点的平均相似度组成的对角矩阵；
两个融合的相似矩阵然后再叠加：
其中Wmo是第m尺度优化的相似矩阵。
5.根据权利要求4所述的一种结合图论与改进层次元胞自动机的图像显著性检测方法，还包括步骤B：边界背景种子选择方法：
(1)优化边界结点的显性状态；
其中，
表示只包含边界结点显性状态的向量，Wmb表示由相似矩阵Wmo中所有边界结点组成的相似矩阵，
表示相似矩阵Wmb的度矩阵，Wmbi，j表示相似矩阵Wmb中超像素结点i和j之间的相似度，i＝1，2，…，nm，α是常数0.99，smb表示由sm中边界结点显性状态组成的向量，Wmd表示由相似矩阵Wmo中所有边界结点与非边界结点组成的相似矩阵，smd表示由sm中非边界结点的显性状态组成的向量；
(2)筛选边界背景种子结点；
在显性图smbo归一化到[0，1]后所有边界元胞显性状态小于他们自己的一定阈值将作为背景种子，而将剩下的边界元胞则视为显著的，
其中mean(·)表示计算显性图
中边界元胞b的相邻元胞显性状态平均值，j表示
中每个元胞的索引并对应于
中边界元胞b；
(3)利用单层元胞自动机计算出每个尺度分割图像的初始显著图进行边界显著结点验证。
6.根据权利要求5所述的一种结合图论与改进层次元胞自动机的图像显著性检测方法，其特征在于：还包括步骤C：显著性扩散方法：基于深度语义特征和Lab颜色特征的流形排序算法；
在分割后生成的超像素分割图像中根据前景的构造方法构建基于CIELab颜色特征空间的相似矩阵Wmc，然后相似矩阵Wm5被用来抑制假显性元胞，而Wmc被用来增加真正的前景：
其中smo表示在第m尺度优化的显性图，Dm5表示Wm5的度矩阵，而DmcD表示Wmc的度矩阵，
表示在Ts迭代更新后的第m尺度显性图。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694812.0A CN113469175B (zh) | 2021-06-22 | 2021-06-22 | 一种结合图论与改进层次元胞自动机的图像显著性检测方法 |
| LU502036A LU502036B1 (en) | 2021-06-22 | 2022-05-06 | Image saliency detection method combining graph theory and improved hierarchical cellular automata |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694812.0A CN113469175B (zh) | 2021-06-22 | 2021-06-22 | 一种结合图论与改进层次元胞自动机的图像显著性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469175A true CN113469175A (zh) | 2021-10-01 |
| CN113469175B CN113469175B (zh) | 2024-02-02 |
Family
ID=77869293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110694812.0A Active CN113469175B (zh) | 2021-06-22 | 2021-06-22 | 一种结合图论与改进层次元胞自动机的图像显著性检测方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113469175B (zh) |
| LU (1) | LU502036B1 (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001037575A2 (en) * | 1999-11-18 | 2001-05-25 | Quikcat.Com, Inc. | Method and apparatus for digital image compression using a dynamical system |
| US20070036434A1 (en) * | 2005-08-15 | 2007-02-15 | Peter Saveliev | Topology-Based Method of Partition, Analysis, and Simplification of Dynamical Images and its Applications |
| TW201231017A (en) * | 2011-01-25 | 2012-08-01 | Univ Nat Yunlin Sci & Tech | Semi-automatic knee cartilage MRI image segmentation based on cellular automata |
| CN102841963A (zh) * | 2012-08-15 | 2012-12-26 | 武汉理工大学 | 元胞自动机模型尺度敏感性的探测方法 |
| US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
| CN107977660A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于背景先验和前景节点的感兴趣区域检测方法 |
| CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
-
2021
- 2021-06-22 CN CN202110694812.0A patent/CN113469175B/zh active Active
-
2022
- 2022-05-06 LU LU502036A patent/LU502036B1/en active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001037575A2 (en) * | 1999-11-18 | 2001-05-25 | Quikcat.Com, Inc. | Method and apparatus for digital image compression using a dynamical system |
| US20070036434A1 (en) * | 2005-08-15 | 2007-02-15 | Peter Saveliev | Topology-Based Method of Partition, Analysis, and Simplification of Dynamical Images and its Applications |
| TW201231017A (en) * | 2011-01-25 | 2012-08-01 | Univ Nat Yunlin Sci & Tech | Semi-automatic knee cartilage MRI image segmentation based on cellular automata |
| CN102841963A (zh) * | 2012-08-15 | 2012-12-26 | 武汉理工大学 | 元胞自动机模型尺度敏感性的探测方法 |
| US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
| CN107977660A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于背景先验和前景节点的感兴趣区域检测方法 |
| CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
Non-Patent Citations (6)
| Title |
|---|
| FAN WANG,ET: "Salient object detection via cross diffusion-based compactness on multiple graphs" * |
| Y. QIN,ET: "Hierarchical Cellular Automata for Visual Saliency" * |
| YAO QIN,ET: "Saliency Detection via Cellular Automata" * |
| YIHANG LIU,ET: "Saliency Detection Using Global and Local Information Under Multilayer Cellular Automata" * |
| 赵悉超: "基于构图和显著性传播的协同显著性检测" * |
| 陈晶晶: "融合多信息的显著性目标检测研究" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469175B (zh) | 2024-02-02 |
| LU502036B1 (en) | 2022-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108549891A (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
| CN109255357B (zh) | 一种rgbd图像协同显著性检测方法 | |
| CN105654475B (zh) | 基于可区分边界和加权对比度的图像显著性检测方法及其装置 | |
| CN107133496B (zh) | 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法 | |
| CN111062278B (zh) | 基于改进残差网络的异常行为识别方法 | |
| CN111583279A (zh) | 一种基于pcba的超像素图像分割方法 | |
| CN108022244B (zh) | 一种基于前景和背景种子用于显著目标检测的超图优化方法 | |
| CN111582062A (zh) | 一种基于YOLOv3的目标跟踪中的重检测方法 | |
| CN111415323B (zh) | 图像的检测方法及装置，神经网络的训练方法及装置 | |
| Hua et al. | Three-channel convolutional neural network for polarimetric SAR images classification | |
| CN106780450A (zh) | 一种基于低秩多尺度融合的图像显著性检测方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
| CN117173193A (zh) | 基于注意力机制的无监督彩色地质图像分割方法及系统 | |
| CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、系统 | |
| Wang et al. | Salient object detection by robust foreground and background seed selection | |
| CN113378620A (zh) | 监控视频噪声环境下跨摄像头行人重识别方法 | |
| CN105761269A (zh) | 基于多尺度区分性子空间的图像显著对象的检测方法 | |
| CN117409254A (zh) | 一种基于ResNet34残差神经网络的天麻客观质量分类评价方法 | |
| CN113469175B (zh) | 一种结合图论与改进层次元胞自动机的图像显著性检测方法 | |
| CN108154188B (zh) | 基于fcm的复杂背景下人工文本提取方法 | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| Guo et al. | Image saliency detection based on geodesic‐like and boundary contrast maps | |
| Francis et al. | A joint sparse and correlation induced subspace clustering method for segmentation of natural images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |