CN108320281A - 一种基于多特征扩散的图像显著性检测方法及终端 - Google Patents

一种基于多特征扩散的图像显著性检测方法及终端 Download PDF

Info

Publication number
CN108320281A
CN108320281A CN201810053582.8A CN201810053582A CN108320281A CN 108320281 A CN108320281 A CN 108320281A CN 201810053582 A CN201810053582 A CN 201810053582A CN 108320281 A CN108320281 A CN 108320281A
Authority
CN
China
Prior art keywords
node
pixel
super
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810053582.8A
Other languages
English (en)
Other versions
CN108320281B (zh
Inventor
叶锋
洪斯婷
陈家祯
郑子华
许力
林晖
李婉茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN201810053582.8A priority Critical patent/CN108320281B/zh
Publication of CN108320281A publication Critical patent/CN108320281A/zh
Application granted granted Critical
Publication of CN108320281B publication Critical patent/CN108320281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多特征扩散的图像显著性检测方法及终端，在选择种子节点时，不将所有处于图像边缘的节点都默认为背景节点，而是从整体考虑，通过融合背景先验、颜色先验、位置先验这三种先验算法作为图像的高层先验特征来选取种子节点，以避免边缘处的显著性物体都被检测为背景的情况。最后，提取图像的多层特征构造不同的扩散图和扩散矩阵，从多个角度反映节点的相似性，并非线性融合由图像的中、高层特征分别获得的相应显著图得到最终显著图。在常用的数据集上与现有部分经典的显著性物体检测算法相比，本发明可提高图像显著性检测的准确性，解决了现有技术中对显著性物体检测不突出且背景区域不能被很好抑制住的问题。

Description

一种基于多特征扩散的图像显著性检测方法及终端
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多特征扩散的图像显著性检测方法及终端。
背景技术
视觉显著性是指图像中最能引起人类视觉注意的部分信息，它的目标是识别图像中在视觉上最突出的物体或区域，其检测结果主要表现为二值化分割图像的前景区域和背景区域。它能有效提取图像的前景目标，降低场景分析的复杂度。由于计算资源的限制，人类视觉系统能快速、有效地从当前看到的图景中定位最感兴趣的区域，为之后的进一步处理做准备。同样，为了提高计算效率，在进行图像检索、目标检测、图像传输等操作时，往往需要的是图像的某些重要的信息，而不是整张图像的信息。近几年来，视觉注意在神经科学和计算机视觉领域已经成为一个重要的研究热点。其中，一部分研究聚焦人类注视预测，其可用于研究人类视觉系统的机制，另一部分研究关注图像中最引人注意的区域，即显著性物体检测。显著性检测作为图像的预处理部分，在图像分割、目标检测、人的再识别、图像缩放、图像检索、视频压缩等方面得到了广泛应用。目前，视觉显著性物体检测模型主要分为两种。一种是自底向上的显著性物体检测模型，它主要是基于图像的颜色、纹理、边缘、空间位置等视觉底层特征，是一种无意识的、由数据驱动的方法。另一种是自顶向下的显著性物体检测模型，它主要基于图像的上下文信息、语义信息等视觉高层特征，或者根据具体的目的对自底向上的一些特征进行训练、监督学习，是一种有意识的、由任务驱动的方法。有些研究则是将上述两者模型结合起来进行显著性检测。近年来，基于图的自底向上的显著性检测受到极大的研究和关注。
2009年，V.Gopalakrishnan等人提出了一种随机游走图，首先从图中提取图像的全局属性，然后遍历马尔科夫链的平衡命中次数来确定最显著的节点，最后通过显著的种子节点来检测图像的显著性区域。2013年，Jiang等人提出了基于条件随机场的显著性物体检测模型，它以图为基础，通过图像的一系列特征与条件随机场的能量函数检测出图像的显著性区域。2015年，Li等人提出了一种用于显著性物体检测的标签传播算法(LabelPropagation Algorithm)。它是先将要处理的数据节点以它们的内在关系构建成一个图的结构，将其中部分包含重要信息的数据节点作为标签节点，然后根据节点特征之间的相似性程度，经过多次迭代，得到最终显著图。而Yang等人提出了基于拉普拉斯矩阵的扩散方法。此类方法将图像构造为图的形式并把初步的显著性值作为种子节点，然后利用扩散矩阵，使得每个节点根据与种子节点的相似性程度的差异得到不同的显著性值，从而将种子节点的显著性信息扩散到整个图像中。上述显著性检测存在着物体检测不突出、不能较好地抑制背景区域的问题。
发明内容
本发明所要解决的技术问题是：提供一种基于多特征扩散的图像显著性检测方法及终端，可解决现有技术中对显著性物体检测不突出且背景区域不能被很好抑制住的问题。
为了解决上述技术问题，本发明提供了一种基于多特征扩散的图像显著性检测方法，包括：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
本发明还提供了一种基于多特征扩散的图像显著性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
本发明的有益效果为：
本发明提供了一种基于多特征扩散的图像显著性检测方法及终端，在选择种子节点时，不将所有处于图像边缘的节点都默认为背景节点，而是从整体考虑，通过融合背景先验、颜色先验、位置先验这三种先验算法作为图像的高层先验特征来选取种子节点，以避免边缘处的显著性物体都被检测为背景的情况。最后，提取图像的多层特征构造不同的扩散图和扩散矩阵，从多个角度反映节点的相似性，并非线性融合由图像的中、高层特征分别获得的相应显著图得到最终显著图。在常用的数据集上与现有部分经典的显著性物体检测算法相比，本发明可提高图像显著性检测的准确性，解决了现有技术中对显著性物体检测不突出且背景区域不能被很好抑制住的问题。
附图说明
图1为本发明实施例的一种基于多特征扩散的图像显著性检测方法的流程图；
图2为本发明实施例的一种基于多特征扩散的图像显著性检测系统的结构示意图；
标号说明：
1、存储器；2、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于：通过第一图形结构及高层先验特征，生成的种子节点，并根据改进矩阵及种子节点，构成一种新的扩散方法；选用图像多层特征通过扩散方法分别生成对应的显著图，并非线性融合生成目标显著图。
请参阅图1，本发明提供了一种基于多特征扩散的图像显著性检测方法，包括：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
从上述描述可知，本发明提供了一种基于多特征扩散的图像显著性检测方法，在选择种子节点时，不将所有处于图像边缘的节点都默认为背景节点，而是从整体考虑，通过融合背景先验、颜色先验、位置先验这三种先验算法作为图像的高层先验特征来选取种子节点，以避免边缘处的显著性物体都被检测为背景的情况。最后，提取图像的多层特征构造不同的扩散图和扩散矩阵，从多个角度反映节点的相似性，并非线性融合由图像的中、高层特征分别获得的相应显著图得到最终显著图。在常用的数据集上与现有部分经典的显著性物体检测算法相比，本发明可提高图像显著性检测的准确性，解决了现有技术中对显著性物体检测不突出且背景区域不能被很好抑制住的问题。
进一步地，所述S1具体为：
将图像分割为多个超像素，每个超像素由若干个像素点组成；
根据所述多个超像素，得到图形结构；将每个超像素作为图形结构的一个节点；每个超像素对应节点与超像素相邻的第一超像素对应的节点的连接线，以及每个超像素对应节点与第二超像素对应的节点的连接线，构成图形结构的边；所述第二超像素与所述第一超像素相邻，且不与超像素重合；
根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；
根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算得到每个边缘节点的对应的显著性值，获取小于预设第一阈值的显著性值，得到多个的第一显著性值，将所述第一显著性值对应的边缘节点作为背景节点，得到多个第一背景节点；
其中，边缘超像素的lab颜色值为所述边缘超像素中所有像素点的lab颜色值的平均值；
根据每一个第一背景节点与除所述第一背景节点外的每一个背景节点之间的连接线，新增所述图形结构的边，得到第二图形结构；
获取所述第二图形结构中与每一条边相连的两个节点，计算所述每一条边相连的两个节点分别对应的超像素的lab颜色值之间差值，根据所述差值，得到每一条边的权重，得到带有权重的无向图，即为所述第一图形结构。
其中，超像素的lab颜色值为所述超像素中所有像素点的lab颜色值的平均值。
优选的，所述第一阈值为0.5；
从上述描述可知，先进行超像素分割可以提高计算效率，而背景节点的选取可以减少处于图像边缘的显著性区域的检测受的种子节点的影响，降低漏检的概率。
进一步地，所述S2具体为：
根据拉普拉斯的逆矩阵，得到拉普拉斯矩阵A；
根据拉普拉斯矩阵A，得到其中ΛA为对角阵，对角阵的对角元素由A的特征值组成，UA的列向量由特征值对应的特征向量所组成；
其中，由于使用的拉普拉斯的逆矩阵都是半正定的，所以可被分解为
根据谱聚类原理，舍弃UA中A的最小特征值对应的特征向量，得到
计算所有的相邻两个特征值的差值，得到两个特征值的差值的最大值，舍弃最大值对应的两个特征值后续的所有特征值，得到
根据对判别力小(即对结果影响很小)的特征向量进行舍弃得到由此生成改进矩阵
根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；
根据所述高层先验特征和所述第一图形结构，得到各个节点对应的第二显著性值，获取第二显著性值中所有大于预设第二阈值的显著性值，得到多个的第三显著性值；
根据所述第三显著性值，得到种子节点；
将所述种子节点及改进矩阵，得到显著性物体检测的扩散方法。
从上述描述可知，根据谱聚类原理得到新的改进矩阵能更好地将有用的特征信息利用起来，减少无用信息的干扰，而通过3种不同的先验方法构成高层先验方法生成的种子节点，能够避免处于图像边缘的显著性区域被误检测为背景区域。
进一步地，所述S3具体为：
根据第一图形结构中每一个节点对应超像素的lab颜色值，计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图。
从上述描述可知，分别选用图像的底层特征、中层特征和高层特征可以更好地体现节点间的关系，减少了单一的特征带来的局限性。
进一步地，所述S4具体为：
计算中层显著图对应的中层显著向量；
计算高层显著图对应的高层显著向量；
根据所述中层显著向量和高层显著向量，通过非线性融合算法，计算得到目标显著性向量；
根据目标显著性向量和第一图形结构，得到目标显著图。
将获得的中层显著图和高层显著图非线性结合起来，得到最终的显著图
从上述描述可知，中层显著图和高层显著图可以进行互补，能更好地检测出所需的显著图。
请参照图2，本发明还提供了一种基于多特征扩散的图像显著性检测终端，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器2执行所述程序时实现以下步骤：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
进一步的，所述的一种基于多特征扩散的图像显著性检测终端，所述S1具体为：
将图像分割为多个超像素，每个超像素由若干个像素点组成；
根据所述多个超像素，得到图形结构G＝(V,E)；将每个超像素作为图形结构的一个节点V；每个超像素对应节点与超像素相邻的第一超像素对应的节点的连接线，以及每个超像素对应节点与第二超像素对应的节点的连接线，构成图形结构的边E；所述第二超像素与所述第一超像素相邻，且不与超像素重合；
根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；
根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算得到每个边缘节点的对应的显著性值，获取小于预设第一阈值的显著性值，得到多个的第一显著性值，将所述第一显著性值对应的边缘节点作为背景节点，得到多个第一背景节点；
根据每一个第一背景节点与除所述第一背景节点外的每一个背景节点之间的连接线，新增所述图形结构的边，得到第二图形结构；
获取所述第二图形结构中与每一条边相连的两个节点，计算所述每一条边相连的两个节点分别对应的超像素的lab颜色值之间差值，根据所述差值，得到每一条边的权重，得到带有权重的无向图，即为所述第一图形结构。
进一步的，所述的一种基于多特征扩散的图像显著性检测终端，所述S2具体为：
根据拉普拉斯的逆矩阵，得到拉普拉斯矩阵A；
根据拉普拉斯矩阵A，得到其中ΛA为对角阵，对角阵的对角元素由A的特征值组成，UA的列向量由特征值对应的特征向量所组成；
根据谱聚类原理，舍弃UA中A的最小特征值对应的特征向量，得到
根据ΛA和A的特征值，得到所述逆矩阵的改进矩阵；
根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；
根据所述高层先验特征和所述第一图形结构，得到各个节点对应的第二显著性值，获取第二显著性值中所有大于预设第二阈值的显著性值，得到多个的第三显著性值；
根据所述第三显著性值，得到种子节点；
将所述种子节点及改进矩阵，得到显著性物体检测的扩散方法。
进一步的，所述的一种基于多特征扩散的图像显著性检测终端，所述S3具体为：
根据第一图形结构中每一个节点对应超像素的lab颜色值，计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图。
进一步的，所述的一种基于多特征扩散的图像显著性检测终端，所述S4具体为：
计算中层显著图对应的中层显著向量；
计算高层显著图对应的高层显著向量；
根据所述中层显著向量和高层显著向量，通过非线性融合算法，计算得到目标显著性向量；
根据目标显著性向量和第一图形结构，得到目标显著图。
请参照图1，本发明的实施例一
本发明提供了一种基于多特征扩散的图像显著性检测方法，包括如下步骤：
S1：通过SLIC(simple linear iterative cluster)算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
所述步骤S1具体为：
S101：将SLIC算法原始图像分割为N个超像素；
步骤S101具体为：通过SLIC算法将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合所期望的分割效果。
S102：将每个超像素作为一个节点V＝{v1,v2,...vN}构建图的形式G＝(V,E)，图的边Eij由节点与其相邻的节点之间的连接，还有和与其相邻节点的相邻节点的连接所组成；
S103：根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算每个边缘节点的显著性值Sbg，可根据第一公式计算得到：
第一公式：
其中，||ci-cj||表示两个节点在LAB颜色空间的平均颜色差值，||di-dj||表示两个节点在位置空间上的距离，c为常数，且c＝3。然后选择这些边缘节点中显著性值小于0.5的节点作为背景节点。
S104：将每一个背景节点互相连接增加图形结构的边数；
S105：连接后的图的边的权重W由节点之间的特征差异所决定，由此构建一个带有权重的无向图，W根据第二公式计算得到：
第二公式：
其中，σ＝0.1，是一个控制权重大小的常数，fi代表节点i对应的超像素的lab颜色值(即该超像素中所有像素点lab颜色值的平均值)，||fi-fj||表示两个节点的对应超像素的lab颜色值的差值，差值越大，则节点间的权值越小，上述邻接接点为相邻的节点，边缘节点为位于图像边缘的超像素对应的节点，间接节点代表一个节点的相邻节点的相邻节点。此外，对于给出的图形结构G，其邻接矩阵为W＝[wij]N×N，度矩阵为D＝diag{d11,d22,...,dNN}，其中dii＝∑jwij。
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
所述S2具体为：
S201：用于根据拉普拉斯的逆矩阵和谱聚类原理(只有一小部分特征向量是有类别判别能力的，而其他特征向量没有类别判别能力，甚至会使类别信息混乱)，生成新的改进矩阵
所述S201具体为：
首先，扩散矩阵A可由拉普拉斯的逆矩阵A-1＝D-1(D-W)来表示，由于使用的扩散矩阵都是半正定的，所以A可被分解为其中ΛA为对角阵，其对角元素由A的特征值λAl,l＝1,2,...,N组成，UA的列向量由特征值对应的特征向量uAl,l＝1,2,...,N组成。根据谱聚类理论，A-1中的每个元素根据第三公式计算得到：
第三公式：
最终的显著性向量y的每个元素yi可根据第四公式计算得到：
第四公式：
其中.,.>为内积操作，为在时间时，节点i的扩散图。可以发现：每个节点的显著性值等于所有种子节点的显著性值的加权和，其中权值由节点与节点的扩散图的相似性决定，而相似性则由内积确定，内积越大，相似性越大，反之，越小。而扩散图由扩散矩阵的特征值和特征向量所组成，所以基于扩散理论的显著性检测过程与谱聚类有很大的密切关系。根据谱聚类理论，只有小部分的特征向量包含图像的主要信息，大部分特征向量对图像要表达的主要信息没有帮助，甚至会干扰图像的判定信息。通过对特征值和特征向量进一步操作，筛选出最能代表图像的特征值和对应的特征向量，来完成对扩散矩阵的重构，进而更准确地表达出节点之间的相似性，使种子节点的显著性信息更准确地扩散到整个显著性物体。
第一，舍弃第一个最小特征值对应的特征向量。把A-1的特征值λl,1≤l≤N和特征向量ul,1≤l≤N，按从小到大排序。最小特征值对应的特征向量u1对图像的主要信息没有贡献，又会抑制其它重要的特征向量对图的扩散，因此，最小的特征值对应的特征向量被舍弃。
第二，舍弃特征间隙后的特征值。特征值越小，对图像的影响力就越大，所以主要提取排序后特征值靠前的值。实践中发现，在A-1中存在一个特征间隙r，在特征间隙之前的特征值会比特征间隙之后的特征值小很多。因此，先计算每两个特征值之间的差值，特征间隙r取差值最大的数，r可根据第五公式计算得到：
第五公式：r＝argmax|Δrl|，Δrl＝λl-λl-1,l＝2,...,N；
其中，在特征间隙之前的特征值被保留下来作为扩散图，而之后的特征值将被舍弃。
第三，舍弃判别力小的特征向量。虽然特征间隙之前的大部分特征值能代表图像的重要信息，但是有些特征向量所能代表的有用信息很小，而且这些细小的信息有的已在其他的特征值中，过多地重视这些判别力小的特征值，有可能导致最后的显著图效果更不好，因此，对于特征间隙之前的特征向量ul，首先通过方差var(ul)分别计算它们的判别力dc(ul)，再通过一个阈值来过滤掉判别力小的特征向量，可根据第六公式计算得到：
第六公式：
经过上述3个处理步骤，生成新的改进矩阵可根据第七公式计算得到：
第七公式：
S202：根据背景先验算法、颜色先验算法和位置先验算法组成的高层先验特征，并根据所述高层先验特征和第一图形结构，生成种子节点。
首先，相似的超像素被分为M个的区域BM＝{B1,B2,...,Bm}，然后通过定义一个值来计算每个区域与背景的相关性可根据第八公式计算得到：
第八公式：
其中，i的取值范围在1至m，len(Bi)指的是区域Bi中是图像边缘的超像素个数，Area(Bi)指的是区域Bi中超像素总的个数，的值越大，则显著性的值越小。其显著性值sbg可根据第九公式计算得到：
第九公式：
因为图像的红色和黄色更能对人类视觉产生更强的刺激，因此，通过这两种颜色的直方图来计算颜色先验，其显著性值sc可根据第十公式计算得到：
第十公式：sc＝exp((hS(ci)-hB(ci))/σ2 2)；
其中，ci表示超像素i的颜色，hS表示在颜色空间中红、黄两色的维度直方图分布，hB表示背景的颜色分布。
由于越靠近中心的物体，更能引起人类视觉的注意，因此，通过基于图像中心的高斯分布来计算中心先验，其显著性值sL可根据第十一公式计算得到：
第十一公式：
其中，||pi-po||表示超像素i的空间位置与图像中心位置的距离。
最后融合上述三种先验特征来获取种子向量s，可根据第十二公式计算得到：
第十二公式：s＝sbg×sc×sL；
S203：将得到的种子节点，通过构建的扩散矩阵，将种子节点携带的显著性信息扩散到整张图像中，由此构成一种扩散方法y，可根据第十三公式计算得到：
第十三公式：
其中，为S201中的扩散矩阵，s为S202中的种子向量，y为显著性向量。另外，种子向量s也可以是用任何一种显著性物体检测模型得到的图像的初步显著性值。然后，结合改进矩阵和种子向量s，让种子节点携带的显著性信息通过扩散矩阵传播到整张图像中，得到显著性向量y。最后，将y的值赋予每个节点即可得到最终的显著图；因此，根据改进矩阵和种子节点，可得到显著性物体检测的扩散方法。
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
所述S3具体为：
S301：根据第一图形结构中每一个节点对应超像素的lab颜色值(为该超像素所有像素点的lab颜色值的平均值)，通过第二公式计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
选取图像的lab平均空间颜色特征作为底层特征fl，根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的初步显著性向量yl，根据第十四公式计算得到：
第十四公式：
S302：根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
将S109中第十四公式得到的图像的初步显著性向量作为图像的中层特征fm，同样根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的中层显著性向量ym，可根据第十五公式计算得到：
第十五公式：
S303：根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图；
将S107中提到的第九公式的背景先验sbg和第十公式的颜色先验sc作为图像的高层特征fh，可根据第十六公式计算得到：
第十六公式：fh＝sbg×sc；
根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的高层显著性向量yh，可根据第十七公式计算得到：
第十七公式：
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
所述S4具体为：
非线性融合上述的中层显著性向量ym和高层显著性向量yh得到最终的显著性向量yf，可根据第十八公式计算得到：
第十八公式：
将yf的值赋予对应的节点得到目标显著图。
对于步骤S4，先通过步骤S1构建一个有权重的无向图，然后再通过步骤S2构建一个扩散方法，步骤S3通过步骤S2的扩散方法用不同的特征生成对应的显著图，最后步骤S4非线性结合步骤S3的显著图生成最后的显著图。
本实施例首先采用SLIC把图像分割为N个超像素，并构造了一个带有权重的无向图。然后通过拉普拉斯的逆矩阵和谱聚类生成一个改进矩阵，增大图像中有用信息的影响，再采用由背景先验、颜色先验、位置先验组成的高层先验方法选取种子节点，由此构成一种扩散方法，使得种子节点的显著性信息能够扩散到整张图像中。其次，将选取的种子节点的显著性信息通过由图像的底层特征构建的扩散矩阵传播到每个节点得到初始显著图，并将其作为图像的中层特征，然后结合图像的高层特征分别构建扩散矩阵，再次运用扩散方法分别获得中层显著图、高层显著图。最后，非线性融合中层显著图和高层显著图得到最终显著图，进一步突出图像的显著性区域并抑制住背景区域，提高显著性检测的准确率。
本发明的实施例二为：
本实施例是上述实施例的一的具体应用场景。
首先，在构建图时，采用两层的连接图，图的边由特征的差异所决定。在选取背景节点时，设置参数c＝3，并选取显著性值小于0.5的节点作为背景节点，并将他们互相连接起来。通过连接后的图，计算舍弃信息量少的特征向量的拉普拉斯的逆矩阵和经过高层先验得到的种子节点，构成一个新的扩散方法。然后将图像的lab颜色空间特征作为底层特征得到的图像的显著性值再次作为图像的中层特征构建扩散矩阵，通过第十三公式得到中层显著图。同样地，将由背景先验和颜色先验构成的高层先验作为图像的高层特征再次根据第七公式构建不同的扩散矩阵，通过扩散方法得到高层显著图。最后，根据第十八公式非线性结合中层显著图和高层显著图，得到最后的显著图。
请参照图2，本发明的实施例三为：
本发明提供了一种基于多特征扩散的图像显著性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
S1：通过SLIC(simple linear iterative cluster)算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
所述步骤S1具体为：
S101：将SLIC算法原始图像分割为N个超像素；
步骤S101具体为：通过SLIC算法将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合所期望的分割效果。
S102：将每个超像素作为一个节点V＝{v1,v2,...vN}构建图的形式G＝(V,E)，图的边Eij由节点与其相邻的节点之间的连接，还有和与其相邻节点的相邻节点的连接所组成；
S103：根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算每个边缘节点的显著性值Sbg，可根据第一公式计算得到：
第一公式：
其中，||ci-cj||表示两个节点在LAB颜色空间的平均颜色差值，||di-dj||表示两个节点在位置空间上的距离，c为常数，且c＝3。然后选择这些边缘节点中显著性值小于0.5的节点作为背景节点。
S104：将每一个背景节点互相连接增加图形结构的边数；
S105：连接后的图的边的权重W由节点之间的特征差异所决定，由此构建一个带有权重的无向图，W根据第二公式计算得到：
第二公式：
其中，σ＝0.1，是一个控制权重大小的常数，fi代表节点i对应的超像素的lab颜色值(即该超像素中所有像素点lab颜色值的平均值)，||fi-fj||表示两个节点的对应超像素的lab颜色值的差值，差值越大，则节点间的权值越小，上述邻接接点为相邻的节点，边缘节点为位于图像边缘的超像素对应的节点，间接节点代表一个节点的相邻节点的相邻节点。此外，对于给出的图形结构G，其邻接矩阵为W＝[wij]N×N，度矩阵为D＝diag{d11,d22,...,dNN}，其中dii＝∑jwij。
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
所述S2具体为：
S201：用于根据拉普拉斯的逆矩阵和谱聚类原理(只有一小部分特征向量是有类别判别能力的，而其他特征向量没有类别判别能力，甚至会使类别信息混乱)，生成新的改进矩阵
所述S201具体为：
首先，扩散矩阵A可由拉普拉斯的逆矩阵A-1＝D-1(D-W)来表示，由于使用的扩散矩阵都是半正定的，所以A可被分解为其中ΛA为对角阵，其对角元素由A的特征值λAl,l＝1,2,...,N组成，UA的列向量由特征值对应的特征向量uAl,l＝1,2,...,N组成。根据谱聚类理论，A-1中的每个元素根据第三公式计算得到：
第三公式：
最终的显著性向量y的每个元素yi可根据第四公式计算得到：
第四公式：
其中.,.>为内积操作，为在时间时，节点i的扩散图。
第一，舍弃第一个最小特征值对应的特征向量。把A-1的特征值λl,1≤l≤N和特征向量ul,1≤l≤N，按从小到大排序。最小特征值对应的特征向量u1对图像的主要信息没有贡献，又会抑制其它重要的特征向量对图的扩散，因此，最小的特征值对应的特征向量被舍弃。
第二，舍弃特征间隙后的特征值。特征值越小，对图像的影响力就越大，所以主要提取排序后特征值靠前的值。实践中发现，在A-1中存在一个特征间隙r，在特征间隙之前的特征值会比特征间隙之后的特征值小很多。因此，先计算每两个特征值之间的差值，特征间隙r取差值最大的数，r可根据第五公式计算得到：
第五公式：r＝argmax|Δrl|，Δrl＝λl-λl-1,l＝2,...,N；
其中，在特征间隙之前的特征值被保留下来作为扩散图，而之后的特征值将被舍弃。
第三，舍弃判别力小的特征向量。虽然特征间隙之前的大部分特征值能代表图像的重要信息，但是有些特征向量所能代表的有用信息很小，而且这些细小的信息有的已在其他的特征值中，过多地重视这些判别力小的特征值，有可能导致最后的显著图效果更不好，因此，对于特征间隙之前的特征向量ul，首先通过方差var(ul)分别计算它们的判别力dc(ul)，再通过一个阈值来过滤掉判别力小的特征向量，可根据第六公式计算得到：
第六公式：
经过上述3个处理步骤，生成新的改进矩阵可根据第七公式计算得到：
第七公式：
S202：根据背景先验算法、颜色先验算法和位置先验算法组成的高层先验特征，并根据所述高层先验特征和第一图形结构，生成种子节点。
首先，相似的超像素被分为M个的区域BM＝{B1,B2,...,Bm}，然后通过定义一个值来计算每个区域与背景的相关性可根据第八公式计算得到：
第八公式：
其中，i的取值范围在1至m，len(Bi)指的是区域Bi中是图像边缘的超像素个数，Area(Bi)指的是区域Bi中超像素总的个数，的值越大，则显著性的值越小。其显著性值sbg可根据第九公式计算得到：
第九公式：
因为图像的红色和黄色更能对人类视觉产生更强的刺激，因此，通过这两种颜色的直方图来计算颜色先验，其显著性值sc可根据第十公式计算得到：
第十公式：sc＝exp((hS(ci)-hB(ci))/σ2 2)；
其中，ci表示超像素i的颜色，hS表示在颜色空间中红、黄两色的维度直方图分布，hB表示背景的颜色分布。
由于越靠近中心的物体，更能引起人类视觉的注意，因此，通过基于图像中心的高斯分布来计算中心先验，其显著性值sL可根据第十一公式计算得到：
第十一公式：
其中，||pi-po||表示超像素i的空间位置与图像中心位置的距离。
最后融合上述三种先验特征来获取种子向量s，可根据第十二公式计算得到：
第十二公式：s＝sbg×sc×sL；
S203：将得到的种子节点，通过构建的扩散矩阵，将种子节点携带的显著性信息扩散到整张图像中，由此构成一种扩散方法y，可根据第十三公式计算得到：
第十三公式：
其中，为S201中的扩散矩阵，s为S202中的种子向量，y为显著性向量。另外，种子向量s也可以是用任何一种显著性物体检测模型得到的图像的初步显著性值。然后，结合改进矩阵和种子向量s，让种子节点携带的显著性信息通过扩散矩阵传播到整张图像中，得到显著性向量y。最后，将y的值赋予每个节点即可得到最终的显著图；因此，根据改进矩阵和种子节点，可得到显著性物体检测的扩散方法。
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
所述S3具体为：
S301：根据第一图形结构中每一个节点对应超像素的lab颜色值(为该超像素所有像素点的lab颜色值的平均值)，通过第二公式计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
选取图像的lab平均空间颜色特征作为底层特征fl，根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的初步显著性向量yl，根据第十四公式计算得到：
第十四公式：
S302：根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
将S109中第十四公式得到的图像的初步显著性向量作为图像的中层特征fm，同样根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的中层显著性向量ym，可根据第十五公式计算得到：
第十五公式：
S303：根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图；
将S107中提到的第九公式的背景先验sbg和第十公式的颜色先验sc作为图像的高层特征fh，可根据第十六公式计算得到：
第十六公式：fh＝sbg×sc；
根据S105中第二公式和S201中第七公式构建扩散图和扩散矩阵再根据S203中第十三公式获取图像的高层显著性向量yh，可根据第十七公式计算得到：
第十七公式：
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
所述S4具体为：
非线性融合上述的中层显著性向量ym和高层显著性向量yh得到最终的显著性向量yf，可根据第十八公式计算得到：
第十八公式：
将yf的值赋予对应的节点得到目标显著图。
对于步骤S4，先通过步骤S1构建一个有权重的无向图，然后再通过步骤S2构建一个扩散方法，步骤S3通过步骤S2的扩散方法用不同的特征生成对应的显著图，最后步骤S4非线性结合步骤S3的显著图生成最后的显著图。
综上所述，本发明提供了一种基于多特征扩散的图像显著性检测方法及终端，在选择种子节点时，不将所有处于图像边缘的节点都默认为背景节点，而是从整体考虑，通过融合背景先验、颜色先验、位置先验这三种先验算法作为图像的高层先验特征来选取种子节点，以避免边缘处的显著性物体都被检测为背景的情况。最后，提取图像的多层特征构造不同的扩散图和扩散矩阵，从多个角度反映节点的相似性，并非线性融合由图像的中、高层特征分别获得的相应显著图得到最终显著图。本发明提高图像显著性检测的准确性，解决了现有技术中对显著性物体检测不突出且背景区域不能被很好抑制住的问题。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多特征扩散的图像显著性检测方法，其特征在于，包括：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
2.根据权利要求1所述一种基于多特征扩散的图像显著性检测方法，其特征在于，所述S1具体为：
将图像分割为多个超像素，每个超像素由若干个像素点组成；
根据所述多个超像素，得到图形结构G＝(V,E)；将每个超像素作为图形结构的一个节点V；每个超像素对应节点与超像素相邻的第一超像素对应的节点的连接线，以及每个超像素对应节点与第二超像素对应的节点的连接线，构成图形结构的边E；所述第二超像素与所述第一超像素相邻，且不与超像素重合；
根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；
根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算得到每个边缘节点的对应的显著性值，获取小于预设第一阈值的显著性值，得到多个的第一显著性值，将所述第一显著性值对应的边缘节点作为背景节点，得到多个第一背景节点；
根据每一个第一背景节点与除所述第一背景节点外的每一个背景节点之间的连接线，新增所述图形结构的边，得到第二图形结构；
获取所述第二图形结构中与每一条边相连的两个节点，计算所述每一条边相连的两个节点分别对应的超像素的lab颜色值之间差值，根据所述差值，得到每一条边的权重，得到带有权重的无向图，即为所述第一图形结构。
3.根据权利要求1所述的一种基于多特征扩散的图像显著性检测方法，其特征在于，所述S2具体为：
根据拉普拉斯的逆矩阵，得到拉普拉斯矩阵A；
根据拉普拉斯矩阵A，得到其中ΛA为对角阵，对角阵的对角元素由A的特征值组成，UA的列向量由特征值对应的特征向量所组成；
根据谱聚类原理，舍弃UA中A的最小特征值对应的特征向量，得到
根据ΛA和A的特征值，得到所述逆矩阵的改进矩阵；
根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；
根据所述高层先验特征和所述第一图形结构，得到各个节点对应的第二显著性值，获取第二显著性值中所有大于预设第二阈值的显著性值，得到多个的第三显著性值；
根据所述第三显著性值，得到种子节点；
将所述种子节点及改进矩阵，得到显著性物体检测的扩散方法。
4.根据权利要求1所述的一种基于多特征扩散的图像显著性检测方法，其特征在于，所述S3具体为：
根据第一图形结构中每一个节点对应超像素的lab颜色值，计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图。
5.根据权利要求1所述的一种基于多特征扩散的图像显著性检测方法，其特征在于，所述S4具体为：
计算中层显著图对应的中层显著向量；
计算高层显著图对应的高层显著向量；
根据所述中层显著向量和高层显著向量，通过非线性融合算法，计算得到目标显著性向量；
根据目标显著性向量和第一图形结构，得到目标显著图。
6.一种基于多特征扩散的图像显著性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
S1：通过超像素分割算法将图像分割为若干个超像素，并根据所述若干个超像素，构造得到第一图形结构；
S2：根据拉普拉斯的逆矩阵和谱聚类原理，得到所述逆矩阵的改进矩阵；根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；根据所述第一图形结构及高层先验特征，生成种子节点；
S3：分别根据图像的中层特征和高层特征构建对应的扩散图和扩散矩阵；并根据种子节点、改进矩阵、扩散图和扩散矩阵，生成对应的显著图，得到中层特征对应的中层显著图和高层特征对应的高层显著图；
S4：根据所述中层显著图和高层显著图，通过非线性融合算法，生成目标显著图。
7.根据权利要求6所述的一种基于多特征扩散的图像显著性检测终端，其特征在于，所述S1具体为：
将图像分割为多个超像素，每个超像素由若干个像素点组成；
根据所述多个超像素，得到图形结构G＝(V,E)；将每个超像素作为图形结构的一个节点V；每个超像素对应节点与超像素相邻的第一超像素对应的节点的连接线，以及每个超像素对应节点与第二超像素对应的节点的连接线，构成图形结构的边E；所述第二超像素与所述第一超像素相邻，且不与超像素重合；
根据图形结构，分别计算每一个边缘超像素对应的边缘节点和与边缘节点相邻的每一个节点之间的距离值，得到多个距离值；所述边缘超像素为包括图像边缘的像素点的超像素；
根据多个距离值、每一个边缘超像素的lab颜色值及与每一个边缘超像素所有相邻的超像素的lab颜色值，计算得到每个边缘节点的对应的显著性值，获取小于预设第一阈值的显著性值，得到多个的第一显著性值，将所述第一显著性值对应的边缘节点作为背景节点，得到多个第一背景节点；
根据每一个第一背景节点与除所述第一背景节点外的每一个背景节点之间的连接线，新增所述图形结构的边，得到第二图形结构；
获取所述第二图形结构中与每一条边相连的两个节点，计算所述每一条边相连的两个节点分别对应的超像素的lab颜色值之间差值，根据所述差值，得到每一条边的权重，得到带有权重的无向图，即为所述第一图形结构。
8.根据权利要求6所述的一种基于多特征扩散的图像显著性检测终端，其特征在于，所述S2具体为：
根据拉普拉斯的逆矩阵，得到拉普拉斯矩阵A；
根据拉普拉斯矩阵A，得到其中ΛA为对角阵，对角阵的对角元素由A的特征值组成，UA的列向量由特征值对应的特征向量所组成；
根据谱聚类原理，舍弃UA中A的最小特征值对应的特征向量，得到
根据ΛA和A的特征值，得到所述逆矩阵的改进矩阵；
根据第一图形结构，通过显著性检测方法中的背景先验算法、颜色先验算法和位置先验算法得到高层先验特征；
根据所述高层先验特征和所述第一图形结构，得到各个节点对应的第二显著性值，获取第二显著性值中所有大于预设第二阈值的显著性值，得到多个的第三显著性值；
根据所述第三显著性值，得到种子节点；
将所述种子节点及改进矩阵，得到显著性物体检测的扩散方法。
9.根据权利要求6所述的一种基于多特征扩散的图像显著性检测终端，其特征在于，所述S3具体为：
根据第一图形结构中每一个节点对应超像素的lab颜色值，计算所述第一图形结构中每一条边的第一权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第一权重，得到图像的底层显著图；
根据所述图像的底层显著图，得到每一个节点对应的第一特征值；根据每一个节点对应的第一特征值，计算所述第一图形结构中每一条边的第二权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第二权重，得到图像的中层显著图；
根据所述图像的中层显著图，得到每一个节点对应的第二特征值；根据每一个节点对应的第二特征值，计算所述第一图形结构中每一条边的第三权重；并根据第一图形结构、种子节点、改进矩阵和每一条边的第三权重，得到图像的高层显著图。
10.根据权利要求6所述的一种基于多特征扩散的图像显著性检测终端，其特征在于，所述S4具体为：
计算中层显著图对应的中层显著向量；
计算高层显著图对应的高层显著向量；
根据所述中层显著向量和高层显著向量，通过非线性融合算法，计算得到目标显著性向量；
根据目标显著性向量和第一图形结构，得到目标显著图。
CN201810053582.8A 2018-01-19 2018-01-19 一种基于多特征扩散的图像显著性检测方法及终端 Active CN108320281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810053582.8A CN108320281B (zh) 2018-01-19 2018-01-19 一种基于多特征扩散的图像显著性检测方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810053582.8A CN108320281B (zh) 2018-01-19 2018-01-19 一种基于多特征扩散的图像显著性检测方法及终端

Publications (2)

Publication Number Publication Date
CN108320281A true CN108320281A (zh) 2018-07-24
CN108320281B CN108320281B (zh) 2021-11-09

Family

ID=62895081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810053582.8A Active CN108320281B (zh) 2018-01-19 2018-01-19 一种基于多特征扩散的图像显著性检测方法及终端

Country Status (1)

Country Link
CN (1) CN108320281B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472259A (zh) * 2018-10-30 2019-03-15 河北工业大学 基于能量优化的图像协同显著性检测方法
CN111160478A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于深度学习的高光谱目标显著性检测方法
CN111611999A (zh) * 2020-05-22 2020-09-01 福建师范大学 一种融合小型深度生成模型的显著性检测方法及终端
CN112287935A (zh) * 2020-09-03 2021-01-29 河海大学 一种基于显著性先验的图像语义分割方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879080A2 (en) * 2013-12-02 2015-06-03 Omron Corporation Image processing device and method, and computer readable medium
CN105404888A (zh) * 2015-11-16 2016-03-16 浙江大学 结合颜色和深度信息的显著性目标检测方法
CN105513042A (zh) * 2015-10-30 2016-04-20 河海大学 一种基于多层分析和分层推理的显著性检测方法
CN106815843A (zh) * 2016-11-30 2017-06-09 江苏城乡建设职业学院 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
CN106960434A (zh) * 2017-03-03 2017-07-18 大连理工大学 一种基于被包围状态和贝叶斯模型的图像显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879080A2 (en) * 2013-12-02 2015-06-03 Omron Corporation Image processing device and method, and computer readable medium
CN105513042A (zh) * 2015-10-30 2016-04-20 河海大学 一种基于多层分析和分层推理的显著性检测方法
CN105404888A (zh) * 2015-11-16 2016-03-16 浙江大学 结合颜色和深度信息的显著性目标检测方法
CN106815843A (zh) * 2016-11-30 2017-06-09 江苏城乡建设职业学院 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
CN106960434A (zh) * 2017-03-03 2017-07-18 大连理工大学 一种基于被包围状态和贝叶斯模型的图像显著性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENG JIANG,ET AL: "Generic Promotion of Diffusion-Based Salient Object Detection", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
王祥雒 等: "一种结合先验知识和半监督学习的显著性检测方法", 《现代计算机》 *
金连宝: "基于分层信息融合和随机游走的显著性检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472259A (zh) * 2018-10-30 2019-03-15 河北工业大学 基于能量优化的图像协同显著性检测方法
CN109472259B (zh) * 2018-10-30 2021-03-26 河北工业大学 基于能量优化的图像协同显著性检测方法
CN111160478A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于深度学习的高光谱目标显著性检测方法
CN111160478B (zh) * 2019-12-31 2022-07-26 北京理工大学重庆创新中心 一种基于深度学习的高光谱目标显著性检测方法
CN111611999A (zh) * 2020-05-22 2020-09-01 福建师范大学 一种融合小型深度生成模型的显著性检测方法及终端
CN111611999B (zh) * 2020-05-22 2023-04-07 福建师范大学 一种融合小型深度生成模型的显著性检测方法及终端
CN112287935A (zh) * 2020-09-03 2021-01-29 河海大学 一种基于显著性先验的图像语义分割方法及系统

Also Published As

Publication number Publication date
CN108320281B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
Kim et al. Detecting construction equipment using a region-based fully convolutional network and transfer learning
Tao et al. Smoke detection based on deep convolutional neural networks
Yu et al. Context-based hierarchical unequal merging for SAR image segmentation
CN108320281A (zh) 一种基于多特征扩散的图像显著性检测方法及终端
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
Hosseini et al. UFS-Net: A unified flame and smoke detection method for early detection of fire in video surveillance applications using CNNs
CN105528575B (zh) 基于上下文推理的天空检测方法
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN108960230A (zh) 基于旋转矩形框的轻量化目标识别方法及装置
CN110378297A (zh) 一种基于深度学习的遥感图像目标检测方法
Jiang et al. Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN113379771B (zh) 带有边缘约束的层次化人体解析语义分割方法
Linder et al. Real-time full-body human gender recognition in (RGB)-D data
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN105303163B (zh) 一种目标检测的方法及检测装置
CN109543744B (zh) 一种基于龙芯派的多类别深度学习图像识别方法及其应用
CN108875456A (zh) 目标检测方法、目标检测装置和计算机可读存储介质
Schneider et al. Unsupervised anomaly detection from time-of-flight depth images
Sobhana et al. A disaster classification application using convolutional neural network by performing data augmentation
Wang et al. Salient object detection using biogeography-based optimization to combine features
Duffner et al. A neural scheme for robust detection of transparent logos in TV programs
CN113096080A (zh) 图像分析方法及系统
CN114266955A (zh) 一种遥感影像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant