CN108647695A - 基于协方差卷积神经网络的低对比度图像显著性检测方法 - Google Patents

基于协方差卷积神经网络的低对比度图像显著性检测方法 Download PDF

Info

Publication number
CN108647695A
CN108647695A CN201810409544.1A CN201810409544A CN108647695A CN 108647695 A CN108647695 A CN 108647695A CN 201810409544 A CN201810409544 A CN 201810409544A CN 108647695 A CN108647695 A CN 108647695A
Authority
CN
China
Prior art keywords
image
methods
block
covariance
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810409544.1A
Other languages
English (en)
Inventor
徐新
穆楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201810409544.1A priority Critical patent/CN108647695A/zh
Publication of CN108647695A publication Critical patent/CN108647695A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于协方差卷积神经网络的低对比度图像显著性检测方法，包括步骤：以像素为单元提取训练集中的图像的低级视觉特征；以提取的低级视觉特征所组成的多维特征向量为基础构造区域协方差；以协方差矩阵为训练样本构造卷积神经网络模型；基于局部和全局对比度原则计算图像显著性。通过在现有的MSRA数据集，SOD数据集，CSSD数据集，DUT‑OMRON数据集，PASCAL‑S数据集和本发明的NI数据集上进行测试对比，得出本发明的方法提高了传统显著性检测的鲁棒性，能够高效的获得更加准确的显著图，尤其对于低对比度图像，能够很好的提取出显著性目标，为夜间安防监控、复杂环境目标定位等热点问题提供了很好的解决方案。

Description

基于协方差卷积神经网络的低对比度图像显著性检测方法
技术领域
本发明涉及一种基于协方差卷积神经网络的低对比度图像显著性检测方法，属于图像处理技术领域。
背景技术
为了使计算机能够像人类那样高效地处理图像，研究人员就借鉴人眼视觉系统的选择注意机制，提出了视觉显著性检测，主要任务是从图像数据中快速地定位能够吸引人眼视觉注意的感兴趣区域，从而可以极大提高计算机处理海量数字媒体信息的效率。图像的显著目标检测为解决计算机视觉领域中的难题提供了一种新思路并逐渐占据着重要的地位，通过显著性检测能够提取出人眼对图像场景的主要关注对象。作为一种预处理模块，可靠且快速的显著性检测为感兴趣目标的分割和提取、对象检测和识别、图像智能压缩等应用提供了有价值的参考信息。
随着对人类视觉系统感知机制认知的不断加深，研究人员提出了大量视觉注意力模型，并成功应用于视觉计算的各个研究领域，已经成为智能图像信号处理的研究热点。现有的这些视觉显著目标检测模型大多数仅适用于可见光环境，然而在现实生活中经常会遇到一些低对比度场景，比如受雨、雪、雾霾等天气干扰或者夜间光照条件很差的环境限制，这就给显著目标检测带来了极大的挑战。由于低对比度图像具有低信噪比及低对比度特性，这就导致特征的测度容易受到噪声干扰、场景背景变化、弱纹理模糊等诸多因素的影响，使得传统显著性模型检测结果的可靠性大幅度下降。
近年来，深度学习研究的深入使得以卷积神经网络为典型代表的网络模型因其强大的学习能力受到广泛的关注并成功应用于不同的视觉任务。卷积神经网络作为一种模拟人类大脑神经结构的模型，其能够完成类似人类感知性能的对象识别，也可视为一种高级显著线索应用于低对比度图像中显著对象的检测。
发明内容
显著对象检测模型通常可以分为两类：自底向上和自顶向下的方法。自底向上的显著对象检测模型是数据驱动的，主要基于低级视觉特征(例如颜色、对比度等)；而自顶向下的显著目标检测模型主要是任务驱动的，通常是基于认知视觉特征(例如人脸、人、汽车等)。本发明主要结合自底向上和自顶向下的方法进行显著目标的检测。首先提取了图像的28个低级视觉特征，并引入协方差描述符来融合这些特征，该操作不仅抑制了弱光图像中的噪声，而且还保留了显著对象中重要的结构信息。为了获得最佳的性能，通过卷积神经网络对采样图像块的协方差矩阵进行训练。本发明提出的基于区域协方差的卷积神经网络模型可以通过学习低对比度图像中的显著特征来估计图像的显著性。
发明概述：
该发明主要通过估计28个低级视觉特征(4个颜色特征、12个可操纵金字塔特征和12个Gabor滤波特征)的协方差来训练一个7层的CNN模型。在训练阶段，从训练低对比度图像中随机选取图像块，并将其协方差矩阵作为训练样本。在测试阶段，将输入图像划分为不同尺度的非重叠块，并通过预先训练的CNN模型估计其显著性。最后，利用多尺度图像块的中心-周边对比度来计算测试低对比度图像的显著性。通过利用基于协方差的CNN模型对每个图像块的显著性进行估计，能够形成一个包含有明显的显著物体的CNN特征图。然后利用局部和全局对比方法对预测的显著值进行优化，生成最终的显著图。
本发明的技术方案如下：
一种基于协方差卷积神经网络的低对比度图像显著性检测方法，包括步骤如下：
(1)以像素为单元提取图像的低级视觉特征；
(2)以多维特征向量为基础构造区域协方差；
(3)以协方差矩阵为训练样本构造卷积神经网络模型；
(4)基于局部和全局对比度原则计算图像显著性。
本发明优选的，步骤(1)中，所述图像的低级视觉特征包括4个颜色特征，12个可操纵金字塔特征和12个Gabor滤波特征，具体如下：
1)所述颜色特征的提取方法，是通过将图像转换到不同的颜色空间，来提取不同的颜色特征，具体如下：
首先，在RGB颜色空间中，通过计算三个颜色通道的平均像素值来提取图像的强度特征f1(x,y)；
其次，将原始图像转换到LAB颜色空间中，提取L通道的亮度特征f2(x,y)；
然后，将原始图像转换到HSV颜色空间中，提取像素点在H通道的色调特征f3(x,y)和S通道的饱和度特征f4(x,y)；
2)所述可操纵金字塔特征的提取方法，是通过在四个不同方向上用三个尺度过滤图像来提取12个可控金字塔特征，记为f5(x,y),f6(x,y)···f16(x,y)；
3)所述Gabor滤波特征的提取方法，是通过在12个方向上进行Gabor滤波，提取单一尺度下的12个Gabor滤波特征分别记为f17(x,y),f18(x,y)···f28(x,y)，选择的最小滤波器的带宽为8；
基于上述所述的4个颜色特征、12个可操纵金字塔特征和12个Gabor滤波特征共28个低级视觉特征，可以将输入图像转换为多维特征向量，如下式所示：
F(x,y)＝[f1(x,y),f2(x,y),···,fk(x,y),···,f28(x,y)]T (1)
式中，[]T表示矩阵的转置。
本发明优选的，步骤(2)中，所述以多维特征向量为基础构造区域协方差的具体步骤如下：
对于给定的图像，首先将其分割为尺寸为J×J的非重叠图像块，其中J的取值为2的正整数次方且小于图像的最小边，这些图像块表示为B(i),i＝1,···,N，其中，N为块的总数；
对于每个块区域B(i)，因为特征向量是28维的，其区域描述符可以表示为特征点的28×28协方差矩阵，每个块区域B(i)的协方差矩阵的计算如下：
式中，{Fj(x,y)}，j＝1,···,n，表示B(i)内部的28维特征点，μ*是这些点的平均值；
将图像表示为28维特征向量之后，可以将这些低级视觉特征的协方差矩阵作为图像区域的描述符。
本发明优选的，步骤(3)中，所述以协方差矩阵为训练样本构造卷积神经网络模型的具体步骤为：
在训练阶段，首先从每个测试数据集中随机选择j幅图像，所述j的取值为测试数据总量的60-90％，并构建这些图像的28维特征向量；然后从这些图像中提取m个p×p的随机块，其中m≥10000，p的取值为2的正整数次方且小于图像的最小边，表示为bi,i＝1,···,m，每个块可以表示为28×28的协方差矩阵；对于m个训练样本，记为train_xi，可以从图像对应的基准二值图中获取每个样本对应的标签，记为train_yi＝{0,0.1,···,0.9}，每个块的标签代表着该块的显著性；每个样本的10个标签，表示基准二值图中的图像块bi内部显著像素所占的比例；
对于给定的28×28协方差矩阵，第一个卷积层包含6个特征图以及对应的6个子采样层，第二个卷积层包含12个特征图以及对应的12个子采样层；然后，特征图连接成一个特征向量，该特征向量通过全连接到映射到最终的分类中。
本发明优选的，步骤(4)中，所述基于局部和全局对比度原则计算图像显著性的具体步骤为：
在测试阶段，首先，将输入图像的尺寸调整为K×K，其中K的取值为2的正整数次方，提取28个低级视觉特征将图像抽象为28维的特征向量；然后，将图像分割为p×p的非重叠块，其中p的取值为2的正整数次方且小于图像的最小边，将这些块的协方差矩阵作为测试样本；依据预训练的深度CNN模型就可以为每个块标记一个显著值标签；测试完三个尺度下所有块的分数后，就得到一个CNN特征图；
将特征图利用局部和全局对比度来估计低对比度图像的显著性，对于每个图像块B(i)，i＝1,···,N，其显著性可以通过测量其与邻域图像块之间的显著分数的差异求得，计算如下：
式中，j＝1,···,M，B(j)表示B(i)的邻域图像块，c(i)和c(j)分别表示图像块B(i)和B(j)的中心像素点，表示求取欧几里得距离；
求得每个图像块的显著值后，可得到一个α×α的矩阵再将该矩阵的尺寸调整为输入图像尺寸，即可得到图像的最终显著图。
本发明优选的，所述局部对比度是通过局部邻域求B(i)得到的，全局对比度是通过全局邻域求B(i)得到的，具体如下：
所述局部邻域求B(i)的局部对比度的方法为：求取图像块B(i)与其八邻域图像块(M的值为8)之间的差异；
所述全局邻域求B(i)的全局对比度的方法为：求取图像块B(i)与整个图像中其他图像块(M的值为除B(i)外其他所有图像块的个数)之间的差异。
本发明的有益效果是：
本发明的方法提高了传统显著性检测的鲁棒性，能够高效的获得更加准确的显著图，同时对于低对比度图像，能够很好的提取出显著性目标，为夜间安防监控、复杂环境目标定位等热点问题提供了很好的解决方案。
附图说明
图1：本发明所述方法的基本流程图。
图2：本发明的七层CNN框架图。
图3：使用本发明的方法与现有的图像显著性检测方法分别在MSRA数据集、SOD数据集、CSSD数据集、DUT-OMRON数据集、PASCAL-S数据集和本发明提出的NI数据集上测试所得到的显著图的主观性能对比图。
图3中每一列图表示的含义如下：
图3(a)：输入图像；
图3(b)：输入图像对应的基准显著图；
图3(c)：基于无参数低级特征的NP方法；
图3(d)：基于图像签名的IS方法；
图3(e)：基于低秩矩阵恢复的LR方法；
图3(f)：基于上下文感知的CA方法；
图3(g)：基于图像块独特性的PD方法；
图3(h)：基于图模型流行排序的GBMR方法；
图3(i)：基于显著性优化的SO方法；
图3(j)：基于引导学习的BL方法；
图3(k)：基于细胞自动机的BSCA方法；
图3(l)：基于局部全局线索的GL方法；
图3(m)：本发明方法所得到的显著图。
图4：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在MSRA数据集上测试所得到结果的ROC曲线。
图5：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在SOD数据集上测试所得到结果的ROC曲线。
图6：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在CSSD数据集上测试所得到结果的ROC曲线。
图7：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在DUT-OMRON数据集上测试所得到结果的ROC曲线。
图8：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在PASCAL-S数据集上测试所得到结果的ROC曲线。
图9：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法及本发明的方法在本发明提出的NI数据集上测试所得到结果的ROC曲线。
图10：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在MSRA数据集上测试所得的精度、召回率和F-measure性能对比图。
图11：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在SOD数据集上测试所得的精度、召回率和F-measure性能对比图。
图12：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在CSSD数据集上测试所得的精度、召回率和F-measure性能对比图。
图13：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在DUT-OMRON数据集上测试所得的精度、召回率和F-measure性能对比图。
图14：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在PASCAL-S数据集上测试所得的精度、召回率和F-measure性能对比图。
图15：采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法在本发明提出的NI数据集上测试所得的精度、召回率和F-measure性能对比图。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
本实施例所述的一种基于协方差卷积神经网络的低对比度图像显著性检测方法，包括步骤如下：
(1)如图1所示，以像素为单元提取训练集中的图像的低级视觉特征；
(2)如图1所示，以提取的低级视觉特征所组成的多维特征向量为基础构造区域协方差；
(3)如图2所示，以协方差矩阵为训练样本构造卷积神经网络模型；
(4)基于局部和全局对比度原则计算图像显著性。
所述步骤(1)中，所述图像的低级特征包括4个颜色特征，12个可操纵金字塔特征和12个Gabor滤波特征。为了捕捉低对比度图像中的有效视觉信息，需要清除那些干扰显著物体识别的强噪声，并保留那些构成前景显著物体的细节信息。本实施例主要提取了28个低级图像特征来表达低对比度图像，提取方法如下：
1)颜色特征的提取：
通过将图像转换到不同的颜色空间，来提取不同的颜色特征，具体如下：
首先，在RGB颜色空间中，通过计算三个颜色通道的平均像素值来提取图像的强度特征f1(x,y)；
其次，将原始图像转换到LAB颜色空间中，提取L通道的亮度特征f2(x,y)，由于亮度是人类视觉所感知的最基本信息，因此发光量就成为了测量低对比度图像中物体显著性的一个重要指标；
然后，将原始图像转换到HSV颜色空间中，提取像素点在H通道的色调特征f3(x,y)和S通道的饱和度特征f4(x,y)，这两个特征可以用来区分图像的色差并捕获到有效的视觉信息。
本实施例所提取的这4种颜色特征受图像对比度的影响较小。
2)可操纵金字塔特征提取：
对人类注意机制的研究表明，人类视觉系统的神经元对固定角度的图像信号有着较为明显的反应，因此可以引入方向特征来描述图像信号在某些特定方向上的显著属性。由于可操纵金字塔特征是一种多尺度的分解，因此可以准确地将图像转换成不同方向和不同尺度的子带。这一属性可以消除信号数据中的噪声，本方法通过在四个不同方向上用三个尺度过滤图像来提取12个可控金字塔特征，记为f5(x,y),f6(x,y)···f16(x,y)。低对比度图像的边缘方向信息可以由这些可操纵的金字塔特征来表示，它们对噪声也是鲁棒的。
3)Gabor滤波特征提取：
Gabor filter是一种有效的去噪操作，可以用来测量尺度和方向特征，因此可用于边缘和纹理特征的检测。对于Gabor滤波器，其具有定位特性，这与人眼视觉系统的机制一致，因此Gabor滤波特征对能见度低的低对比度图像有着很好的鲁棒性。本方法是通过在12个方向上进行Gabor滤波，提取单一尺度下的12个Gabor滤波特征分别记为f17(x,y),f18(x,y)···f28(x,y)，本实施例中选择的最小滤波器的带宽为8。低对比度图像中显著对象的轮廓信息可以通过Gabor滤波特征提取出来。
基于上述所述的4个颜色特征、12个可操纵金字塔特征和12个Gabor滤波特征共28个视觉特征，可以将输入图像转换为多维特征向量，如下式所示：
F(x,y)＝[f1(x,y),f2(x,y),···,fk(x,y),···,f28(x,y)]T (1)
式中，[]T表示矩阵的转置。
所述步骤(2)中，所述以多维特征向量为基础构造区域协方差的具体步骤如下：
对于给定的图像，首先将其分割为尺寸为J×J的非重叠图像块，其中J的取值为2的正整数次方且小于图像的最小边，这些图像块表示为B(i),i＝1,···,N，其中，N为块的总数；本实施例优选，图像块的尺寸为8×8；
对于每个块区域B(i)，因为特征向量是28维的，其区域描述符可以表示为特征点的28×28协方差矩阵，每个块区域B(i)的协方差矩阵的计算如下：
式中，{Fj(x,y)}，j＝1,···,n，表示B(i)内部的28维特征点，μ*是这些点的平均值；
将图像表示为28维特征向量之后，可以将这些低级视觉特征的协方差矩阵作为图像区域的描述符。协方差是衡量这些特征之间相关性的重要指标，同时，这些特征向量的协方差矩阵为不同低级视觉特征之间的非线性融合提供了有效途径。由于协方差的计算是利用强度变化而不是强度均值，所以协方差描述符对亮度变化和噪声扰动不敏感。因此，协方差描述符可以有效地表示低对比度图像的显著信息，并且在低对比条件下对复杂信息的干扰具有鲁棒性。
所述步骤(3)中，所述以协方差矩阵为训练样本构造卷积神经网络模型的具体步骤为：
在训练阶段，首先从每个测试数据集中随机选择j幅图像，所述j的取值为测试数据总量的60-90％，并构建这些图像的28维特征向量；然后从这些图像中提取m个p×p的随机块，其中m≥10000，p的取值为2的正整数次方且小于图像的最小边，本实施例优选m＝10000，表示为bi,i＝1,···,m，每个块可以表示为28×28的协方差矩阵；对于m个训练样本，记为train_xi，可以从图像对应的基准二值图中获取每个样本对应的标签，记为train_yi＝{0,0.1,···,0.9}，每个块的标签代表着该块的显著性；每个样本的10个标签，表示基准二值图中的图像块bi内部显著像素所占的比例。
如图2所示，对于给定的28×28协方差矩阵，第一个卷积层包含6个特征图以及对应的6个子采样层，第二个卷积层包含12个特征图以及对应的12个子采样层；然后，特征图连接成一个特征向量，该特征向量通过全连接到映射到最终的分类中。
所述步骤(4)中，所述基于局部和全局对比度原则计算图像显著性的具体步骤为：
在测试阶段，首先，将输入图像的尺寸调整为K×K，其中K的取值为2的正整数次方，当K小于7时图像的分辨率偏低，当K大于10时算法的计算时间会偏高，本实施例优选K＝256，即输入图像的尺寸为256×256，提取28个低级视觉特征将图像抽象为28维的特征向量；然后，将图像分割为p×p的非重叠块，其中p的取值为2的正整数次方且小于图像的最小边，将这些块的协方差矩阵作为测试样本；依据预训练的深度CNN模型就可以为每个块标记一个显著值标签；测试完三个尺度下所有块的分数后，就得到一个CNN特征图；多尺度策略使得模型在针对含有不同尺寸显著对象的图像时都能有很好的适应性，并能抑制低对比度环境下噪声背景的干扰。
将特征图利用局部和全局对比度来估计低对比度图像的显著性，这两种方法可以发挥互补作用，更加精确地检测到显著物体。这一过程不仅可以估计图像块的固有属性，而且可以测量显著物体的视觉对比度。对于每个图像块B(i)，i＝1,···,N，其显著性可以通过测量其与邻域图像块之间的显著分数的差异求得，计算如下：
式中，j＝1,···,M，B(j)表示B(i)的邻域图像块，c(i)和c(j)分别表示图像块B(i)和B(j)的中心像素点，表示求取欧几里得距离。
本实施例分别用了局部邻域和全局邻域求B(i)的局部对比度和全局对比度。所述局部邻域求B(i)的局部对比度的方法为：求取图像块B(i)与其八邻域图像块(M的值为8)之间的差异；所述全局邻域求B(i)的全局对比度的方法为：求取图像块B(i)与整个图像中其他图像块(M的值为除B(i)外其他所有图像块的个数)之间的差异。
求得每个图像块的显著值后，可得到一个α×α的矩阵再将该矩阵的尺寸调整为输入图像尺寸，即可得到图像的最终显著图。
本发明方法与现有的图像显著性检测方法分别在MSRA数据集、SOD数据集、CSSD数据集、DUT-OMRON数据集、PASCAL-S数据集和NI数据集上测试所得到的显著图的检测效果对比如图3所示，其中图3(c)为N.Murray等人提出的基于无参数低级特征的NP方法的检测结果，图3(d)为X.Hou等人所提出的基于图像签名的IS方法的检测结果，图3(e)为X.Shen等人所提出的基于低秩矩阵恢复的LR方法的检测结果，图3(f)为S.Goferman等人所提出的基于上下文感知的CA方法的检测结果，图3(g)为R.Margolin等人所提出的基于图像块独特性的PD方法的检测结果，图3(h)为C.Yang等人所提出的基于图模型流行排序的GBMR方法的检测结果，图3(i)为W.Zhu等人所提出的基于显著性优化的SO方法的检测结果，图3(j)为N.Tong等人所提出的基于引导学习的BL方法的检测结果，图3(k)为Y.Qin等人所提出的基于细胞自动机的BSCA方法的检测结果，图3(l)为N.Tong等人所提出的基于局部全局线索的GL方法的检测结果，图3(m)为本发明方法所提出的方法所得到的显著图。从图中也能明显看出，大部分方法针对可见光图像可以得到良好的显著图，而针对低对比度图像产生显著图的性能大幅度下降，但本发明的方法依然可以在可见光不足的图像中获得优越的检测效果。
如图4-9所示，分别表示采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明方法的ROC曲线。其中图4为MSRA数据集上的曲线性能对比、图5为SOD数据集上的曲线性能对比、图6为CSSD数据集上的曲线性能对比、图7为DUT-OMRON数据集上的曲线性能对比、图8为PASCAL-S数据集上的曲线性能对比、图9为本发明提出的NI数据集上曲线性能对比。从图中可以看出，本发明的方法在六个数据集上获得比其他10种最先进的显著性方法更好的性能。
AUC值(area under the curve)能很好反映出显著性检测中命中率与误报率之间的关系，曲线下的面积越大，则可以反应出检测的准确性越高，各方法在不同数据集下的AUC性能如表1所示，表中最佳的两个结果分别用下划线和波浪线显示，可以看出本发明的结果要优于其他10种方法的结果。
表1.本发明与10种显著性检测方法在六个数据集上的AUC性能对比。
如图10-15所示，各柱状图分别表示采用现有的NP方法、IS方法、LR方法、CA方法、PD方法、GBMR方法、SO方法、BL方法、BSCA方法、GL方法以及本发明的方法的准确率、召回率以及F-measure三个指标的性能对比。其中图10为MSRA数据集上的性能对比、图11为SOD数据集上的性能对比、图12为CSSD数据集上的性能对比、图13为DUT-OMRON数据集上的性能对比、图14为PASCAL-S数据集上的性能对比、图15为NI数据集上性能对比。从图中可以看出，本发明在不同数据集上都有着优越的性能。
MAE(mean absolute error)表明实验结果图和基准显著图之间的相似度。各方法在不同数据集下的AUC性能如表2所示，表中最佳的两个结果分别用下划线和波浪线显示，可以看出本专利的结果获得了较好的性能。
表2.本发明与10种显著性检测方法在六个数据集上的MAE性能对比。
本章模型由MATLAB在G2020CPU和12GB内存的电脑上完成测试。表3显示了本发明与其他10个对比方法的执行时间性能对比。通过表3可以看出，IS、GBMR、SO和BSCA模型处理图像的平均时间较短，但这些方法的误检率较高，所产生的显著图包含了大量背景区域。LR，CA，PD，和BL模型能在光照良好的条件下定位到显著目标，但这些方法的平均时间消耗较高，无法满足实时检测的需求。本发明的模型处理每幅图像的平均处理时间在8秒之内，相对来说，是比较高效的。
表3.本发明与10种显著性检测方法在六个数据集上的运行时间(单位：秒)性
能对比。
综上所述，本发明提高了传统显著性检测的鲁棒性，能够高效的获得更加准确的显著图，同时对于低对比度图像，能够很好的提取出显著性目标。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (7)

1.一种基于协方差卷积神经网络的低对比度图像显著性检测方法，其特征在于，包括步骤如下：
(1)以像素为单元提取图像的低级视觉特征；
(2)以多维特征向量为基础构造区域协方差；
(3)以协方差矩阵为训练样本构造卷积神经网络模型；
(4)基于局部和全局对比度原则计算图像显著性。
2.根据权利要求1所述的检测方法，其特征在于，步骤(1)中，所述图像的低级视觉特征包括4个颜色特征，12个可操纵金字塔特征和12个Gabor滤波特征。
3.根据权利要求2所述的检测方法，其特征在于，
1)所述颜色特征的提取方法，是通过将图像转换到不同的颜色空间，来提取不同的颜色特征，具体如下：
首先，在RGB颜色空间中，通过计算三个颜色通道的平均像素值来提取图像的强度特征f1(x,y)；
其次，将原始图像转换到LAB颜色空间中，提取L通道的亮度特征f2(x,y)；
然后，将原始图像转换到HSV颜色空间中，提取像素点在H通道的色调特征f3(x,y)和S通道的饱和度特征f4(x,y)；
2)所述可操纵金字塔特征的提取方法，是通过在四个不同方向上用三个尺度过滤图像来提取12个可控金字塔特征，记为f5(x,y),f6(x,y)…f16(x,y)；
3)所述Gabor滤波特征的提取方法，是通过在12个方向上进行Gabor滤波，提取单一尺度下的12个Gabor滤波特征分别记为f17(x,y),f18(x,y)…f28(x,y)，选择的最小滤波器的带宽为8；
基于上述所述的4个颜色特征、12个可操纵金字塔特征和12个Gabor滤波特征共28个低级视觉特征，可以将输入图像转换为多维特征向量，如下式所示：
F(x,y)＝[f1(x,y),f2(x,y),…,fk(x,y),…,f28(x,y)]T (1)
式中，[]T表示矩阵的转置。
4.根据权利要求1所述的检测方法，其特征在于，步骤(2)中，所述以多维特征向量为基础构造区域协方差的具体步骤如下：
对于给定的图像，首先将其分割为尺寸为J×J的非重叠图像块，其中J的取值为2的正整数次方且小于图像的最小边，这些图像块表示为B(i),i＝1,…,N，其中，N为块的总数；
对于每个块区域B(i)，因为特征向量是28维的，其区域描述符可以表示为特征点的28×28协方差矩阵，每个块区域B(i)的协方差矩阵的计算如下：
式中，{Fj(x,y)}，j＝1,…,n，表示B(i)内部的28维特征点，μ*是这些点的平均值；
将图像表示为28维特征向量之后，可以将这些低级视觉特征的协方差矩阵作为图像区域的描述符。
5.根据权利要求1所述的检测方法，其特征在于，步骤(3)中，所述以协方差矩阵为训练样本构造卷积神经网络模型的具体步骤为：
在训练阶段，首先从每个测试数据集中随机选择j幅图像，所述j的取值为测试数据总量的60-90％，并构建这些图像的28维特征向量；然后从这些图像中提取m个p×p的随机块，其中m≥10000，p的取值为2的正整数次方且小于图像的最小边，表示为bi,i＝1,…,m，每个块可以表示为28×28的协方差矩阵；对于m个训练样本，记为train_xi，可以从图像对应的基准二值图中获取每个样本对应的标签，记为train_yi＝{0,0.1,…,0.9}，每个块的标签代表着该块的显著性；每个样本的10个标签，表示基准二值图中的图像块bi内部显著像素所占的比例；
对于给定的28×28协方差矩阵，第一个卷积层包含6个特征图以及对应的6个子采样层，第二个卷积层包含12个特征图以及对应的12个子采样层；然后，特征图连接成一个特征向量，该特征向量通过全连接映射到最终的分类中。
6.根据权利要求1所述的检测方法，其特征在于，步骤(4)中，所述基于局部和全局对比度原则计算图像显著性的具体步骤为：
在测试阶段，首先，将输入图像的尺寸调整为K×K，其中K的取值为2的正整数次方，提取28个低级视觉特征将图像抽象为28维的特征向量；然后，将图像分割为p×p的非重叠块，其中p的取值为2的正整数次方且小于图像的最小边，将这些块的协方差矩阵作为测试样本；依据预训练的深度CNN模型就可以为每个块标记一个显著值标签；测试完三个尺度下所有块的分数后，就得到一个CNN特征图；
将特征图利用局部和全局对比度来估计低对比度图像的显著性，对于每个图像块B(i)，i＝1,…,N，其显著性可以通过测量其与邻域图像块之间的显著分数的差异求得，计算如下：
式中，j＝1,…,M，B(j)表示B(i)的邻域图像块，c(i)和c(j)分别表示图像块B(i)和B(j)的中心像素点，||表示求取欧几里得距离；
求得每个图像块的显著值后，可得到一个α×α的矩阵再将该矩阵的尺寸调整为输入图像尺寸，即可得到图像的最终显著图。
7.根据权利要求6所述的检测方法，其特征在于，所述局部对比度是通过局部邻域求B(i)得到的，全局对比度是通过全局邻域求B(i)得到的，具体如下：
所述局部邻域求B(i)的局部对比度的方法为：求取图像块B(i)与其八邻域图像块(M的值为8)之间的差异；
所述全局邻域求B(i)的全局对比度的方法为：求取图像块B(i)与整个图像中其他图像块(M的值为除B(i)外其他所有图像块的个数)之间的差异。
CN201810409544.1A 2018-05-02 2018-05-02 基于协方差卷积神经网络的低对比度图像显著性检测方法 Withdrawn CN108647695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810409544.1A CN108647695A (zh) 2018-05-02 2018-05-02 基于协方差卷积神经网络的低对比度图像显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810409544.1A CN108647695A (zh) 2018-05-02 2018-05-02 基于协方差卷积神经网络的低对比度图像显著性检测方法

Publications (1)

Publication Number Publication Date
CN108647695A true CN108647695A (zh) 2018-10-12

Family

ID=63748926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810409544.1A Withdrawn CN108647695A (zh) 2018-05-02 2018-05-02 基于协方差卷积神经网络的低对比度图像显著性检测方法

Country Status (1)

Country Link
CN (1) CN108647695A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858494A (zh) * 2018-12-28 2019-06-07 武汉科技大学 一种低对比度图像中显著性目标检测方法及装置
CN109948393A (zh) * 2019-03-22 2019-06-28 凌云光技术集团有限责任公司 一种一维条码的定位方法及装置
CN109978881A (zh) * 2019-04-09 2019-07-05 苏州浪潮智能科技有限公司 一种图像显著性处理的方法和装置
WO2020186563A1 (zh) * 2019-03-21 2020-09-24 深圳大学 物体分割方法、装置、计算机可读存储介质和计算机设备
CN113393401A (zh) * 2021-06-24 2021-09-14 上海科技大学 物体检测硬件加速器、系统、方法、设备和介质
CN113837200A (zh) * 2021-08-31 2021-12-24 中国计量大学 一种视觉显著性检测中的自主学习方法
CN114882385A (zh) * 2022-05-13 2022-08-09 中国农业科学院农业信息研究所 一种基于无人机平台的大田麦穗计数方法
CN114897735A (zh) * 2022-05-20 2022-08-12 河南科技学院 局部自适应的水下图像对比度增强方法
CN115131589A (zh) * 2022-08-31 2022-09-30 天津艺点意创科技有限公司 一种互联网文创作品智能设计的图像生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN105426919A (zh) * 2015-11-23 2016-03-23 河海大学 基于显著性指导非监督特征学习的图像分类方法
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN105426919A (zh) * 2015-11-23 2016-03-23 河海大学 基于显著性指导非监督特征学习的图像分类方法
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAN MU ET AL.: "Salient object detection using a covariance-based CNN model in low-contrast images", 《NEURAL COMPUT & APPLIC》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858494A (zh) * 2018-12-28 2019-06-07 武汉科技大学 一种低对比度图像中显著性目标检测方法及装置
WO2020186563A1 (zh) * 2019-03-21 2020-09-24 深圳大学 物体分割方法、装置、计算机可读存储介质和计算机设备
CN109948393A (zh) * 2019-03-22 2019-06-28 凌云光技术集团有限责任公司 一种一维条码的定位方法及装置
CN109948393B (zh) * 2019-03-22 2022-04-26 凌云光技术股份有限公司 一种一维条码的定位方法及装置
CN109978881A (zh) * 2019-04-09 2019-07-05 苏州浪潮智能科技有限公司 一种图像显著性处理的方法和装置
CN109978881B (zh) * 2019-04-09 2021-11-26 苏州浪潮智能科技有限公司 一种图像显著性处理的方法和装置
CN113393401B (zh) * 2021-06-24 2023-09-05 上海科技大学 物体检测硬件加速器、系统、方法、设备和介质
CN113393401A (zh) * 2021-06-24 2021-09-14 上海科技大学 物体检测硬件加速器、系统、方法、设备和介质
CN113837200A (zh) * 2021-08-31 2021-12-24 中国计量大学 一种视觉显著性检测中的自主学习方法
CN114882385A (zh) * 2022-05-13 2022-08-09 中国农业科学院农业信息研究所 一种基于无人机平台的大田麦穗计数方法
CN114897735A (zh) * 2022-05-20 2022-08-12 河南科技学院 局部自适应的水下图像对比度增强方法
CN114897735B (zh) * 2022-05-20 2023-08-11 河南科技学院 局部自适应的水下图像对比度增强方法
CN115131589A (zh) * 2022-08-31 2022-09-30 天津艺点意创科技有限公司 一种互联网文创作品智能设计的图像生成方法

Similar Documents

Publication Publication Date Title
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
CN112861978B (zh) 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
Wang et al. FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection
CN104392463B (zh) 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN101551863B (zh) 基于非下采样轮廓波变换的遥感图像道路提取方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN103390164B (zh) 基于深度图像的对象检测方法及其实现装置
CN110033040B (zh) 一种火焰识别方法、系统、介质和设备
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN107480620B (zh) 基于异构特征融合的遥感图像自动目标识别方法
CN106023220A (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN109902590A (zh) 深度多视图特征距离学习的行人重识别方法
CN104182985B (zh) 遥感图像变化检测方法
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN101706780A (zh) 一种基于视觉注意力模型的图像语义检索方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN107092884A (zh) 一种快速粗精级联行人检测方法
CN105512622B (zh) 一种基于图分割和监督学习的可见光遥感图像海陆分割方法
CN108596818A (zh) 一种基于多任务学习卷积神经网络的图像隐写分析方法
CN111985367A (zh) 一种基于多尺度特征融合的行人重识别特征提取方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN106650798A (zh) 一种结合深度学习与稀疏表示的室内场景识别方法
CN117541571A (zh) 一种基于多尺度监督对比学习的图像篡改检测与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181012