CN110298341B - 一种基于方向选择性的增强图像显著性预测方法 - Google Patents

一种基于方向选择性的增强图像显著性预测方法 Download PDF

Info

Publication number
CN110298341B
CN110298341B CN201910503684.XA CN201910503684A CN110298341B CN 110298341 B CN110298341 B CN 110298341B CN 201910503684 A CN201910503684 A CN 201910503684A CN 110298341 B CN110298341 B CN 110298341B
Authority
CN
China
Prior art keywords
image
saliency
visual
sensitivity
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910503684.XA
Other languages
English (en)
Other versions
CN110298341A (zh
Inventor
王永芳
叶鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910503684.XA priority Critical patent/CN110298341B/zh
Publication of CN110298341A publication Critical patent/CN110298341A/zh
Application granted granted Critical
Publication of CN110298341B publication Critical patent/CN110298341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于方向选择性的增强图像显著性预测方法。首先，将输入图像变换到感知均匀的LAB颜色空间，并将图像大小变为96*96。然后，通过提出的模型EOSS计算LAB三通道的子显著图。提出的模型分两部分。显著性预测部分，基于方向选择性提取局部特征“兴奋度”图搜索可能显著的像素，基于视觉敏感度提取全局特征“敏感度”图调制搜索过程，计算两种特征结合的局部熵得到候选的显著区域。显著性增强部分，模拟人眼凹点特性，设计一个基于视觉错误敏感度的算子局部和全局地促进显著图中有意义的信息。最后，加权相加高斯滤波并归一化的子显著图得到最终的显著图。本发明方法在Toronto，MIT和NUSEF三个通用图像数据库上进行试验，都具有较高的鲁棒性和准确性。

Description

一种基于方向选择性的增强图像显著性预测方法
技术领域
本发明涉及一种显著性预测方法，特别是涉及一种基于方向选择性的增强的图像显著性预测方法，属于图像处理、计算机视觉领域。
背景技术
显著性预测是人类视觉系统从视觉刺激中获取重要信息的一项重要技术。日常生活中，人们需要处理比他们所能处理的更多的视觉信息，为了处理这个问题，人类视觉系统利用显著性预测机制，选择性地处理视觉信息中吸引人类注意的显著部分而忽略其它部分。显著性预测已经成为一种重要的预处理工具，广泛应用于各种应用，例如图像质量评价、视频编码、目标跟踪与识别等等。
在过去的几十年里，大量的显著性预测模型被提出，并且它的数量依然在快速增长。总的来说，显著性预测中存在着两种有区别的机制。自底向上机制，快速且是刺激驱动的，仅仅依赖于输入信号本身。自顶向下机制，缓慢且是任务驱动的，需要采用额外的先验知识或者用于学习的数据。基于这种概念，存在的显著性模型可以被大致分为两类：1)自底向上模型；2)自底向上和自顶向下结合的模型。对于第一种类型，大量的显著性模型通过计算中心周围对比或者块的稀有性得到局部的显著性，另一部分模型利用输入图像的前景/图形属性得到全局的显著性，这类模型的特点是设计简单明确但预测准确率不高。对于第二种类型，一些基于自然图像统计的先验信息被用于指导显著性预测，近年来越来越多基于卷积神经网络的显著性模型被提出，这类模型的特点是预测准确率高但原理不明确且复杂度高。所以，怎样在没有大量训练和学习的情况下预测各种简单和复杂场景的显著性，怎样提高包含情感和语义场景属性的图片的预测准确率，是目前需要进一步解决的难题。
发明内容
本发明的目的是为了对各种自然和情感图像进行更准确的显著性预测，提出一种基于方向选择性的增强的图像显著性预测方法。
由于显著性预测可以被认为是人眼视觉系统的活动，最有效的显著性预测思想应该高度近似于人类视觉系统对感知信息的响应。最近，认知神经科学的研究发现初级视觉皮层存在着明显的方向选择机制，通过这种机制人类视觉系统可以提取输入刺激的各种视觉特性用于场景感知和理，很自然地，我们可以通过方向选择性搜索视觉显著的特征。同时，根据指导搜索理论，全局感知信息很早地从视觉输入中提取出来然后用于指导显著性搜索，因此我们可以通过视觉敏感度提取视觉上显著的边缘作为一种全局轮廓信息指导显著性搜索过程。进一步地，考虑到人眼的凹点特性，即人类视觉系统对映射到人眼中央凹区的显著物体最敏感，并随着离中央凹区的距离越来越远人眼的敏感度快速下降，我们可以设计一种基于视觉错误敏感度的增强算子用于促进显著图中有意义的信息。本发明方法能有效地提高各种自然和情感图像的显著性预测结果，不仅可以在各种客观指标上取得优越的分数，而且在主观视觉上也有更好的效果。此外，本发明对于研究人类对视觉刺激的响应和显著性预测之间的关系也具有重要的借鉴意义。
为达到上述目的，本发明的构思是：
首先，根据指导搜索理论，通过利用方向选择性和视觉敏感度对输入图像中刺激人类视觉系统的局部和全局的特征进行提取和融合，得到人类视觉系统相对于输入刺激基本的响应，从而可以更加鲁棒和准确地找到候选的显著区域的位置，水平和大小。进一步地，考虑到人眼的凹点特性，设计一种基于视觉错误敏感度的增强算子用于局部和全局地促进显著图中候选显著区域的有意义信息。通过上述思想对输入图像进行处理，即本发明所述的基于方向选择性的增强显著性预测模型。
根据上述构思，本发明采用如下技术方案：
一种基于方向选择性的增强的图像显著性预测方法，包括如下步骤：
步骤1、图像预处理：由于感知均匀的LAB颜色空间更加符合人类感知特性，首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达。
步骤2、显著性预测：通过方向选择机制(Orientation Selectivity Mechanism)，人类视觉系统提取输入刺激的各种视觉特性用于场景感知和理解。由于人类视觉系统选择性地处理视觉刺激的重要部分，很自然地，通过方向选择机制提取视觉上显著的特征。受此启发，在步骤1得到的图像通道上，基于方向选择机制提取局部特征“兴奋度”图用于搜索可能显著的像素。根据指导搜索理论(Guided Search Theory)，全局感知信息很早地从视觉输入中提取出来，然后用于指导显著性搜索。所以，进一步在图像通道上，基于视觉敏感度提取全局特征“敏感度”图用于调制搜索过程。最后，通过计算上述两种特征的结合的局部熵得到候选显著区域的位置，水平和大小。
步骤3、显著性增强：人眼对映射到凹点的注视区域是以最高的分辨率感知的因此对错误最敏感，而随着离注视区域越来越远人眼的感知分辨率和错误敏感度快速下降。通过模拟这种凹点特性，设计了一种基于视觉错误敏感度的增强算子，用于局部和全局地促进步骤2中得到的显著图中的有意义的信息。
步骤4、显著图融合：对于步骤3得到的L、A、B通道的子显著图，通过高斯滤波、归一化，然后加权相加，得到最终的显著图。
本发明方法主要是考虑到显著性预测和人类视觉系统(Human Visual System)对感知信息的响应之间的关系，因此借助于认知神经科学中发现的存在于初级视觉皮层(Primary Visual Cortex)的方向选择机制，通过利用图像中当前像素及其邻近像素间的方向选择响应，能有效地提取一种称作“兴奋度”图的局部特征，用于搜索可能显著的像素。同时，受人类视觉系统的指导搜索理论启发，通过利用视觉敏感度计算得到视觉上显著的边缘，能有效地提取一种称作“敏感度”图的全局布局特征，用于调制显著性搜索过程。然后，根据人脑活动过程高度近似于熵编码，通过结合上述局部和全局特征并计算其局部熵可以自然而然地得到候选显著区域的位置，水平和大小。进一步地，通过考虑人眼凹点特性并结合哈达玛积算子，设计了一种基于人眼错误敏感度增强的算子，用于局部和全局地促进显著图中有意义的信息并抑制噪声，得到最终的显著图。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1、本发明方法充分考虑了人类视觉系统对输入刺激的响应和显著性预测之间的关系，并基于这种关系提出了一种基于方向选择性的增强显著性预测模型。
2、本发明方法首次将方向选择性用于显著性预测，并受指导搜索理论启发，结合基于视觉敏感度提取的全局轮廓信息，从局部和全局的角度预测可能的显著性区域。
3、本发明方法考虑人眼凹点特性，设计了一种基于人眼错误敏感度增强的算子用于局部和全局地增强显著图中有意义的信息。
4、本发明方法不用经过大量的训练和学习，仅仅依赖于输入刺激本身，就可以很好地预测各种简单和复杂场景的显著性，而且在自然和情感场景均可以取得不错的结果。
附图说明
图1为本发明提出的显著性预测算法的基本流程框图。
图2为基于方向选择性的兴奋度值的示例图。
图3为Toronto数据集(a)和MIT数据集(b)中不同的方向差对显著性预测结果的影响。
图4为Toronto数据集中简单和复杂场景下不同模型预测结果的主观质量对比。
图5为NUSEF数据集中情感和语义场景下不同模型预测结果的主观质量对比。
具体实施方式
本发明的优选实施例结合附图详述如下：
本实施例提出的基于方向选择性的增强图像显著性预测方法的基本流程如图1所示。在Windows 10，Matlab 2017环境下编程仿真实现本方法。首先，对输入图像进行预处理包括颜色空间变换和尺寸变换。然后，模拟人眼感知显著性信息时的响应，对每个图像通道分别提取局部和全局的显著性信息，将两者融合得到每个通道的显著性图，其中包含候选的显著性区域。进一步，通过设计的基于视觉错误敏感度的增强算子局部和全局地促进每个通道显著图中的有意义的信息。最后，对通道显著图先高斯滤波并归一化，然后加权相加得到最终的显著图。上述思想即本发明所述的基于方向选择性的增强显著性预测模型。
本方法具体包括如下步骤：
步骤1、图像预处理：由于感知均匀的LAB颜色空间更加符合人类感知特性，首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达；
步骤2、显著性预测：通过模拟人眼感知显著性信息时的响应，预测局部和全局的可能显著的区域。主要包括基于方向选择性的局部特征，基于视觉敏感度的全局特征和基于熵编码的显著性搜索三个步骤：
步骤2-1、基于方向选择性的局部特征：
神经科学研究人员发现，方向选择性来源于局部感受野中皮质细胞间反应的空间排列。受此启发，可以根据相邻像素间相互作用的排列来计算“兴奋度”图。对于图像当前像素xi的“兴奋度”可以表示为与其圆对称邻域像素间χ＝{x1,x2,…,xn}相互作用的空间排列。
其中是“兴奋度”图/>中位置i处的兴奋度值。I(xi∣χ)是xi和χ间相互作用的空间排列。
由于初级视觉皮层的每个皮质细胞通过突触与数千个皮质细胞相连并与其他细胞形成错综复杂的关系，因此局部感受野中细胞间的关联极其复杂。由于经典的前馈模型只研究中心细胞与其兴奋细胞间突触的关系，因此我们忽略了χ中像素间的关联，只考虑中心像素xi与χ中邻域像素间的关系，将方程(1)简化为
其中I(xi∣xj)表示中心像素xi和相邻像素xj(xj∈χ)之间的相互作用。
皮质细胞间存在两种不同的响应：兴奋('+')和抑制('-')相互作用。当受到刺激时皮质细胞首先呈现不同的方向。然后，相互作用由两个细胞呈现的方向间的方向差决定。为了模拟这一点，我们尝试通过像素xi和xj呈现的方向确定相互作用I(xi∣xj)。对于给定图像可以计算任何像素/>的方向θ为其梯度方向。
其中Gv和Gh是水平和垂直方向的梯度幅度。
其中fv＝1/3[1,0,-1；1,0,-1；1,0,-1]和fh＝fv T是水平和垂直方向的Prewitt滤波器，*表示卷积操作。通过(3)和(4)，我们可以得到任何像素的方向并且它的范围是θ∈[-180°,180°]。然后考虑相邻像素的方向差不会超过180°，我们可以计算如下。
其中是方向差，θi和θj分别是xi和xj的方向。作为结果，我们可以根据定义的方向差得到中心像素xi和相邻像素xj间的相互作用。
其中‘1’表示兴奋相互作用，‘0’表示抑制相互作用。是起点，/>是间隔，用于控制方向差的变化范围。
为了描述“兴奋度”值如何随方向差变化，我们参照一种特殊情况[1]将方向差异小视为兴奋相互作用(即且/>)，并将局部感受野设置为8邻域区域时，可以得到一个实例描述兴奋和抑制相互作用的空间排列如图2所示。如图所示，像素间的相互作用可以描述为8个二进制值，即[10101000]，其相应的十进制值即本发明所述当前像素的“兴奋度”。通过探索方向选择机制的原理，我们可以从每个图像通道中提取出“兴奋度”图/>作为局部特征，图中具有较大值的像素更可能是显着，具有较小值的像素则不能很好地被人眼视觉系统感知。
步骤2-2、基于视觉敏感度的全局特征：
然而，这种局部图像响应在捕获一些全局感知特性时具有有限的能力。一种这样的全局感知信息是场景的布局情况。通常，边缘或轮廓有助于人类视觉系统快速建立空间场景布局的粗略草图。此外，边缘信息一直被认为是指导显着区域检测的主要贡献之一。因此，我们将边缘响应当作初步的全局布局特征，它可以用梯度幅度大小来计算。
一般来说，视觉系统对某些主要边缘更敏感，例如物体的轮廓或结构。因此，可以基于关于图像边缘的视觉敏感度函数推导出关于边缘的视觉注意响应。最近，Chen等人[2]通过一系列心理视觉测试度量了视觉敏感度和亮度对比度之间的关系。这启发了我们在视觉敏锐度的指导下检测视觉上突出的边缘。根据Chen等人[2]的研究，视觉敏感度是最小可分离视角(MSVA)的倒数，而最小可分离视角可以用逆对数线性函数很好地拟合。
log(MSV A)＝0.206-0.229log(ΔL) (8)
其中ΔL是输入图像的亮度对比度。众所周知，较大梯度幅度区域具有较大的亮度对比度，而较小梯度幅度区域包含较小的亮度对比度。感知研究表明人类视觉系统对强度变化的响应是非线性的。在本发明中，引入了梯度幅度的非线性传感器来计算亮度对比度。
其中k1，k2和k3是固定的常量，用于决定边缘的重要性并抑制视觉上不显著的成分。然后，视觉上显著的边缘可以通过视觉敏感度函数计算为：
其中表示精细的全局特征“敏感度”图/>在位置i处相对于图像边缘的视觉敏感度响应。
步骤2-3、基于熵编码的显著性搜索：
上述局部和全局特征都是人类视觉系统相对于输入刺激非常基本的响应，因此无论视觉内容如何变化，它们在同质的情况下都是鲁棒且尺度不变的。根据神经科学的研究，人脑活动过程与熵编码高度相似，我们可以通过计算上述两个特征组合后的局部熵来得到候选显着区域的位置，水平和大小。
其中是结合的特征图，通过计算局部和全局特征图的加权和得到。
其中α是正常数，用于控制局部和全局特征图的相对权重。
步骤3、显著性增强：通过模拟人眼的凹点特性，设计了一种基于视觉错误敏感度的增强算子，用于局部和全局地促进显著图中有意义的信息并抑制局部噪声。由于视觉系统的空间分辨率和错误敏感度在投射到中央凹处的显着点最高，并随着相对于凹点的离心率的增加而快速下降，我们基于凹点的错误敏感度函数设计了一种显著性增强算子。
其中f是空间频率并且fm(x)是截止频率。e(v，x)是视网膜离心率。
其中x＝(x，y)T是子显著图中像素的位置。N是显著图宽度。V是观测距离。d(x)表示像素点x到显著点xf＝(xf，yf)T的距离。
在我们的实验中，空间频率f对结果影响很小，因此等式(13)可以简化为：
考虑到有M个显着点存在于子显着图中，所以每个像素的错误敏感度由M个相互影响形成。研究表明，人眼观察的物体相互竞争以选出一个吸引我们注意的子集。物体间将通过相互抑制来影响它们被视野观察的方式，未被抑制的区域最终将占据主导地位从而引起我们的注意。模拟这种彼此抑制的机制，我们可以将总的错误敏感度计算为M个错误敏感度的最大值。由于视觉错误敏感度随着与显著点距离的增加而迅速降低，为简单起见，我们可以选出像素点x和M个显著点间最大的距离来计算最终的错误敏感度。
最终的子显著图由基于视觉错误敏感度的算子局部地增强并由哈达玛积算子全局地增强。
其中表示子显著图/>和/>的内积，°表示哈达玛积算子。
步骤4、显著图融合：对于步骤3处理后得到的L、A、B通道的子显著图，先高斯滤波并归一化然后加权相加，得到最终预测的显著图。
下面在Toronto、MIT和NUSEF三个图像数据库上进行试验来评估本发明所提出的基于方向选择性的增强显著性预测方法。Toronto和MIT包含的是自然图像；NUSEF包含的是各种情感和语义图像。Toronto是用的最多的数据集；MIT是最经典的数据集；NUSEF是非常具有挑战性的数据集。本实验的环境是Windows 10操作系统下的matlab平台，内存为32GB，GPU为GeForce 1080Ti。实验中使用三个基于分布的指标CC、KL、SIM和三个基于位置的指标AUC-J、AUC-B、NSS来评价显著性预测模型，其中AUC-J、AUC-B、CC、NSS、SIM越大且KL越小表示模型预测结果与真值图的符合度越高，精确度越高。图3为Toronto数据集(a)和MIT数据集(b)中不同的方向差对显著性预测结果的影响。图4为Toronto数据集中简单和复杂场景下不同模型预测结果的主观质量对比。图5为NUSEF数据集中情感和语义场景下不同模型预测结果的主观质量对比。
表1
Models AUC-J AUC-B CC KL NSS SIM
GBVS[4] 0.8315 0.8190 0.6004 0.7272 1.5189 0.5239
CovSal 0.8185 0.7703 0.5958 1.0826 1.4886 0.5501
BMS[5] 0.8336 0.8103 0.6244 0.7406 1.7507 0.5215
SigSal 0.8193 0.7910 0.5774 0.8077 1.5933 0.4963
HFT 0.8054 0.7787 0.5418 0.8018 1.4413 0.5122
SUN 0.7487 0.7360 0.3860 1.0884 1.0583 0.4213
SP 0.8188 0.7788 0.6106 1.2664 1.5950 0.5498
JUDD[6] 0.8412 0.8315 0.5627 0.9759 1.3895 0.4399
UHM 0.8138 0.8037 0.5374 0.8785 1.3374 0.4739
LDS[7] 0.8419 0.7898 0.6674 0.9774 1.7639 0.5959
FES[8] 0.8319 0.8230 0.5707 0.8480 1.4488 0.4789
CGVS[9] 0.7778 0.7583 0.4774 4.2852 1.1290 0.4739
EOSS 0.8464 0.8184 0.7054 0.7364 1.7904 0.6172
表2
Models AUC-J AUC-B CC KL NSS SIM
GBVS[4] 0.8288 0.8151 0.4179 1.2863 1.3817 0.3641
CovSal 0.8269 0.7774 0.4468 1.4019 1.4314 0.4185
BMS[5] 0.8259 0.8063 0.4267 1.3133 1.4619 0.3595
SigSal 0.8024 0.7831 0.3862 1.3993 1.3097 0.3382
HFT 0.8055 0.7772 0.3963 1.3349 1.3258 0.3683
SUN 0.7541 0.7379 0.3065 1.6492 1.0603 0.2993
SP 0.8179 0.7706 0.4343 1.5292 1.4508 0.4034
JUDD[6] 0.8394 0.8282 0.4105 1.5458 1.3198 0.2965
UHM 0.8230 0.8127 0.4167 1.3957 1.3650 0.3350
LDS[7] 0.8439 0.7935 0.4793 1.2677 1.6003 0.4371
FES[8] 0.8252 0.8160 0.4016 1.4232 1.3154 0.3283
CGVS[9] 0.7894 0.7721 0.3725 4.0300 1.1889 0.3691
EOSS 0.8498 0.8200 0.5135 1.2765 1.6660 0.4464
表3
Models AUC-J AUC-B CC KL NSS SIM
GBVS[4] 0.8018 0.7894 0.5071 0.8350 1.1922 0.4963
CovSal 0.8031 0.7488 0.5234 1.0885 1.2226 0.5246
BMS[5] 0.7886 0.7705 0.4861 0.9339 1.1778 0.4797
SigSal 0.7685 0.7505 0.4404 0.9517 1.0611 0.4585
HFT 0.7827 0.7551 0.4712 0.9263 1.1180 0.4886
SUN 0.7088 0.6953 0.3256 1.3390 0.7846 0.4081
SP 0.7818 0.7341 0.4902 1.5565 1.1728 0.4941
JUDD[6] 0.8037 0.7954 0.4896 1.0407 1.1371 0.4276
UHM 0.7595 0.7517 0.4204 1.0289 0.9956 0.4376
LDS[7] 0.8095 0.7486 0.5286 1.0876 1.2618 0.5243
FES[8] 0.7949 0.7888 0.4936 0.9542 1.1690 0.4591
CGVS[9] 0.7568 0.7399 0.4495 4.4706 1.0589 0.4559
EOSS 0.8201 0.7890 0.5924 0.8904 1.4080 0.5563
其中，实验结果最好的算法用黑色字体加粗并加下划线，第二好的算法是用黑色字体加粗。从表中可以看到本发明的方法在自然和情感数据集上都有较好的鲁棒性和精确性。由上述实验可见，本发明方法在图像显著性预测上确实有较好的鲁棒性和精确性，并且不需要大量的训练和学习，计算复杂度低，有很好的生物学原理支持，泛化能力和可推广性强，能更好地适用于实时视频质量监控。
参考文献：
1.J Wu,W Lin,G Shi,Y Zhang,W Dong,and Z Chen.2015.Visual orientationselectivity based structure description.IEEE Transactions on ImageProcessing,24(11),4602-4613.
2.Tai-Lioan Chen,and Chi-Yuang Yu.2015.The relationship between visualacuity and color contrast in the OSA uniform color space.Color Research&Application,21(1),18-25.
3.Zhou Wang,and Alan C Bovik.2001.Embedded foveation image coding.IEEETransactions on Image Processing,10(10),1397-1410.
4.Jonathan Harel,Christof Koch,and Pietro Perona.2007.Graph-basedvisual saliency.In Advances in neural information processing systems.545-552.
5.Jianming Zhang,and Stan Sclaroff.2016.Exploiting Surroundedness forSaliency Detection:A Boolean Map Approach.IEEE Transactions on PatternAnalysis&Machine Intelligence,38(5),889-902.
6.T Judd,K Ehinger,F Durand,and A Torralba.2009.Learning to predictwhere humans look.In IEEE International Conference on Computer Vision.2106-2113.
7.S Fang,J Li,Y Tian,T Huang,and X Chen.2017.Learning discriminativesubspaces on random contrasts for image saliency analysis.IEEE Transactionson Neural Networks and Learning Systems,28(5),1095-1108.
8.K Gu,G Zhai,W Lin,X Yang,and W Zhang.2015.Visual saliency detectionwith free energy theory.IEEE Signal Processing Letters,22(10),1552-1555.
9.K F Yang,H Li,C Y Li,and Y J Li.2016.A Unified Framework for SalientStructure Detection by Contour-Guided Visual Search.IEEE Transactions onImage Processing,25(8),3475-3488.

Claims (1)

1.一种基于方向选择性的增强图像显著性预测方法，其特征在于，包括如下步骤：
步骤1、图像预处理：首先将输入的RGB图像转换到LAB颜色空间，同时为了节省计算时间，进一步将L、A、B三个图像通道变换到96*96大小的图像表达；
步骤2、显著性预测：在步骤1得到的图像通道上，基于方向选择机制提取局部特征“兴奋度”图用于搜索可能显著的像素；进一步在图像通道上，基于视觉敏感度提取全局特征“敏感度”图用于调制搜索过程；最后，通过计算上述两种特征的结合的局部熵得到候选显著区域的位置，水平和大小；
考虑显著性预测和人类视觉系统（Human Visual System）对感知信息的响应之间的关系，借助于认知神经科学中发现的存在于初级视觉皮层（Primary Visual Cortex）的方向选择机制，通过利用图像中当前像素及其邻近像素间的方向选择响应，提取一种称作“兴奋度”图的局部特征，用于搜索可能显著的像素；通过利用视觉敏感度计算得到视觉上显著的边缘，提取一种称作“敏感度”图的全局布局特征，用于调制显著性搜索过程；
步骤3、显著性增强：设计一种基于视觉错误敏感度的增强算子，用于局部和全局地促进步骤2中得到的显著图中的有意义的信息并抑制局部噪声；
步骤4、显著图融合：对于步骤3得到的L、A、B通道的子显著图，通过高斯滤波、归一化，然后加权相加，得到最终的显著图。
CN201910503684.XA 2019-06-12 2019-06-12 一种基于方向选择性的增强图像显著性预测方法 Active CN110298341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910503684.XA CN110298341B (zh) 2019-06-12 2019-06-12 一种基于方向选择性的增强图像显著性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910503684.XA CN110298341B (zh) 2019-06-12 2019-06-12 一种基于方向选择性的增强图像显著性预测方法

Publications (2)

Publication Number Publication Date
CN110298341A CN110298341A (zh) 2019-10-01
CN110298341B true CN110298341B (zh) 2023-09-19

Family

ID=68027872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910503684.XA Active CN110298341B (zh) 2019-06-12 2019-06-12 一种基于方向选择性的增强图像显著性预测方法

Country Status (1)

Country Link
CN (1) CN110298341B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813660B (zh) * 2020-06-12 2021-10-12 北京邮电大学 一种视觉认知搜索模拟方法、电子设备及存储介质
CN113076490B (zh) * 2021-04-25 2023-03-24 昆明理工大学 一种基于混合节点图的涉案微博对象级情感分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106671A (zh) * 2013-01-25 2013-05-15 西北工业大学 一种基于视觉注意机制的图像感兴趣区域检测方法
CN103218815A (zh) * 2013-04-19 2013-07-24 复旦大学 利用自然场景统计计算图像显著图的方法
CN108647605A (zh) * 2018-04-28 2018-10-12 南京邮电大学 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
WO2019071976A1 (zh) * 2017-10-12 2019-04-18 北京大学深圳研究生院 基于区域增长和眼动模型的全景图像显著性检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106671A (zh) * 2013-01-25 2013-05-15 西北工业大学 一种基于视觉注意机制的图像感兴趣区域检测方法
CN103218815A (zh) * 2013-04-19 2013-07-24 复旦大学 利用自然场景统计计算图像显著图的方法
WO2019071976A1 (zh) * 2017-10-12 2019-04-18 北京大学深圳研究生院 基于区域增长和眼动模型的全景图像显著性检测方法
CN108647605A (zh) * 2018-04-28 2018-10-12 南京邮电大学 一种结合全局颜色与局部结构特征的人眼凝视点提取方法

Also Published As

Publication number Publication date
CN110298341A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
Yolcu et al. Facial expression recognition for monitoring neurological disorders based on convolutional neural network
Zhao et al. Learning saliency-based visual attention: A review
Zhou et al. Salient region detection via integrating diffusion-based compactness and local contrast
Shen et al. Webpage saliency
Gu et al. Visual saliency detection with free energy theory
Han et al. Two-stage learning to predict human eye fixations via SDAEs
Jiang et al. Learning to predict sequences of human visual fixations
Wang et al. Neural taskonomy: Inferring the similarity of task-derived representations from brain activity
CN104021384B (zh) 一种人脸识别方法及装置
CN105913463B (zh) 一种基于位置先验的纹理-颜色特征全局显著性检测方法
Fuadah et al. Mobile cataract detection using optimal combination of statistical texture analysis
CN110298341B (zh) 一种基于方向选择性的增强图像显著性预测方法
CN111714118A (zh) 一种基于集成学习的脑认知模型融合方法
Joshi et al. Taguchi-TOPSIS based HOG parameter selection for complex background sign language recognition
Bruce Features that draw visual attention: an information theoretic perspective
AlDera et al. A model for classification and diagnosis of skin disease using machine learning and image processing techniques
Fang et al. Salient contour detection on the basis of the mechanism of bilateral asymmetric receptive fields
Elhassan et al. DFT-MF: Enhanced deepfake detection using mouth movement and transfer learning
Tang et al. Contrast-dependent surround suppression models for contour detection
Priya Henry et al. Convolutional neural-network-based classification of retinal images with different combinations of filtering techniques
Uejima et al. Proto-object based saliency model with texture detection channel
Yang et al. Learning feature-rich integrated comprehensive context networks for automated fundus retinal vessel analysis
CN105069475B (zh) 基于视觉注意机制模型的图像处理方法
Bouvrie et al. Visual object concept discovery: Observations in congenitally blind children, and a computational approach
Chen et al. Visual saliency detection: from space to frequency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant