CN110251076B - 融合视觉注意力基于对比度的显著性检测方法及装置 - Google Patents

融合视觉注意力基于对比度的显著性检测方法及装置 Download PDF

Info

Publication number
CN110251076B
CN110251076B CN201910542767.XA CN201910542767A CN110251076B CN 110251076 B CN110251076 B CN 110251076B CN 201910542767 A CN201910542767 A CN 201910542767A CN 110251076 B CN110251076 B CN 110251076B
Authority
CN
China
Prior art keywords
color
attention
mic
saliency
significant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542767.XA
Other languages
English (en)
Other versions
CN110251076A (zh
Inventor
李腾
程凯
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201910542767.XA priority Critical patent/CN110251076B/zh
Publication of CN110251076A publication Critical patent/CN110251076A/zh
Application granted granted Critical
Publication of CN110251076B publication Critical patent/CN110251076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明涉及一种融合视觉注意力基于对比度的显著性检测方法，步骤如下：S1、组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理；S2、在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数；S3、在色彩空间中，对每个色彩通道的颜色种类进行量化；S4、在量化后的色彩通道中，根据所述最大互信息系数设置颜色权重，计算像素的显著性。本发明还公开了一种融合视觉注意力基于对比度的显著性检测装置。本发明的能够克服现有基于色彩信息的注意力预测模型的不足，基于自然界全彩色颜色对人眼注意力的引导性不同，本方法能够凸显不同色彩对注意力的影响，有助于符合人眼感知的注意力预测。

Description

融合视觉注意力基于对比度的显著性检测方法及装置
技术领域
本发明涉及显著性检测方法技术领域，更具体涉及融合视觉注意力基于对比度的显著性检测方法及装置。
背景技术
人类可以很容易地判断图像中的显著性区域，并迅速注意到图像的重要部分。通过显著性区域能够优先分配图像分析与合成所需要的计算资源，所以显著性区域的研究意义重大。而提取出显著性图像可以广泛应用于许多计算机视觉领域的应用，包括对兴趣目标图像分割，内容感知图像编辑和图像检索等。
视觉场景中的显著性可以来自一些列刺激，包括低级图像属性(颜色、方向、大小等)和语义信息。这些特征已经被纳入注意力预测模型，取得了令人印象深刻的性能。颜色被认为是计算自上而下显著性的主要特征之一。彩色刺激和灰度刺激的引导力对于视觉显著性是不同的，色彩信息在视觉注意力预测方面起着重要的作用。迄今为止，基于颜色的注意力模型需要解决相对病态的问题。其原因主要有以下两点：
1)许多经典的注意力预测模型并没有考虑人眼对不同的色彩的敏感度不同，将不同的颜色信息以同等重要性纳入注意力预测模型；
2)一些模型考虑到了不同色彩对人眼注意力的引导存在差别，并将这些差异性纳入注意力预测模型。
但是，这些差异性结论来源于仅包含少数色彩的主观实验，并不能囊括自然界中全彩色颜色的类别，因此，关于色彩对注意力影响的研究结果并不能扩展到自然视觉场景，甚至这些主观实验几乎都未排除除颜色之外内容信息(如位置、顺序等)的影响，从而使显著性检测结果受到了影响，导致显著性检测结果准确率低。
发明内容
本发明在于提供融合视觉注意力基于对比度的显著性检测方法及装置，以显著性检测结果检测结果准确率低的问题。
为解决上述问题，本发明提供如下技术方案：
一种融合视觉注意力基于对比度的显著性检测方法，步骤如下：
S1、组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，然后统计每组图像的注意力得分；
其中，每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，两者的差值作为显著性注意力，该组图像中，彩色图像上的颜色作为显著性颜色；
S2、在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数，并将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
S3、在色彩空间中，对每个色彩通道的颜色种类进行量化；
S4、在量化后的色彩通道中，根据所述最大互信息系数，计算像素的显著性；
通过本方法能够基于基于自然界全彩色颜色对人眼注意力的引导性不同，同时也考虑到相邻区域的高对比度对视觉注意力的影响，适用范围更广。
作为本发明进一步的方案：所述步骤S2包括：在RGB色彩空间中，显著性颜色的色彩分量包括：显著性颜色的R色彩分量、显著性颜色的G色彩分量以及显著性颜色的B色彩分量；
设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；利用公式计算x,y的互信息，公式如下：
Figure GDA0003118820690000031
其中，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
再利用公式，
Figure GDA0003118820690000032
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|表征，竖直方向划分的网格个数用|b|表征，c为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
作为本发明进一步的方案：所述步骤S2还包括：在Lab色彩空间中，显著性颜色的色彩分量包括：显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，利用公式计算x1和y1的互信息，公式如下：
Figure GDA0003118820690000041
其中，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
再利用公式，
Figure GDA0003118820690000042
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
通过引用最大互信息系数，能够凸显不同色彩对注意力的影响，有助于符合人眼感知的注意力预测。
作为本发明进一步的方案：所述步骤S3包括：利用公式
Figure GDA0003118820690000043
对RGB色彩空间中的红色通道进行量化，利用公式
Figure GDA0003118820690000044
对RGB色彩空间中的绿色通道进行量化，利用公式
Figure GDA0003118820690000045
对RGB色彩空间中的蓝色通道进行量化，其中，
256代表每个色彩通道中色彩分量的取值，
Figure GDA0003118820690000051
是向上取整符号，NR、NG、NB分别代表R、G、B通道量化后颜色种类。
通过量化处理，并在合理的范围内减少需要考虑的颜色数目，能够大大降低计算量。
作为本发明进一步的方案：所述步骤S4包括：
根据计算显著性颜色的R色彩分量与显著性注意力的最大互信息系数、显著性颜色的G色彩分量与显著性注意力的最大互信息系数、显著性颜色的B色彩分量与显著性注意力的最大互信息系数的比例设置WR、WG、WB，WR代表R通道色彩的权重，WG代表G通道色彩的权重，WB代表B通道色彩的权重；WR、WG、WB计算公式为：
WR＝mic(R,S)/(mic(R,S)+mic(G,S)+mic(B,S))
WG＝mic(G，S)/(mic(R，S)+mic(G，S)+mic(B，S))
WB＝mic(B，S)/(mic(R，S)+mic(G，S)+mic(B，S))；
接着在RGB色彩空间中展开的颜色距离公式，如下：
Figure GDA0003118820690000052
其中，D(Ii,Ij)是在Lab色彩空间中两个像素的颜色距离公式，I代表像素，Ii代表第i个像素，Iri代表素Ii的R通道中某一种色彩的显著性注意力值，Igi代表素Ii的G通道中某一种色彩的显著性注意力值，Ibi代表像素Ii的B通道中某一种色彩的显著性注意力值；
最后，计算图像中像素Ii的显著性，显著性公式如下：
Figure GDA0003118820690000053
其中，S(Ii)表示为像素Ii的显著性，
Figure GDA0003118820690000061
表示任意第i个像素都属于像素I中的一种；
本方法融入了R、G、B色彩分量对视觉注意力贡献的差异，大大提高了显著性检测的准确性。
作为本发明进一步的方案：所述步骤S4包括：
在量化后的某个通道中设定区域rx和区域ry，同时设定WL代表L颜色通道的权重；Wa代表a颜色通道的权重，Wb代表b颜色通道的权重，WL、Wa、Wb的计算公式如下：
WL＝mic(L,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wa＝mic(a,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wb＝mic(b，S)/(mic(L，S)+mic(a，S)+mic(b，S))；
接着利用公式
Figure GDA0003118820690000062
计算cx,i,cy,j的距离；
其中，Cx，j代表区域rx中第i种颜色，Cy，j代表区域rx中第j种颜色，Lx,i表示L颜色通道中区域rx中第j种颜色的显著性注意力值，ax,i表示a颜色通道中区域rx的第i种颜色的显著性注意力值，bx,i表示b颜色通道中区域rx的第i种颜色的显著性注意力值；
Ly,j表示L颜色通道中区域ry中第j种颜色的显著性注意力值，by,j表示b颜色通道中区域ry中第j种颜色的显著性注意力值，ay,j表示a颜色通道中区域ry中第j种颜色的显著性注意力值；
然后，区域rx和区域ry之间的颜色加权距离公式如下：
Figure GDA0003118820690000071
其中，f(cx,i)是区域rx中第i种颜色出现的频率，f(cy,j)是区域ry中第j种颜色出现的频率，n1代表区域rx中颜色总量，n2代表ry中颜色总量，对于区域rx，将区域rx和区域ry之间的颜色加权距离公式代入基于空间加权的区域显著性值的计算公式中：
Figure GDA0003118820690000072
其中，w(ry)为区域ry的权值，e是无理数，σs代表控制着空间权重影响的强度的数值，ws(rx)为中心偏置的空间加权项；
引入空间加权项来进一步整合空间信息，从而增大较近区域的影响，同时减小较远区域的影响。
一种融合视觉注意力基于对比度显著性检测装置，所述装置包括：
组建数据模块，用于组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，然后统计每组图像的注意力得分；
其中，每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，两者的差值作为显著性注意力，该组图像中，彩色图像上的颜色作为显著性颜色；
获取模块，用于在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数，并将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
量化模块，用于在色彩空间中，对每个色彩通道的颜色种类进行量化；
计算模块，用于在量化后的色彩通道中，根据所述最大互信息系数，计算像素的显著性。
作为本发明进一步的方案：获取模块还包括：
在RGB色彩空间中，显著性颜色的色彩分量包括：显著性颜色的R色彩分量、显著性颜色的G色彩分量以及显著性颜色的B色彩分量；
设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；利用公式计算x,y的互信息，公式如下：
Figure GDA0003118820690000081
其中，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
再利用公式，
Figure GDA0003118820690000082
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|表征，竖直方向划分的网格个数用|b|表征，c为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
作为本发明进一步的方案：获取模块还包括：在Lab色彩空间中，x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，利用公式计算x1和y1的互信息，公式如下：
Figure GDA0003118820690000091
其中，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
显著性颜色的色彩分量包括：显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
再利用公式，
Figure GDA0003118820690000092
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
作为本发明进一步的方案：利用公式
Figure GDA0003118820690000101
对RGB色彩空间中的红色通道进行量化，利用公式
Figure GDA0003118820690000102
对RGB色彩空间中的绿色通道进行量化，利用公式
Figure GDA0003118820690000103
对RGB色彩空间中的绿色通道进行量化，其中，
256代表每个色彩通道中色彩分量的取值，
Figure GDA0003118820690000104
是向上取整符号。
作为本发明进一步的方案：计算模块：
根据计算显著性颜色的R色彩分量与显著性注意力的最大互信息系数、显著性颜色的G色彩分量与显著性注意力的最大互信息系数、显著性颜色的B色彩分量与显著性注意力的最大互信息系数的比例设置WR、WG、WB，WR代表R通道色彩的权重，WG代表G通道色彩的权重，WB代表B通道色彩的权重；WR、WG、WB计算公式为：
WR＝mic(R,S)/(mic(R,S)+mic(G,S)+mic(B,S))
WG＝mic(G，S)/(mic(R，S)+mic(G，S)+mic(B，S))
WB＝mic(B，S)/(mic(R，S)+mic(G，S)+mic(B，S))；
接着在RGB色彩空间中展开的颜色距离公式，如下：
Figure GDA0003118820690000105
其中，D(Ii,Ij)是在Lab色彩空间中两个像素的颜色距离公式，I代表像素，Ii代表第i个像素，Iri代表素Ii的R通道中某一种色彩的显著性注意力值，Igi代表素Ii的G通道中某一种色彩的显著性注意力值，Ibi代表像素Ii的B通道中某一种色彩的显著性注意力值；
计算图像中像素Ii的显著性，显著性计算公式如下：
Figure GDA0003118820690000111
其中，S(Ii)表示为像素Ii的显著性，
Figure GDA0003118820690000112
表示任意第i个像素都属于像素I中的一种。
作为本发明进一步的方案：计算模块还包括：
在量化后的某个通道中设定区域rx和区域ry，同时设定WL代表L颜色通道的权重；Wa代表a颜色通道的权重，Wb代表b颜色通道的权重，WL、Wa、Wb的计算公式如下：
WL＝mic(L,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wa＝mic(a,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wb＝mic(b，S)/(mic(L，S)+mic(a，S)+mic(b，S))；
接着利用公式
Figure GDA0003118820690000113
计算cx,i,cy,j的距离；
其中，Cx，j代表区域rx中第i种颜色，Cy，j代表区域rx中第i种颜色，Lx,i表示L颜色通道中区域rx中第i种颜色的显著性注意力值，ax,i表示a颜色通道中区域rx的第i种颜色的显著性注意力值，bx,i表示b颜色通道中区域rx的第i种颜色的显著性注意力值；
Ly,j表示L颜色通道中区域ry中第i种颜色的显著性注意力值，by,j表示b颜色通道中区域ry中第i种颜色的显著性注意力值，ay,j表示a颜色通道中区域ry中第i种颜色的显著性注意力值；
然后，区域rx和区域ry之间的颜色加权距离公式如下：
Figure GDA0003118820690000121
其中，f(cx,i)是区域rx中第i种颜色出现的频率，f(cy,j)是区域ry中第j种颜色出现的频率，n1代表区域rx中颜色总量，n2代表ry中颜色总量，对于区域rx，将区域rx和区域ry之间的颜色加权距离公式代入基于空间加权的区域显著性值的计算公式中：
Figure GDA0003118820690000122
其中，w(ry)为区域ry的权值，e是无理数，σs代表控制着空间权重影响的强度的数值，ws(rx)为中心偏置的空间加权项。
与现有技术相比，本发明的有益效果是：
1、本发明通过人眼数据获取人眼主视图获取相关系数，计算显著性，囊括了所有的颜色，从而克服现有基于色彩信息的注意力预测模型的不足，基于自然界全彩色颜色对人眼注意力的引导性不同，本方法能够凸显不同色彩对注意力的影响，有助于符合人眼感知的注意力预测；
2、本发明解决了基于色彩的显著性检测模型没有考虑人眼对色彩的感知特性和考虑人眼对色彩感知特性不合理的问题，提出了基于自然场景全彩色空间人眼感知特性融入对比度计算的显著性检测模型；
3、本发明通过合理的设置颜色通道权重和对全彩色空间进行量化方式凸显了不同色彩对注意力的影响，降低了计算量，有助于符合人眼感知的显著性检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明中实施例1的结构方框图。
图2为本发明中实施例2的结构方框图。
图3为融合视觉注意力基于颜色对比度的显著性检测方法的总执行流程图；
图4为在RGB色彩空间中分析视觉注意力与颜色分量的相关性示意图；
图5为在Lab色彩空间中分析视觉注意力与颜色分量的相关性示意图；
图6为本发明与典型方法定量的对比柱形图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
图1为本发明中实施例1的结构方框图，图3为融合视觉注意力基于颜色对比度的显著性检测方法的总执行流程图；如图1-图3所示，一种融合视觉注意力基于对比度的显著性检测方法，通过颜色对比度检测显著性，该方法通过基于人眼感知颜色加权距离的直方图对比度显著性目标检测；一个像素的显著性值可以用它和图像中的其它像素的对比度来表示，而像素的对比度可以用颜色距离来衡量；针对不同颜色分量对注意力贡献不同，我们提出了计算加权后的颜色距离来进行显著性目标检测，步骤如下：
S1、分析视觉注意力与颜色分量的相关性，组建一个新的眼动数据集进行视觉注意力与色彩分量的研究，分析方法如下：
S1.1、收集若干张彩色图片并转成灰度图，本实施例汇总优选为200张彩色图片；
彩色图片为200张分辨率为1680×1050的自然场景图片，转化成灰度图像,得到200张彩色图像以及灰度图像，彩色图像以及灰度图像作为采集的数据；
其中灰度图像内容与彩色图像内容相同，仅仅色彩不同；
S1.2、利用眼动仪系统采集18名年龄在22-29岁的观察者的眼动数据；
眼动数据采集方法为：事先设定每组图像展现的时间阈值，时间阈值优选为5秒，接着观察者需要注视彩色图像和彩色图像转化后的灰度图像，同时利用眼动仪系统采样，得到眼动数据；
眼动仪系统为SensoMotoric Instruments(SMI)iView X RED眼动仪系统；眼动仪系统的采样频率为250HZ；
S1.3、在眼动数据的基础上，获取人眼注视图，将人眼注视图归一化处理；
得到眼动数据后，通过眼动仪系统生成每组图像的人眼注视图,再利用显著性领域眼动数据研究中常用的处理方法将每组人眼注视图归一化处理，归一化后的最大值为1，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，那么每组图像上每个像素所对应的注意力得分便可知，注意力得分的取值范围为[0,1]；
其中每组图像包括彩色图像和与彩色图像相对应的灰度图像；
S1.4、分别统计显著性颜色以及显著性注意力；
为了研究色彩对注意力的影响，在每组图像上统计注意力得分值，每组图像包括包括彩色图像和与彩色图像相对应的灰度图像；
每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，该组图像中彩色图像上的颜色作为“显著性颜色”，该组图像中彩色图像注意力得分与灰度图像注意力得分之差作为“显著性注意力”；
此种分析研究方法尽可能多的囊括所有的颜色种类，并排除了除颜色之外图像的内容对视觉显著性的影响；
S2、在RGB色彩空间中，以眼动数据为基础，分析显著性颜色的分量与显著性注意力的相关性，分析方法如下：
图4为在RGB色彩空间中分析视觉注意力与颜色分量的相关性示意图，如图4所示，采用最大互信息系数来衡量显著性颜色的分量与显著性注意力的相关性，最大互信息系数的符号为mic，显著性颜色的分量分为三种，分别为显著性颜色的R色彩分量、显著性颜色的G色彩分量、显著性颜色的B色彩分量；
首先，在RGB色彩空间中，设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；图4为在RGB色彩空间中分析视觉注意力与颜色分量的相关性示意图，如图4所示，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，利用公式计算x,y的互信息，公式如下：
Figure GDA0003118820690000151
其中，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
再利用公式，
Figure GDA0003118820690000152
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|、表征，竖直方向划分的网格个数用|b表征，c为常数,c取数据总量的0.6次方，此处C＝1290.6＝18.465；因|a|、|b|只能取整数，即|a||b|≤18；
得到结果如下：
mic(R，S)＝0.57，mic(G,S)＝0.42，mic(B,S)＝0.36；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
S3、为了减少显著性的计算量，在合理的范围内减少需要考虑的颜色数目，我们对每个色彩通道的颜色种类进行量化；
全彩色RGB色彩空间中，每个色彩分量的取值均为0～255，即共有256×256×256＝16,777,216种色彩。而根据视觉注意力理论，只有当像素值之间的差异达到一定量时，人眼才能感知它，我们定义R、G、B通道量化后颜色种类分别为NR、NG、NB，为了融入R、G、B色彩分量分别对视觉注意力贡献的差异，我们用各色彩分量与视觉注意力相关程度的比例来设置R、G、B各色彩通道量化的色彩数目，以突出不同色彩分量贡献。具体地，由于每个色彩通道有256种取值，对色彩通道进行量化能够大大缩小计算量，量化步骤如下：
由步骤S2得：mic(R,S):mic(G,S):mic(B,S)＝57:42:36，
我们设定：分量与注意力相关性越强，则使量化后此分量对应颜色通道颜色种类越多，所以分母取反比例关系，分母的比例为36:42:57，即得到：
Figure GDA0003118820690000171
以及
Figure GDA0003118820690000172
Figure GDA0003118820690000173
是向上取整符号；
通过这种方式进行量化，可以得到R、G、B通道的色彩种类分别为8种、7种、5种，后续的显著性计算在量化后的RGB色彩空间内进行；
S4、在后的RGB色彩空间中，计算像素的显著性；并且通过实验的发现，当在RGB色彩空间进行量化，在Lab色彩空间测量距离得到最好的效果，所以我采用这种方式进行显著性计算；方法如下：
为了融入R、G、B色彩分量分别对视觉注意力贡献的差异，我们参照显著性颜色的三种色彩分量与显著性注意力相关程度的比例设置权重：
WR＝mic(R,S)/(mic(R,S)+mic(G,S)+mic(B,S))；
WG＝mic(G，S)/(mic(R，S)+mic(G，S)+mic(B，S))
WG＝mic(B，S)/(mic(R，S)+mic(G，S)+mic(B，S))，得到：
WR＝0.57/(0.57+0.42+0.36)＝0.42；
WG＝0.42/(0.57+0.42+0.36)＝0.31；
WB＝0.36/(0.57+0.42+0.36)＝0.27。
颜色距离公式为D(Ii,Ij)，在RGB色彩空间中展开成如下形式：
Figure GDA0003118820690000174
其中Iri，Igi和Ibi分别代表像素Ii的R、G、B通道中某一种色彩的显著性注意力值，Irj，Igj和Ibj分别代表像素Ij的R、G、B通道中某一种色彩的显著性注意力值；根据步骤S3中的结论，得到：
mic(R,S):mic(G,S):mic(B,S)＝0.57:0.42:0.36，
然后利用显著性公式计算图像I中像素Ii的显著性，公式如下：
Figure GDA0003118820690000181
其中，S(Ii)表示为像素Ii的显著性，D(Ii,Ij)是在Lab色彩空间中两个像素的颜色距离公式，
Figure GDA0003118820690000182
表示任意第i个像素都属于像素I中的一种，图6为本发明与典型方法定量的对比柱形图，如图6所示，LC(Luminance Contrast)算法是基于全局对比度计算显著性，基于直方图对比度的显著性检测(用HC表示)是基于全局颜色直方图的颜色对比度算法，RC((Region Based Contrast)算法是基于上一算法改进的基于区域颜色对比的显著性检测算法，FT(Frequency-tuned)算法是利用颜色特征的中央、周边算子来得到显著图，SR(Spectral Residual)是一种基于频域的显著性检测方法，由图6可知，相比HC算法、FT算法、LC算法、SR算法，本实施例的召回率、准确率以及F(F-measure)值更高。
实施例2
图2为本发明中实施例1的结构方框图，图3为融合视觉注意力基于颜色对比度的显著性检测方法的总执行流程图；如图2-图3所示，一种融合视觉注意力基于对比度的显著性检测方法，通过区域对比度进行显著性检测，包括融合视觉注意力基于区域对比度显著性目标检测方法，通常情况下，人们会更容易注意到图像中和周围物体对比度非常大的区域，除了对比度外，空间关系在人类视觉注意力方面也起了很大的作用，相邻区域的高对比度比很远区域的高对比度更容易导致一个区域引起视觉注意，而像素级别的比较会带来非常大的计算量，我们提出的区域对比度方法将空间关系引入对比度的计算，同时也引入“显著性颜色”的颜色分量与视觉注意力的相关关系，以实现符合人眼感知的基于区域对比度的显著性目标检测方法，具体步骤如下：
S21、分析视觉注意力与颜色(分量)的相关性，组建一个新的眼动数据集进行视觉注意力与色彩(分量)的研究；
S21.1、收集若干张彩色图片并转成灰度图，本实施例中，优选为200张彩色图片；
彩色图片为200张分辨率为1680×1050的自然场景图片，转化成灰度图,得到200张彩色图像以及灰度图像，彩色图像以及灰度图像作为采集的数据；
其中灰度图像内容与彩色图像内容相同，仅仅色彩不同；
S21.2、利用眼动仪系统采集18名年龄在22-29岁的观察者的眼动数据；
眼动数据采集方法为：事先设定每组图像展现的时间阈值，本实施例中，时间阈值为5秒，观察者需要注视彩色图像和彩色图像转化后的灰度图像，同时利用眼动仪系统采样，得到眼动数据；
眼动仪系统为SensoMotoric Instruments(SMI)iView X RED眼动仪系统；眼动仪系统的采样频率为250HZ；
S21.3、在眼动数据的基础上，获取人眼注视图，将人眼注视图归一化处理；
得到眼动数据后，通过眼动仪系统生成出每组图像的人眼注视图,再利用显著性领域眼动数据研究中常用的处理方法将每组人眼注视图归一化处理，归一化后的最大值为1，然后将归一化处理后的人眼注视图中每个像素的注意力得分定义为人眼注视图每个像素的灰度值，那么每组图像上每个像素所对应的注意力得分便可知，注意力得分的取值范围为[0,1]；
其中每组图像包括彩色图像和与彩色图像相对应的灰度图像；
S41.4、分别统计显著性颜色以及显著性注意力；
为了研究色彩对注意力的影响，在每组图像上统计注意力得分值，每组图像包括包括彩色图像和与彩色图像相对应的灰度图像；
每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，组图像中中彩色图像上的颜色即为“显著性颜色”，该组图像中彩色图像注意力得分与灰度图像注意力得分之差称之为“显著性注意力”；
此种分析研究方法尽可能多的囊括所有的颜色种类，并排除了除颜色之外图像的内容对视觉显著性的影响；
S22、在Lab色彩空间中，利用最大互信息系数分析显著性颜色的分量与显著性注意力的相关性；
图5为在Lab色彩空间中分析视觉注意力与颜色分量的相关性示意图；如图5所示，采用最大信息系数来衡量“显著性颜色”的分量与“显著性注意力”的相关性，“显著性颜色”分量分为三种，分别为显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
在Lab色彩空间中，x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，利用公式计算x1和y1的互信息，公式如下：
Figure GDA0003118820690000201
其中，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
再利用公式，
Figure GDA0003118820690000202
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
x1和y1为随机变量，x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]；
C1取数据总量的0.6次方，此处C1＝1290.6＝18.465；
得到结果：
mic(L,S)＝0.61，mic(a,S)＝0.52，mic(b,S)＝0.76；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
S23、为了减少显著性的计算量，在合理的范围内减少需要考虑的颜色数目，我们对每个色彩通道的颜色种类进行量化；
全彩色RGB色彩空间中，每个色彩分量的取值均为0～255，即共有256×256×256＝16,777,216种色彩。而根据视觉注意力理论，只有当像素值之间的差异达到一定量时，人眼才能感知它，我们定义R、G、B通道量化后颜色种类分别为NR、NG、NB，并根据步骤一的结论，为了融入R、G、B色彩分量分别对视觉注意力贡献的差异，我们用各色彩分量与视觉注意力相关程度的比例来设置R、G、B各色彩通道量化的色彩数目，以突出不同色彩分量贡献。具体地，由于每个色彩通道有256种取值，对色彩通道进行量化能够大大缩小计算量，量化步骤如下：
由实施例1得：mic(R,S):mic(G,S):mic(B,S)＝0.57:0.42:0.36，
设定：分量与注意力相关性越强，则使量化后此分量对应颜色通道颜色种类越多，所以分母取反比例关系，分母的比例为36:42:57，
Figure GDA0003118820690000221
是向上取整符号；即得到：
Figure GDA0003118820690000222
以及
Figure GDA0003118820690000223
通过这种方式进行量化，可以得到色彩通道的色彩种类分别为8种、7种、5种，并在量化后的色彩通道中，进行显著性计算；
S24、在量化后的色彩通道内，引入空间加权项并计算区域显著性；
设置权重WL、Wa、Wb分别为：
WL＝mic(L,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wa＝mic(a,S)/(mic(L,S)+mic(a,S)+mic(b,S))
WL＝mic(b,S)/(mic(b,S)+mic(a,S)+mic(b,S))，
结合mic(L,S)＝0.61，mic(a,S)＝0.52，mic(b,S)＝0.76；
即得到：
WL＝0.61/(0.61+0.52+0.76)＝0.32；
Wa＝0.52/(0.61+0.52+0.76)＝0.28；
Wb＝0.76/(0.61+0.52+0.76)＝0.40；
利用权重WL、Wa、Wb进行计算区域显著性，同时引入空间加权项，引入空间加权项能够进一步整合空间信息，以增大较近区域的影响，同时减小较远区域的影响；
D(cx,i,cy,j)为距离公式，展开后如下：
Figure GDA0003118820690000231
其中，Cx，j代表区域rx中第i种颜色，Cy，j代表区域rx中第i种颜色，Lx,i表示L颜色通道中区域rx中第i种颜色的显著性注意力值，ax,i表示a颜色通道中区域rx的第i种颜色的显著性注意力值，bx,i表示b颜色通道中区域rx的第i种颜色的显著性注意力值；
Ly,j表示L颜色通道中区域ry中第i种颜色的显著性注意力值，by,j表示b颜色通道中区域ry中第i种颜色的显著性注意力值，ay,j表示a颜色通道中区域ry中第i种颜色的显著性注意力值；
在量化后的某个通道中设定区域rx和区域ry，区域rx和区域ry之间的颜色加权距离公式如下：
Figure GDA0003118820690000232
在上式中，f(cx,i)是区域rx中第i种颜色出现的频率，f(cy,j)是区域ry中第j种颜色出现的频率，n1代表区域rx中颜色总量，n2代表ry中颜色总量；
基于空间加权的区域显著性值的计算公式为：
Figure GDA0003118820690000233
在上式中，S(rx)代表区域rx加权的区域显著性值，这里用ry里的像素w(ry)来强调区域颜色的对比度，代表空间因素对显著性值大小的影响程度，σs控制着空间权重影响的强度，我们设置
Figure GDA0003118820690000234
ws(rx)是一个类似中心偏置的空间加权项；w(ry)为区域ry的权值，D(rx,ry)代表区域rx和区域ry的颜色距离，每个通道对应的色彩种类分别为8种、7种、6种，区域rx和区域ry为每个通道的区域，实现了降低区域rx、区域ry中颜色取值，进而降低了区域rx和区域ry的颜色加权距离的计算量；
图6为本发明与典型方法定量的对比柱形图，如图6所示，LC(LuminanceContrast)算法是基于全局对比度计算显著性，基于直方图对比度的显著性检测(用HC表示)是基于全局颜色直方图的颜色对比度算法，RC((Region Based Contrast)算法是基于上一算法改进的基于区域颜色对比的显著性检测算法，FT(Frequency-tuned)算法是利用颜色特征的中央、周边算子来得到显著图，SR(Spectral Residual)是一种基于频域的显著性检测方法，由图6可知，相比RC算法、本发明实施例1、HC算法、FT算法、LC算法、SR算法，本发明实施例2的召回率、准确率以及F(F-measure)值更高。
实施例3
一种融合视觉注意力基于对比度显著性检测装置，包括：
组建数据模块，用于组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，然后统计每组图像的注意力得分；
其中，每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，两者的差值作为显著性注意力，该组图像中，彩色图像上的颜色作为显著性颜色；
获取模块，用于在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数，并将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
量化模块，用于在色彩空间中，对每个色彩通道的颜色种类进行量化；
计算模块，用于在量化后的色彩通道中，根据所述最大互信息系数，计算像素的显著性。
作为本发明进一步的方案：获取模块还包括：
在RGB色彩空间中，显著性颜色的色彩分量包括：显著性颜色的R色彩分量、显著性颜色的G色彩分量以及显著性颜色的B色彩分量；
设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；利用公式计算x,y的互信息，公式如下：
Figure GDA0003118820690000251
其中，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
Figure GDA0003118820690000252
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|表征，竖直方向划分的网格个数用|b|表征，c为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
作为本发明进一步的方案：获取模块还包括：在Lab色彩空间中，x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，利用公式计算x1和y1的互信息，公式如下：
Figure GDA0003118820690000261
其中，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
显著性颜色的色彩分量包括：显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
再利用公式，
Figure GDA0003118820690000262
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
作为本发明进一步的方案：利用公式
Figure GDA0003118820690000271
对RGB色彩空间中的红色通道进行量化，利用公式
Figure GDA0003118820690000272
对RGB色彩空间中的绿色通道进行量化，利用公式
Figure GDA0003118820690000273
对RGB色彩空间中的绿色通道进行量化，其中，
256代表每个色彩通道中色彩分量的取值，
Figure GDA0003118820690000274
是向上取整符号。
作为本发明进一步的方案：计算模块：
根据计算显著性颜色的R色彩分量与显著性注意力的最大互信息系数、显著性颜色的G色彩分量与显著性注意力的最大互信息系数、显著性颜色的B色彩分量与显著性注意力的最大互信息系数的比例设置WR、WG、WB，WR代表R通道色彩的权重，WG代表G通道色彩的权重，WB代表B通道色彩的权重；WR、WG、WB计算公式为：
WR＝mic(R,S)/(mic(R,S)+mic(G,S)+mic(B,S))
WG＝mic(G，S)/(mic(R，S)+mic(G，S)+mic(B，S))
WB＝mic(B，S)/(mic(R，S)+mic(G，S)+mic(B，S))；
接着在RGB色彩空间中展开的颜色距离公式，如下：
Figure GDA0003118820690000275
其中，D(Ii,Ij)是在Lab色彩空间中两个像素的颜色距离公式，I代表像素，Ii代表第i个像素，Iri代表素Ii的R通道中某一种色彩的显著性注意力值，Igi代表素Ii的G通道中某一种色彩的显著性注意力值，Ibi代表像素Ii的B通道中某一种色彩的显著性注意力值；
计算图像中像素Ii的显著性，显著性计算公式如下：
Figure GDA0003118820690000281
其中，S(Ii)表示为像素Ii的显著性，
Figure GDA0003118820690000282
表示任意第i个像素都属于像素I中的一种。
作为本发明进一步的方案：计算模块还包括：
在量化后的某个通道中设定区域rx和区域ry，同时设定WL代表L颜色通道的权重；Wa代表a颜色通道的权重，Wb代表b颜色通道的权重，WL、Wa、Wb的计算公式如下：
WL＝mic(L,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wa＝mic(a,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wb＝mic(b，S)/(mic(L，S)+mic(a，S)+mic(b，S))；
接着利用公式
Figure GDA0003118820690000283
计算cx,i,cy,j的距离；
其中，Cx，j代表区域rx中第i种颜色，Cy，j代表区域rx中第i种颜色，Lx,i表示L颜色通道中区域rx中第i种颜色的显著性注意力值，ax,i表示a颜色通道中区域rx的第i种颜色的显著性注意力值，bx,i表示b颜色通道中区域rx的第i种颜色的显著性注意力值；
Ly,j表示L颜色通道中区域ry中第i种颜色的显著性注意力值，by,j表示b颜色通道中区域ry中第i种颜色的显著性注意力值，ay,j表示a颜色通道中区域ry中第i种颜色的显著性注意力值；
然后，区域rx和区域ry之间的颜色加权距离公式如下：
Figure GDA0003118820690000291
其中，f(cx,i)是区域rx中第i种颜色出现的频率，f(cy,j)是区域ry中第j种颜色出现的频率。
在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合视觉注意力基于对比度的显著性检测方法，其特征在于，步骤如下：
S1、组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，然后统计每组图像的注意力得分；
其中，每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，两者的差值作为显著性注意力，该组图像中，彩色图像上的颜色作为显著性颜色；
S2、在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数，并将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
S3、在色彩空间中，根据显著性注意力与显著性颜色分量的最大互信息系数对每个色彩通道的颜色种类进行量化；量化步骤为：
利用公式
Figure FDA0003156250870000011
对RGB色彩空间中的红色通道进行量化，利用公式
Figure FDA0003156250870000012
对RGB色彩空间中的绿色通道进行量化，利用公式
Figure FDA0003156250870000013
对RGB色彩空间中的蓝色通道进行量化，其中，
256代表每个色彩通道中色彩分量的取值，
Figure FDA0003156250870000014
是向上取整符号，NR、NG、NB分别代表R、G、B通道量化后颜色种类；
S4、在量化后的色彩通道中，根据所述最大互信息系数，计算像素的显著性。
2.根据权利要求1所述的融合视觉注意力基于对比度的显著性检测方法，其特征在于，所述步骤S2，包括：
在RGB色彩空间中，显著性颜色的色彩分量包括：显著性颜色的R色彩分量、显著性颜色的G色彩分量以及显著性颜色的B色彩分量；
设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；利用公式计算x,y的互信息，公式如下：
Figure FDA0003156250870000021
其中，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
再利用公式，
Figure FDA0003156250870000022
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|表征，竖直方向划分的网格个数用|b|表征，c为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
3.根据权利要求1所述的融合视觉注意力基于对比度的显著性检测方法，其特征在于，所述步骤S2包括：
在Lab色彩空间中，显著性颜色的色彩分量包括：显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
设定x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，利用公式计算x1和y1的互信息，公式如下：
Figure FDA0003156250870000031
其中，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
再利用公式，
Figure FDA0003156250870000032
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
4.根据权利要求2所述的融合视觉注意力基于对比度的显著性检测方法，其特征在于，所述步骤S4，包括：
设置WR、WG、WB，WR代表R通道色彩的权重，WG代表G通道色彩的权重，WB代表B通道色彩的权重；WR、WG、WB计算公式为：
WR＝mic(R,S)/(mic(R,S)+mic(G,S)+mic(B,S))
WG＝mic(G，S)/(mic(R，S)+mic(G，S)+mic(B，S))
WB＝mic(B，S)/(mic(R，S)+mic(G，S)+mic(B，S))；
接着利用WR、WG、WB，在RGB色彩空间中展开的颜色距离公式，如下：
Figure FDA0003156250870000041
其中，D(Ii,Ij)是在RGB色彩空间中两个像素的颜色距离公式，I代表像素，Ii代表第i个像素，Ij代表第j个像素，Iri代表素Ii的R通道中某一种色彩的显著性注意力值，Igi代表素Ii的G通道中某一种色彩的显著性注意力值，Ibi代表像素Ii的B通道中某一种色彩的显著性注意力值；
计算图像中像素Ii的显著性，显著性计算公式如下：
Figure FDA0003156250870000042
其中，S(Ii)表示为像素Ii的显著性，∑表示累加，
Figure FDA0003156250870000043
表示任意第i个像素都属于像素I中的一种。
5.根据权利要求3所述的融合视觉注意力基于对比度显著性检测方法，其特征在于，所述步骤S4还包括：
在量化后的若干个通道中设定区域rx和区域ry，同时设定WL代表L颜色通道的权重；Wa代表a颜色通道的权重，Wb代表b颜色通道的权重，WL、Wa、Wb的计算公式如下：
WL＝mic(L,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wa＝mic(a,S)/(mic(L,S)+mic(a,S)+mic(b,S))
Wb＝mic(b，S)/(mic(L，S)+mic(a，S)+mic(b，S))；
接着利用公式
Figure FDA0003156250870000051
计算cx,i,cy,j的距离；
其中，Cx，j代表区域rx中第j种颜色，Cy，j代表区域ry中第j种颜色，Lx,i表示L颜色通道中区域rx中第i种颜色的显著性注意力值，ax,i表示a颜色通道中区域rx的第i种颜色的显著性注意力值，bx,i表示b颜色通道中区域rx的第i种颜色的显著性注意力值；
Ly,j表示L颜色通道中区域ry中第j种颜色的显著性注意力值，by,j表示b颜色通道中区域ry中第j种颜色的显著性注意力值，ay,j表示a颜色通道中区域ry中第j种颜色的显著性注意力值；
然后，区域rx和区域ry之间的颜色加权距离公式如下：
Figure FDA0003156250870000052
其中，f(cx,i)是区域rx中第i种颜色出现的频率，f(cy,j)是区域ry中第j种颜色出现的频率，n1代表区域rx中颜色总量，n2代表ry中颜色总量，将区域rx和区域ry之间的颜色加权距离公式代入区域rx的基于空间加权的区域显著性值的计算公式中：
Figure FDA0003156250870000061
其中，w(ry)为区域ry的权值，e是无理数，σs为控制着空间权重影响的强度的数值，ws(rx)为中心偏置的空间加权项。
6.一种融合视觉注意力基于对比度显著性检测装置，其特征在于，所述装置包括：
组建数据模块，用于组建一个新的眼动数据集，并获取人眼注视图，对人眼注视图进行归一化处理，将归一化处理后人眼注视图中的每个像素的灰度值作为对应原像素的注意力得分，然后统计每组图像的注意力得分；
其中，每组图像中，彩色图像注意力得分大于灰度图像注意力得分的，两者的差值作为显著性注意力，该组图像中，彩色图像上的颜色作为显著性颜色；
获取模块，用于在色彩空间中，获取显著性颜色的分量与显著性注意力的最大互信息系数，并将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性；
量化模块，用于在色彩空间中，对每个色彩通道的颜色种类进行量化；量化步骤为：
利用公式
Figure FDA0003156250870000062
对RGB色彩空间中的红色通道进行量化，利用公式
Figure FDA0003156250870000063
对RGB色彩空间中的绿色通道进行量化，利用公式
Figure FDA0003156250870000064
对RGB色彩空间中的蓝色通道进行量化，其中，
256代表每个色彩通道中色彩分量的取值，
Figure FDA0003156250870000071
是向上取整符号，NR、NG、NB分别代表R、G、B通道量化后颜色种类；
计算模块，用于在量化后的色彩通道中，根据所述最大互信息系数，计算像素的显著性。
7.根据权利要求6所述的融合视觉注意力基于对比度显著性检测装置，其特征在于，获取模块还包括：
在RGB色彩空间中，显著性颜色的色彩分量包括：显著性颜色的R色彩分量、显著性颜色的G色彩分量以及显著性颜色的B色彩分量；
设定x代表归一化后的显著性颜色分量值；y代表归一化后各个色彩分量的显著性注意力得分值，x和y的取值范围均为[0,1]；利用公式计算x,y的互信息，公式如下：
Figure FDA0003156250870000072
其中，x和y两个属性的数据集合分布在两维的空间中，形成一个二维散点图，分子I(x；y)表示二维散点图中随机变量x,y的互信息，p(x,y)代表落在第(x,y)格子中的数据点的概率，p(x)代表第x行的数据点的频率，p(y)代表第y列的数据点的概率；
再利用公式，
Figure FDA0003156250870000073
分别计算RGB色彩空间中显著性颜色的R色彩分量与显著性注意力的最大互信息系数mic(R,S)，显著性颜色的G色彩分量与显著性注意力的最大互信息系数mic(G,S)，显著性颜色的B色彩分量与显著性注意力的最大互信息系数mic(B,S)；
x和y两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a|表征，竖直方向划分的网格个数用|b|表征，c为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
8.根据权利要求7所述的融合视觉注意力基于对比度显著性检测装置，其特征在于，获取模块还包括：
在Lab色彩空间中，显著性颜色的色彩分量包括：显著性颜色的L色彩分量、显著性颜色的a色彩分量、显著性颜色的b色彩分量三种；
设定x1代表归一化后的颜色分量值，y1代表归一化后显著性注意力得分值，x1和y1的取值范围均为[0,1]，利用公式计算x1和y1的互信息，公式如下：
Figure FDA0003156250870000081
其中，x1和y1两个属性的数据集合分布在两维的空间中，形成一个二维散点图，I(x1；y1)表示二维散点图中x1，y1的互信息，p(x1,y1)代表x1和y1落在第(x1,y1)格子中的数据点的概率，p(x1)代表第x1行的数据点的频率，p(y1)为第y1列的数据点的概率；
再利用公式，
Figure FDA0003156250870000082
分别计算Lab色彩空间中显著性颜色的L色彩分量与显著性注意力的最大互信息系数mic(L,S)，显著性颜色的a色彩分量与显著性注意力的最大互信息系数mic(a,S)，显著性颜色的b色彩分量与显著性注意力的最大互信息系数mic(b,S)；
x1和y1的两个属性的数据集合分布在两维的空间中，在水平与竖直方向进行网格化，水平方向划分的网格个数用|a1|表征，竖直方向划分的网格个数用|b1|表征，c1为常数；
最后，将最大互信息系数作为显著性颜色的分量与显著性注意力的相关性。
CN201910542767.XA 2019-06-21 2019-06-21 融合视觉注意力基于对比度的显著性检测方法及装置 Active CN110251076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542767.XA CN110251076B (zh) 2019-06-21 2019-06-21 融合视觉注意力基于对比度的显著性检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542767.XA CN110251076B (zh) 2019-06-21 2019-06-21 融合视觉注意力基于对比度的显著性检测方法及装置

Publications (2)

Publication Number Publication Date
CN110251076A CN110251076A (zh) 2019-09-20
CN110251076B true CN110251076B (zh) 2021-10-22

Family

ID=67920404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542767.XA Active CN110251076B (zh) 2019-06-21 2019-06-21 融合视觉注意力基于对比度的显著性检测方法及装置

Country Status (1)

Country Link
CN (1) CN110251076B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259228B (zh) * 2020-11-12 2023-06-02 湖北理工学院 一种动态注意力网络非负矩阵分解的抑郁症筛选方法
CN114527950A (zh) * 2022-02-23 2022-05-24 深圳创维－Rgb电子有限公司 画面颜色调整方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520894A (zh) * 2009-02-18 2009-09-02 上海大学 基于区域显著性的显著对象提取方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN102750540A (zh) * 2012-06-12 2012-10-24 大连理工大学 基于形态滤波增强的最稳定极值区视频文本检测方法
CN103020993A (zh) * 2012-11-28 2013-04-03 杭州电子科技大学 一种双通道颜色对比度融合的视觉显著性检测方法
CN103475881A (zh) * 2013-09-12 2013-12-25 同济大学 Dct域内基于视觉注意力机制的图像jnd阈值计算方法
CN103714122A (zh) * 2013-12-06 2014-04-09 安徽大学 一种基于局部分块二进制编码特征的图像检索方法
CN104010168A (zh) * 2014-06-13 2014-08-27 东南大学 一种无重叠视域多摄像机监控网络拓扑自适应学习方法
CN103020992B (zh) * 2012-11-12 2016-01-13 华中科技大学 一种基于运动颜色关联的视频图像显著性检测方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN106023224A (zh) * 2016-05-30 2016-10-12 天水师范学院 一种中药材显微图像的pcnn自动分割方法
CN108629123A (zh) * 2018-05-08 2018-10-09 武汉轻工大学 基于信息最大化理论的地铁施工地表沉降分析方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1383684A (zh) * 2000-06-14 2002-12-04 皇家菲利浦电子有限公司 彩色视频编码与解码方法
AU2006246497B2 (en) * 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
CN101980248B (zh) * 2010-11-09 2012-12-05 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN105045907B (zh) * 2015-08-10 2018-03-09 北京工业大学 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法
CN105512663A (zh) * 2015-12-02 2016-04-20 南京邮电大学 一种基于全局与局部对比度的显著性检测方法
CN105853162A (zh) * 2016-06-22 2016-08-17 刘东光 多种模式的视力增视训练系统及其训练方法
CN108460114B (zh) * 2018-02-09 2021-08-31 福州大学 一种基于层次注意力模型的图像检索方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520894A (zh) * 2009-02-18 2009-09-02 上海大学 基于区域显著性的显著对象提取方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN102750540A (zh) * 2012-06-12 2012-10-24 大连理工大学 基于形态滤波增强的最稳定极值区视频文本检测方法
CN103020992B (zh) * 2012-11-12 2016-01-13 华中科技大学 一种基于运动颜色关联的视频图像显著性检测方法
CN103020993A (zh) * 2012-11-28 2013-04-03 杭州电子科技大学 一种双通道颜色对比度融合的视觉显著性检测方法
CN103475881A (zh) * 2013-09-12 2013-12-25 同济大学 Dct域内基于视觉注意力机制的图像jnd阈值计算方法
CN103714122A (zh) * 2013-12-06 2014-04-09 安徽大学 一种基于局部分块二进制编码特征的图像检索方法
CN104010168A (zh) * 2014-06-13 2014-08-27 东南大学 一种无重叠视域多摄像机监控网络拓扑自适应学习方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN106023224A (zh) * 2016-05-30 2016-10-12 天水师范学院 一种中药材显微图像的pcnn自动分割方法
CN108629123A (zh) * 2018-05-08 2018-10-09 武汉轻工大学 基于信息最大化理论的地铁施工地表沉降分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视觉显著性的空中目标检测算法;刘鲁涛;《应用科技》;20190131;88-93 *
视觉和物体显著性检测方法;许佳;《山东大学学报》;20190331;28-37 *

Also Published As

Publication number Publication date
CN110251076A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
Jiang et al. Single image super-resolution quality assessment: a real-world dataset, subjective studies, and an objective metric
CN109035188B (zh) 一种基于目标特征驱动的智能图像融合方法
TWI431549B (zh) Image processing apparatus and method and computer program product
CN111738064B (zh) 一种雾霾图像的雾浓度识别方法
CN108010024B (zh) 一种盲参考色调映射图像质量评价方法
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN104851112B (zh) 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN109410171B (zh) 一种用于雨天图像的目标显著性检测方法
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN111563408B (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
CN107610118B (zh) 一种基于dM的图像分割质量评价方法
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN110555843B (zh) 一种高精度的无参考融合遥感影像质量分析方法及系统
CN105279772A (zh) 一种红外序列图像的可跟踪性判别方法
CN110251076B (zh) 融合视觉注意力基于对比度的显著性检测方法及装置
CN104331877A (zh) 融合色调梯度的彩色图像边缘检测方法
CN116664462B (zh) 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN111143615A (zh) 一种短视频情感类别的识别装置
CN106951863A (zh) 一种基于随机森林的变电站设备红外图像变化检测方法
CN116912783A (zh) 核酸检测平台的状态监控方法及系统
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant