CN114092351A - 基于去噪的图像显著性检测方法及装置 - Google Patents
基于去噪的图像显著性检测方法及装置 Download PDFInfo
- Publication number
- CN114092351A CN114092351A CN202111395941.6A CN202111395941A CN114092351A CN 114092351 A CN114092351 A CN 114092351A CN 202111395941 A CN202111395941 A CN 202111395941A CN 114092351 A CN114092351 A CN 114092351A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- saliency
- value
- color channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于去噪的图像显著性检测方法及装置，可用于人工智能技术领域，该方法包括：生成目标图像的六个对抗色通道；从六个对抗色通道中，筛选出信息量最大的对抗色通道；基于信息量最大的对抗色通道，获得显著度图；获取目标图像中噪声的纹理信息；根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；对去噪后的显著度图进行分割，得到目标图像中的显著物体。本发明可以实现图像的显著性检测，效果好。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于去噪的图像显著性检测方法及装置。
背景技术
如何快速高效地检测出图像中的显著性区域，研究成果将对银行中的账单自动化处理，人脸检测，目标跟踪与识别，非显著区域植入LOGO等有很大的价值，检测出图像中的显著区域，能够有效地对图像或者视频做预处理。
近些年国内外学者提出的检测图像显著区域的方法，有基于生物视觉的“中心-周围差”机制，基于全概率图的模型，基于滑动窗口，图像块的特征差异模型，一般都会有计算复杂度高，反应慢的特点，基于CRF条件概率模型或者基于准则的SVM线性判别器方法，基于最大熵的信息论模型，基于点熵率模型，这些方法计算复杂并依赖于很强的数学背景，而忽略了显著性最本质的定义---突出于一般的物体而存在的物体即为显著物体，另外这些研究中得到的显著图会出现显著物体轮廓不清晰，背景噪声也较多的缺点。
因此，目前缺乏一种针对图像显著性检测方法。
发明内容
本发明实施例提出一种基于去噪的图像显著性检测方法，用以实现图像的显著性检测，效果好，该方法包括：
生成目标图像的六个对抗色通道；
从六个对抗色通道中，筛选出信息量最大的对抗色通道；
基于信息量最大的对抗色通道，获得显著度图；
获取目标图像中噪声的纹理信息；
根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
对去噪后的显著度图进行分割，得到目标图像中的显著物体。
本发明实施例提出一种基于去噪的图像显著性检测装置，用以实现图像的显著性检测，效果好，该装置包括：
对抗色通道生成模块，用于生成目标图像的六个对抗色通道；
筛选模块，用于从六个对抗色通道中，筛选出信息量最大的对抗色通道；
显著度图获得模块，用于基于所述信息量最大的对抗色通道，获得显著度图；
噪声纹理信息获得模块，用于获取目标图像中噪声的纹理信息；
显著度图去噪模块，用于根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
显著物体获得模块，用于对去噪后的显著度图进行分割，得到目标图像中的显著物体。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于去噪的图像显著性检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于去噪的图像显著性检测方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现基于去噪的图像显著性检测方法。
在本发明实施例中，生成目标图像的六个对抗色通道；从六个对抗色通道中，筛选出信息量最大的对抗色通道；基于信息量最大的对抗色通道，获得显著度图；获取目标图像中噪声的纹理信息；根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；对去噪后的显著度图进行分割，得到目标图像中的显著物体。在上述过程中，生成了六个对抗色通道，相比于现有的三个通道表示的显著度图，可显著提高显著物体检测的效果；另外，根据噪声的纹理信息对显著图进行去噪，进一步提高了显著性检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中基于去噪的图像显著性检测方法的流程图；
图2为本发明实施例中采用显著图进行分割获得的显著物体的检测结果；
图3为本发明实施例中多层高斯金字塔的结果示意图；
图4为本发明实施例中进行图像显著性检测的结果示意图；
图5为本发明实施例中基于去噪的图像显著性检测装置的示意图；
图6为本发明实施例中计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
首先，对本发明实施例中涉及到的术语进行解释。
图像显著性：图像显著性与计算机视觉结合，同时又以生物神经学和心理学为支撑，有研究结果的不确定性和相对主观性，在视觉显著性分析中将生物视觉机制和机器视觉融合，那些明显突出于平均值能吸引人眼注意的区域是显著区域。
对抗色：颜色对抗色通道能够保留图像中灰度值比较大的区域，而这些区域对应在原始图像中，很容易吸引人眼注意。
图像去噪：是指减少数字图像中噪声的过程。
Canny边缘检测：是John F.Canny于1986年开发出来的一个多级边缘检测算法。
发明人发现，神经元在初级阶段能够处理简单的视觉特征，例如灰度对比度，梯度方向，物体移动等，这些特征能够引起人眼不同反应。其中，颜色分量对检测场景中的显著物体有很大影响。人眼的视觉人眼的视觉细胞包含了大量的视杆细胞和视锥细胞，视锥细胞对三种不同的光线(R，G，B)敏感。人眼视觉系统(HVS)不能等效地处理进入人眼的所有信息，颜色对比度(CC)对图像中的显著区域检测有很重要的影响。Osberger提出，当一个区域的颜色与周围区域的颜色有明显不同时更能吸引人眼的注意。基于这些理论，本发明实施例提出了颜色对抗色理论，以进行基于去噪的图像显著性检测。在本发明实施例提出的方法中，从显著性的基本定义出发，人眼总是首先关注图像中与背景有明显灰度对比度的区域，提出了全局的检测方法----基于对抗色通道的显著物体检测模型，该模型首先生成了六个对抗色通道，然后根据视觉性准则自适应地选择一个对抗色通道，计算与均值有明显颜色差异的图像区域，即为图像中的显著区域，该方法基于全局的颜色特征，以显著性的基本定义为原则，简单，高效。
图1为本发明实施例中基于去噪的图像显著性检测方法的流程图，如图1所示，包括：
步骤101，生成目标图像的六个对抗色通道；
步骤102，从六个对抗色通道中，筛选出信息量最大的对抗色通道；
步骤103，基于信息量最大的对抗色通道，获得显著度图；
步骤104，获取目标图像中噪声的纹理信息；
步骤105，根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
步骤106，对去噪后的显著度图进行分割，得到目标图像中的显著物体。
在本发明实施例中，生成了六个对抗色通道，相比于现有的三个通道表示的显著度图，可显著提高显著物体检测的效果；另外，根据噪声的纹理信息对显著图进行去噪，进一步提高了显著性检测的精度。
在步骤101中，生成目标图像的六个对抗色通道。
目标图像可以是账单，视频截图图像等任意图像。
在一实施例中，生成目标图像的六个对抗色通道，包括：
获得目标图像的R、G、B灰度值；
根据目标图像的R、G、B灰度值，生成六个对抗色通道。
在上述实施例中，六个对抗色通道可表示为：
其中，
为六个对抗色通道。
被称为粉色通道，
被称为橘色通道。
在步骤102中，从六个对抗色通道中，找出信息量最大的对抗色通道。
因为生物视觉系统总是对具有显著对比度的视觉信号有较强的敏感性，因此，生物视觉系统对来自不同颜色通道的显著视觉信息也有视觉趋向。相应地，为了有效地提取出图像中的显著区域，选择一个最有信息量的颜色通道。对于生成的
对抗色通道中存在的大的灰度值意味着在原RGB通道中存在着大的颜色差异，也就是说，在对抗色通道中灰度值越大的像素对应着的原始图像像素的位置越能吸引人眼的注意。因此，如果一个对抗色通道包含很多亮度值很大的像素并且这些像素距离图像中心很近，意味着该对抗色通道包含的信息量越大，这个对抗色通道就是要选择的对抗色通道。
在步骤102中，从六个对抗色通道中，筛选出信息量最大的对抗色通道就是采用上面的原理进行的。
在一实施例中，从六个对抗色通道中，筛选出信息量最大的对抗色通道，包括：
根据每个对抗色通道中的像素灰度值，计算每个对抗色通道的颜色饱和度因子；
计算每个对抗色通道的距离因子；
计算每个对抗色通道的熵；
根据每个对抗色通道中的颜色饱和度因子、每个对抗色通道的距离因子、每个对抗色通道的熵，计算每个对抗色通道的信息量；
从六个对抗色通道中，筛选出信息量最大的对抗色通道。
具体地，采用如下公式，根据每个对抗色通道中的像素灰度值，计算每个对抗色通道的颜色饱和度因子：
其中，
为对抗色通道k的颜色饱和度因子，Ik(i,j)为在对抗色通道k中位置(i,j)处的像素灰度值。
因为一幅图像中的显著物体一般占据图像的五分之一，因此，计算时以前五分之一为标准。
在一实施例中，计算每个对抗色通道的距离因子，包括：
对每个对抗色通道中的像素灰度值由大到小排序，获得每个对抗色通道中像素灰度值占前五分之一的像素；
把每个对抗色通道中像素灰度值占前五分之一的像素添加至每个对抗色通道的第一集合Pk，记录对抗色通道中像素灰度值占前五分之一的像素在目标图像中的位置；
根据每个对抗色通道的第一集合，计算每个对抗色通道的距离因子。
具体地，因为显著区域距离图像中心较近，在图像中心区域的像素成为显著区域的可能性越大，因此，计算每个对抗色通道的距离因子，可采用如下公式：
其中，
为对抗色通道k中像素灰度值占前五分之一的像素在对抗色通道k中距离目标图像中心的距离，d(i,j)表示像素(i,j)距离目标图像中心的距离
图像中的显著区域大部分来自于同一个物体，并且颜色比较一致，这里，用熵来度量显著区域像素颜色的一致性。计算对抗色通道中像素灰度值占前五分之一的像素在HSV空间中的颜色直方图的熵值，熵值越小，表示这些像素对应的区域颜色越一致，该区域是显著区域的可能性也越大。因为HSV颜色空间是一种面向人眼感知的颜色模型，人眼对色彩的感知主要包括：色调，亮度和饱和度，其中，色调(Hue)是指光的颜色，从波长的角度讲，不同颜色的光具有不同的波长。饱和度(Saturation)是指颜色的深浅程度，颜色越深，饱和度越高，颜色越浅，饱和度越低，颜色饱和度的高低与纯色中掺入白光成分的多少有关，加入的白光越少，颜色越暗，饱和度越低，加入的白光越多，颜色越亮，饱和度越高。亮度(Value)是指光的明暗程度，对于灰度值图像来说，灰度值越低，亮度越低，灰度值越高，亮度越高。对于彩色图像来说，颜色中掺入的白光越多越明亮，亮度值就越大，反之，越小。此外，HSV空间的亮度分量与图像的颜色信息无关，并且色调和饱和度分量与人眼视觉感知有紧密联系，因此，用HSV空间来度量图像中显著区域颜色的一致性。
在一实施例中，计算每个对抗色通道的熵，包括：
统计每个对抗色通道中像素灰度值占前五分之一的像素在HSV空间里的三维直方图，即
对所述三维直方图进行归一化处理；
基于归一化处理后的三维直方图，计算每个对抗色通道的熵。
计算每个对抗色通道的熵的公式如下：
其中，Ek为对抗色通道k的熵；
为对抗色通道k对应的三维直方图。
采用如下公式，根据每个对抗色通道中的颜色饱和度因子、每个对抗色通道的距离因子、每个对抗色通道的熵，计算每个对抗色通道的信息量：
其中，
为对抗色通道k的信息量。
然后，从六个对抗色通道中选择信息量最大的对抗色通道。
在步骤103中，基于信息量最大的对抗色通道，获得显著度图。
在一实施例中，基于所述信息量最大的对抗色通道，获得显著度图，包括：
对所述信息量最大的对抗色通道进行高斯滤波，获得平滑后的图像；
根据平滑后的图像中每个像素的像素灰度值，确定每个像素的第一显著度；
对每个像素的第一显著度进行灰度拉伸，获得每个像素的灰度拉伸值；
根据每个像素的灰度拉伸值，计算每个像素的第二显著度，其中，平滑后的图像的所有像素的第二显著度构成了显著度图。
在上述实施例中，为了减少图像中的噪声，对选择的对抗色通道
首先应用高斯滤波，生成平滑后的图像，公式如下：
其中，“*”表示卷积操作，
为平滑后的图像；
为对抗色通道
的像素灰度值；Gσ为参数。
在一实施例中，根据平滑后的图像中每个像素的像素灰度值，确定每个像素的第一显著度，包括：
计算平滑后的图像的像素灰度均值；
根据平滑后的图像中每个像素的像素灰度值及像素灰度均值，确定每个像素的第一显著度。
在上述实施例中，根据显著性的定义，像素与平滑后的图像的像素灰度均值u差别越大的像素的显著度越大，同时，越近于像素灰度均值u的像素是背景区域的像素的可能性越大，其中，
M和N分别表示平滑后的图像的宽和高。
像素(i,j)的第一显著度可表示为：
其中，s(i,j)为像素(i,j)的第一显著度。
进行灰度拉伸，是为了将第一显著度的值表示在[0，255]范围内，因此，采用如下公式进行对每个像素的第一显著度进行灰度拉伸：
其中，s'(i,j)为像素(i,j)的灰度拉伸值，smin,smax分别表示平滑后的图像中的像素灰度值的最小值和最大值，通过对平滑后的图像做灰度拉伸，使得平滑后的图像中的所有像素的灰度值在[0，255]的范围内都有分布。
在一实施例中，根据每个像素的灰度拉伸值，计算每个像素的第二显著度，包括：
计算每个像素的空间注意力函数值；
根据每个像素的灰度拉伸值和空间注意力函数值，计算每个像素的第二显著度。
在上述实施例中，需要说明的是，人眼的中央凸结构指引人眼在一个场景中趋向于注意前方中心范围的事物，另外，人眼总是关注于图像的中心区域，而忽略图像中的周围区域，因此，本发明实施例定义了一个空间注意函数f(i,j)来表示人眼看物体的“中心–周围”效应：
其中，d(i,j)表示像素(i,j)距离平滑后的图像中心的距离，L表示平滑后的图像对角线长度的一半。并且，f(i,j)∈[1/2,1]，空间距离函数反映了人眼注意的中心–周围递减规律。
因此，采用如下公式，计算每个像素的第二显著度：
S(i,j)＝s'(i,j)×f(i,j)
其中，S(i,j)为像素(i,j)的第二显著度。
平滑后的图像的所有像素的第二显著度构成了显著度图。在拿到该显著图后，进行分割，得到显著物体，图2为本发明实施例中采用显著图进行分割获得的显著物体的检测结果，图2中将本发明实施例提出的方法(SE)与其他六种方法(包括IT,MZ,GB,SR,CA,AC)进行了对比，O为目标图像，G为人工标注的显著区域二值化结果，可以看到，本发明实施例提出的方法的效果更优。
在步骤104中，获取目标图像中噪声的纹理信息。
在一实施例中，获取目标图像中噪声的纹理信息，包括：
生成目标图像的深度图像；
根据深度图像，计算边缘图像；
从边缘图像中提取噪声的纹理信息。
发明人发现，去雾有利于图像显著物体检测，原因有：首先，去雾能够提高景象的清晰度，能够增强图像中显著物体的对比度。基于对无雾图像统计出来的暗原色先验知识——在不包括天空的绝大部分局部区域，总会存在一些暗像素，并且图像的颜色通道中至少有一个通道具备很低的强度值。在被雾干扰的图像里，这些暗像素的强度值会被大气中的白光成分充斥而变得较高，因此，这些暗像素能够直接用来评估光的投射信息，而离相机越远的区域一般雾的浓度越大，光的投射度越低，暗像素的值也越大，离相机近的区域一般也是显著物体所在的区域，受到大气中雾的影响也较小，暗像素的值也越小。因此，求图像中暗通道的值在一定情况下能够获得图像中显著物体的信息。由暗通道的先验知识获得的深度图像能够反应出图像中物体距离相机的远近，从而有利于显著物体的检测。
一般情况下，由相机采集到的图像都会受到空气中的灰尘，水汽等的影响。并且，光线的折射散射作用也会模糊采集的图像。一般地，光线的衰减和物体距离相机的物理位置有关，因此，在一实施例中，生成目标图像的深度图像，包括：
提取目标图像中最大像素灰度值作为目标图像的深度信息，构成深度图像。
具体地，可采用如下公式：
其中，Id(x)为对抗色通道k的深度图像；Ik(y)表示对抗色通道k中位置y处的像素灰度值，Ω(x)表示以像素x为中心的目标图像中的像素集合。
在一实施例中，根据深度图像，计算边缘图像，包括：
对深度图像高斯下采样，产生五层高斯金字塔，获得灰度对比度图像；
对灰度对比度图像进行线性差值，获得尺度图像，所述尺度图像包括中心尺度图像和周围尺度图像；
根据中心尺度图像和周围尺度图像产生特征图；
根据所述特征图，生成边缘图像。
在上述实施例中，采用图像的高斯金字塔方法深度图像高斯下采样，产生五层高斯金字塔，获得灰度对比度图像。
图像的高斯金字塔方法的原理如下：
对原始图像高斯滤波和下采样，获得原始图像的低分辨率图像，然后做高斯金字塔差分(即由高斯金字塔相邻两幅图像相减得到)，在SIFT检测图像角点信息的操作中，通过在差分后的图像中运用滑动窗口操作，在每个滑动窗口中找到沿某个方向上梯度最大的点，即为图像中该处的角点信息，最后形成多层的高斯金字塔。图3为本发明实施例中多层高斯金字塔的结果示意图，从左到右分别为原始图形、0-7层高斯金字塔图像，也称为灰度对比度图像。
具体地，对深度图像高斯下采样，产生五层高斯金字塔，获得灰度对比度图像的公式如下：
其中，灰度对比度图像可以看做是深度图像在空间频率下递减的连续下采样图像，So表示深度图像Id，然后对灰度对比度图像进行线性差值，获得尺度图像Si(i∈{1,2,3,4})，所述尺度图像包括中心尺度图像和周围尺度图像；将尺度图像Si(i∈{1,2,3,4})的图像归一化成256×256大小的尺度图像；根据中心尺度图像c∈{1,2}和周围尺度图像s∈{3,4}产生特征图If，这样，If就保留了深度图像中有强灰度对比度的位置点。If的计算公式如下：
If＝(S1-S3)+(S2-S4)
根据人眼观察的“中心–周围”效应，显著物体总是存在于图像中的中心区域，因此，对得到的特征图If做以下处理，得到图像I'f：
I'f(i,j)＝If(i,j)×(d(i,j)/L),
其中，d(i,j)表示像素(i,j)距离特征图中心的距离，L表示特征图的半对角线长度。接着，
为了统计依然保留在图像I'f中的噪声，用Canny算子对图像I'f检测图像的边缘。最后，得到了I'f的边缘图像Ie。
在一实施例中，所述噪声的纹理信息包括第一色调值和第一饱和度值；
从边缘图像中提取噪声的纹理信息，包括：
计算边缘图像中非显著区域的第一色调值；
计算边缘图像中非显著区域的第一饱和度值。
在上述实施例中，在边缘图像Ie中的像素大部分都是非显著的像素，为了计算非显著像素的颜色特征，在HSV空间中，统计目标图像中对应着Ie像素位置处的像素的色调(Hue)直方图。假设，色调直方图中最大的灰度值是非显著区域的第一色调值：
其中，Hh(i)表示目标图像的色调直方图。接着用同样的方法计算目标图像中饱和度直方图，目标图像中的饱和度直方图的最大灰度值(Vs)表示了非显著区域的第一饱和度值：
其中，Hs(i)表示目标图像的饱和度直方图。假设目标图像中噪声的饱和度值在V's∈(Vs-4,Vs+4)范围内。
在步骤105中，根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图。
在一实施例中，根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图，包括：
确定目标图像中像素的色调值为第一色调值，且饱和度值为第一饱和度值的像素对应于显著度图中的位置；
将显著度图中所述位置的像素灰度值置为零，获得去噪后的显著度图。
在上述实施例中，遍历目标图像，记录目标图像中像素的色调值为第一色调值Vh同时饱和度值为第一饱和度值Vs的像素对应于显著度图中的位置；将显著度图中所述位置的像素灰度值置为零，获得去噪后的显著度图。
在步骤106中，对去噪后的显著度图进行分割，得到目标图像中的显著物体。
在一实施例中，对去噪后的显著度图进行分割，得到目标图像中的显著物体，包括：
分割显著度图，获得多个块；
对每个块，计算该块的所有像素的第二显著度的平均值，若所述平均值大于分割阈值，确定该块中的像素均为显著像素；
确定显著度图中的所有显著像素构成显著物体。
在一实施例中，分割显著度图，获得多个块，包括：
采用Mean-shift算法分割显著度图，获得多个块。Mean-shift算法在模式检测，聚类，图像分割及目标跟踪等方面的应用非常广泛，另外，Mean-shift方法具有计算简单，收敛速度快和对噪声鲁棒性强等特点，是一种高效的非参迭代算法。
需要说明的是，分割阈值可为定值，可以是在[0,255]范围内取到的值，也可以为动态值，在一实施例中，所述分割阈值采用如下公式计算：
其中，Ta为分割阈值；W和H分别为显著性图的宽和高；S(i,j)为像素(i,j)的第二显著度。上述Ta即为动态值，也称为自适应阈值。
上述分割阈值与显著性图的宽和高有关，不是定值，精确度更高。
图4为本发明实施例中进行图像显著性检测的结果示意图，图4中的(a)列表
示目标图像，图4中的(b)列表示深度图像，图4中的(c)列表示检测出来的噪声
的纹理信息，图4中的(d)列表示去噪后的显著度图，图4中的(e)列表示采用未
去噪的显著图得到的显著物体，图4中的(f)列表示采用去噪后的显著图得到的显
著物体，图4中的(g)列表示人工标注的显著区域二值化结果。可见，本发明实施例得到的方法的效果非常好。
综上所述，本发明实施例提出的方法具有以下有益效果：
生成目标图像的六个对抗色通道；从六个对抗色通道中，筛选出信息量最大的对抗色通道；基于信息量最大的对抗色通道，获得显著度图；获取目标图像中噪声的纹理信息；根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图，可提高后续显著物体识别的精度；对去噪后的显著度图进行分割，得到目标图像中的显著物体。与基于生物模拟的显著度模型比较，该方法能够产生全分辨率的显著度图。
本发明还提出一种基于去噪的图像显著性检测装置，其原理与基于去噪的图像显著性检测方法相同，这里不再赘述。
图5为本发明实施例中基于去噪的图像显著性检测装置的示意图一，如图5所示，包括：
对抗色通道生成模块501，用于生成目标图像的六个对抗色通道；
筛选模块502，用于从六个对抗色通道中，筛选出信息量最大的对抗色通道；
显著度图获得模块503，用于基于所述信息量最大的对抗色通道，获得显著度图；
噪声纹理信息获得模块504，用于获取目标图像中噪声的纹理信息；
显著度图去噪模块505，用于根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
显著物体获得模块506，用于对去噪后的显著度图进行分割，得到目标图像中的显著物体。
在一实施例中，对抗色通道生成模块501具体用于：
获得目标图像的R、G、B灰度值；
根据目标图像的R、G、B灰度值，生成六个对抗色通道。
在一实施例中，筛选模块具体用于：
根据每个对抗色通道中的像素灰度值，计算每个对抗色通道的颜色饱和度因子；
计算每个对抗色通道的距离因子；
计算每个对抗色通道的熵；
根据每个对抗色通道中的颜色饱和度因子、每个对抗色通道的距离因子、每个对抗色通道的熵，计算每个对抗色通道的信息量；
从六个对抗色通道中，筛选出信息量最大的对抗色通道。
在一实施例中，筛选模块具体用于：
对每个对抗色通道中的像素灰度值由大到小排序，获得每个对抗色通道中像素灰度值占前五分之一的像素；
把每个对抗色通道中像素灰度值占前五分之一的像素添加至每个对抗色通道的第一集合，记录对抗色通道中像素灰度值占前五分之一的像素在目标图像中的位置；
根据每个对抗色通道的第一集合，计算每个对抗色通道的距离因子。
在一实施例中，筛选模块具体用于：
统计每个对抗色通道中像素灰度值占前五分之一的像素在HSV空间里的三维直方图；
对所述三维直方图进行归一化处理；
基于归一化处理后的三维直方图，计算每个对抗色通道的熵。
在一实施例中，显著度图获得模块503具体用于：
对所述信息量最大的对抗色通道进行高斯滤波，获得平滑后的图像；
根据平滑后的图像中每个像素的像素灰度值，确定每个像素的第一显著度；
对每个像素的第一显著度进行灰度拉伸，获得每个像素的灰度拉伸值；
根据每个像素的灰度拉伸值，计算每个像素的第二显著度，其中，平滑后的图像的所有像素的第二显著度构成了显著度图。
在一实施例中，显著度图获得模块503具体用于：
计算平滑后的图像的像素灰度均值；
根据平滑后的图像中每个像素的像素灰度值及像素灰度均值，确定每个像素的第一显著度。
在一实施例中，显著度图获得模块具体用于：
计算每个像素的空间注意力函数值；
根据每个像素的灰度拉伸值和空间注意力函数值，计算每个像素的第二显著度。
在一实施例中，噪声纹理信息获得模块504具体用于：
生成目标图像的深度图像；
根据深度图像，计算边缘图像；
从边缘图像中提取噪声的纹理信息。
在一实施例中，噪声纹理信息获得模块504具体用于：
提取目标图像中最大像素灰度值作为目标图像的深度信息，构成深度图像。
在一实施例中，噪声纹理信息获得模块504具体用于：
对深度图像高斯下采样，产生五层高斯金字塔，获得灰度对比度图像；
对灰度对比度图像进行线性差值，获得尺度图像，所述尺度图像包括中心尺度图像和周围尺度图像；
根据中心尺度图像和周围尺度图像产生特征图；
根据所述特征图，生成边缘图像。
在一实施例中，所述噪声的纹理信息包括第一色调值和第一饱和度值；
噪声纹理信息获得模块504具体用于：
计算边缘图像中非显著区域的第一色调值；
计算边缘图像中非显著区域的第一饱和度值。
在一实施例中，噪声纹理信息获得模块504具体用于：
确定目标图像中像素的色调值为第一色调值，且饱和度值为第一饱和度值的像素对应于显著度图中的位置；
将显著度图中所述位置的像素灰度值置为零，获得去噪后的显著度图。
在一实施例中，显著物体获得模块具体用于：
分割显著度图，获得多个块；
对每个块，计算该块的所有像素的第二显著度的平均值，若所述平均值大于分割阈值，确定该块中的像素均为显著像素；
确定显著度图中的所有显著像素构成显著物体。
在一实施例中，显著物体获得模块具体用于：
采用Mean-shift算法分割显著度图，获得多个块。
在一实施例中，所述分割阈值采用如下公式计算：
其中，Ta为分割阈值；W和H分别为显著性图的宽和高；S(i,j)为像素(i,j)的第二显著度。
综上所述，本发明实施例提出的装置具有以下有益效果：生成目标图像的六个对抗色通道；从六个对抗色通道中，筛选出信息量最大的对抗色通道；基于信息量最大的对抗色通道，获得显著度图；获取目标图像中噪声的纹理信息；根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图，可提高后续显著物体识别的精度；对去噪后的显著度图进行分割，得到目标图像中的显著物体。与基于生物模拟的显著度模型比较，该方法能够产生全分辨率的显著度图。
本发明实施例还提供一种计算机设备，图6为本发明实施例中计算机设备的示意图，所述计算机设备600包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现上述基于去噪的图像显著性检测方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于去噪的图像显著性检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于去噪的图像显著性检测方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现基于去噪的图像显著性检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种基于去噪的图像显著性检测方法，其特征在于，包括：
生成目标图像的六个对抗色通道；
从六个对抗色通道中，筛选出信息量最大的对抗色通道；
基于信息量最大的对抗色通道，获得显著度图；
获取目标图像中噪声的纹理信息；
根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
对去噪后的显著度图进行分割，得到目标图像中的显著物体。
2.如权利要求1所述的基于去噪的图像显著性检测方法，其特征在于，生成目标图像的六个对抗色通道，包括：
获得目标图像的R、G、B灰度值；
根据目标图像的R、G、B灰度值，生成六个对抗色通道。
3.如权利要求1所述的基于去噪的图像显著性检测方法，其特征在于，从六个对抗色通道中，筛选出信息量最大的对抗色通道，包括：
根据每个对抗色通道中的像素灰度值，计算每个对抗色通道的颜色饱和度因子；
计算每个对抗色通道的距离因子；
计算每个对抗色通道的熵；
根据每个对抗色通道中的颜色饱和度因子、每个对抗色通道的距离因子、每个对抗色通道的熵，计算每个对抗色通道的信息量；
从六个对抗色通道中，筛选出信息量最大的对抗色通道。
4.如权利要求3所述的基于去噪的图像显著性检测方法，其特征在于，计算每个对抗色通道的距离因子，包括：
对每个对抗色通道中的像素灰度值由大到小排序，获得每个对抗色通道中像素灰度值占前五分之一的像素；
把每个对抗色通道中像素灰度值占前五分之一的像素添加至每个对抗色通道的第一集合，记录对抗色通道中像素灰度值占前五分之一的像素在目标图像中的位置；
根据每个对抗色通道的第一集合，计算每个对抗色通道的距离因子。
5.如权利要求3所述的基于去噪的图像显著性检测方法，其特征在于，计算每个对抗色通道的熵，包括：
统计每个对抗色通道中像素灰度值占前五分之一的像素在HSV空间里的三维直方图；
对所述三维直方图进行归一化处理；
基于归一化处理后的三维直方图，计算每个对抗色通道的熵。
6.如权利要求1所述的基于去噪的图像显著性检测方法，其特征在于，基于所述信息量最大的对抗色通道，获得显著度图，包括：
对所述信息量最大的对抗色通道进行高斯滤波，获得平滑后的图像；
根据平滑后的图像中每个像素的像素灰度值，确定每个像素的第一显著度；
对每个像素的第一显著度进行灰度拉伸，获得每个像素的灰度拉伸值；
根据每个像素的灰度拉伸值，计算每个像素的第二显著度，其中，平滑后的图像的所有像素的第二显著度构成了显著度图。
7.如权利要求6所述的基于去噪的图像显著性检测方法，其特征在于，根据平滑后的图像中每个像素的像素灰度值，确定每个像素的第一显著度，包括：
计算平滑后的图像的像素灰度均值；
根据平滑后的图像中每个像素的像素灰度值及像素灰度均值，确定每个像素的第一显著度。
8.如权利要求6所述的基于去噪的图像显著性检测方法，其特征在于，根据每个像素的灰度拉伸值，计算每个像素的第二显著度，包括：
计算每个像素的空间注意力函数值；
根据每个像素的灰度拉伸值和空间注意力函数值，计算每个像素的第二显著度。
9.如权利要求1所述的基于去噪的图像显著性检测方法，其特征在于，获取目标图像中噪声的纹理信息，包括：
生成目标图像的深度图像；
根据深度图像，计算边缘图像；
从边缘图像中提取噪声的纹理信息。
10.如权利要求9所述的基于去噪的图像显著性检测方法，其特征在于，生成目标图像的深度图像，包括：
提取目标图像中最大像素灰度值作为目标图像的深度信息，构成深度图像。
11.如权利要求9所述的基于去噪的图像显著性检测方法，其特征在于，根据深度图像，计算边缘图像，包括：
对深度图像高斯下采样，产生五层高斯金字塔，获得灰度对比度图像；
对灰度对比度图像进行线性差值，获得尺度图像，所述尺度图像包括中心尺度图像和周围尺度图像；
根据中心尺度图像和周围尺度图像产生特征图；
根据所述特征图，生成边缘图像。
12.如权利要求9所述的基于去噪的图像显著性检测方法，其特征在于，所述噪声的纹理信息包括第一色调值和第一饱和度值；
从边缘图像中提取噪声的纹理信息，包括：
计算边缘图像中非显著区域的第一色调值；
计算边缘图像中非显著区域的第一饱和度值。
13.如权利要求12所述的基于去噪的图像显著性检测方法，其特征在于，根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图，包括：
确定目标图像中像素的色调值为第一色调值，且饱和度值为第一饱和度值的像素对应于显著度图中的位置；
将显著度图中所述位置的像素灰度值置为零，获得去噪后的显著度图。
14.如权利要求1所述的基于去噪的图像显著性检测方法，其特征在于，对去噪后的显著度图进行分割，得到目标图像中的显著物体，包括：
分割显著度图，获得多个块；
对每个块，计算该块的所有像素的第二显著度的平均值，若所述平均值大于分割阈值，确定该块中的像素均为显著像素；
确定显著度图中的所有显著像素构成显著物体。
15.一种基于去噪的图像显著性检测装置，其特征在于，包括：
对抗色通道生成模块，用于生成目标图像的六个对抗色通道；
筛选模块，用于从六个对抗色通道中，筛选出信息量最大的对抗色通道；
显著度图获得模块，用于基于所述信息量最大的对抗色通道，获得显著度图；
噪声纹理信息获得模块，用于获取目标图像中噪声的纹理信息；
显著度图去噪模块，用于根据噪声的纹理信息对显著图进行去噪，获得去噪后的显著度图；
显著物体获得模块，用于对去噪后的显著度图进行分割，得到目标图像中的显著物体。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14任一项所述方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至14任一项所述方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至14任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111395941.6A CN114092351A (zh) | 2021-11-23 | 2021-11-23 | 基于去噪的图像显著性检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111395941.6A CN114092351A (zh) | 2021-11-23 | 2021-11-23 | 基于去噪的图像显著性检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092351A true CN114092351A (zh) | 2022-02-25 |
Family
ID=80303290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111395941.6A Pending CN114092351A (zh) | 2021-11-23 | 2021-11-23 | 基于去噪的图像显著性检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092351A (zh) |
-
2021
- 2021-11-23 CN CN202111395941.6A patent/CN114092351A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Fast haze removal for nighttime image using maximum reflectance prior | |
| Park et al. | Single image dehazing with image entropy and information fidelity | |
| Liu et al. | Single image dehazing via large sky region segmentation and multiscale opening dark channel model | |
| Liu et al. | Contrast in haze removal: Configurable contrast enhancement model based on dark channel prior | |
| CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| CN110287791B (zh) | 一种用于人脸图片的筛选方法和系统 | |
| Riaz et al. | Single image dehazing via reliability guided fusion | |
| CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN115063331B (zh) | 基于多尺度块lbp算子无鬼影多曝光图像融合方法 | |
| CN113569708A (zh) | 活体识别方法、装置、电子设备以及存储介质 | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| Khan et al. | Recent advancement in haze removal approaches | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| Hu et al. | Kinect depth map based enhancement for low light surveillance image | |
| Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
| Lee et al. | Ramp distribution-based contrast enhancement techniques and over-contrast measure | |
| CN116797484A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
| Zhu et al. | Near-infrared and visible fusion for image enhancement based on multi-scale decomposition with rolling WLSF | |
| Pal et al. | Visibility enhancement of fog degraded images using adaptive defogging function | |
| CN114092351A (zh) | 基于去噪的图像显著性检测方法及装置 | |
| Thayammal et al. | Performance analysis of image denoising using deep convolutional neural network | |
| Pal | A fast method for defogging of outdoor visual images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |