CN109858494A - 一种低对比度图像中显著性目标检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种低对比度图像中显著性目标检测方法及装置，该方法包括：根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。本发明实施例提供的一种低对比度图像中显著性目标检测方法及装置，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

Description

一种低对比度图像中显著性目标检测方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种低对比度图像中显著性目标检测方法及装置。

背景技术

人类视觉系统能够快速地挑选出场景中最感兴趣地区域，受以往大量关于人类视觉注意力机制研究的启发，研究人员就将人类注意力机制运用到计算机视觉领域，即视觉显著性检测，主要的研究目标是从一幅图像中快速地定位最让人感兴趣即最吸引人的区域，从而为视觉处理机制的性能带来极大的提升，作为目标检测领域的一个精细化课题，显著性检测在各种计算机视觉任务或应用中有着举足轻重的地位，作为一个预处理过程，准确且高效的显著性检测在图像分类、对象检测、图像分割、图像检索、行人重识别等计算机视觉领域得到了广泛的应用。

一般来说，视觉注意力是由低水平的视觉刺激驱动的。过去十几年，研究人员进行了大量研究，提出了很多基于视觉注意力机制的显著性检测模型，然而，这些模型基本都只适用于光照良好的场景中。虽然在高对比度场景下，这些模型取得了很好的成绩，但是对于现实生活中的实际场景，如下雨，雾霾等自然气候的变化或夜间关照条件很差的自然场景，这些模型的准确度就急剧下降。由于大多数显著性检测的计算模型关注的是自底向上的方法，这种方法利用低层次的图像特征来测量图像区域与其周围环境的对比度，而低对比度图像容易受到各种噪声、场景变化、纹理变化的干扰，导致传统的显著性检测方法的性能大幅下降。然而，在理想情况下，在一个图像中，显著区域往往与其邻近区域形成强烈的对比，各种局部特征和全局特征处理显著性对象的方法的进步，以及在优化领域的暗通道先验和中心先验的广泛应用，通过全局和局部特征的融合能够作为一种高效的方法在低对比度场景下提高显著性检测的性能。

显著目标检测的目的是识别给定图像中最重要的部分。在过去的几十年里，利用显著目标检测模型，如图像分割、图像压缩、图像检索等，产生了大量的应用。传统的具有活跃环境感知能力的显着性计算模型在白天具有较好的检测性能。这些模型通常依赖手工制作的低层次特征，如颜色、亮度、边缘等。然而，传统的显着性计算模型在夜间面临着巨大的挑战。夜间场景的低对比度使得目标的可见辐射降低到很低的水平。在这种场景中捕获的图像通常具有低对比度、低亮度、低信噪比和几乎没有颜色信息。因此，由于没有定义良好的特征，描述低对比度图像中的显著信息具有极大的挑战性。

发明内容

本发明实施例为克服上述技术缺陷，提供一种低对比度图像中显著性目标检测方法及装置。

第一方面，本发明实施例提供一种低对比度图像中显著性目标检测方法，包括：

根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

第二方面，本发明实施例提供一种低对比度图像中显著性目标检测装置，包括：

预处理模块，用于根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

检测模块，用于将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的一种低对比度图像中显著性目标检测方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述一种低对比度图像中显著性目标检测方法。

本发明实施例提供的一种低对比度图像中显著性目标检测方法及装置，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

附图说明

图1为本发明实施例提供的一种低对比度图像中显著性目标检测方法的流程示意图；

图2为本发明实施例提供的不同显著性检测模型得到的TPR和FPR结果图；

图3为本发明实施例提供的一种低对比度图像中显著性目标检测装置的结构示意图；

图4为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种低对比度图像中显著性目标检测方法的流程示意图，如图1所示，包括：

步骤11，根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

步骤12，将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

显著目标检测的目的是识别给定图像中最重要的部分，利用显著目标检测模型，如图像分割、图像压缩、图像检索等，产生了大量的应用。现有的具有活跃环境感知能力的显着性计算模型通常依赖手工制作的低层次特征，如颜色、亮度、边缘等，在夜间场景下面临着巨大的挑战。夜间场景的低对比度使得目标的可见辐射降低到很低的水平。在这种场景中捕获的图像通常具有低对比度、低亮度、低信噪比和几乎没有颜色信息。基于此，本发明实施例提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。

首先，根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像。超像素分割指的是将数字图像细分为多个图像子区域像素的集合，即超像素的过程。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。超像素分割是对图像中的每个像素加标签的一个过程，这一过程使得具有相同标签的像素具有某种共同视觉特性。分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。

采用超像素分割算法将输入图像分割成多个超像素，然后使用基于图的方法将包含多个超像素的图映射，得到预处理图像。将预处理图像输入到超像素级显著性模型，得到超像素显著目标。所述超像素级显著性模型通过以下步骤获取：

基于超像素数据构建训练样本集；

提取每个所述超像素数据的显著性特征；

基于支持向量机方法训练所述超像素数据的显著性特征，将所述训练样本集和训练后的超像素数据的显著性特征映射，得到所述超像素级显著性模型。

具体的，为了在低对比度图像中生成显著性图，采用支持向量机方法对提取的显著性特征进行训练。例如，可以利用2000个超像素数据(从10张低对比度图像中获得)作为训练数据。给定训练样本集

{S_n(i)，l(i)}，S_n(i)是超像素级特征数据，l(i)∈{0，1}是类标签，表示对应超像素的显著性，并使用支持向量机将数据映射到生成超像素级显著性模型。之后，根据超像素级显著性模型预测来自预处理图像中的超像素显著目标。

本发明实施例提供的一种低对比度图像中显著性目标检测方法，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

在上述实施例的基础上，所述根据超像素分割和基于图的排序，对输入图像预处理，具体包括：

根据简单线性迭代聚类算法将所述输入图像分割成多个超像素；

基于图的排序方法将所述多个超像素映射到包含N个节点的图G＝(V，E)中，其中V为节点集，每个节点对应一个超像素SP(i)，

i＝1，2，...，N，E为边集；

以所述节点集中任一节点作为查询，其余节点根据与所述任一节点的相关性进行排序，得到所述预处理图像。

首先使用简单线性迭代聚类算法将输入图像分割成多个超像素，简单线性迭代聚类算法(Simple Linear Iterative Clustering，以下简称SLIC)是在K-Means聚类算法的基础上扩展而来的，是一种简单而高效的构建超像素的方法。然后，使用基于图的方法将图片映射到包含N个节点的图G＝(V，E)中，其中V为节点集，每个节点对应一个超像素SP(i)，i＝1，2,...,N，E为边集。基于图的图像分割(Graph-Based Image Segmentation)，是经典的图像分割算法，是基于图的贪心聚类算法，实现简单，速度比较快。

映射到图G后，指定一个节点q作为查询，而剩余节点则根据对其相关性进行排序。给定G，亲和矩阵和度矩阵表示为A和D。查询的优化排序公式如下：

R＝(I-αΛ)^-1q，

其中I是图G的单位矩阵，参数α＝0.99在流形排序中控制一元和双元电位的平衡，Λ＝D^-1/2AD^-1/2是归一化的拉普拉斯矩阵，q为查询节点。

对于给定的图像，排序分数R可以表示每个节点的显著性。假设d^*＝(I-αΛ)^-1表示扩散矩阵，图像的特征显着性扩散(表示为S_n(i)，n＝1，2，3)可以通过如下公式表示：

S_n(i)＝d^*F_n(i)，

特征显著性扩散可以反映不同特征F_n(i)，i＝1，...，N的重要性，并且可以用于特征感知。

本发明实施例提供的一种低对比度图像中显著性目标检测方法，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

在上述实施例的基础上，所述超像素数据的显著性特征具体包括：

亮度、锐度和幅度对比度。

现有的具有活跃环境感知能力的显着性计算模型通常依赖手工制作的低层次特征，如颜色、亮度、边缘等，在白天具有较好的检测性能。然而，夜间场景的低对比度使得目标的可见辐射降低到很低的水平，在这种场景中捕获的图像通常具有低对比度、低亮度、低信噪比和几乎没有颜色信息。本发明实施例提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显着性信息。

由于人类视觉系统中，光照和亮度是显著目标检测的关键。它们可以影响视觉系统的视力，尤其是在夜间。鉴于此，本发明实施例采用的模型从低对比度图像中的每个超像素中提取三个显著性特征，包括亮度、锐度和幅度对比度(使用F_n(i)，n＝1，2，3表示)。

在一个实施例中，超像素数据的亮度是通过如下步骤提取：

其中，F₁(i)为亮度对比，N为节点个数，w(i，j)为权重，且w(i，j)＝Num(j)/|c(i)-c(j)|，Num(j)表示超像素SP(j)中像素点的个数，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置，L(i)和L(j)分别表示超像素SP(i)和超像素SP(j)的平均亮度。

低光照场景使物体的可见辐射降低到很低的水平，因此，亮度的差异成为衡量物体显著性的一个重要指标。亮度对比F₁(i)可用如下公式计算：

其中，F₁(i)为亮度对比，N为节点个数，w(i，j)为权重，L(i)和L(j)分别表示超像素SP(i)和超像素SP(j)的平均亮度。

权重w(i，j)的计算公式如下：

w(i，j)＝Num(j)/|c(i)-c(j)|，

其中，Num(j)表示超像素SP(j)中像素点的个数，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置。

在一个实施例中，超像素数据的锐度是通过如下步骤提取：

其中，F₂(i)为锐度对比，N为节点个数，υ(i)和υ(i)分别为超像素SP(i)和超像素SP(j)的锐度值，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置。

锐度代表图像分辨率和边缘锐度，它不太容易受到局部变化的影响。在低对比度图像中，低信噪比特性使得显着信息不明显。因此，对于从背景中识别出突出的对象来说，总体响应是非常重要的。因此，轮廓响应对于从背景中识别出显著物体是非常重要的。锐度对比F₂(i)可以使用轮廓特征计算，公式如下：

其中，F₂(i)为锐度对比，N为节点个数，υ(i)和υ(i)分别为超像素SP(i)和超像素SP(j)的锐度值，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置。

其中SP(i)的锐度值υ(i)的求解公式如下：

其中，g(x,y)表示在超像素SP(i)中(x,y)处的灰度级，和分别表示高斯函数在垂直方向和水平方向上的一阶导数，σ是高斯滤波器的尺度。

在一个实施例中，超像素数据的幅度对比度是通过如下步骤提取：

F₃(i)＝|a(i)-S_mean|，

其中，a(i)表示超像素SP(i)的平均幅度值，S_mean表示所述超像素数据的平均幅度值。

幅度谱可以作为一种潜在的对比度测量方法。由于幅值谱与频率成反比下降，因此可以用来测量高频含量衰减，从而使图像变得模糊。这里，利用幅度值特征来检测显著目标，该目标受图像对比度的影响较小。通过如下公式可以计算出幅度的差异性来测量超像素的显著性：

F₃(i)＝|a(i)-S_mean|，

其中，a(i)表示超像素SP(i)的平均幅度值，S_mean表示所述超像素数据的平均幅度值。

本发明实施例进行了大量实验去评估采用方法的性能。并在低光照的环境下用一个直立的相机去拍摄大量低对比度的图片。每个显著物体的ground truth让三个观察者用方框标注。为了评估所采用的基于超像素的显著性检测方法，本发明实施例也为显著目标提供了人工分割的ground truth。本发明实施例与前沿的5个模型在性能上进行了对比，这5个模型分别是非参数模型(NP)，图像签名模型(IS)，场景感知模型(CA)，块分布模型(PD)和基于图的流型排序模型(GBMR)。

在客观的比较中，本发明实施例计算了真阳率(TPR)以及假阴率(FPR)去评估各种方法的准确度。给出获得的显著图和ground truth，并用一个固定的阈值来生成TPR和FPR曲线。TPR值对应于正确检测到的显著性像素与ground truth显著像素的比值，而FPR值是错误检测的显著像素的方框与ground truth非显著性区域的百分比。图2为本发明实施例提供的不同显著性检测模型得到的TPR和FPR结果图，如图2所示，将本发明实施例提出的超像素级显著性模型(Proposed)与非参数模型(NP)、图像签名模型(IS)、场景感知模型(CA)、块分布模型(PD)和基于图的流型排序模型(GBMR)得到的TPR和FPR进行对比，图2中本发明实施例提出的超像素级显著性模型，在TPR和FPR上都展现了本发明实施例提供的方法在低对比度的图片中具有相当好的性能。

本发明实施例在G2020CPU，4GB RAM的计算机上，用MATLAB实现了算法。表一展示了本发明实施例提供的方法的计算复杂度，根据表一可知本发明实施例提供的方法效率更高。

表一.各种显著目标检测模型以秒计算的运行时间性能

NP	IS	CA	PD	GBMR	Proposed
						36.9299	2.1810	97.8182	80.0217	8.2689	6.4301

综上所述，本发明实施例提供的方法提出了一种基于超像素的方法来检测低对比度图像中的显著目标。本发明实施例采用的方法能够与前沿的显着性计算模型相比取得相当好的性能，这在使用低对比度图像的大量实验中得到了验证。

本发明实施例提供的一种低对比度图像中显著性目标检测方法，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

图3为本发明实施例提供的一种低对比度图像中显著性目标检测装置的结构示意图，如图3所示，包括预处理模块31和检测模块32，其中：

预处理模块31用于根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

检测模块32用于将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

首先，预处理模块31根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像。具体的，预处理模块31采用超像素分割算法将输入图像分割成多个超像素，然后使用基于图的方法将包含多个超像素的图映射，得到预处理图像。检测模块32将预处理图像输入到超像素级显著性模型，得到超像素显著目标。所述超像素级显著性模型通过以下步骤获取：

基于超像素数据构建训练样本集；

提取每个所述超像素数据的显著性特征；

基于支持向量机方法训练所述超像素数据的显著性特征，将所述训练样本集和训练后的超像素数据的显著性特征映射，得到所述超像素级显著性模型。

具体的，为了在低对比度图像中生成显著性图，采用支持向量机方法对提取的显著性特征进行训练。例如，可以利用2000个超像素数据(从10张低对比度图像中获得)作为训练数据。给定训练样本集{S_n(i),l(i)}，S_n(i)是超像素级特征数据，l(i)∈{0,1}是类标签，表示对应超像素的显著性，并使用支持向量机将数据映射到生成超像素级显著性模型。之后，根据超像素级显著性模型预测来自预处理图像中的超像素显著目标。

本发明实施例提供的装置是用于执行上述各方法实施例的，具体的流程和详细介绍请参见上述各方法实施例，此处不再赘述。

本发明实施例提供的一种低对比度图像中显著性目标检测装置，提出了一种超像素级显著性模型，用于检测低对比度图像中的显著性目标。该模型利用亮度、锐度和幅值特征来反映低对比度图像的显著性信息，使用支持向量机训练显著图，在低对比度图像中的显著性目标检测中取得了较好的效果。

图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和总线440，其中，处理器410，通信接口420，存储器430通过总线440完成相互间的通信。总线440可以用于电子设备与传感器之间的信息传输。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的一种低对比度图像中显著性目标检测方法，例如包括：根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

以上所述仅为本发明的优选实施例，并不用于限制本发明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充，但并不会偏离本发明的精神或者超越所附权利要求书定义的范围。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种低对比度图像中显著性目标检测方法，其特征在于，包括：

根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

2.根据权利要求1所述的方法，其特征在于，所述超像素级显著性模型通过以下步骤获取：

基于超像素数据构建训练样本集；

提取每个所述超像素数据的显著性特征；

基于支持向量机方法训练所述超像素数据的显著性特征，将所述训练样本集和训练后的超像素数据的显著性特征映射，得到所述超像素级显著性模型。

3.根据权利要求2所述的方法，其特征在于，所述根据超像素分割和基于图的排序，对输入图像预处理，具体包括：

根据简单线性迭代聚类算法将所述输入图像分割成多个超像素；

基于图的排序方法将所述多个超像素映射到包含N个节点的图G＝(V，E)中，其中V为节点集，每个节点对应一个超像素SP(i)，i＝1,2,…，N，E为边集；

以所述节点集中任一节点作为查询，其余节点根据与所述任一节点的相关性进行排序，得到所述预处理图像。

4.根据权利要求3所述的方法，其特征在于，所述超像素数据的显著性特征具体包括：

亮度、锐度和幅度对比度。

5.根据权利要求4所述的方法，其特征在于，超像素数据的亮度是通过如下步骤提取：

其中，F₁(i)为亮度对比，N为节点个数，w(i，j)为权重，且w(i,j)＝Num(j)/|c(i)-c(j)|，Num(j)表示超像素SP(j)中像素点的个数，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置，L(i)和L(j)分别表示超像素SP(i)和超像素SP(j)的平均亮度。

6.根据权利要求4所述的方法，其特征在于，超像素数据的锐度是通过如下步骤提取：

其中，F₂(i)为锐度对比，N为节点个数，υ(i)和υ(i)分别为超像素SP(i)和超像素SP(j)的锐度值，c(i)和c(j)分别表示空域中超像素SP(i)和超像素SP(j)的中心位置。

7.根据权利要求4所述的方法，其特征在于，超像素数据的幅度对比度是通过如下步骤提取：

F₃(i)＝|a(i)-S_mean|，

其中，a(i)表示超像素SP(i)的平均幅度值，S_mean表示所述超像素数据的平均幅度值。

8.一种低对比度图像中显著性目标检测装置，其特征在于，包括：

预处理模块，用于根据超像素分割和基于图的排序，对输入图像预处理，得到预处理图像；

检测模块，用于将所述预处理图像输入到超像素级显著性模型，得到超像素显著目标。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的一种低对比度图像中显著性目标检测方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述一种低对比度图像中显著性目标检测方法。