CN110298782B - 一种rgb显著性到rgbd显著性的转换方法 - Google Patents

Abstract

本发明公开了一种RGB显著性到RGBD显著性的转换方法，所述方法包括以下步骤：生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。本发明将现有RGB显著性检测算法生成的结果作为初始化，以直接和间接的形式挖掘深度信息，增强算法性能。

Description

一种RGB显著性到RGBD显著性的转换方法

技术领域

本发明涉及图像处理、计算机视觉领域，尤其涉及一种RGB显著性到RGBD显著性的转换方法。

背景技术

为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，2017年7月国务院印发了《新一代人工智能发展规划》，并提出了六个方面的重点任务。其中，建立新一代人工智能基础理论体系的主旨版块要求突破应用基础理论瓶颈，进一步加强大数据智能、跨媒体感知计算、自主协同与决策、类脑智能计算理论等基础理论研究，并着重开展跨学科探索性研究，推动人工智能与神经科学、认知科学等相关基础学科的交叉融合。人类的视觉系统可在大范围、复杂的场景中快速定位出最吸引注意的内容。视觉显著性检测任务目的就是希望计算机也可以模拟人类的视觉注意机制，具备自动定位场景中显著性内容的能力，进而为后续处理提供有效的辅助信息。视觉显著性检测已经被广泛应用于检测、分割、裁剪、检索、编码、评价等诸多领域，具有十分广阔的市场发展和应用前景。

实际上，人眼是通过双目立体视觉方式来感知客观世界的。换言之，人眼获取的信息不是单纯的2D平面信息，而是包含景深/深度信息的立体信息。从某种程度上说，深度信息是对颜色信息的补充，可以有效增强检测、识别的效果。目前，已有一些学者致力于研究RGBD图像的显著性检测算法。Ju等人从深度信息出发，提出了一种各向异性中心-周围差异(ACSD)测度来建立深度数据与显著性的关系，以此实现了RGBD显著性检测；Cong等人考虑深度图质量对显著性检测的影响，提出了基于深度置信测度和多线索融合的立体显著性检测方法。Feng等人提出了一种局部背景围绕(LBE)度量，用于直接从深度图中捕获显著性目标结构，并量化了位于背景之前的目标边界的比例。Qu等人设计了一种卷积神经网络来自动学习低级线索和显著性结果之间的相互作用关系以实现RGBD显著性检测。该方法首先将局部对比度、全局对比度、背景先验和空间先验组合得到原始显著性特征向量，然后将其嵌入到CNN中生成初始显著性图，最后引入拉普拉斯传播以进一步细化初始显著性图并得到最终结果。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有方法关注点多集中于设计一个完整的方法，而忽略了已有RGB显著性检测算法的优势；现有算法对于深度信息的利用并不全面，导致从深度图中获取的有效信息十分有限，影响算法性能；现有算法在优化部分并未充分挖掘深度信息的作用，导致检测结果的一致性和均匀性较差。

发明内容

本发明提供了一种RGB显著性到RGBD显著性的转换方法，本发明将现有RGB显著性检测算法生成的结果作为初始化，以直接和间接的形式挖掘深度信息，增强算法性能，详见下文描述：

一种RGB显著性到RGBD显著性的转换方法，所述方法包括以下步骤：

生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；

对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。

其中，所述多级RGBD显著性包括：

全局紧致显著性，用于结合颜色紧致性和深度紧致性，作为鲁棒全局表示；

局部测地线显著性，用于在图模型上计算测地线距离，作为局部显著性表示。

其中，所述根据深度域知识先验，通过深度值和深度对比特性修正显著性图具体为：根据深度域知识先验，通过深度值和深度对比特性修正显著性图；通过深度形状测度，从深度图中捕获目标形状属性并修正显著性区域。

进一步地，所述深度域知识先验修正的显著性模型具体为：

其中，S_ML(r_i)表示超像素r_i的多级RGBD显著性初始化值，d_i为超像素r_i的平均深度值；S_DC(r_i)表示超像素r_i的深度对比值，定义为：

其中，N表示超像素个数，d_i为超像素r_i的平均深度值，d_j为超像素r_j的平均深度值，Ed(r_i,r_j)表示超像素r_i和r_j之间欧式距离。

其中，所述深度形状测度具体为：

选择深度域知识先验修正后的具有高显著性值的若干个超像素作为初始显著性种子点；

将初始显著性种子点中的更接近图像中心的若干个超像素区域确定为根传播种子，通过深度平滑性决策和深度一致性决策进行深度扩散，获取深度引导的显著性修正结果，得到深度形状测度。

进一步地，所述深度平滑性决策具体为：

用于约束上一次循环得到的子节点的深度值与当前循环节点的深度值具有近似的数值分布特性。

其中，所述深度一致性决策具体为：

用于防止经过多轮传播后产生累积误差效应，保证节点选择的准确性，约束当前循环选择的邻域节点的深度值尽可能与根种子点深度值接近。

进一步地，所述深度引导的显著性修正结果具体为：

S_DR(r_i)＝Ν[S_DDK(r_i)+DSM(r_i)]

其中，S_DDK(r_i)表示超像素r_i的深度域知识先验修正的显著性值，

表示由所有根节点生成的超像素r_i的平均DSM值。

其中，所述带深度约束的显著性优化具体为：基于能量函数优化的显著性优化，包括：

一元数据项E_u用于约束优化后的显著性结果的变化程度；

颜色平滑项E_s用于约束颜色特性相近的相邻超像素具有一致的优化显著性值；

深度平滑项E_c用于约束深度特性相近的相邻超像素具有一致的优化显著性值。

本发明提供的技术方案的有益效果是：

1、本发明可将现有RGB显著性检测结果转化为RGBD显著性检测结果，模型背景抑制能力强，显著性目标轮廓清晰、完整；

2、本发明提出的深度形状测度可以有效捕获深度图的形状信息，有利于进一步修正RGBD显著性检测结果；

3、本发明设计的模型具有较好的鲁棒性，同时算法运算速度较快，时效性较好；

附图说明

图1为一种RGB显著性到RGBD显著性的转换方法的流程图；

图2为检测结果的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种RGB显著性到RGBD显著性的转换方法，参见图1，该方法包括以下步骤：

101：利用现有的RGB显著性检测算法生成RGB显著性图；

102：在RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；

103：对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。

实施例2

下面结合具体的计算公式、图1对实施例1中的方案进行进一步地介绍，详见下文描述：

一、多级RGBD显著性初始化

由于缺乏深度信息，原始RGB显著性检测算法可能无法准确地突出显著性对象并有效地抑制背景区域。为了充分利用深度特征并保证模型的基本性能，本发明实施例提出了一种多级RGBD显著性模型来生成RGBD显着性初始化，其中全局紧致显著性线索结合了颜色紧致性和深度紧致性，用作一种鲁棒全局表示，局部测地线显著性线索在图模型基础上从局部角度测量显著性。

为了计算有效性，本发明实施例以超像素为基本处理单元，利用SLIC(简单线性迭代聚类)方法将输入RGB图像I划分为200个超像素区域，记为

N为超像素个数。两个超像素之间的颜色空间和深度空间的相似性定义为：

其中，

表示超像素r_i和r_j之间的Lab空间颜色相似性，

表示超像素r_i和r_j之间的深度相似性，c_i为超像素r_i的平均Lab颜色特征向量，c_j为超像素r_j的平均Lab颜色特征向量，d_i为超像素r_i的平均深度值，d_j为超像素r_j的平均深度值，λ_d为深度图置信测度，||·||₂为2范数，σ²＝0.1是控制相似性程度的常数。

(1)全局紧致显著性线索

在颜色域，显著性目标的颜色分布相对集中，而背景的颜色分布在整个图像中。因此，显著性区域具有较大的颜色紧致性。在深度域，显著性区域的深度分布在靠近图像中心的区域比较集中，而背景区域的深度分布比较分散，具有类似的紧致性特性。紧致性先验描述了目标的整体分布，是一种相对鲁棒的全局描述方法，因此，本发明实施例利用RGBD图像的紧致性来描述全局显著性。

结合颜色和深度属性，全局紧致显著性定义为：

其中，

表示超像素r_i和r_j之间的Lab空间颜色相似性，

表示超像素r_i和r_j之间的深度相似性，n_j为超像素r_j的大小，b_j为超像素r_j的位置坐标，p₀为图像的中心位置坐标，u_i表示超像素r_i的颜色空间平均，N表示超像素个数。紧致性线索通过考虑颜色和深度属性来描述全局显著性，数值越大，显著性概率越大。

(2)局部测地线显著性线索

在RGBD图像中，前景和背景之间的特性是不同的，因此可以利用超像素到背景种子点之间的测地线距离来描述其局部显著性。两个超像素之间的测地线距离定义为在图模型上沿最短路径的累积边缘权重。传统的测地线距离都是测量某个超像素区域到图像边界的测地线距离，而本发明实施例不仅利用RGBD特性计算图模型权重，而且还在传统的边界种子点基础上增加了利用RGB显著性图筛选出的背景种子点。

在图像中，背景区域比前景区域更容易连接到图像边界。根据这一观察，区域的显著性可以定义为其到背景节点的最短路径的长度，这被称为测地线显著性度量。在公式化过程中，添加连接到所有边界区域的虚拟背景节点以计算边界区域的显著性，区域的测地线显著性定义为在图模型上沿着从区域到虚拟背景节点的最短路径的累积边缘权重。在本发明实施例中，借助于新的深度权重和从局部角度优化的图关系来计算测地线显著性。

首先，构建无向加权图G＝(υ,ε)，其中υ表示顶点集合，包括所有的图像区域

外加一个虚拟背景节点B，ε表示边界链接集合，本发明实施例设定了三类边界链接情况：a)邻域边界，即相邻的超像素之间两两相连；b)边缘边界，即位于图像边缘的超像素区域与虚拟背景节点相连；c)背景边界，即预先选定的背景区域与虚拟背景节点相连。在遴选背景种子点时，本发明实施例综合考虑了RGB显著性、深度特性和边界链接概率，定义了一个超像素背景测度P_b，其表达式如下：

其中，P_c(r_i)表示计算得到超像素边界链接概率，S_RGB(r_i)为超像素区域r_i的RGB显著性值，d_i为超像素r_i的平均深度值，λ_d为深度图置信测度，σ²＝0.1是常数。

该测度的目的是选择出具有较小显著性值和深度值，且具有较大链接概率的超像素，即背景区域，P_b数值越大，说明超像素是背景区域的概率越高。在求得所有超像素的P_b值后，选择前20％具有较大P_b值的超像素区域作为背景种子点。

两个超像素之间的边界权重定义为：

因此，区域r的测地线显著性定义为在无向加权图G上从r出发到虚拟背景节点B的最短路径的累积边权重：

其中，ω_i,i+1表示超像素r_i和r_i+1之间的边界权重，N表示超像素个数。

(3)RGBD显著性初始化

考虑到紧致显著性是一种不依赖于任何假设和原始显著性结果的全局度量，本发明实施例首先将其与全局紧致显著性图和局部测地线显著性图之间的交集融合。然后，结合RGB显著性结果生成RGBD显著性初始化，即：

其中，S_C(r_i)表示超像素r_i的全局紧致显著性值，S_G(r_i)表示超像素r_i的局部测地线显著性值，S_RGB(r_i)表示超像素r_i的RGB显著性值，N表示归一化函数。

二、深度引导的显著性修正

多级RGBD显著性模型通过利用显式深度特征为转换框架提供了初始化结果。在本发明实施例中，设计了深度引导的显著性修正模型，利用隐式深度信息来修正初始RGBD显著性图。通常，拍摄者在拍摄照片时会将显著目标放置在照相机附近。因此，显著目标往往具有较大的深度值。而且，前景区域和背景区域的深度分布是不同的。基于此，本发明实施例提出了深度域知识先验来修正显著性图，包括：深度距离和深度对比。此外，尽管深度图不能提供丰富的纹理信息，但它可以提供有效的形状属性表示。基于此，本发明实施例提出了深度形状测度，以从深度图中捕获目标形状属性并修正显著性区域。

(1)深度域知识先验

观察深度图可以发现：a)显著目标通常放在靠近相机的位置进行拍摄，因此具有较大深度值；b)与背景区域相比，通过深度对比可以有效识别显著对象。然而，受深度成像技术的限制，较差深度图可能使显著性检测性能退化。因此，根据深度图的质量，将深度对比和深度加权作为深度域知识，对RGBD显著性初始化结果进行修正。当深度图的质量可靠时，深度对比可以更好地描述深度显著性特征，将其直接用于修正初始显著性图。当深度图的质量在可以接收的范围时，利用深度距离关系对初始显著性图进行加权。当深度图质量差时，它无法为显著性检测提供足够有效和准确的辅助信息，将保留初始显著性结果。因此，具有深度域知识先验修正的显著性模型定义为：

其中，S_ML(r_i)表示超像素r_i的多级RGBD显著性初始化值，d_i为超像素r_i的平均深度值。S_DC(r_i)表示超像素r_i的深度对比值，定义为：

其中，N表示超像素个数，d_i为超像素r_i的平均深度值，d_j为超像素r_j的平均深度值，Ed(r_i,r_j)表示超像素r_i和r_j之间欧式距离，σ²＝0.1是常数。

(2)深度形状测度

从深度图中，可以利用一些隐式属性来修正显著性结果，例如，形状、轮廓等。本发明实施例提出了一种深度形状测度来捕获深度图的显著性目标的形状特征。众所周知，深度图虽然可以很好地描绘物体的形状和轮廓信息，但是其缺乏对纹理和细节的有效描述。此外，在深度图中，靠近相机的地面区域通常具有较大的深度值，甚至其深度值也与显著性目标几乎相同。因此，本发明实施例将颜色一致性约束引入深度传播过程以增强整个目标的完整性。此外，为了建立显著性目标和深度形状之间的关系，需要选择一些显著性区域作为根种子点。如果只利用显著性值作为唯一选择标准，则可能引入一些不期望的区域，例如位于图像边界上的区域，这样会使得深度形状捕获的准确性降低。

因此，本发明实施例引入位置约束以进一步过滤初始显著性种子点，实现更稳健的传播种子选取。具体来说，首先选择深度域知识先验修正后的显著性结果中具有较高显著性值的前30个超像素作为初始显著性种子点，然后将初始种子集中的更接近图像中心的15个超像素区域确定为根传播种子，最后通过深度平滑性决策和深度一致性决策进行深度扩散，得到深度形状测度。

在第l次循环中，如果第l-1次循环产生的子节点的直接邻域满足如下两个约束条件，则将其看作是第l次循环的子节点：

a)平滑性决策：该决策用于约束上一次循环得到的子节点的深度值应该与当前循环节点的深度值具有近似的数值分布特性。因此，本发明实施例将该特性数学建模为：邻域超像素区域和第l-1次循环产生的子节点的颜色加权的深度差异应该小于特定的阈值，即

其中，d_nq表示当前循环过程的邻域超像素r_nq的深度值，

表示l-1次循环产生的子节点的平均深度值，

表示超像素r_nq与l-1次循环产生的子节点之间的颜色相似性，N表示归一化函数。

b)一致性决策：该决策用于防止经过多轮传播后产生累积误差效应，保证节点选择的准确性。因此，本发明实施例引入了一致性决策，使得选择的邻域节点的深度值应尽可能与根种子点深度值接近。本发明实施例将该特性数学建模为：根种子点与当前循环的邻域超像素之间的颜色加权的深度差值应小于一个特定阈值，即

其中，d_nq表示当前循环过程的邻域超像素r_nq的深度值，d_rk表示根种子节点r_rk的深度值，

表示超像素r_nq与根种子节点r_rk之间的颜色相似性，N表示归一化函数。

在第l次循环中，由根节点r_k生成的子节点r_cp的深度形状测度值定义为：

其中，

表示l次循环的子节点r_cp的深度值，

表示l-1次循环的子节点集合的平均深度值，d_rk表示根种子节点的深度值，min为最小化函数，|·|为绝对值函数。DSM数值越大，说明所选子节点的深度一致性越好。计算当前循环扩散过程的DSM值后，将进行下一次循环扩散，直到不存在满足两个决策条件的邻域超像素为止。

将深度形状测度与深度域知识修正的显著性结果融合，得到最终的深度引导的显著性修正结果，其定义如下：

S_DR(r_i)＝Ν[S_DDK(r_i)+DSM(r_i)] (10)

其中，S_DDK(r_i)表示超像素ri的深度域知识先验修正的显著性值，

表示由所有根节点生成的超像素r_i的平均RDSM值，K＝15表示选取的根节点个数，N表示归一化函数。

三、具有深度约束的显著性优化

深度图除了可以提供有效的形状描述之外，显著性目标通常在深度图中也表现出了具有高度的一致性。因此，深度信息可以用于改善所获取的显著性图的一致性和平滑性。本发明实施例设计了一种基于能量函数优化的显著性优化策略，以获得更一致和准确的显著性检测结果，其中将深度一致性关系引入能量函数中作为附加项。具体来说，能量函数包括三个能量项：一元数据项E_u用于约束优化后的显著性结果不能与初始显著性结果相差太大；颜色平滑项E_s用于约束颜色特性相近的相邻超像素具有一致的优化显著性值；深度平滑项E_c用于约束深度特性相近的相邻超像素具有一致的优化显著性值。能量函数的数学表达式如下：

其中，s＝[s₁s₂…s_N]T表示优化前所有超像素的显著性向量，

表示优化后的所有超像素的显著性向量，s_i＝S_DR(r_i)表示优化前超像素r_i的显著性值，Ω表示超像素间的空间邻接关系，W_c为颜色关系矩阵，矩阵元素定义为

为颜色关系矩阵W_c的度矩阵，

同理，W_d为深度关系矩阵，矩阵元素定义为

为深度关系矩阵W_d的度矩阵。

对能量函数进行求导后置0即可求解该能量方程，

即：2(s^*-s)+2(D_c-W_c)s^*+2(D_d-W_d)s^*＝0 (12)

该能量方程的显示解如下：

s^*＝(I_N×N+(D_c-W_c)+(D_d-W_d))^-1·s (13)

其中，I_N×N表示大小为N×N的单位矩阵。

实施例3

下面结合图2对实施例1和2中的方案进行可行性验证，详见下文描述：

附图2给出了两个本发明技术的可视化实例。第一列为RGB图像，第二列为深度图，第三列为显著性真值图，第四列为输入的RGB显著性结果，第五列为利用本发明技术转换后的RGBD显著性检测结果。

从结果可以看出，本方法可以准确提取RGBD图像中的显著性目标，且目标具有较好的均匀一致性(如第二个图像中的人)，对背景区域(如第一个图像中的远处的树木)具有较好的抑制效果，轮廓清晰，边界清楚，生成的RGBD显著性检测结果明显优于输入的RGB显著性检测结果。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述方法包括以下步骤：

生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；

对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图；

其中，所述多级RGBD显著性包括：

全局紧致显著性，用于结合颜色紧致性和深度紧致性，作为鲁棒全局表示；

局部测地线显著性，用于在图模型上计算测地线距离，作为局部显著性表示；

所述对初始RGBD显著性图进行深度信息引导的显著性修正具体为：

根据深度域知识先验，通过深度值和深度对比特性修正显著性图；通过深度形状测度，从深度图中捕获目标形状属性并修正显著性区域；

所述根据深度域知识先验，通过深度值和深度对比特性修正显著性图具体为：

其中，S_ML(r_i)表示超像素r_i的多级RGBD显著性初始化值，d_i为超像素r_i的平均深度值；S_DC(r_i)表示超像素r_i的深度对比值，定义为：

其中，N表示超像素个数，d_i为超像素r_i的平均深度值，d_j为超像素r_j的平均深度值，Ed(r_i,r_j)表示超像素r_i和r_j之间欧式距离；

所述在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图具体为：

其中，S_C(r_i)表示超像素r_i的全局紧致显著性值，S_G(r_i)表示超像素r_i的局部测地线显著性值，S_RGB(r_i)表示超像素r_i的RGB显著性值，N表示归一化函数；

所述深度形状测度具体为：

选择深度域知识先验修正后的具有高显著性值的若干个超像素作为初始显著性种子点；

将初始显著性种子点中的更接近图像中心的若干个超像素区域确定为根传播种子，通过深度平滑性决策和深度一致性决策进行深度扩散，获取深度引导的显著性修正结果，得到深度形状测度；

所述深度平滑性决策具体为：

用于约束上一次循环得到的子节点的深度值与当前循环节点的深度值具有近似的数值分布特性；

所述深度一致性决策具体为：

用于防止经过多轮传播后产生累积误差效应，保证节点选择的准确性，约束当前循环选择的邻域节点的深度值尽可能与根种子点深度值接近；

所述深度引导的显著性修正结果具体为：

S_DR(r_i)＝Ν[S_DDK(r_i)+DSM(r_i)]

其中，S_DDK(r_i)表示超像素r_i的深度域知识先验修正的显著性值，

表示由所有根节点生成的超像素r_i的平均DSM值；

所述带深度约束的显著性优化具体为：基于能量函数优化的显著性优化，包括：

一元数据项E_u用于约束优化后的显著性结果的变化程度；

颜色平滑项E_s用于约束颜色特性相近的相邻超像素具有一致的优化显著性值；

深度平滑项E_c用于约束深度特性相近的相邻超像素具有一致的优化显著性值；

能量函数的数学表达式如下：

其中，s＝[s₁ s₂…s_N]^T表示优化前所有超像素的显著性向量，

表示优化后的所有超像素的显著性向量，s_i＝S_DR(r_i)表示优化前超像素r_i的显著性值，Ω表示超像素间的空间邻接关系，W_c为颜色关系矩阵，矩阵元素定义为

为颜色关系矩阵W_c的度矩阵，

同理，W_d为深度关系矩阵，

矩阵元素定义为

为深度关系矩阵W_d的度矩阵。

Images