CN106651853B - 基于先验知识和深度权重的3d显著性模型的建立方法 - Google Patents

Abstract

本发明公开了一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：将3D图像对中的左视图用超像素分割方法分割成多个区域，用色彩和视差信息合成一组特征对每个区域进行描述；使用颜色紧密度作为区域特征分量中视差的权重，计算一个区域对周围的区域的特征对比度；在视差图上得到在深度上的背景先验，并联合该背景先验和颜色紧密度完善深度显著性；以深度显著性和区域之间的高斯距离作为特征对比度的权重，并利用特征对比度的权重相加得出初始3D显著性；利用2D显著性和中央偏置权重对初始3D显著性进行增强。本发明所建立的3D显著性模型具有更接近于人类注视的效果。

Description

基于先验知识和深度权重的3D显著性模型的建立方法

技术领域

本发明涉及视觉显著性领域，尤其涉及一种基于先验知识和深度权重的3D显著性模型的建立方法。

背景技术

对一个多目标场景中的重要信息进行选择是人类视觉系统的一个重要功能。用计算机来建立用于模拟人类上述机制的模型是视觉显著性研究的方向，同时也为目标分割和质量评价等应用提供了基础。近年来，3D显示技术的广泛应用使得研究3D立体显著性具有重要的意义。

当人在观看3D电影的时候，大脑通过立体通道分离技术产生的双目视差平移获得深度知识而产生立体感，这一技术的引入导致人类对视觉观测行为的改变。因此区别于2D显著性模型的设计，立体显著性模型除了需要考虑2D显著性模型中的色彩，亮度，纹理，方向等常用特征外，还应该考虑深度通道上的特征(比如深度的对比度等)。目前深度图像的获取途径有：从相机获得深度图像，通过匹配算法获取视差图(视差和深度呈现反比例关系)。

人类在关注感兴趣的目标时受到先验知识的影响，所以不管是3D还是2D的显著性模型中先验知识都能实现补充显著性模型的作用。常用的先验知识包括两种，第一种是中央偏置即人类视觉偏好图像中央的信息。第二种是边界背景先验，即图像的边界像素可以作为背景作为显著性模型的参考。

综上所述，需要设计出一种更接近人眼注视的3D显著性模型的建立方法。

发明内容

针对上述技术问题，本发明提供了一种基于先验知识和深度权重的3D显著性模型的建立方法，特征不仅取自于2D的彩色信息，还取自于深度通道的信息，背景先验和颜色紧密度等先验知识使得本发明所建立的3D显著性模型具有更接近于人类注视效果。

本发明提供的技术方案为：

一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：

步骤一、提取3D特征：

将3D图像对中的左视图用超像素分割方法分割成N个区域，标记为R_i，其中i取值1到N；为区域R_i定义一个区域特征f＝[l,a,b,d]，其中， N_i为区域R_i中像素的个数，l_i，a_i，b_i分别为区域R_i中像素的l值、a值和b值；

步骤二、计算特征对比度：

将区域之间的特征对比度用矩阵C表示，则c_ij表示区域R_i的区域特征和区域R_j的区域特征之间的范式距离，其计算公式为：c_ij＝||u_if_i-u_jf_j||₂，其中u为区域特征f的权重，u＝[1,1,1,q]，而变量q代表左视图中N个区域的颜色紧密度；

步骤三、设计特征对比度的权重：

步骤(1)在视差图上通过深度领域分析方法得到深度显著性图s_s，则区域R_i的深度显著性s_d为：

步骤(2)计算视差图上的背景先验；

步骤(3)利用背景先验优化深度显著性，其具体过程包括：

针对区域R_i，利用区域R_i在视差图上的平均视差判断深度显著性s_d(i)是否在背景范围内，则有：

其中，阈值thresh为深度背景B_d中标记为背景的部分在视差图上的最小视差；

步骤(4)设计特征对比度的权重

区域R_i和区域R_j的特征对比度的权重用变量w_i，j表示，则有：

w_i，j＝exp(-Dst(i，j)/σ²)α(i)s_d(i)，

其中，α(i)为区域R_i的大小，exp(-Dst(i，j)/σ²)代表区域R_i和区域R_j之间的高斯距离；

步骤四、计算初始3D显著性：

区域R_i的显著性的值

则区域R_i的初始3D显著性S^p(i)的计算公式为：

其中，α＝0.33，β＝0.33，N_i为区域R_i中像素的个数。

步骤五、增强初始3D显著性：

区域R_i的最终3D显著性S(i)为：其中，为区域R_i的2D显著性，S_pca(p)是在像素级别上的显著性，

DstToCt(i)为像素到中心坐标的欧氏距离，B＝(B_b∪B_d)，H和W分别为左视图的宽和高，B_d代表深度背景，B_b代表边界背景。

优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤二中，k为高斯比例因子，k＝4，t_i的计算公式为： 为区域R_i和区域R_j的RGB平均值的颜色距离，p_j为区域R_j的质心的中心坐标，μ_i为颜色clr_i的权重位置，

优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤(2)中，计算视差图上背景先验的具体过程包括：

1)定义初始背景图像：B_d＝0；

2)初始化最远背景，首先找到视差图I_d最大视差的坐标，P_xy＝Pos(max(I_d))；接着设置初始值

3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景B_d中背景部分像素表示为1，前景部分像素表示为0。

优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤(2)中，计算视差图上背景先验的具体过程包括：

1)定义初始背景图像：B_d＝0；

2)初始化最远背景，首先找到视差图I_d最大视差的坐标，P_xy＝Pos(max(I_d))；接着设置初始值

3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景的图像B_d中背景部分像素表示为1，前景部分像素表示为0。

本发明所述的基于先验知识和深度权重的3D显著性模型的建立方法具有以下有益效果：

(1)本发明在特征提取方面，颜色对比度和视差对比度强的区域可以得到高的显著性值；

(2)本发明利用颜色紧密度(即2D图像中颜色分布情况)计算特征对比度，提高了显著性值；

(3)本发明不仅考虑到边界背景的先验，还从3D视差图上获得背景先验，利用背景先验优化深度显著性，从而在3D显著性模型中去掉背景的干扰；

(4)本发明将深度显著性以及区域之间的空间高斯距离作为特征对比度的权重，并利用2D图像中结构不相似度对初始3D显著性进行增强，从而增强了深度上显著的区域，降低了3D图像中相关性低的背景部分的显著性值。

附图说明

图1为本发明所述的基于先验知识和深度权重的3D显著性模型的建立方法的流程图；

图2(a)为本发明所述的基于先验知识和深度权重的3D显著性模型的建立方法的ROC(Receiver operating characteristic)曲线性能展示图，横坐标为False PositiveRate(FPR)即真正类率，纵坐标为True Positive Rate(TPR)即假正类率；图2(b)是PR(Precision-Recall)曲线，横坐标为Recall即召回率，纵坐标为Precision即预测的精度；图2(a)和图2(b)中的图标DWRC(depth-weighted region contrast)是本发明方法的简写。

图3(a)至图3(e)为本发明所述的一个实施例中3D显著性模型的可视化显示，图3(a)为3D图像对中的左视图，图3(b)为3D图像对中的右视图；图3(c)为视差图；图3(d)为初始3D显著图；图3(e)为目标图(即最终的3D显著图)；

图4(a)至图4(e)为本发明所述的另一个实施例中3D显著性模型的可视化显示，图4(a)为3D图像对中的左视图，图4(b)为4D图像对中的右视图；图4(c)为视差图；图4(d)为初始3D显著图；图4(e)为目标图(即最终的3D显著图)。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：将3D图像对中的左视图用超像素分割方法分割成多个区域，用色彩和视差信息合成一组特征对每个区域进行描述；使用颜色紧密度作为区域特征分量中视差的权重，计算一个区域对周围的区域的特征对比度；在视差图上得到在深度上的背景先验，并联合该背景先验和颜色紧密度完善深度显著性；以深度显著性和区域之间的高斯距离作为特征对比度的权重，并利用特征对比度的权重相加得出初始3D显著性；利用2D显著性和中央偏置权重对初始3D显著性进行增强。本发明所建立的3D显著性模型具有更接近于人类注视效果。

具体来说，本发明所述的3D显著性模型的建立方法包括：

步骤一、提取3D特征：

将3D图像对中的左视图用超像素分割方法(SLIC)分割成N个区域，标记为R_i，其中i取值1到N。本发明采用CIELab颜色和视差定义一个区域特征，即为区域R_i定义一个区域特征f＝[l,a,b,d](将区别R_i的特征表示为这个区域中彩色图像的L*a*b均值和视差均值)，其中， N_i为区域R_i中像素的个数，l_i，a_i，b_i分别为区域R_i中像素的l值、a值和b值；

步骤二、计算特征对比度：

将区域之间的特征对比度用矩阵C表示，则c_ij表示区域R_i的区域特征和区域R_j的区域特征之间的范式距离，其计算公式为：

c_ij＝||u_if_i-u_jf_j||₂，

其中u为区域特征f的权重，u＝[1,1,1,q]。

而变量q代表左视图中N个区域的颜色紧密度，用于表示左视图中各区域的颜色的分布情况，其中，k为高斯比例因子，k＝4；t_i的计算公式为：

其中，为区域R_i和区域R_j的RGB平均值的颜色距离，p_j为区域R_j的质心的中心坐标，μ_i为颜色clr_i的权重位置，

步骤三、设计特征对比度的权重：

在计算完各区域的特征对比度C之后，特征对比度的权重用矩阵W表示，w_i，j表示c_ij对应的权重大小。

特征对比度的权重考虑到深度显著性s_d，区域大小a(i)和区域之间的高斯距离exp(-Dst(i，j)/σ²)。其中，深度显著性s_d的计算过程大致为：在视差图上通过领域分析方法得到结果s_s，再使用背景先验(包括深度背景B_d和边界背景B_b)和颜色紧密度(公式)进行完善。详细过程如下：

步骤(1)计算深度显著性图：

在视差图上通过深度领域分析的方法得到深度显著性s_s，再通过颜色紧密度增强得到s_d。则区域R_i的深度显著性s_d为：

步骤(2)计算视差图上的背景先验：

视差图上提取背景先验需要经过两个阶段：背景初始化以及背景的传播。具体的步骤包括：

1)定义初始背景图像：B_d＝0；

2)初始化最远背景，首先找到视差图I_d最大视差的坐标，P_xy＝Pos(max(I_d))；接着设置初始值

3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景B_d中背景部分像素表示为1，前景部分像素表示为0。

步骤(3)利用背景先验优化深度显著性，其具体过程包括：

针对区域R_i，利用区域R_i在视差图上的平均视差判断深度显著性s_d(i)是否在背景范围内。如果区域的平均视差小于一个阈值thresh的时候，显著性s_d(i)的值需要重新赋值。则有：

其中，阈值thresh为深度背景B_d中标记为背景的部分在视差图上的最小视差，即thresh＝min(I_d(q))，q∈{B_d＞0}。

边界背景为B_b，边界背景中的背景区域表示为1，其他区域表示为0。如果R_i区域在边界背景的位置，显著性的s_d(i)标记为0，否则不变。

步骤(4)设计特征对比度的权重

区域R_i和区域R_j的特征对比度的权重用变量w_i，j表示，它通过高斯距离，区域大小和深度显著性的乘积计算得出，即：

w_i，j＝exp(-Dst(i，j)/σ2⁾α(i)s_d(i)，

其中，α(i)为区域R_i的大小，exp(-Dst(i，j)/σ²)代表区域R_i和区域R_j之间的高斯距离。

步骤四、计算初始3D显著性：

完成区域R_i的特征对比度c_i，j和权重w_i，j的计算之后，区域R_i的显著性的值可以通过以下公式计算得到：

为了消除超像素分割错误所带来的影响，每个区域的超像素的显著性(即初始3D显著性)均通过它周围区域的显著性线性组合得到，则区域R_i的超像素的显著性S^p(i)的计算公式为：

其中，α和β分别是控制颜色距离(||clr_i-clr_j||)和位置距离(||p_i-p_j||)的参数，α＝0.33，β＝0.33；N_i为区域R_i中像素的个数。

步骤五、增强初始3D显著性：

在计算完初始3D显著性S^p(i)之后，通过2D显著性和中央偏置权重进行增强。区域R_i的超像素的最终3D显著性S(i)为：

其中，为区域R_i的2D显著性，S_pca(p)是在像素级别上的显著性，CBW(i)(中央偏置权重)是一个用背景先验修改后的高斯函数，通过下列公式计算得到，

DstToCt(i)为像素到中心坐标的欧氏距离，B＝(B_b∪B_d)，H和W分别为左视图的宽和高，B_d代表深度背景，B_b代表边界背景。

请查阅图2(a)和图2(b)，图2(a)中曲线靠近左上角点，根据图2(a)的显示结果计算的AUC(area under roc curve)值为0.89；图2(b)中召回率增加没有引起精度的剧烈下降，根据图2(b)所示计算的F_(β＝0.3)＝0.61。即本发明可以获得建立接近于人眼注视的3D显著性模型。

请查阅图3(a)至图3(e)，图4(a)至图4(e)，在这两个实施例中，应用本发明所述的3D显著性模型的建立方法，最终均得到了接近于人眼注视的3D显著性模型。并且由图3(e)、图4(e)中均可以看出，颜色对比度和视差对比度强的区域均得到了高的显著性值；均去掉了背景的干扰，而使得所关注的目标的显著性得到提高。

本发明所述的方法将中，特征取自于彩色图像和视差图，利用颜色紧密度计算特征对比度；除了传统的边界背景先验，还利用在视差图中根据物体到观察者的距离所提取到的背景先验，以及彩色图像中物体的紧密度作为深度显著性的补充；以视差图的深度显著性作为特征对比度的权重，进而得到初始3D显著性；再采用2D显著性以及中央偏置权重对初始3D显著性进行增强。由于特征不仅取自于2D图像的彩色信息，还含有深度通道的信息，结合背景和颜色紧密度等先验知识，使得本发明的3D显著性模型具有更接近于人类注视效果。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (3)

1.一种基于先验知识和深度权重的3D显著性模型的建立方法，其特征在于，包括：

步骤一、提取3D特征：

将3D图像对中的左视图用超像素分割方法分割成N个区域，标记为R_i，其中i取值1到N；为区域R_i定义一个区域特征f＝[l,a,b,d]，其中， N_i为区域R_i中像素的个数，l_i,a_i,b_i分别为区域R_i中像素的l值、a值和b值；

步骤二、计算特征对比度：

将区域之间的特征对比度用矩阵C表示，则c_ij表示区域R_i的区域特征和区域R_j的区域特征之间的范式距离，其计算公式为：c_ij＝‖u_if_i-u_jf_j‖₂，其中u为区域特征f的权重，u＝[1,1,1,q]，而变量q代表左视图中N个区域的颜色紧密度；所述步骤二中，k为高斯比例因子，k＝4，t_i的计算公式为：

为区域R_i和区域R_j的RGB平均值的高斯颜色距离，p_j为区域R_j的质心的中心坐标，μ_i为颜色clr_i的权重位置，

步骤三、设计特征对比度的权重：

步骤(1)在视差图上通过深度领域分析方法得到深度显著性图s_s，则区域R_i的深度显著性s_d为：

步骤(2)计算视差图上的背景先验；

步骤(3)利用背景先验优化深度显著性，其具体过程包括：

针对区域R_i，利用区域R_i在视差图上的平均视差判断深度显著性s_d(i)是否在背景范围内，则有：

其中，阈值thresh为深度背景B_d中标记为背景的部分在视差图上的最小视差；

步骤(4)设计特征对比度的权重

区域R_i和区域R_j的特征对比度的权重用变量w_i,j表示，则有：

w_i,j＝exp(-Dst(i,j)/σ²)a(i)s_d(i)，

其中，a(i)为区域R_i的大小，exp(-Dst(i,j)/σ²)代表区域R_i和区域R_j之间的高斯距离；

步骤四、计算初始3D显著性：

区域R_i的显著性的值

则区域R_i的初始3D显著性S^p(i)的计算公式为：

其中，α＝0.33，β＝0.33，N_i为区域R_i中像素的个数；

步骤五、增强初始3D显著性：

区域R_i的最终3D显著性S(i)为：其中，为区域R_i的2D显著性，S_pca(p)是在像素级别上的显著性，

DstToCt(i)为像素到中心坐标的欧氏距离，B＝(B_b∪B_d)，H和W分别为左视图的宽和高，B_d代表深度背景，B_b代表边界背景。

2.如权利要求1所述的基于先验知识和深度权重的3D显著性模型的建立方法，其特征在于，所述步骤(2)中，计算视差图上背景先验的具体过程包括：

1)定义初始背景图像：B_d＝0；

2)初始化最远背景，首先找到视差图I_d最大视差的坐标，P_xy＝Pos(max(I_d))；接着设置初始值

3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景B_d中背景部分像素表示为1，前景部分像素表示为0。

3.如权利要求1所述的基于先验知识和深度权重的3D显著性模型的建立方法，其特征在于，所述步骤(2)中，计算视差图上背景先验的具体过程包括：

1)定义初始背景图像：B_d＝0；

2)初始化最远背景，首先找到视差图I_d最大视差的坐标，P_xy＝Pos(max(I_d))；接着设置初始值

3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景的图像B_d中背景部分像素表示为1，前景部分像素表示为0。