CN104966286A - 一种3d视频显著性检测方法 - Google Patents

Abstract

一种3D视频显著性检测方法,属于视频图像处理技术领域，以克服现有技术不能准确反映3D视频的显著性区域的缺点。包括：获取3D视频中当前帧的彩色图像和深度图像，及下一帧的彩色图像；结合彩色图像和深度图像对当前帧进行超像素分割，形成超像素分割区域，并根据超像素分割结果提取各个超像素分割区域的特征；利用全局对比度法分别根据不同特征的全局对比度计算得到初始特征显著性，再对初始特征显著性进行融合得到当前帧的初始显著性；根据超像素分割结果建立超像素图论模型，由相邻超像素的特征相似程度计算相邻超像素之间显著性发生状态转移的概率，根据显著性转移概率对初始显著性进行迭代更新，获得当前帧显著性优化结果；适用于处理视频。

Description

一种3D视频显著性检测方法

技术领域

本发明属于视频图像处理技术领域，涉及一种视频图像的显著性检测方法，尤其是涉及一种有效结合3D视频颜色信息和深度信息的3D视频显著性检测方法。

背景技术

显著性检测技术是计算机视觉领域的一个重要研究内容，其目的是检测出图像上更加重要或者具有更多信息的区域，以便于进行后续处理。目前，显著性检测技术在视频压缩编码、视觉质量评估、图像检索、目标检测以及图像分割等领域得到了一定的研究和应用，通过显著性检测技术得到视觉信息中的重要区域，简化了通常需要对整个视觉区域进行处理的过程，将复杂的计算处理过程集中在这些重要区域，极大的提高了计算机的视觉信息处理能力。

目前，针对2D彩色视频图像的最主要的显著性检测方法是基于对比度的检测方法，该方法的主要原理是针对视频或图像上的一个区域，计算该区域与周围区域或特定区域(如事先确定的背景区域)的对比度作为其显著性，具体有全局对比度方法、局部对比度方法以及基于背景先验的对比度方法。基于对比度的检测方法因计算简便、易于实施而得到了广泛应用，然而，该方法对于内容简单且对比度明显的视频图像能够取得较好的效果，但是对于内容复杂、对比度不明显的视频图像其检测效果较差。

同时，近年来随着3D视频信息技术的飞速发展，3D视频图像在很多场合已经取代2D视频图像成为主流。3D视频图像在2D视频图像的基础上包含有视频图像上内容的深度信息，使可视内容在被观看时具有立体感，针对这些可视内容的显著性检测不仅需要考虑颜色信息，还需要考虑深度信息与运动信息。而传统的针对2D视频图像的显著性检测方法仅针对彩色信息，其检测结果直接应用于3D视频图像时不能正确反映真实图像的显著性区域。因此亟需一种直接应用于3D视频图像的效果良好的视频显著性检测方法。

发明内容

本发明所要解决的技术问题是提供一种适用于3D视频图像的显著性检测方法，该方法结合深度信息得到的显著性检测结果能够更加准确地反映3D视频的显著性区域。

本发明解决其技术问题所采用的技术方案是：一种3D视频显著性检测方法，包括以下步骤：

A.获取3D视频中的当前帧的彩色图像和深度图像，以及下一帧的彩色图像；

B.结合其彩色图像和深度图像对当前帧进行超像素分割，得到若干个超像素分割区域，并根据超像素分割的结果提取各个超像素分割区域的特征，所述特征包括颜色特征、运动特征、深度特征和位置特征，各特征为属于超像素分割区域内的各个像素的归一化特征的平均值；

C.利用全局对比度方法分别根据不同特征的全局对比度计算得到初始特征显著性，再对初始特征显著性进行融合得到当前帧的初始显著性；

D.根据超像素分割结果建立超像素图论模型，再根据相邻超像素的特征相似程度，计算相邻超像素之间显著性发生状态转移的概率，根据得到的显著性转移概率对初始显著性进行迭代更新，获得当前帧显著性优化结果。

具体的，所述步骤B具体包括

B1.结合其彩色图像和深度图像对当前帧进行超像素分割，得到N个超像素分割区域，记作R＝{R₁,R₂,...,R_i,...,R_N}；

B2.根据超像素分割结果提取各个超像素分割区域的特征，所述特征包括颜色、运动、深度和位置，各特征为属于超像素分割区域内的各个像素的归一化特征的平均值，记作其中，为采用Lab颜色空间的颜色特征，其计算方法为，首先将输入彩色图像的Lab三个颜色通道分量分别归一化至[0,1]，然后对超像素分割区域内的所有像素的归一化颜色特征矢量的求取平均值；为深度特征，其值为超像素分割区域内的所有像素的归一化至[0,1]的深度值的平均值；为运动特征，其计算方法为，利用光流法根据当前帧的彩色图像和下一帧的彩色图像计算当前帧的光流场，将光流场两个通道的运动分量归一化至[0,1]，再计算超像素分割区域内的所有像素的平均光流矢量；为超像素分割区域的形心坐标，其表示超像素在当前帧上的空间位置。

具体的，所述步骤C具体为采用逐个超像素分割区域进行计算的方式获得超像素分割区域的初始特征显著性，所述初始特征显著性包括颜色特征显著性，运动特征显著性和深度特征显著性，所述显著性定义为当前超像素分割区域与所有超像素分割区域的特征差异之和；计算完成所有的超像素分割区域的初始特征显著性后，对上述各超像素分割区域的初始特征显著性进行自适应融合，得到当前帧的初始显著性。

进一步的，所述步骤C具体包括

C1.计算超像素分割区域的初始特征显著性，所述初始特征显著性包括颜色特征显著性，运动特征显著性和深度特征显著性，所述显著性定义为当前超像素分割区域与所有超像素分割区域的特征差异之和 $S_{R_i,F}=\underset{j\≠i,(B_j\∈B)}{\overset{n}{\mathrm{\Σ}}}{d}_F(R_j,R_i)\·\mathrm{\ω}(R_j,R_i),F\∈\{C,M,D\},$ F为其中，所选取的特征、C为颜色特征、M为运动特征、D为深度特征，d_F(R_j,R_i)表示超像素区域R_j与超像素区域R_i在特征为F时的特征距离，其中不同超像素区域之间的颜色、运动以及深度特征的距离计算公式如下：

$\begin{array}{c}{d}_C(R_j,R_i)=\sqrt{{(L_{R_j}-L_{R_i})}^2+{(a_{R_j}-a_{R_i})}^2+{(b_{R_j}-b_{R_i})}^2}\\ d_M(R_j,R_i)=\sqrt{{({\mathrm{vx}}_{R_j}-{\mathrm{vx}}_{R_i})}^2+{({\mathrm{vy}}_{R_j}-{\mathrm{vy}}_{R_i})}^2}\\ d_D(R_j,R_i)=\frac{|d_{R_j}-d_{R_i}|}{|d_{R_j}+d_{R_i}|}\end{array}$

ω(R_j,R_i)为超像素区域R_j与超像素区域R_i的空间距离权重，定义为：d_P(R_j,R_i)为超像素区域R_j与超像素区域R_i的归一化后的空间距离，其取值范围[0,1]，σ为加权模型的参数，其取值范围为[0,1]；

C2.当计算完成所有超像素区域的特征显著性后，得到当前帧的初始特征显著性，记作S_F＝{S_C,S_M,S_D}；

C3.利用不同特征显著性自适应融合的权重得到当前帧的初始显著性，所述权重为β_F是特征显著性的空间分布离散程度，其计算公式为

${\mathrm{\β}}_F=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x_{R_i}-{\stackrel{\‾}{p}}_{x,F})}^2+{(y_{R_i}-{\stackrel{\‾}{p}}_{y,F})}^2}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},F\∈\{C,M,D\},$

其中， ${\stackrel{\‾}{p}}_{x,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},{\stackrel{\‾}{p}}_{y,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},({\stackrel{\‾}{p}}_{x,F},{\stackrel{\‾}{p}}_{y,F})$ 为特征为F时的特征显著性重心位置，为特征为F时超像素区域R_i的显著性；当前帧的初始显著性为

具体的，所述步骤D具体包括步骤

D1.建立超像素无向赋权图模型G(V,E)，所有的超像素作为节点构成该图论模型的点集V，如果两个超像素相邻，则将它们连一条边，所有的边构成边集E，G(V,E)中的每个节点v_i赋值为其对应超像素的初始显著性，边集E中的每一条边e_j的权重赋值为其对应的两个超像素的特征相似度矢量w_j,F＝[w_C,w_M,w_D]，其中： $\begin{array}{c}{w}_C=\exp (-\frac{d_C(R_j,R_i)}{{\mathrm{\σ}}_1})\\ w_M=\exp (-\frac{d_M(R_j,R_i)}{{\mathrm{\σ}}_2})\\ w_D=\exp (-\frac{d_D(R_j,R_i)}{{\mathrm{\σ}}_3})\end{array}$ w_j,F中每个分量的取值范围为[0，1]，其中，σ₁为控制颜色特征距离权重w_C随颜色特征距离变化的强度，其取值范围为[0,1]；σ₂为控制运动特征距离权重w_M随运动特征距离变化的强度，其取值范围为[0,1]；σ₃为控制深度特征距离权重w_D随深度特征距离变化的强度，其取值范围为[0,1]；

D2.基于当前节点的邻域节点到当前节点的转移概率原理对超像素无向赋权图模型G(V,E)中的每个节点进行初始化显著性优化，并根据领域节点的初始显著性及相应的特征转移概率更新当前节点的显著性，其中，超像素无向赋权图模型G(V,E)中与当前节点v_i相邻的节点集合为相邻的节点集合中各个节点到v_i的显著性转移概率矢量 $p_{v_j}=[p_{v_j,C},p_{v_j,M},p_{v_j,D}],v_j\∈{\mathrm{\Ω}}_{v_i},p_{v_j,F}=\frac{w_{v_j,F}}{\underset{v_k\∈{\mathrm{\Ω}}_{v_i}}{\mathrm{\Σ}}{w}_{v_k,F}},F\∈\{C,M,D\};$

D3.当所有节点都完成处理后，再反复执行k次步骤D2，所述次数k的范围为5～8；

D4.根据颜色、运动及深度特征转移概率优化的结果S_C、S_M和S_D，不同特征优化结果融合得到当前帧显著性优化结果

优选的，所述加权模型的参数σ＝0.4，控制颜色特征距离权重w_C随颜色特征距离变化的强度σ₁＝0.4，控制运动特征距离权重w_M随运动特征距离变化的强度σ₂＝0.4，控制深度特征距离权重w_D随深度特征距离变化的强度σ₃＝0.4，次数k＝5。

进一步的，所述步骤A之前还有步骤

A0.输入3D视频，获取其序列，所述3D视频序列包括彩色序列和深度序列。

本发明的有益效果是：本发明较通常的2D图像处理加入了深度特征及运动特征，且针对于对比度方法进行显著性检测时所出现的各个超像素分割区域显著性检测结果较为离散的情况，提出使用基于超像素图论模型同时结合显著性转移概率的方法，对初始显著性进行优化，从而获得更加准确的3D视频图像的显著性，其结果能够更加准确地反映3D视频的显著性区域，提高视频图像处理的精确性和准确度。本发明适用于3D视频图像处理过程。

附图说明

图1是本发明的方法流程图；

图2是本发明中获得初始显著性的方法流程图；

图3是采用对初始显著性进行优化的原理图；

图4是实施例1的3D视频的彩色图像的灰度图像；

图5是实施例1的3D视频的深度图像；

图6是实施例1中采用本方法得到的检测结果图像；

图7是实施例2的3D视频的彩色图像的灰度图像；

图8是实施例2的3D视频的深度图像；

图9是实施例2中采用本方法得到的检测结果图像。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

本发明提供了一种3D视频显著性检测方法，具体而言，该方法首先包括获取3D视频中的当前帧及下一帧的图像，所述图像包括彩色图像和深度图像；其次，结合彩色图像和深度图像对当前帧进行超像素分割，得到超像素分割区域，并对各个超像素分割区域进行特征提取，所述特征包括颜色特征、运动特征和深度特征；而后，利用全局对比度方法分别根据不同特征的全局对比度计算得到初始特征显著性，再对初始特征显著性进行融合得到当前帧的初始显著性；最后，根据超像素分割结果建立超像素图论模型，再根据相邻超像素的特征相似程度，计算相邻超像素之间显著性发生状态转移的概率，根据得到的显著性转移概率对初始显著性进行迭代更新，获得当前帧显著性优化结果。

本方法对3D视频进行显著性检测时采用逐帧处理方法，主要分为两步完成显著性的检测：首先，对于输入的3D视频帧，结合3D视频中的颜色、深度以及运动特征，采用全局对比度方法计算其初始显著性；其次，提出了一种基于状态转移概率的初始显著性检测结果优化方法，对初始显著性进行优化，有效提高显著性检测结果。如此则可以更加准确地获得3D视频的显著性。

实施例1

如图1所示，本例中的操作步骤如下：

1.输入待处理的3D视频序列，其具体包括彩色序列和深度序列。本方法处理时采用逐帧处理的方式，若要处理某一帧图像，则需要获取所输入的待处理的当前帧的彩色图像Color1和深度图像Depth1，以及当前帧的下一帧的彩色图像Color2。

2.对输入的3D视频帧进行超像素分割及特征提取。

结合其彩色图像Color1和深度图像Depth1对当前帧进行超像素分割，得到N个超像素分割区域，记作R＝{R₁,R₂,...,R_i,...,R_N}。根据超像素分割结果提取各个超像素分割区域的特征，所述特征包括颜色、运动、深度和位置，记作其中，为颜色特征，采用Lab颜色空间，具体为其计算方法为，首先将输入彩色图像的Lab三个颜色通道分量分别归一化至[0,1]，然后对超像素分割区域内的所有像素的归一化颜色特征矢量求取平均值作为该超像素区域的颜色特征；为深度特征，其值为超像素分割区域内的所有像素的归一化至[0,1]的深度值的平均值，d为深度值；为运动特征，其计算方法为，利用光流法根据当前帧的彩色图像和下一帧的彩色图像计算当前帧的光流场，将光流场两个通道的运动分量归一化至[0,1]，再计算超像素分割区域内的所有像素的平均光流矢量；为超像素分割区域的形心坐标，表示超像素在当前帧上的空间位置，x、y为空间坐标系的坐标值。

超像素分割方法SLIC算法根据颜色信息进行分割，在对3D视频图像进行分割时，其分割结果中会出现将位于不同深度值区域的像素划分到同一个超像素区域的情况。为了使分割结果能够更加有效的对3D视频帧中的不同区域进行划分，本申请中的方法在使用SLIC算法进行超像素分割时做了适当改进：在SLIC分割过程中的边界检测和像素聚类两个部分加入深度信息。在结合深度信息后，分割结果中同一块超像素区域内的像素的颜色和深度信息均保持基本一致，这样，对超像素区域所提取的特征能更加准确的反映区域内所有像素的特征。3.计算当前帧的初始显著性。

如图2所示，采用全局对比度的方法计算当前帧的初始显著性，全局对比度方法受特征对比度差异大小的影响较大，结果仅能粗略表示显著性区域，计算方法如下：

1)计算超像素分割区域的初始特征显著性。

由于人眼对于颜色、运动和深度三个特征具有不同的视觉感知，因此需要对这三个特征分别计算其特征显著性，从不同的特征角度反映显著性，即计算颜色特征显著性，运动特征显著性和深度特征显著性。显著性定义为当前分割区域与其他各个超像素分割区域的特征差异之和：

$S_{R_i,F}=\underset{j\≠i,(B_j\∈B)}{\overset{n}{\mathrm{\Σ}}}{d}_F(R_j,R_i)\·\mathrm{\ω}(R_j,R_i),F\∈\{C,M,D\}---\left(1\right)$

其中，F为所选取的特征，C、M、D分别表示颜色，运动和深度特征；d_F(R_j,R_i)表示超像素区域R_j与超像素区域R_i在特征为F时的特征距离，其中不同超像素区域之间的颜色、运动以及深度特征的距离计算公式：

$\begin{array}{c}{d}_C(R_j,R_i)=\sqrt{{(L_{R_j}-L_{R_i})}^2+{(a_{R_j}-a_{R_i})}^2+{(b_{R_j}-b_{R_i})}^2}\\ d_M(R_j,R_i)=\sqrt{{({\mathrm{vx}}_{R_j}-{\mathrm{vx}}_{R_i})}^2+{({\mathrm{vy}}_{R_j}-{\mathrm{vy}}_{R_i})}^2}\\ d_D(R_j,R_i)=\frac{|d_{R_j}-d_{R_i}|}{|d_{R_j}+d_{R_i}|}\end{array}---\left(2\right)$

ω(R_j,R_i)为超像素区域R_j与超像素区域R_i的空间距离权重，定义为：

$\mathrm{\ω}(R_j,R_i)=\exp (-\frac{d_P(R_j,R_i)}{\mathrm{\σ}})---\left(3\right)$

此处的d_P(R_j,R_i)为超像素区域R_j与超像素区域R_i的归一化空间距离，σ为加权模型的参数，σ用于控制空间距离权重ω(R_j,R_i)随归一化空间距离d_P(R_j,R_i)变化的强度，当σ较小时ω(R_j,R_i)随d_P(R_j,R_i)的增大迅速减小，此时某个超像素区域的显著性主要由与其邻近的超像素区域决定，反之，当σ较大时ω(R_j,R_i)随d_P(R_j,R_i)的增大缓慢减小，此时某个超像素区域的显著性将由其他所有超像素区域共同决定。本技术方案中优选σ＝0.4，如此取值是取了个折中，空间距离权重会随空间距离的增大按一个合适的程度减小，显著性不会主要由距离近的区域决定，当然，距离远的区域的权重与距离近的区域的权重也有一定的差异。

当计算完所有的超像素分割区域的特征显著性，记得到当前帧的初始特征显著性，记作S_F＝{S_C,S_M,S_D}。

2)对初始特征显著性进行自适应融合，得到当前帧的初始显著性。

显著性区域通常会是一个集中而完整的区域，其空间分布的离散程度通常较小，因此可以根据不同特征显著性的空间分布离散程度的大小作为加权融合的权重，不同特征显著性自适应融合的权重为

${\mathrm{\ω}}_F=\frac{1}{{\mathrm{\β}}_F}---\left(4\right)$

其中，β_F是特征显著性的空间分布离散程度，根据超像素级的显著性进行计算，其计算公式如下：

${\mathrm{\β}}_F=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x_{R_i}-{\stackrel{\‾}{p}}_{x,F})}^2+{(y_{R_i}-{\stackrel{\‾}{p}}_{y,F})}^2}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},F\∈\{C,M,D\}---\left(5\right)$

${\stackrel{\‾}{p}}_{x,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},{\stackrel{\‾}{p}}_{y,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}}---\left(6\right)$

为特征为F时的特征显著性重心位置，为特征为F时超像素区域R_i的显著性。

最后根据式(4)计算得到的权重对特征显著性进行加权融合，得到初始显著性：

$S=\underset{F\∈\{C,M,D\}}{\mathrm{\Σ}}{\mathrm{\ω}}_F\·S_F---\left(7\right)$

4.基于超像素图论模型及转移概率原理优化初始显著性。

经过上一步利用全局对比度进行显著性检测后，各个超像素的显著性是独立检测的，因此得到的初始显著性连续性较差，需要对初始显著性检测结果进行优化，具体如下：

1)根据超像素分割区域，建立超像素无向赋权图模型G(V,E)，所有的超像素作为节点构成该图论模型的点集V，如果两个超像素相邻，则将它们连一条边，所有的边构成边集E。

图G中的每个节点v_i赋值为其对应超像素的初始显著性，边集E中的每一条边e_j的权重赋值为其对应的两个超像素的特征相似度矢量w_j,F＝[w_C,w_M,w_D]，其中：

$\begin{array}{c}{w}_C=\exp (-\frac{d_C(R_j,R_i)}{{\mathrm{\σ}}_1})\\ w_M=\exp (-\frac{d_M(R_j,R_i)}{{\mathrm{\σ}}_2})\\ w_D=\exp (-\frac{d_D(R_j,R_i)}{{\mathrm{\σ}}_3})\end{array}---\left(8\right)$

w_j,F中每个分量的取值范围为[0,1]，某个特征分量的值越大，表示该边对应的两个超像素的该特征相似度较高，其中，σ₁为控制颜色特征距离权重w_C随颜色特征距离变化的强度，其取值范围为[0,1]，σ₂为控制运动特征距离权重w_M随运动特征距离变化的强度，其取值范围为[0,1]；σ₃为控制深度特征距离权重w_D随深度特征距离变化的强度，其取值范围为[0,1]，本技术方案中取σ₁＝σ₂＝σ₃＝0.4，以便使得各特征距离权重随各个特征距离变化按一个合适的程度变化，其原理类似σ的取值原理。

2)根据转移概率原理优化初始显著性的基本依据如下：如果由一条边相连的两个超像素的特征相似度较高，说明它们很有可能属于同一个物体区域，那么它们的显著性应该一致。因此本方法针对每个超像素，根据其与其相邻的超像素的特征相似度关系，利用当前超像素的邻域超像素的显著性对当前超像素的初始显著性进行更新，如图3所示，具体如下：

(a)定义表示图G中与超像素节点v_i相邻接的节点集合，然后分别计算中的各个节点到v_i的显著性转移概率矢量中各个分量分别表示颜色特征转移概率、运动特征转移概率和深度特征转移概率，计算方法如下：

$p_{v_j,F}=\frac{w_{v_j,F}}{\underset{v_k\∈{\mathrm{\Ω}}_{v_i}}{\mathrm{\Σ}}{w}_{v_k,F}},F\∈\{C,M,D\}---\left(9\right)$

(b)根据转移概率矢量分别计算利用不同特征转移概率对初始显著性进行优化的结果，以单个超像素节点为例，执行一次显著性优化的公式为：

$S_{v_i,F}=\underset{v_j\∈{\mathrm{\Ω}}_{v_i}}{\mathrm{\Σ}}{p}_{v_j,F}\·S_{v_j},F\∈\{C,M,D\}---\left(10\right)$

遍历图G中的所有节点并执行式(10)，完成对所有超像素节点的一次优化。

(c)对优化后的显著性再次执行步骤(b)，可以完成对对初始显著性的再次优化，同理，步骤(b)反复执行k次，则完成对显著性的k次迭代优化，一般可以选择5～8次迭代优化，本申请中取k＝5，如此可以在时间效率与优化结果上取一个平衡，k取5次之后显著性优化结果基本达到收敛。当显著性优化完成时，得到分别根据颜色、运动及深度特征转移概率优化的特征显著性图S_C、S_M和S_D，最后根据式(11)得到最终的当前帧显著性优化结果：

$S=\underset{F\∈\{C,M,D\}}{\mathrm{\Σ}}{S}_F+\underset{F\∈\{C,M,D\}}{\mathrm{\Π}}{S}_F---\left(11\right)$

图4是本例的彩色图像的灰度图像，图5是本例的深度图像，采用上述方法得到的当前帧显著性优化结果如图6所示，可以本技术方案充分利用3D视频的颜色、运动和深度信息，所得显著性区域边界清晰、区域轮廓完整，通过阈值分割即可得到完整的显著性区域的标记图像，在一定程度上解决了传统显著性检测方法仅利用颜色信息不能有效检测颜色对比度较差的图像或视频的显著性的问题。

实施例2

本例的方法与实施例1的方法相同。图7是本例的彩色图像的灰度图像，图8是本例的深度图像，采用上述方法得到的当前帧显著性优化结果如图9所示，可以看出显著性区域边界清晰，区域轮廓完整,该结果能够清晰准确地反应显著性区域。

Claims (7)

1.一种3D视频显著性检测方法，其特征在于，包括以下步骤：

A.获取3D视频中的当前帧的彩色图像和深度图像，以及下一帧的彩色图像；

B.结合其彩色图像和深度图像对当前帧进行超像素分割，得到若干个超像素分割区域，并根据超像素分割的结果提取各个超像素分割区域的特征，所述特征包括颜色特征、运动特征、深度特征和位置特征，各特征为属于超像素分割区域内的各个像素的归一化特征的平均值；

C.利用全局对比度方法分别根据不同特征的全局对比度计算得到初始特征显著性，再对初始特征显著性进行融合得到当前帧的初始显著性；

D.根据超像素分割结果建立超像素图论模型，再根据相邻超像素的特征相似程度，计算相邻超像素之间显著性发生状态转移的概率，根据得到的显著性转移概率对初始显著性进行迭代更新，获得当前帧显著性优化结果。

2.如权利要求1所述的一种3D视频显著性检测方法，其特征在于，所述步骤B具体包括

B1.结合其彩色图像和深度图像对当前帧进行超像素分割，得到N个超像素分割区域，记作R＝{R₁,R₂,...,R_i,...,R_N}；

B2.根据超像素分割结果提取各个超像素分割区域的特征，所述特征包括颜色、运动、深度和位置，各特征为属于超像素分割区域内的各个像素的归一化特征的平均值，记作其中，为采用Lab颜色空间的颜色特征，其计算方法为，首先将输入彩色图像的Lab三个颜色通道分量分别归一化至[0,1]，然后对超像素分割区域内的所有像素的归一化颜色特征矢量求取平均值；为深度特征，其值为超像素分割区域内的所有像素的归一化至[0,1]的深度值的平均值；为运动特征，其计算方法为，利用光流法根据当前帧的彩色图像和下一帧的彩色图像计算当前帧的光流场，将光流场两个通道的运动分量归一化至[0,1]，再计算超像素分割区域内的所有像素的平均光流矢量；为超像素分割区域的形心坐标，其表示超像素在当前帧上的空间位置。

3.如权利要求2所述的一种3D视频显著性检测方法，其特征在于，所述步骤C具体为采用逐个超像素分割区域进行计算的方式获得超像素分割区域的初始特征显著性，所述初始特征显著性包括颜色特征显著性，运动特征显著性和深度特征显著性，所述显著性定义为当前超像素分割区域与所有超像素分割区域的特征差异之和；计算完成所有的超像素分割区域的初始特征显著性后，对上述各超像素分割区域的初始特征显著性进行自适应融合，得到当前帧的初始显著性。

4.如权利要求3所述的一种3D视频显著性检测方法，其特征在于，所述步骤C具体包括

C1.计算超像素分割区域的初始特征显著性，所述初始特征显著性包括颜色特征显著性，运动特征显著性和深度特征显著性，所述显著性定义为当前超像素分割区域与所有超像素分割区域的特征差异之和 $S_{R_i,F}=\underset{j\≠i,(B_j\∈B)}{\overset{n}{\mathrm{\Σ}}}{d}_F(R_j,R_i)\·\mathrm{\ω}(R_j,R_i),F\∈\{C,M,D\},$ 其中，F为所选取的特征、C为颜色特征、M为运动特征、D为深度特征，d_F(R_j,R_i)表示超像素区域R_j与超像素区域R_i在特征为F时的特征距离，其中不同超像素区域之间的颜色、运动以及深度特征的距离计算公式如下：

$d_C(R_j,R_i)=\sqrt{{({L_{R_j}}_{}-L_{R_i})}^2+{(a_{R_j}-a_{R_i})}^2+{(b_{R_j}-b_{R_i})}^2}$

$d_M(R_j,R_i)=\sqrt{{(v{x}_{R_j}-v{x}_{R_i})}^2+{(v{y}_{R_j}-v{y}_{R_i})}^2}$

$d_D(R_j,R_i)=\frac{|d_{R_j}-d_{R_i}|}{|d_{R_j}+d_{R_i}|}$

ω(R_j,R_i)为超像素区域R_j与超像素区域R_i的空间距离权重，定义为：d_P(R_j,R_i)为超像素区域R_j与超像素区域R_i的归一化空间距离，其取值范围为[0,1]，σ为加权模型的参数，其取值范围为[0,1]；

C2.当计算完成所有超像素区域的特征显著性后，得到当前帧的初始特征显著性，记作S_F＝{S_C,S_M,S_D}；

C3.利用不同特征显著性自适应融合的权重得到当前帧的初始显著性，所述权重为β_F是特征显著性的空间分布离散程度，其计算公式为 ${\mathrm{\β}}_F=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x_{R_i}-{\stackrel{\‾}{p}}_{x,F})}^2+{(y_{R_i}-{\stackrel{\‾}{p}}_{y,F})}^2}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},F\∈\{C,M,D\},$

其中， ${\stackrel{\‾}{p}}_{x,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},{\stackrel{\‾}{p}}_{y,F}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{R_i}\·S_{F,R_i}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_{F,R_i}},$ 为特征为F时的特征显著性重心位置，为特征为F时超像素区域R_i的显著性；当前帧的初始显著性为

5.如权利要求4所述的一种3D视频显著性检测方法，其特征在于，所述步骤D具体包括步骤

D1.建立超像素无向赋权图模型G(V,E)，所有的超像素作为节点构成该图论模型的点集V，如果两个超像素相邻，则将它们连一条边，所有的边构成边集E，G(V,E)中的每个节点v_i赋值为其对应超像素的初始显著性，边集E中的每一条边e_j的权重赋值为其对应的两个超像素的特征相似度矢量w_j,F＝[w_C,w_M,w_D]，其中： $\begin{array}{c}{w}_C=\exp (-\frac{d_C(R_j,R_i)}{{\mathrm{\σ}}_1})\\ w_M=\exp (-\frac{d_M(R_j,R_i)}{{\mathrm{\σ}}_2})\\ w_D=\exp (-\frac{d_D(R_j,R_i)}{{\mathrm{\σ}}_3})\end{array}$ w_j,F中每个分量的取值范围为[0，1]，其中，σ₁为控制颜色特征距离权重w_C随颜色特征距离变化的强度，其取值范围为[0,1]，本专利采用σ₁＝0.4；σ₂为控制运动特征距离权重w_M随运动特征距离变化的强度，其取值范围为[0,1]；σ₃为控制深度特征距离权重w_D随深度特征距离变化的强度，其取值范围为[0,1]；

D2.基于当前节点的邻域节点到当前节点的转移概率原理对超像素无向赋权图模型G(V,E)中的每个节点进行初始化显著性优化，并根据领域节点的初始显著性及相应的特征转移概率更新当前节点的显著性，其中，超像素无向赋权图模型G(V,E)中与当前节点v_i相邻的节点集合为相邻的节点集合中各个节点到v_i的显著性转移概率矢量 $p_{v_j}=[p_{v_j,C},p_{v_j,M},p_{v_j,D}],v_j\∈{\mathrm{\Ω}}_{v_i},p_{v_j,F}=\frac{w_{v_j,F}}{\underset{v_k\∈{\mathrm{\Ω}}_{v_i}}{\mathrm{\Σ}}{w}_{v_k,F}},F\∈\{C,M,D\};$

D3.当所有节点都完成处理后，再反复执行k次步骤D2，所述次数k的范围为5～8；

D4.根据颜色、运动及深度特征转移概率优化的结果S_C、S_M和S_D，不同特征优化结果融合得到当前帧显著性优化结果

6.如权利要求5所述的一种3D视频显著性检测方法，其特征在于，所述加权模型的参数σ＝0.4，控制颜色特征距离权重w_C随颜色特征距离变化的强度σ₁＝0.4，控制运动特征距离权重w_M随运动特征距离变化的强度σ₂＝0.4，控制深度特征距离权重w_D随深度特征距离变化的强度σ₃＝0.4，次数k＝5。

7.如权利要求1所述的一种3D视频显著性检测方法，其特征在于，所述步骤A之前还有步骤

A0.输入3D视频，获取其序列，所述3D视频序列包括彩色序列和深度序列。