CN103067705B - 一种多视点深度视频预处理方法 - Google Patents

Abstract

本发明公开了一种多视点深度视频预处理方法，其通过将深度视频帧划分为连续区域和不连续区域，然后将连续区域划分为前景区域和背景区域，再将所有区域中的边缘部分提取出来进行保护，对不连续区域的非边缘部分进行高斯滤波处理，对连续区域的前景区域和背景区域的非边缘部分分别进行自适应窗口滤波处理，使自适应窗口内的所有像素点属于同一个区域或同种类型，尽可能地减少了误差，大大地提高了深度视频序列的压缩编码效率，节省的码流可达到8.33%~34.39%，同时使得绘制的虚拟视点的峰值信噪比平均提高了0.21dB。

Description

一种多视点深度视频预处理方法

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种多视点深度视频预处理方法。

背景技术

自由视点视频(FVV，FreeViewpointVideo)可以提供某一场景或拍摄对象在任意角度和方位的信息，能让观众体验到更真实的立体感，在体育赛事直播、影视娱乐、视频监控等领域有广阔的应用前景，是新一代多媒体视频系统的发展方向。在基于多视点彩色视频加深度视频(MVD，Multi-viewplusDepth)的自由视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，但是MVD数据量是普通单通道视频的十几倍甚至是几十倍。深度视频序列反映的是对象物体距离相机的远近，它将实际距离值量化到[0，255]，在基于深度的虚拟视点绘制(DIBR，DepthImageBasedRendering)过程中，深度视频在服务器端被压缩传输至用户端用于虚拟视点的绘制。在基于多视点彩色视频加深度视频的自由视点视频系统中，可以传输两个视点的彩色视频和与其相应的深度视频，然后生成中间的若干个虚拟视点，这样可以大大降低MVD编码传输的数据量。

深度视频的获取方法主要有两种，第一种方法是采用基于时间飞行原理的深度相机直接获取，但是构建多视点深度视频采集系统价格昂贵，并且采集距离有限，这些因素很大程度地制约了深度相机的普及；第二种方法是利用捕获的多视点彩色视频通过深度估计软件(DERS，DepthEstimationReferenceSoftware)得到深度视频，该方法的应用越来越广泛。然而，由深度相机获取或者由深度估计软件获得的深度视频不是很准确，大大降低了深度视频时间、空间相关性，进而影响了其压缩效率，而且深度值骤变容易导致虚拟视点绘制时出现空洞，影响绘制质量。因此，为了提高虚拟视点的绘制质量以及深度视频的压缩效率，需要在编码前对深度视频进行预处理。

发明内容

本发明所要解决的技术问题是提供一种多视点深度视频预处理方法，其能够有效地提高深度视频的压缩编码效率和虚拟视点图像的绘制质量。

本发明解决上述技术问题所采用的技术方案为：一种多视点深度视频预处理方法，其特征在于它的处理过程为：首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。

本发明的一种多视点深度视频预处理方法，其具体包括以下步骤：

①将待预处理的深度视频序列记为{D(M,N,k)}，其中，M表示{D(M,N,k)}中的深度视频帧的水平分辨率，N表示{D(M,N,k)}中的深度视频帧的垂直分辨率，D(M,N,k)表示{D(M,N,k)}中的第k帧深度视频帧，1≤k≤K，k的初始值为1，K表示{D(M,N,k)}中包含的深度视频帧的帧数；

②将{D(M,N,k)}中当前正在处理的第k帧深度视频帧D(M,N,k)定义为当前深度视频帧；

③根据当前深度视频帧D(M,N,k)中的每个像素点的像素值，将当前深度视频帧D(M,N,k)划分为连续区域和不连续区域；

④根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D(M,N,k)中的连续区域划分为前景区域和背景区域；

⑤根据当前深度视频帧D(M,N,k)中的像素点的像素值，将当前深度视频帧D(M,N,k)划分为边界区域和非边界区域；

⑥对当前深度视频帧D(M,N,k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护；

对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理；

对当前深度视频帧D(M,N,k)中属于前景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于前景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于背景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于背景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N；

对当前深度视频帧D(M,N,k)中属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于背景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于前景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于前景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N；

⑦令k'＝k+1,k＝k'，将{D(M,N,k)}中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤③继续执行，直至{D(M,N,k)}中的所有深度视频帧均处理完毕，其中，k'的初始值为0，k'＝k+1,k＝k'中“＝”为赋值符号。

所述的步骤③中连续区域和不连续区域的划分过程为：将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点的像素值记为d(m',n,k)，当|d(m'-1,n,k)-d(m',n,k)|>T₀成立时，将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点和坐标位置为(m'-1,n)的像素点归属为不连续区域，之后将当前深度视频帧D(M,N,k)中不属于不连续区域的所有像素点归属为连续区域，其中，2≤m'≤M,1≤n≤N，d(m'-1,n,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m'-1,n)的像素点的像素值，“||”为取绝对值符号，T₀为设定的区域划分阈值。

所述的设定的区域划分阈值T₀的值为10。

所述的步骤④中前景区域和背景区域的划分过程为：首先，根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值确定前背景区域划分阈值，记为T₁，其中，T表示采用最大类间方差法划分前景区域和背景区域的动态分割阈值，w₁表示采用最大类间方差法划分的前景区域的所有像素点占整幅图像的所有像素点的比例，u₁表示采用最大类间方差法划分的前景区域的所有像素点的平均灰度，w₂表示采用最大类间方差法划分的背景区域的所有像素点占整幅图像的所有像素点的比例，u₂表示采用最大类间方差法划分的背景区域的所有像素点的平均灰度，{w₁×w₂×(u₁-u₂)²}表示类间方差值；然后，判断连续区域中的像素点的像素值是否大于前背景区域划分阈值T₁，如果是，则将该像素点确定为前景像素点，并归属为前景区域，否则，将该像素点确定为背景像素点，并归属为背景区域。

所述的步骤⑤中边界区域和非边界区域的划分过程为：

⑤_1、以3×3窗口在当前深度视频帧D(M,N,k)内从左到右、从上到下移动，每次以整像素为单位移动；

⑤_2、计算每个窗口内的所有像素点的像素值的均值和每个窗口内的中心坐标位置的像素点的像素值的方差，分别记为M'和V(p,q,k)， 其中，p表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的横坐标，q表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的纵坐标，2≤p≤M-1,2≤q≤N-1，d(x,y,k)表示当前深度视频帧D(M,N,k)中坐标位置为(x,y)的像素点的像素值；

⑤_3、计算所有窗口内的中心坐标位置的像素点的像素值的方差的均值，记为VR(k)， $VR\left(k\right)=\frac{1}{(M-2)\×(N-2)}\underset{p=2}{\overset{M-1}{\Σ}}\underset{q=2}{\overset{N-1}{\Σ}}V(p,q,k);$

⑤_4、判断当前深度视频帧D(M,N,k)中的像素点的像素值是否大于0.7×VR(k)，如果是，则将该像素点确定为边界像素点，并归属为边界区域，否则，将该像素点确定为非边界像素点，并归属为非边界区域。

所述的步骤⑥中对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理的具体过程为：假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于不连续区域且属于非边界区域，则将该像素点平滑滤波处理后的像素值记为d'(m,n,k)，

$d^{\′}(m,n,k)=\frac{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}d(m-s,n-t,k)\×g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)}{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)},$ 其中，在此4≤m≤M-3,4≤n≤N-3，d(m-s,n-t,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m-s,n-t)的像素点的像素值，g(s,σ_h)表示水平方向的高斯核函数，g(t,σ_v)表示垂直方向上的高斯核函数， $g(t,{\mathrm{\σ}}_v)=\frac{1}{\sqrt{2\×\mathrm{\π}}\×{\mathrm{\σ}}_v}\exp (-\frac{1}{2}\×\frac{t^2}{{\mathrm{\σ}}_v}),{\mathrm{\σ}}_h={\mathrm{\σ}}_v=\frac{7}{4},$ exp()表示以e为底数的指数函数，e＝2.718281828459。

与现有技术相比，本发明的优点在于：通过将深度视频帧划分为连续区域和不连续区域，然后将连续区域划分为前景区域和背景区域，再将所有区域中的边缘部分提取出来进行保护，对不连续区域的非边缘部分进行高斯滤波处理，对连续区域的前景区域和背景区域的非边缘部分分别进行自适应窗口滤波处理，使自适应窗口内的所有像素点属于同一个区域或同种类型，尽可能地减少了误差，大大地提高了深度视频序列的压缩编码效率，节省的码流可达到8.33％～34.39％，同时使得绘制的虚拟视点的峰值信噪比平均提高了0.21dB。

附图说明

图1为本发明方法的流程框图；

图2a为“LeaveLaptop”测试视频序列中的第8个视点对应的深度视频序列的第1帧深度视频帧；

图2b为图2a所示的深度视频帧中的不连续区域二值化后的图像；

图3为图2a所示的深度视频帧中的前景区域二值化后的图像；

图4a为在前景区域中形成的十字窗口；

图4b为在前景区域中形成的自适应窗口；

图5a为在背景区域中形成的十字窗口；

图5b为在背景区域中形成的自适应窗口；

图6为图2a所示的深度视频帧经本发明方法预处理后得到的深度视频帧；

图7a为BookArrival测试序列的原始深度视频序列和预处理后的深度视频序列的编码率失真性能对比示意图；

图7b为DoorFlowers测试序列的原始深度视频序列和预处理后的深度视频序列的编码率失真性能对比示意图；

图7c为AltMoabit测试序列的原始深度视频序列和预处理后的深度视频序列的编码率失真性能对比示意图；

图7d为LeaveLaptop测试序列的原始深度视频序列和预处理后的深度视频序列的编码率失真性能对比示意图；

图7e为Newspaper测试序列的原始深度视频序列和预处理后的深度视频序列的编码率失真性能对比示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

在FVV系统中，由深度估计方法得到的深度视频并不精确，对虚拟视点的绘制质量和深度视频的编码效率有很大的影响，因此，本发明提出了一种多视点深度视频预处理方法，在对深度视频编码之前对其进行预处理，可提高深度视频的编码效率和虚拟视点的绘制质量。本发明方法的处理过程为：首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。

本发明方法的流程框图如图1所示，其具体包括以下步骤：

①将待预处理的深度视频序列记为{D(M,N,k)}，其中，M表示{D(M,N,k)}中的深度视频帧的水平分辨率，N表示{D(M,N,k)}中的深度视频帧的垂直分辨率，D(M,N,k)表示{D(M,N,k)}中的第k帧深度视频帧，1≤k≤K，k的初始值为1，K表示{D(M,N,k)}中包含的深度视频帧的帧数。

②将{D(M,N,k)}中当前正在处理的第k帧深度视频帧D(M,N,k)定义为当前深度视频帧。

③根据当前深度视频帧D(M,N,k)中的每个像素点的像素值，将当前深度视频帧D(M,N,k)划分为连续区域和不连续区域。

在此具体实施例中，连续区域和不连续区域的划分过程为：将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点的像素值记为d(m',n,k)，当|d(m'-1,n,k)-d(m',n,k)|>T₀成立时，将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点和坐标位置为(m'-1,n)的像素点归属为不连续区域，之后将当前深度视频帧D(M,N,k)中不属于不连续区域的所有像素点归属为连续区域，其中，2≤m'≤M,1≤n≤N，d(m'-1,n,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m'-1,n)的像素点的像素值，“||”为取绝对值符号，T₀为设定的区域划分阈值，通过大量实验验证当设定的区域划分阈值T₀的值选取为10时，能够取得很好的划分效果。

图2a给出了“LeaveLaptop”测试视频序列中的第8个视点对应的深度视频序列的第1帧深度视频帧，图2b给出了图2a所示的深度视频帧中的不连续区域二值化后的图像。

④根据采用最大类间方差法(OTSU)划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D(M,N,k)中的连续区域划分为前景区域和背景区域。

在此具体实施例中，前景区域和背景区域的划分过程为：首先，根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值确定前背景区域划分阈值，记为T₁，其中，T表示采用最大类间方差法划分前景区域和背景区域的动态分割阈值(T从0到255之间遍历，当图像中的像素点的像素值大于T时，将该像素点划为前景区域；当图像中的像素点的像素值小于或等于T时，将该像素点划为背景区域)，w₁表示采用最大类间方差法划分的前景区域的所有像素点占整幅图像的所有像素点的比例，u₁表示采用最大类间方差法划分的前景区域的所有像素点的平均灰度，w₂表示采用最大类间方差法划分的背景区域的所有像素点占整幅图像的所有像素点的比例，u₂表示采用最大类间方差法划分的背景区域的所有像素点的平均灰度，{w₁×w₂×(u₁-u₂)²}表示类间方差值，一个T对应一个类间方差值，T从0到255之间遍历，因此一帧图像对应256个类间方差值，故表示求取T从0变化到255，使得类间方差值最大的T的值；然后，判断连续区域中的像素点的像素值是否大于前背景区域划分阈值T₁，如果是，则将该像素点确定为前景像素点，并归属为前景区域，否则，将该像素点确定为背景像素点，并归属为背景区域。

图3给出了图2a所示的深度视频帧中的前景区域二值化后的图像。

⑤根据当前深度视频帧D(M,N,k)中的像素点的像素值，将当前深度视频帧D(M,N,k)划分为边界区域和非边界区域。

在此具体实施例中，边界区域和非边界区域的划分过程为：

⑤_1、以3×3窗口在当前深度视频帧D(M,N,k)内从左到右、从上到下移动，每次以整像素为单位移动。在此，实际处理过程中也可取再大一点的窗口，如5×5的窗口，但通过大量实验验证当窗口的大小为3×3时能够取得很好的边界区域和非边界区域划分效果，且能够有效地节省码率，而如果采用5×5的窗口，则节省码率的效果不是很明显。

⑤_2、计算每个窗口内的所有像素点的像素值的均值和每个窗口内的中心坐标位置的像素点的像素值的方差，分别记为M'和V(p,q,k)， 其中，p表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的横坐标，q表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的纵坐标，2≤p≤M-1,2≤q≤N-1，d(x,y,k)表示当前深度视频帧D(M,N,k)中坐标位置为(x,y)的像素点的像素值。

⑤_3、计算所有窗口内的中心坐标位置的像素点的像素值的方差的均值，记为VR(k)， $VR\left(k\right)=\frac{1}{(M-2)\×(N-2)}\underset{p=2}{\overset{M-1}{\Σ}}\underset{q=2}{\overset{N-1}{\Σ}}V(p,q,k).$

⑤_4、判断当前深度视频帧D(M,N,k)中的像素点的像素值是否大于0.7×VR(k)，如果是，则将该像素点确定为边界像素点，并归属为边界区域，否则，将该像素点确定为非边界像素点，并归属为非边界区域。

⑥对当前深度视频帧D(M,N,k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护。

对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理。在此具体实施例中，对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理的具体过程为：假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于不连续区域且属于非边界区域，则将该像素点平滑滤波处理后的像素值记为d'(m,n,k)， $d^{\′}(m,n,k)=\frac{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}d(m-s,n-t,k)\×g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)}{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)},$ 其中，在此4≤m≤M-3,4≤n≤N-3，d(m-s,n-t,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m-s,n-t)的像素点的像素值，g(s,σ_h)表示水平方向的高斯核函数，g(t,σ_v)表示垂直方向上的高斯核函数， $g(t,{\mathrm{\σ}}_v)=\frac{1}{\sqrt{2\×\mathrm{\π}}\×{\mathrm{\σ}}_v}\exp (-\frac{1}{2}\×\frac{t^2}{{\mathrm{\σ}}_v}),{\mathrm{\σ}}_h={\mathrm{\σ}}_v=\frac{7}{4},$ exp()表示以e为底数的指数函数，e＝2.718281828459。

对当前深度视频帧D(M,N,k)中属于前景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于前景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于背景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于背景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N。

图4a给出了在前景区域中形成的十字窗口，图4b给出了在前景区域中形成的自适应窗口，图4b中灰色区域为自适应窗口。

对当前深度视频帧D(M,N,k)中属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于背景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于前景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于前景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N。

图5a给出了在背景区域中形成的十字窗口，图5b给出了在背景区域中形成的自适应窗口，图5b中灰色区域为自适应窗口。

⑦令k'＝k+1,k＝k'，将{D(M,N,k)}中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤③继续执行，直至{D(M,N,k)}中的所有深度视频帧均处理完毕，其中，k'的初始值为0，k'＝k+1,k＝k'中“＝”为赋值符号。

在本发明方法中，对连续区域中的前景区域和背景区域分别采用自适应窗口进行平滑滤波处理，使自适应窗口内的所有像素点属于同一个区域或同种类型，不会同时包含对象内部和对象外部或同时包含前景区域和背景区域，这样将对象内部和对象外部分开进行平滑滤波处理，同时将边界保护起来，既有利于深度视频序列的压缩编码，又有利于虚拟视点图像的绘制。

图6给出了图2a所示的深度视频帧经本发明方法预处理后得到的深度视频帧，预处理过后的深度视频帧比原始的深度视频帧更加平滑，且边界保护的很好。

为了验证本发明方法的有效性和可行性，首先选取由德国HHI提供的“BookArrival”、“DoorFlowers”、“AltMoabit”和“LeaveLaptop”测试序列，以及GIST提供的“Newspaper”测试序列，然后利用深度估计软件DERS5.1估计出这些序列的深度视频，这些深度视频作为原始深度视频序列，再通过本发明方法预处理后得到预处理后的深度视频。

在此，将从深度视频序列的压缩效率和虚拟视点图像的绘制质量来衡量本发明方法的性能，以JMVC8.3.1为实验平台测试深度视频压缩效率，以MPEG组织提供的虚拟视点合成软件VSRS3.5为实验平台绘制虚拟视点，实验仿真参数如表1所列。

表1仿真参数

在深度视频序列压缩效率方面，本发明方法能节约8.33％～34.39％的码率，表2列出了上述各测试序列的原始深度视频序列和预处理后的深度视频序列在相同条件下编码的码率对比。图7a、图7b、图7c、图7d及图7e分别给出了BookArrival、DoorFlowers、AltMoabit、LeaveLaptop和Newspaper测试序列的原始深度视频序列和预处理后的深度视频序列的率失真性能对比图(图中横坐标表示码率Bitrate，纵坐标表示峰值信噪比PSNR)，从图7a、图7b、图7c、图7d及图7e中可以看出，本发明方法能够大大提高率失真性能。

表2原始深度视频序列和预处理后的深度视频序列编码码率的比较

在虚拟视点图像绘制方面，本发明方法能够使绘制的虚拟视点的PSNR(峰值信噪比)平均提高0.21dB，SSIM(结构相似度)平均提高0.009。表3列出了利用原始深度视频和预处理后的深度视频绘制的虚拟视点图像相对原始视点图像的PSNR和SSIM，以及两种对比情况，其中“BookArrival”、“DoorFlowers”、“AltMoabit”、“LeaveLaptop”测试序列利用视点8和视点10绘制视点9，“Newspaper”测试序列利用视点4和视点6绘制视点5，从表3中可以看出，采用预处理后的深度视频绘制的虚拟视点图像的PSNR和SSIM与利用原始深度视频绘制的虚拟视点图像相比，都有一定的提高。

表3虚拟视点图像绘制的质量比较

Claims (7)

1.一种多视点深度视频预处理方法，其特征在于它的处理过程为：首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。

2.根据权利要求1所述的一种多视点深度视频预处理方法，其特征在于它具体包括以下步骤：

①将待预处理的深度视频序列记为{D(M,N,k)}，其中，M表示{D(M,N,k)}中的深度视频帧的水平分辨率，N表示{D(M,N,k)}中的深度视频帧的垂直分辨率，D(M,N,k)表示{D(M,N,k)}中的第k帧深度视频帧，1≤k≤K，k的初始值为1，K表示{D(M,N,k)}中包含的深度视频帧的帧数；

②将{D(M,N,k)}中当前正在处理的第k帧深度视频帧D(M,N,k)定义为当前深度视频帧；

③根据当前深度视频帧D(M,N,k)中的每个像素点的像素值，将当前深度视频帧D(M,N,k)划分为连续区域和不连续区域；

④根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D(M,N,k)中的连续区域划分为前景区域和背景区域；

⑤根据当前深度视频帧D(M,N,k)中的像素点的像素值，将当前深度视频帧D(M,N,k)划分为边界区域和非边界区域；

⑥对当前深度视频帧D(M,N,k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护；

对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理；

对当前深度视频帧D(M,N,k)中属于前景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于前景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于背景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于背景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N；

对当前深度视频帧D(M,N,k)中属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于背景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于前景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于前景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此1≤m≤M,1≤n≤N；

⑦令k'＝k+1,k＝k'，将{D(M,N,k)}中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤③继续执行，直至{D(M,N,k)}中的所有深度视频帧均处理完毕，其中，k'的初始值为0，k'＝k+1,k＝k'中“＝”为赋值符号。

3.根据权利要求2所述的一种多视点深度视频预处理方法，其特征在于所述的步骤③中连续区域和不连续区域的划分过程为：将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点的像素值记为d(m',n,k)，当|d(m'-1,n,k)-d(m',n,k)|>T₀成立时，将当前深度视频帧D(M,N,k)中坐标位置为(m',n)的像素点和坐标位置为(m'-1,n)的像素点归属为不连续区域，之后将当前深度视频帧D(M,N,k)中不属于不连续区域的所有像素点归属为连续区域，其中，2≤m'≤M,1≤n≤N，d(m'-1,n,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m'-1,n)的像素点的像素值，“||”为取绝对值符号，T₀为设定的区域划分阈值。

4.根据权利要求3所述的一种多视点深度视频预处理方法，其特征在于所述的设定的区域划分阈值T₀的值为10。

5.根据权利要求2至4中任一项所述的一种多视点深度视频预处理方法，其特征在于所述的步骤④中前景区域和背景区域的划分过程为：首先，根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值确定前背景区域划分阈值，记为T₁，其中，T表示采用最大类间方差法划分前景区域和背景区域的动态分割阈值，w₁表示采用最大类间方差法划分的前景区域的所有像素点占整幅图像的所有像素点的比例，u₁表示采用最大类间方差法划分的前景区域的所有像素点的平均灰度，w₂表示采用最大类间方差法划分的背景区域的所有像素点占整幅图像的所有像素点的比例，u₂表示采用最大类间方差法划分的背景区域的所有像素点的平均灰度，{w₁×w₂×(u₁-u₂)²}表示类间方差值；然后，判断连续区域中的像素点的像素值是否大于前背景区域划分阈值T₁，如果是，则将该像素点确定为前景像素点，并归属为前景区域，否则，将该像素点确定为背景像素点，并归属为背景区域。

6.根据权利要求5所述的一种多视点深度视频预处理方法，其特征在于所述的步骤⑤中边界区域和非边界区域的划分过程为：

⑤_1、以3×3窗口在当前深度视频帧D(M,N,k)内从左到右、从上到下移动，每次以整像素为单位移动；

⑤_2、计算每个窗口内的所有像素点的像素值的均值和每个窗口内的中心坐标位置的像素点的像素值的方差，分别记为M'和V(p,q,k)， 其中，p表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的横坐标，q表示每个窗口内的中心坐标位置的像素点在当前深度视频帧D(M,N,k)中的纵坐标，2≤p≤M-1,2≤q≤N-1，d(x,y,k)表示当前深度视频帧D(M,N,k)中坐标位置为(x,y)的像素点的像素值；

⑤_3、计算所有窗口内的中心坐标位置的像素点的像素值的方差的均值，记为VR(k)， $VR\left(k\right)=\frac{1}{(M-2)\×(N-2)}\underset{p=2}{\overset{M-1}{\Σ}}\underset{q=2}{\overset{N-1}{\Σ}}V(p,q,k);$

⑤_4、判断当前深度视频帧D(M,N,k)中的像素点的像素值是否大于0.7×VR(k)，如果是，则将该像素点确定为边界像素点，并归属为边界区域，否则，将该像素点确定为非边界像素点，并归属为非边界区域。

7.根据权利要求6所述的一种多视点深度视频预处理方法，其特征在于所述的步骤⑥中对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理的具体过程为：假设当前深度视频帧D(M,N,k)中坐标位置为(m,n)的像素点属于不连续区域且属于非边界区域，则将该像素点平滑滤波处理后的像素值记为d'(m,n,k)， $d^{\′}(m,n,k)=\frac{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}d(m-s,n-t,k)\×g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)}{\underset{s=-3}{\overset{3}{\Σ}}\underset{t=-3}{\overset{3}{\Σ}}g(s,{\mathrm{\σ}}_h)\×g(t,{\mathrm{\σ}}_v)},$ 其中，在此4≤m≤M-3,4≤n≤N-3，d(m-s,n-t,k)表示当前深度视频帧D(M,N,k)中坐标位置为(m-s,n-t)的像素点的像素值，g(s,σ_h)表示水平方向的高斯核函数，g(t,σ_v)表示垂直方向上的高斯核函数， $g(t,{\mathrm{\σ}}_v)=\frac{1}{\sqrt{2\×\mathrm{\π}}\×{\mathrm{\σ}}_v}\exp (-\frac{1}{2}\×\frac{t^2}{{\mathrm{\σ}}_v}),{\mathrm{\σ}}_h={\mathrm{\σ}}_v=\frac{7}{4},$ exp()表示以e为底数的指数函数，e＝2.718281828459。