CN103873876A - 基于显著性的多视点彩色加深度视频编码方法 - Google Patents

Abstract

本发明属于3D视频编码领域。为克服传统虚拟视点中对象及运动对象边界模糊的问题，提高虚拟视点的质量，本发明采取的技术方案是，基于显著性的多视点彩色加深度视频编码方法，包括下列步骤：1）计算当前帧的运动显著性2）计算当前帧的深度显著性3）计算当前帧的深度边界4）提取视频的显著性区域5）确定视频的显著性区域与背景区域之间的最优量化参数差异△QP。本发明主要应用于3D视频编码场合。

Description

基于显著性的多视点彩色加深度视频编码方法

技术领域

本发明属于3D视频编码领域，涉及一种多视点彩色加深度视频的联合视频编码方法。具体讲，涉及基于显著性的多视点彩色加深度视频编码方法。

背景技术

多视点视频是3D视频的一种有效表示方法，它是由多个摄像机从不同视角拍摄同一场景得到的一组视频信号。3D视频经常需要包含不同数目或位置的视点，然而目前大多数3D视频内容是由固定数目的相机拍摄而成，并设定了固定的视点位置，无法支持视点调整，因而不能实现更加灵活的3D感知。基于深度图像的虚拟视点绘制技术(Depth Image BasedRendering,DIBR)是一种利用彩色图像及其对应的深度图像生成新视点图像的技术，它使用3D变换技术，可以为自由立体显示提供必要的不同位置的多个虚拟视点，同时也能够为自由视点电视（Free-Viewpoint TV,FTV）提供便利，让用户在不同视点间自由切换，从而能够更加真切、自然地感知真实场景，增强3D视觉体验。

为了能够在DIBR技术的基础上方便灵活地实现视点合成，研究者们提出了将携带深度或视差信息的视频序列和彩色视频结合在一起的MVD视频表现形式。目前已经出现了很多基于MVD的虚拟视点绘制技术，考虑到彩色视频和深度数据都会对合成的视点质量产生影响，研究者们主要关注了如何调整编码时彩色和深度视频之间的比特分配来优化码率控制或者在解码之后采取一些措施来提高合成虚拟视点的视频质量。如朱高峰等探讨了彩色视频量化步长和深度视频量化步长的关系并提出二次模型，进一步得出联合比特分配方法来提高合成视点的率失真性能。Oh等人提出了空洞填补与修复技术结合来修复合成视点中的去遮挡区域和错误的深度值，以此同时从主观和客观上改善绘制视点的质量。

发明内容

本发明旨在克服现有技术的不足，尤其克服传统虚拟视点中对象及运动对象边界模糊的问题，提高虚拟视点的质量，为此，本发明采取的技术方案是，基于显著性的多视点彩色加深度视频编码方法，包括下列步骤：

1）计算当前帧的运动显著性

根据当前编码帧对应的前一帧，计算当前帧与前一帧的差值，利用两帧之间信息的差值来判定当前帧中对象的运动显著性，其中视频的第一帧被认为是静止的，没有运动；

2）计算当前帧的深度显著性

提取当前编码视频对应的深度视频，利用深度视频本身的深度信息提取深度显著性；

3）计算当前帧的深度边界

提取当前编码视频对应的深度视频，基于Sobel算子提取深度视频的边界；

4）提取视频的显著性区域

彩色视频的显著性区域R_color综合利用深度显著性和运动显著性得到，具体如下:

R_color(i,j)=D(i,j)∪M(i,j)

其中D(i,j)为(i,j)处彩色视频对应的深度显著性；M(i,j)为(i,j)处的彩色视频的运动显著性；

深度视频的显著性区域R_depth综合利用深度显著性、运动显著性和深度边缘得到，具体如下:

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

其中，D(i,j)为(i,j)处的深度显著性；E(i,j)为(i,j)处的深度边界显著性；M(i,j)为(i,j)处的深度视频的运动显著性。

5）确定视频的显著性区域与背景区域之间的最优量化参数差异△QP

在彩色视频和深度视频的编码中，当前编码宏块的QP值计算为：

其中，l是分层B帧的分层等级；△QP表示显著性区域与背景区域之间的量化参数差异；QP_l是指时间层l的QP值，具体如下：

${\mathrm{QP}}_l=\left\{\begin{array}{cc}\mathrm{bQP}+3,& \mathrm{ifl}=1\\ {\mathrm{QP}}_{l-1}+1,& \mathrm{ifl}>1\end{array}\right.$

其中，bQP为基础量化参数。

基于编码块大小的运动显著性提取为：

$M(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_M(i,j)>T_p\·M_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，(i,j)代表在水平和垂直方向上宏块的坐标；M(i,j)为(i,j)处的运动显著性；1代表显著性区域，0代表背景区域；T_p为权值；S_M(i,j)是当前编码宏块平均像素差值；M_aver为视频图像帧差值的平均值；具体表示为：

$S_M(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right),$

$M_{\mathrm{aver}}=\frac{1}{M*N}\left(\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right)$

其中M×N为视频图像的大小；(x,y)代表在水平和垂直方向上像素的坐标；I_t(x,y)、I_t-1(x,y)分别为t时刻和t-1时刻位于(x,y)位置的像素的亮度值。

基于编码块大小的深度显著性提取为：

$D(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_D(i,j)>T_d\·D_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，D(i,j)为(i,j)处的深度显著性；T_d为权值；S_D(i,j)为当前编码宏块的平均深度值；D_aver为视频图像整帧的平均深度值；具体表示为：

$S_D(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}d(x,y)\right),$

$D_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}d(x,y)$

其中，(x,y)代表在水平和垂直方向上像素的坐标；d(x,y)代表(x,y)处像素点的深度值。

基于编码块大小的深度边界提取为：

$E(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_E(i,j)>T_e\·E_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，T_e为权值；S_E(i,j)为当前编码宏块的平均梯度幅度值；E_aver为视频图像的平均梯度幅度值，具体表示为：

$S_E(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}g(x,y)\right),$

$E_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}g(x,y),$

其中：

G_x(x,y)={d(x+1,y-1)+2d(x+1,y）+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x-1,y)+d(x-1,y+1)},

G_y(x,y)={d(x-1,y+1)+2d(x,y+1)+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x,y-1)+d(x+1,y-1)},

$g(x,y)=\sqrt{G_x^2(x,y)+G_y^2(x,y)},$

其中g(x,y)为图像的梯度幅度；G_x(x,y)为水平边缘强度；G_y(x,y)为垂直边缘强度；d(x+1,y-1)，d(x-1,y-1)，d(x,y-1)，d(x-1,y+1)，d(x,y+1)，d(x+1,y+1)，d(x-1,y)，d(x+1,y)分别代表(x,y)处像素点的上、下、左、右邻域的深度值。

确定显著性区域与背景区域之间的最优量化参数差异△QP过程中，首先对多视点深度视频采用原始未压缩视频，彩色视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定彩色视频的最优△QP_t；然后，对多视点彩色视频采用原始未压缩视频，深度视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定深度视频的最优△QP_d。

本发明的技术特点及效果：

本发明提出的基于显著性的多视点彩色加深度视频编码方法，结合显著性提取结果和最优△QP进行编码与虚拟视点的绘制，采用的显著性提取和编码方法能够在不增加编码比特与传输码率的情况下有效提高合成视点显著性区域的质量。

附图说明

图1为采用本发明方法及已有编码参考软件JMVC8.5分别进行编码后的性能对比图；

图2给出了技术方案的流程图。

具体实施方式

本发明的目的是充分利用人眼视觉对显著性区域的失真比背景区域的失真更加敏感、对运动的对象比静止的背景更加关注的特性，对彩色和深度视频分别进行基于显著性的编码，克服传统虚拟视点中对象及运动对象边界模糊的问题，提高虚拟视点的质量。

本发明提供了一种基于显著性的多视点彩色加深度视频编码方法，充分利用人眼视觉对显著性区域的失真比背景区域的失真更加敏感、对运动的对象比静止的背景更加关注的特性，提高虚拟视点的质量，具体的技术方案分为下列步骤:

1计算当前帧的运动显著性

根据当前编码帧对应的前一帧，计算当前帧与前一帧的差值，利用两帧之间信息的差值来判定当前帧中对象的运动显著性，其中视频的第一帧被认为是静止的，没有运动。基于编码块大小的运动显著性提取为：

$M(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_M(i,j)>T_p\·M_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，(i,j)代表在水平和垂直方向上宏块的坐标；M(i,j)为(i,j)处的运动显著性，1代表显著性区域，0代表背景区域；T_p为权值；S_M(i,j)是当前编码宏块平均像素差值；M_aver为视频图像帧差值的平均值；具体表示为：

$S_M(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right),$

$M_{\mathrm{aver}}=\frac{1}{M*N}\left(\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right)$

其中M×N为视频图像的大小；I_t(x,y)、I_t-1(x,y)分别为t时刻和t-1时刻位于(x,y)位置的像素的亮度值。

2计算当前帧的深度显著性

提取当前编码视频对应的深度视频，利用深度视频本身的深度信息提取深度显著性。基于宏块的深度显著性提取为：

$D(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_D(i,j)>T_d\·D_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，D(i,j)为(i,j)处的深度显著性；T_d为权值；S_D(i,j)为当前编码宏块的平均深度值；D_aver为视频图像整帧的平均深度值；具体表示为：

$S_D(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}d(x,y)\right),$

$D_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}d(x,y)$

其中，(x,y)代表在水平和垂直方向上像素的坐标；d(x,y)代表(x,y)处像素点的深度值。

3计算当前帧的深度边界

提取当前编码视频对应的深度视频，基于Sobel算子提取深度视频的边界。基于编码块大小的深度边界提取为

$E(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_E(i,j)>T_e\·E_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，E(i,j)为(i,j)处的深度边界显著性；T_e为权值；S_E(i,j)为当前编码宏块的平均梯度幅度值；E_aver为视频图像的平均梯度幅度值。具体表示为：

$S_E(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}g(x,y)\right),$

$E_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}g(x,y),$

其中：

G_x(x,y)={d(x+1,y-1)+2d(x+1,y）+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x-1,y)+d(x-1,y+1)},

G_y(x,y)={d(x-1,y+1)+2d(x,y+1)+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x,y-1)+d(x+1,y-1)},

$g(x,y)=\sqrt{G_x^2(x,y)+G_y^2(x,y)},$

其中g(x,y)为图像的梯度幅度；G_x(x,y)为水平边缘强度，G_y(x,y)为垂直边缘强度；d(x+1,y-1)，d(x-1,y-1)，d(x,y-1)，d(x-1,y+1)，d(x,y+1)，d(x+1,y+1)，d(x-1,y)，d(x+1,y)代表(x,y)处像素点的上、下、左、右邻域的深度值。

4提取视频的显著性区域

彩色视频的显著性区域R_color综合利用深度显著性和运动显著性得到，具体如下:

R_color(i,j)=D(i,j)∪M(i,j)

深度视频的显著性区域R_depth综合利用深度显著性、运动显著性和深度边缘得到，具体如下:

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

5确定视频的显著性区域与背景区域之间的最优△QP

在彩色视频和深度视频的编码中，当前编码宏块的QP值计算为：

其中，l是分层B帧的分层等级；△QP表示显著性区域与背景区域之间的量化参数差异；QP_l是指时间层l的QP值，具体如下：

${\mathrm{QP}}_l=\left\{\begin{array}{cc}\mathrm{bQP}+3,& \mathrm{ifl}=1\\ {\mathrm{QP}}_{l-1}+1,& \mathrm{ifl}>1\end{array}\right.$

其中，bQP为基础量化参数。

确定最优△QP过程中，首先对多视点深度视频采用原始未压缩视频，彩色视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定最优△QP_t。然后，对多视点彩色视频采用原始未压缩视频，深度视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定最优△QP_d。

下面结合附图对本发明的具体实施方式进行描述。

其他实验配置包括：bQP设为12,17,22,27,32,△QP值分别设为0,2,4,6,8。测试序列使用Ballet，帧率为15fps，分辨率分别为1024×768，每个视点包含49帧，GOP长度设为8，搜索范围为64，熵编码方式采用CABAC。

在多视点视频编解码系统中，编码与解码都是在16*16的块单元上进行的，为了提高编解码效率，我们在宏块级别上对视频图像进行了显著性区域的提取。

1计算当前帧的运动显著性

根据当前编码帧对应的前一帧，计算当前帧与前一帧的差值，利用两帧之间信息的差值来判定当前帧中对象的运动显著性，其中视频的第一帧被认为是静止的，没有运动。基于编码块大小的运动显著性提取为：

$M(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_M(i,j)>T_p\·M_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，(i,j)代表在水平和垂直方向上宏块的坐标；M(i,j)为(i,j)处的运动显著性；1代表显著性区域，0代表背景区域；T_p为权值；S_M(i,j)是当前编码宏块平均像素差值；M_aver为视频图像帧差值的平均值；具体表示为：

$S_M(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right),$

$M_{\mathrm{aver}}=\frac{1}{M*N}\left(\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right)$

其中M×N为视频图像的大小；I_t(x,y)、I_t-1(x,y)分别为t时刻和t-1时刻位于(x,y)位置的像素的亮度值。

2计算当前帧的深度显著性

提取当前编码视频对应的深度视频，利用深度视频本身的深度信息提取深度显著性。基于宏块的深度显著性提取为：

$D(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_D(i,j)>T_d\·D_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，D(i,j)为(i,j)处的深度显著性；T_d为权值；S_D(i,j)为当前编码宏块的平均深度值；D_aver为视频图像整帧的平均深度值。具体表示为：

$S_D(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}d(x,y)\right),$

$D_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}d(x,y)$

其中，(x,y)代表在水平和垂直方向上像素的坐标；d(x,y)代表(x,y)处像素点的深度值。

3计算当前帧的深度边界

提取当前编码对应的深度视频，基于Sobel算子提取深度视频的边界。基于编码块大小的深度边界提取为

$E(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_E(i,j)>T_e\·E_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，E(i,j)为(i,j)处的深度边界显著性；T_e为权值；S_D(i,j)为当前编码宏块的平均梯度幅度值；E_aver为视频图像的平均梯度幅度值，具体表示为：

$S_E(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}g(x,y)\right),$

$E_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}g(x,y),$

其中：

G_x(x,y)={d(x+1,y-1)+2d(x+1,y）+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x-1,y)+d(x-1,y+1)},

G_y(x,y)={d(x-1,y+1)+2d(x,y+1)+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x,y-1)+d(x+1,y-1)},

$g(x,y)=\sqrt{G_x^2(x,y)+G_y^2(x,y)},$

其中g(x,y)为图像的梯度幅度；G_x(x,y)为水平边缘强度，G_y(x,y)为垂直边缘强度。

4提取视频的显著性区域

彩色视频的显著性区域R_color综合利用深度显著性和运动显著性得到，具体如下：

R_color(i,j)=D(i,j)∪M(i,j)

深度视频的显著性区域R_depth综合利用深度显著性、运动显著性和深度边缘得到，具体如下：

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

5确定视频的显著性区域与背景区域之间的最优△QP

在彩色视频和深度视频的编码中，当前编码宏块的QP值计算为：

其中，l是分层B帧的分层等级；△QP表示显著性区域与背景区域之间的量化参数差异；QP_l是指时间层l的QP值，具体如下：

${\mathrm{QP}}_l=\left\{\begin{array}{cc}\mathrm{bQP}+3,& \mathrm{ifl}=1\\ {\mathrm{QP}}_{l-1}+1,& \mathrm{ifl}>1\end{array}\right.$

其中，bQP为基础量化参数。

确定最优△QP过程中，首先对多视点深度视频采用原始未压缩视频，彩色视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定最优△QP_t。然后对多视点彩色视频采用原始未压缩视频，深度视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定最优△QP_d。

下面结合附图说明实验效果：

为使本发明的效果具有可比性，我们采用ballet测试序列进行测试，编码平台采用JMVC8.5，虚拟视点合成采用VSRS3.5。直接采用JMVC8.5编码的左右视点（分别为视点0和2）的彩色和深度视频。图1为采用本专利方法及已有编码参考软件JMVC8.5分别进行编码后的性能对比图。从图中可见，在高码率的情况下，本方法优于JMVC，且在低码率时性能与JMVC保持一致。所提出的方法在保证虚拟视点视频质量的前提下降低码率，提高多视点彩色加深度视频的编码效率。

Claims (5)

1.一种基于显著性的多视点彩色加深度视频编码方法，其特征是，包括下列步骤：

1）计算当前帧的运动显著性

根据当前编码帧对应的前一帧，计算当前帧与前一帧的差值，利用两帧之间信息的差值来判定当前帧中对象的运动显著性，其中视频的第一帧被认为是静止的，没有运动；

2）计算当前帧的深度显著性

提取当前编码视频对应的深度视频，利用深度视频本身的深度信息提取深度显著性；

3）计算当前帧的深度边界

提取当前编码视频对应的深度视频，基于Sobel算子提取深度视频的边界；

4）提取视频的显著性区域

彩色视频的显著性区域R_color综合利用深度显著性和运动显著性得到，具体如下:

R_color(i,j)=D(i,j)∪M(i,j)

其中D(i,j)为(i,j)处彩色视频对应的深度显著性；M(i,j)为(i,j)处的彩色视频的运动显著性；

深度视频的显著性区域R_depth综合利用深度显著性、运动显著性和深度边缘得到，具体如下:

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

其中，D(i,j)为(i,j)处的深度显著性；E(i,j)为(i,j)处的深度边界显著性；M(i,j)为(i,j)处的深度视频的运动显著性。

5）确定视频的显著性区域与背景区域之间的最优量化参数差异△QP

在彩色视频和深度视频的编码中，当前编码宏块的QP值计算为：

其中，l是分层B帧的分层等级；△QP表示显著性区域与背景区域之间的量化参数差异；

QP_l是指时间层l的QP值，具体如下：

${\mathrm{QP}}_l=\left\{\begin{array}{cc}\mathrm{bQP}+3,& \mathrm{ifl}=1\\ {\mathrm{QP}}_{l-1}+1,& \mathrm{ifl}>1\end{array}\right.$

其中，bQP为基础量化参数。

2.如权利要求1所述的基于显著性的多视点彩色加深度视频编码方法，其特征是，基于编码块大小的运动显著性提取为：

$M(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_M(i,j)>T_p\·M_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，(i,j)代表在水平和垂直方向上宏块的坐标；M(i,j)为(i,j)处的运动显著性；1代表显著性区域，0代表背景区域；T_p为权值；S_M(i,j)是当前编码宏块平均像素差值；M_aver为视频图像帧差值的平均值；具体表示为：

$S_M(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right),$

$M_{\mathrm{aver}}=\frac{1}{M*N}\left(\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}(I_t(x,y)-I_{t-1}(x,y))\right)$

其中M×N为视频图像的大小；(x,y)代表在水平和垂直方向上像素的坐标；I_t(x,y)、I_t-1(x,y)分别为t时刻和t-1时刻位于(x,y)位置的像素的亮度值。

3.如权利要求1所述的基于显著性的多视点彩色加深度视频编码方法，其特征是，基于编码块大小的深度显著性提取为：

$D(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_D(i,j)>T_d\·D_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，D(i,j)为(i,j)处的深度显著性；T_d为权值；S_D(i,j)为当前编码宏块的平均深度值；D_aver为视频图像整帧的平均深度值；具体表示为：

$S_D(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}d(x,y)\right),$

$D_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}d(x,y)$

其中，(x,y)代表在水平和垂直方向上像素的坐标；d(x,y)代表(x,y)处像素点的深度值。

4.如权利要求1所述的基于显著性的多视点彩色加深度视频编码方法，其特征是，基于编码块大小的深度边界提取为：

$E(i,j)\∈\left\{\begin{array}{cc}1& \mathrm{if}{S}_E(i,j)>T_e\·E_{\mathrm{aver}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，T_e为权值；S_E(i,j)为当前编码宏块的平均梯度幅度值；E_aver为视频图像的平均梯度幅度值，具体表示为： $S_E(i,j)=\frac{1}{16*16}\left(\underset{x=i*16}{\overset{i*16+15}{\mathrm{\Σ}}}\underset{y=j*16}{\overset{j*16+15}{\mathrm{\Σ}}}g(x,y)\right),$

$E_{\mathrm{aver}}=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}g(x,y),$

其中：

G_x(x,y)={d(x+1,y-1)+2d(x+1,y）+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x-1,y)+d(x-1,y+1)},

G_y(x,y)={d(x-1,y+1)+2d(x,y+1)+d(x+1,y+1)}

-{d(x-1,y-1)+2d(x,y-1)+d(x+1,y-1)},

$g(x,y)=\sqrt{G_x^2(x,y)+G_y^2(x,y)},$

其中g(x,y)为图像的梯度幅度；G_x(x,y)为水平边缘强度；G_y(x,y)为垂直边缘强度；d(x+1,y-1)，d(x-1,y-1)，d(x,y-1)，d(x-1,y+1)，d(x,y+1)，d(x+1,y+1)，d(x-1,y)，d(x+1,y)分别代表(x,y)处像素点的上、下、左、右邻域的深度值。

5.如权利要求1所述的基于显著性的多视点彩色加深度视频编码方法，其特征是，确定显著性区域与背景区域之间的最优量化参数差异△QP过程中，首先对多视点深度视频采用原始未压缩视频，彩色视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定彩色视频的最优△QP_t；然后，对多视点彩色视频采用原始未压缩视频，深度视频使用不同QP与△QP编码获得的重建视频合成虚拟视点视频，并提取显著性区域，计算率失真性能，确定深度视频的最优△QP_d。

Images