CN102801996B - 基于jndd模型的快速深度图编码模式选择方法 - Google Patents

Abstract

本发明涉及一种基于JNDD模型的快速深度图编码模式选择方法。本方法是：对编码宏块进行边缘检测，得到当前块的边缘值；利用最小可觉深度差模型确定宏块内不同深度值区域内的深度差不可被人眼察觉的门限值，与边缘值进行比较，将深度图划分为垂直边缘区域与平坦区域；对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索。本发明根据深度数据的特点及深度编码失真对绘制视质量的影响，在保证虚拟视质量与编码码率基本不变的前提下，可显著降低编码复杂度、提高三维视频系统中深度图编码模块的编码速度。

Description

基于JNDD模型的快速深度图编码模式选择方法

技术领域

本发明涉及一种三维视频编码中深度图编码技术，特别是一种降低深度图编码复杂度的基于最小可觉深度差(Just Noticeable Depth Difference, JNDD)模型的编码模式选择方法。

背景技术

深度增强型三维视频(Three-Dimensional Video, 3DV)结构由彩色视频和其对应的深度图组成，是目前广泛流行的多视点视频(Multi-view Video, MVV)或自由视点视频(Free Viewpoint Video, FVV)的表示方法。在MVV和FVV的应用设备中，基于深度图像的绘制技术(Depth Image Based Rendering, DIBR)利用深度图蕴含的几何信息合成高质量的虚拟视点，具有便于压缩、兼容性好、支持交互性等特点。为了满足数据存储和网络传输等要求，深度图通常由灰度级图像序列表示，并且可由H.264/AVC等视频编码技术进行编码。

深度图是基于深度的虚拟视点绘制过程中的重要辅助信息，在3DV系统中对合成视的质量至关重要。在视点绘制过程中，原始彩色视频中的像素点根据其对应的深度信息被变换为基于深度的虚拟视点。若在虚拟视中前景对象和背景对象的像素点出现交叠，则由前者遮挡后者。若深度数据存在失真，则会造成某些像素被映射到虚拟视中的不同位置而导致几何变化。此外，深度数据的改变也可能造成前景对象和背景对象遮挡次序的改变，使得绘制视中背景对象意外地可见，从而导致遮挡变化。深度图中几何变化和遮挡变化均能引起合成视中的纹理失真。在3DV系统中除了深度图获取时产生的失真，由深度图编码引入的深度失真也会引起绘制虚拟视的失真，从而导致合成视的纹理失真，因此对深度图压缩编码时除考虑编码效率外尤其要考虑深度编码方法对虚拟绘制视的影响。

在深度增强型3DV系统的编码过程中，深度图中像素点的亮度值会由于压缩编码而产生变化，从而在合成视中引入纹理失真。深度图中两个相邻水平像素点的深度差越大，这两个点在绘制后不连续的可能性越大。因此深度图中边缘区域极易由于深度值的改变而引起虚拟视中的像素点被映射到错误位置而产生几何变化，由前景和背景次序改变导致的遮挡变化也极易在边缘区域发生。在深度图中不同区域的编码失真对合成视的影响是不同的。由边缘区域的编码失真引入的绘制失真在合成视中是恼人的且极易被发觉的。而在平坦区域，由深度编码引起的绘制失真通常是轻微的、不易被察觉的。根据人眼的视觉特性，人眼通常察觉不到一定小范围内的深度变化，因此在这一深度变化范围内，由深度编码引起的绘制失真是人眼所察觉不到的。

发明内容

本发明旨在针对已有技术存在的缺陷，提供一种基于JNDD模型的快速深度图编码模式选择方法，利用深度数据的特点及深度图编码失真对虚拟绘制视的影响，在保证虚拟绘制视质量与深度图编码码率基本不变的同时，降低深度图编码的计算复杂度以提高深度图编码速度。

为达到上述目的，本发明的构思是：

首先对编码宏块进行边缘检测，得到当前块的边缘值；然后利用最小可觉深度差模型确定宏块内不同深度值区域内的深度差不可被人眼察觉的门限值，根据上述门限值与边缘值进行比较的结果，将深度图划分为垂直边缘区域与平坦区域；对垂直边缘区域和平坦区域采用不同的编码模式搜索策略，得到各宏块的最优编码模式。

根据上述构思，本发明的技术方案是：

上述的基于JNDD模型的快速深度图编码模式选择方法, 其步骤是：

(1)     编码宏块的边缘检测：对各编码宏块进行边缘检测，得到当前宏块的边缘值；

(2)     宏块区域类型的划分：将宏块边缘值与由JNDD模型确定的深度差不可被人眼察觉的门限值进行比较，把宏块划分为垂直边缘区域与平坦区域；

(3)     最优编码模式选择：对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索，得到各宏块的最优编码模式。

本发明的基于JNDD模型的快速深度图编码模式选择方法与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：该方法将JNDD模型引入到深度编码中，合理地对常规视频编码器进行改进，以对绘制的虚拟视不引入任何人眼可察觉的纹理失真为前提，将深度图划分为对绘制失真敏感的边缘区域和深度失真所引入的绘制失真在人眼不可察觉范围内的平坦区域，舍去了平坦区域中不必要的模式搜索，在编码码率与绘制质量基本不变的前提下降低了深度图编码复杂度，从而可以在基于深度的3DV系统中深度编码方面得到应用。

附图说明

图1为本发明基于JNDD模型的快速深度图编码方法基本流程框图；

图2为测试序列“Leave_Laptop”的彩色纹理图像；

图3为图2 所示“Leave_Laptop”序列的彩色纹理图像对应的深度图；

图4为图3所示的深度图经过Sobel边缘检测后由边缘值组成的图像；

图5为图4经过基于JNDD的边缘判决后的深度图边缘区域与平坦区域判决图；

图6为利用本发明方法对深度图编码后进行虚拟视点绘制得到的绘制图像；

图7为利用H.264/AVC标准方式编码后的深度图进行虚拟视点绘制得到的绘制图像；

图8为本发明方法与JM方法的率失真性能比较。

具体实施方式

以下结合附图对本发明的优选实施例作详细说明，但本发明的保护范围不限于下述的实施例。

本发明实施例的应用环境如下：用于深度编码与基于深度的绘制的视频为“Leave_Laptop”标准测试序列，该序列的分辨率为1024×768；图2为测试序列“Leave_Laptop”彩色纹理图像；图3为图2 所示的彩色纹理图像所对应的深度图；解码器采用H.264/AVC标准的参考软件JM；编码器的帧率为30，参考帧数为2帧。

参见图1，本发明的基于JNDD模型的快速深度图编码方法，其步骤是：

(1) 编码宏块的边缘检测：对输入的深度图的各编码宏块进行边缘检测，得到当前宏块的边缘值；

(2) 宏块区域类型的划分：将宏块边缘值与由JNDD模型确定的深度差不可被人眼察觉的门限值进行比较，把宏块划分为垂直边缘区域与平坦区域；

(3) 最优编码模式选择：对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索，得到各宏块的最优编码模式。

上述步骤(1)所述的对输入深度图的各编码宏块进行边缘检测，得到当前宏块的边缘值，检测结果如图4所示，其具体步骤如下：

(1-1) 将当前编码帧划分成16×16大小的宏块，把当前正在处理的宏块定义为当前编码块；

(1-2) 对当前编码块进行Sobel边缘检测，如下式(1)所示，得到当前编码块中的每个像素点的边缘值G(i, j)，

                                                                                                (1)

其中G(i, j)表示Sobel边缘检测后深度图中每个像素点的边缘值，I表示深度图，*表示二维卷积运算。

上述的步骤(2)所述的将宏块边缘值与由JNDD模型确定的深度差不可被人眼察觉的门限值进行比较，把宏块划分为垂直边缘区域与平坦区域，其具体步骤如下：

(2-1) 用I(i, j)表示深度图中像素点的灰度值，利用下式(2)所示的最小可觉深度差(Just Noticeable Depth Difference, JNDD)模型D _JND (i, j)计算宏块中像素点不可被人眼察觉的深度差门限，

                                                                              (2)

(2-2) 将宏块中像素点的边缘值G(i, j)与D _JND (i, j)进行比较，如下式(3)所示，计算E(i, j)以判决该宏块的属性，

                                                                                     (3)

若E(i, j)=1，则该像素点判为对绘制质量敏感的垂直边缘区域，否则判为失真在人眼不可察觉范围内的纹理平坦区域；

(2-3) 对整个宏块进行遍历，若出现E(i, j)=1的像素点，则停止搜索，标记该宏块为垂直边缘区域，若对整个宏块搜索后所有像素点的E(i, j)=0，则标记该宏块为纹理平坦区域。

宏块区域划分后的深度图如图5所示，其中红色标识的部分为对绘制失真敏感的边缘区域，其余部分为绘制失真对人眼不敏感的平坦区域。

上述的步骤(3)所述的对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索，得到各宏块的最优编码模式，其具体步骤如下：

(3-1) 所述步骤(3)的判决，对垂直边缘区域的宏块采用H.264/AVC标准规定的全搜索方法进行全搜索编码；

(3-2) 所述步骤(3)的判决，对平坦区域的宏块仅搜索帧内模式和帧间16×16模式，通过计算比较率失真性能选择最佳编码模式。

传统的彩色视频编码通常以编码图像的率失真(Rate-Distortion, R-D)性能作为评价编码器性能的指标，即在相同的码率下提高编码图像的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)。与彩色视频不同的是，深度图只辅助虚拟视点合成，并不用于终端显示，因此应从最终绘制的虚拟视点的质量来评价深度编码的效率。本发明实施例通过计算原始视频图像与绘制虚拟视点图像的PSNR以衡量深度编码的客观质量。

本实施例将本发明方法与H.264/AVC的标准参考模型JM方法进行比较。与JM全搜索算法相比，本发明方法的总编码时间是JM的-55.05% ~ -66.27%；运动估计(ME)时间是JM的-56.02% ~ -66.95%；绘制视的PSNR基本不变，变化范围在-0.008dB ~ +0.019dB之间；编码码率的变化也很微小，变化百分比范围在+1.22% ~ -0.50%之间。从主观质量上看，图6为利用本发明方法对深度图编码后进行虚拟视点绘制得到的绘制图像，图7为利用H.264/AVC标准方式编码后的深度图进行虚拟视点绘制得到的绘制图像，可见两幅图像的主观质量基本相当。图8示出了分别用经过JM编码和本发明方法编码后的深度图绘制的虚拟视的率失真性能，可见本发明方法与JM的率失真性能基本一致。按照本发明所述方法，能在码率和绘制质量基本不变的前提下提高深度图编码速度，由此也验证了本发明的有效性。

Claims (3)

1.一种基于JNDD模型的快速深度图编码模式选择方法，其操作步骤是：

（1）编码宏块的边缘检测：对各编码宏块进行边缘检测，得到当前宏块的边缘值；

（2）宏块区域类型的划分：将宏块边缘值与由JNDD模型确定的深度差不可被人眼察觉的门限值进行比较，把宏块划分为垂直边缘区域与平坦区域，具体步骤如下：

(2.1) 用I(i, j)表示深度图中像素点的灰度值，利用下式(2)所示的最小可觉深度JNDD模型D _JND (I, j)计算宏块中像素点不可被人眼察觉的深度差门限，

    (2)

(2.2) 将宏块中像素点的边缘值G(i, j)与D _JND (i, j)进行比较，如下式(3)所示，计算E(i, j)以判决该宏块的属性：

    (3)

若E(I, j)=1，则该像素点判为对绘制质量敏感的垂直边缘区域，否则判为失真在人眼不可察觉范围内的纹理平坦区域；

(2.3) 对整个宏块进行遍历，若出现E(i, j)=1的像素点，则停止搜索，标记该宏块为垂直边缘区域，若对整个宏块搜索后所有像素点的E(i, j)=0，则标记该宏块为纹理平坦区域；

（3）最优编码模式选择：对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索，得到各宏块的最优编码模式。

2.根据权利要求1所述的基于JNDD模型的快速深度图编码模式选择方法，其特征在于所述对编码宏块进行边缘检测的具体步骤如下：

(1.1) 将当前编码帧划分成16×16大小的宏块，把当前正在处理的宏块定义为当前编码块；

(1.2) 对当前编码块进行Sobel边缘检测，如下式(1)所示，得到当前编码块中的每个像素点的边缘值G(I, j)，

       (1)

其中G(i, j)表示Sobel边缘检测后深度图中每个像素点的边缘值，I表示深度图，*表示二维卷积运算。

3.根据权利要求1所述的基于JNDD模型的快速深度图编码模式选择方法，其特征在于对所述最优编码模式的选择的具体步骤如下：

(3.1) 所述步骤(3)的判决，对垂直边缘区域的宏块采用H.264/AVC标准规定的全搜索方法进行全搜索编码；

(3.2) 所述步骤(3)的判决，对平坦区域的宏块仅搜索帧内模式和帧间16×16模式，通过计算比较率失真性能选择最佳编码模式。