CN108513131A - 一种自由视点视频深度图感兴趣区域编码方法 - Google Patents

Abstract

本发明涉及一种自由视点视频深度图感兴趣区域编码方法，包括以下步骤：（1）输入一帧深度图；（2）计算图像分割阈值；（3）图像划分及缩小；（4）连通域分析；（5）ROI区域检测；（6）ROI区域设置及编码。本发明充分利用了深度图的特点，通过连通域分析提取出深度图的感兴趣区域，再运用感兴趣区域编码方法压缩深度图，实现了深度图的高质量高效压缩。

Description

一种自由视点视频深度图感兴趣区域编码方法

技术领域

本发明涉及数字视频编码领域，具体涉及一种自由视点视频深度图感兴趣区域编码方法。

背景技术

随着多媒体技术与计算机网络等信息技术的发展与繁荣，人们对于多媒体视频的视觉体验也在日益提高，传统的单视点平面视频逐渐难以满足用户的视觉需求。自由视点视频(FVV,Free Viewpoint Video)作为一种三维视频表示技术，在观看视角、交互感以及沉浸式体验等方面都表现出极大的优越性。这种视频技术可以根据用户的观看角度或选定位置自适应地播放相应视点的视频。与其它三维视频技术相比，自由视点视频可以为用户提供任意观看角度，而非仅仅局限于事先选定的有限数目的观看视角。

到目前为止，FVV编码经历了两个阶段的发展。第一个阶段已经基本完成，成果表现为多视点视频编码(Multiview Video Coding,MVC)国际标准的制定。第二个阶段还在发展中，国际研究组织提出了多视点加深度(Multiview Video plus Depth,MVD)方案，主要是增加深度信息(深度视频)作为二维纹理视频的增补信息，并用于绘制供用户观看的虚拟视点。此方案为FVV提供了更高的准确度和灵活性。目前MVD主要还是限于研究，对自由视点视频中的彩色视频和深度视频进行多路编码，数据量极为庞大，因此设计出一种高效高质量的深度图编码方法显得非常重要，具有很好的实际应用价值。

感兴趣区域(ROI)编码是一种根据人眼视觉特点或主观需求，对视频的不同区域使用不同程度的压缩级别来提高压缩效率、同时提高其主观质量或满足特定需求的压缩方法。在视频编码处理中，对于感兴趣区域和非感兴趣区域的处理往往通过设置不同的量化参数值来实现。在H.264和HEVC等主流视频编码器中，量化参数(Quant Parameter，QP)是量化步长(Q_step)的编号，对于目前主流的H.264和H.265编码标准而言，Q_step共有52个值，对应的QP取值范围为[0,51]。Q_step随着QP的增加而增大，每当QP值增加6，Q_step增加一倍。当QP取最小值0时，量化最精细；反之，当QP取最大值51时，量化最粗糙。目前主流视频压缩芯片均支持对若干个矩形区域进行QP设置，方便用户根据需求实现感兴趣区域编码。

深度图的编码方法目前有两大类：第一类是基于下采样的深度图像编码方法。由于深度图像平坦区域较多，进行下采样处理损失的信息量较少，因此这种处理方法能够通过减少码率达到提高压缩效率的目的。第二类是运用深度图像边界的预测与滤波技术，通过对深度图像边界的预测与滤波，减少编码所需比特数并提高虚拟视角绘制的图像质量，从而达到提高压缩效率的目的。目前公开的专利大多数是采用上述两类方法，而以感兴趣区域为编码思路的专利较少。使用ROI编码方法来压缩深度图，不仅能保证深度图的质量，而且还能提高压缩效率。ROI编码的重点和难点在于感兴趣区域的选取过程。申请号为200810120082.8的专利公开了一种立体电视系统中深度图像的编码方法，主要是根据宏块边缘强度值，对宏块设置不同的量化参数。有效地保护了深度图像的边缘信息，但对深度图内容部分没有进行处理。申请号为201310063726.5的专利公开了一种深度图的感兴趣区域压缩方法，对边缘部分和深度图内容部分设置不同的量化参数，但并未提出较好的感兴趣区域提取方法。

发明内容

在自由视点视频系统中，为了保证深度图视频的前景内容清晰同时降低压缩码流大小，本发明提出了一种自由视点视频深度图感兴趣区域编码方法。

一种自由视点视频深度图感兴趣区域编码方法，所述方法包括以下步骤：

(1)输入一帧深度图

获取一帧宽W、高H的深度图I₁，图中每个像素点对应8个比特的灰度值。一般情况下，深度图I₁的宽和高按照分辨率取，宽和高分别为水平分辨率和垂直分辨率。

(2)计算图像分割阈值

对I₁采用最大类间方差法计算前景和背景的分割阈值TH，若像素点的灰度值大于TH，则该像素点属于深度图前景，否则属于深度图背景；创建宽W、高H的图像I₂，遍历图像I₂，依据I₁的前景背景分割结果对I₂每个像素点进行赋值，即将深度图背景的像素点灰度值均取0，将深度图前景的像素点灰度值均取255。

(3)图像划分及缩小

由于视频编码器的ROI区域是基于正方形区块设置的，所以先对图像进行区块划分。为了加快图像分析速度，还要对图像进行缩小。具体步骤如下：

(3-1)对图像I₂，以N×N像素大小的正方形区域为划分单位，按从上到下从左到右的顺序进行区块划分，其中N的取值集合为{16,64}，由视频编码器类型决定，H.264视频编码器取值16，HEVC视频编码器取值64；将W与N作商向上取整，得到水平方向划分后的区块个数col；将H与N作商向上取整，得到垂直方向划分后的区块个数row。

(3-2)创建宽col、高row的图像I₃，将I₂上N×N的像素块当成I₃的一个像素点，从而实现图像的缩小：遍历图像I₂，搜索每一个N×N的区块，若区块内像素点的灰度值全为0或255，则将对应的0或255作为I₃对应像素点的灰度值；否则该区块包含图像边缘信息，将I₃对应像素点的灰度值设置为255，从而实现包含边缘的区块与其它区块的融合，也很好地保留了图像的边缘信息。图像缩小后将加快步骤(4)中的图像分析过程。

(4)连通域分析

采用图像处理中经典的4邻域连通处理方法标记出I₃上的连通域；计算所有连通域的像素总面积，并除以连通域个数得到连通域像素面积的平均值S_avg；当某个连通域的面积小于α×S_avg，α取值范围为[0.1,0.5],则直接将其舍弃，即最终仅保留面积大于等于α×S_avg的连通域，并得到连通域的总个数N_a。

(5)ROI区域检测

记可设置的ROI区域最大个数为M，其值由实际的编码器决定，实际设置的ROI区域个数为N_ROI，ROI区域检测的具体步骤如下：

(5-1)若N_a小于等于M，则保留所有的连通域，将N_ROI设为N_a，并跳到步骤(5-3)；

(5-2)若N_a大于M，则对N_a个连通域按像素面积进行降序排列，仅保留前M个连通域，并将N_ROI设为M；

(5-3)对N_ROI个连通域，逐个取其最小外接矩形；

(5-4)将每个外接矩形的左上顶点坐标和宽高都乘以N，完成矩形从划分后的缩小图像到原图的映射，最终得到深度图中N_ROI个ROI区域位置信息。

(6)ROI区域设置及编码

在深度图编码过程中，通过对检测的ROI区域设置较小的QP值，使此区域编码更清晰，而非ROI区域增大QP值，既能保留深度图的内容细节，又能提高图像压缩率。由于深度图上像素点的灰度值表征场景中该点与相机间距离，即灰度值越大，离相机越近，所以根据灰度值来设置QP的取值范围。对N_ROI个ROI区域，计算每个ROI区域内所有前景像素点的灰度平均值，将平均值V_avg按升序排列，若多个ROI区域的V_avg相等，则按ROI区域的面积升序排列，来区分这多个ROI区域，排序序号依次为1，2，……，N_ROI。根据V_avg的排序序号给每个ROI区设置级别T_rank，因此T_rank的取值范围为[1,N_ROI]。V_avg越大，T_rank越大，表示关注度越高，信息越重要。QP_ROI按式(1)进行计算：

式中QP_bg为背景区域的QP值，取值范围为[28,40]；D_max为最大QP差值，即为级别最高的ROI区域与背景区域的QP差值，当N_ROI小于等于6时，D_max的取值范围为[6,12]，当N_ROI大于6时，D_max的取值范围为[12,18]；每个ROI区域的T_rank除以N_ROI得到小于等于1的比例系数，该系数乘以D_max后向下取整得到该ROI区域与背景区域的QP差值。将QP_ROI应用于深度图编码。

本发明的技术构思为：首先输入一帧深度图，图中每个像素点对应8个比特的灰度值；接着利用最大类间方差法计算出前景背景分割阈值并将图像二值化；然后对图像进行正方形区块划分，并将图像缩小；再标记出图像上的连通域，根据像素面积值进行初步筛选；然后确定保留的连通域个数，对每个连通域取最小外接矩形，并将矩形从缩小后图像映射到原深度图上，从而得到ROI区域个数及位置信息；最后根据ROI区域内前景像素点的灰度平均值设置ROI区域级别，从而对每个ROI区域设置合理的QP取值范围。

与现有技术相比，本发明具有以下有益效果：

本发明提出了一种自由视点视频深度图感兴趣区域编码方法。该方法与现有技术相比，具有如下特点和优点：本方法是针对自由视点视频的应用提出的。对图像进行正方形区块划分并缩小，加快了图像的分析速度。通过4邻域连通处理方法标记出连通域，根据面积筛选连通域。最后充分利用深度图上像素点的灰度值表征场景中该点与相机间距离的特点，根据ROI区域内所有前景像素点的平均灰度值设置ROI区域级别，从而对每个ROI区域设置合理的QP取值范围。本发明充分利用了深度图的特点，通过连通域分析提取出深度图的感兴趣区域，再运用感兴趣区域方法压缩深度图，实现了深度图的高质量高效压缩。

附图说明

图1为本发明流程框图；

图2为图像区块划分及缩小示意图，其中，左图为前景图像划分示意图，右图为缩小后示意图；

图3为ROI区域检测流程框图。

具体实施方式

下面结合实施例和附图来详细描述本发明，但本发明并不仅限于此。

本实施例采用NVIDIA Jetson TX2为硬件平台，如图1所示，一种自由视点视频深度图感兴趣区域编码方法，包括以下步骤：

(1)输入一帧深度图；

(2)计算图像分割阈值；

(3)图像划分及缩小；

(4)连通域分析；

(5)ROI区域检测；

(6)ROI区域设置及编码。

步骤(1)具体包括：

获取一帧宽1024、高768的深度图I₁，图中每个像素点对应8个比特的灰度值。

步骤(2)具体包括：

对I₁采用最大类间方差法计算前景和背景分割的阈值TH。若像素点的灰度值大于TH，则该像素点属于深度图前景，否则属于深度图背景；创建宽W、高H的图像I₂，遍历图像I₂，依据I₁的前景背景分割结果对I₂每个像素点进行赋值，即将深度图背景的像素点灰度值均取0，将深度图前景的像素点灰度值均取255。

步骤(3)具体包括：

(3-1)对图像I₂，以N×N像素大小的正方形区域为划分单位，进行区块划分，其中N的取值集合为{16,64}。由于本实施例采用H.264视频编码器，所以N取16，整幅图像按16×16正方形区块进行划分。水平方向划分后的区块个数col为64，垂直方向划分后的区块个数row为48。

(3-2)创建宽64、高48的图像I₃，将I₂上16×16的像素块当成I₃的一个像素点，从而实现图像的缩小：遍历图像I₂，搜索每一个16×16的区块，若区块内像素点的灰度值全为0或255，则将对应的0或255作为I₃对应像素点的灰度值；否则区块包含图像边缘信息，将I₃对应像素点的灰度值设置为255，从而实现了包含边缘的区块与其它区块的融合，也很好地保留了图像的边缘信息。图像缩小后将加快步骤(4)中的图像分析过程。

图2所示为深度图区块划分及缩小示意图，白色区域也进行划分，但未画出边界，左图中每个小正方形代表像素块，右图中每个小正方形代表像素点，图像边缘区块和其它区块融合较好。

步骤(4)具体包括：

采用图像处理中经典的4邻域连通处理方法标记出I₃上的连通域；计算所有连通域的像素总面积，并除以连通域个数得到连通域像素面积的平均值S_avg；当某个连通域的面积小于α×S_avg，α取值范围为[0.1,0.5]，这里α取0.2，则直接将其舍弃，即最终仅保留面积大于等于α×S_avg的连通域，并得到连通域的总个数N_a。

步骤(5)具体包括：

可设置的ROI区域最大个数M的典型取值范围为[6,10]，由于Jetson TX2最大支持8个ROI区域的设置，所以M取8。实际设置的ROI区域个数为N_ROI，ROI区域检测的具体步骤如下：

(5-1)若N_a小于等于8，则保留所有的连通域，将N_ROI设为N_a，并跳到步骤(5-3)；

(5-2)若N_a大于8，则对N_a个连通域按像素面积进行降序排列，仅保留前8个连通域，并将N_ROI设为8；

(5-3)对N_ROI个连通域，逐个取其最小外接矩形；

(5-4)将每个外接矩形的左上顶点坐标和宽高都乘以16，完成矩形从划分后的缩小图像到原图的映射，最终得到深度图中N_ROI个ROI区域位置信息。

图3所示为ROI区域检测流程框图，其中阈值为α×S_avg，经过上述一系列处理，有效地提取出深度图ROI区域。

步骤(6)具体包括：

对N_ROI个ROI区域，计算每个ROI区域内所有前景像素点的灰度平均值，将平均值V_avg按升序排列，若多个ROI区域的V_avg相等，则按ROI区域的面积升序排列，来区分这多个ROI区域，排序序号依次为1，2，……，N_ROI。根据V_avg的排序序号给每个ROI区设置级别T_rank，因此T_rank的取值范围为[1,N_ROI]。V_avg越大，T_rank越大，表示关注度越高，信息越重要。QP_ROI按式(1)进行计算：

式中QP_bg为背景区域的QP值，取值范围为[28,40]；D_max为最大QP差值，即为级别最高的ROI区域与背景区域的QP差值，当N_ROI小于等于6时，D_max的取值范围为[6,12]，当N_ROI大于6时，D_max的取值范围为[12,18]。将QP_ROI应用于深度图编码。

Claims (9)

1.一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的编码方法包括以下步骤：

(1)输入一帧深度图：

获取一帧水平分辨率为W、竖直分辨率为H的深度图I₁，图中每个像素点对应8个比特的灰度值；

(2)计算图像分割阈值：

采用最大类间方差法计算深度图的前景和背景分割的阈值，划定视频图像的前景和背景区域；创建一帧水平分辨率为W、竖直分辨率为H的深度图I₂，依据I₁的前景背景分割结果对I₂每个像素点进行赋值；

(3)图像划分及缩小：

先对I₂按正方形区块进行划分，创建成一定比例缩小的图像I₃，将I₂的正方形区块当成I₃的像素点，遍历按正方形区块进行划分的深度图I₂，将正方形区块的灰度值作为I₃对应像素点的灰度值对图像进行缩小；

(4)连通域分析：

先对I₃进行连通域分析，统计出连通域个数；再根据设定的面积阈值对连通域进行取舍；

(5)ROI区域检测：

根据可设置的ROI区域最大个数M，其值由实际的编码器决定，对连通域进一步筛选；对筛选得到的连通域，逐个取最小外接矩形，再将矩形映射到深度图上，得到ROI区域位置信息；

(6)ROI区域设置及编码：

通过计算ROI区域内前景像素点的灰度平均值，确定任一ROI区域的量化参数QP_ROI，QP_ROI用于深度图编码。

2.如权利要求1所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的步骤(2)包括以下子步骤：

(2-1)对I₁采用最大类间方差法计算前景和背景分割的阈值TH；

(2-2)若像素点的灰度值大于TH，则该像素点属于深度图前景，否则属于深度图背景；

(2-3)创建水平分辨率为W、垂直分辨率为H的图像I₂，遍历图像I₂，依据I₁的深度图前景和深度图背景的分割结果，对I₂每个像素点进行赋值，将深度图背景的像素点灰度值均取0，将深度图前景的像素点灰度值均取255。

3.如权利要求1所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的步骤(3)包括以下子步骤：

(3-1)对图像I₂，以N×N像素大小的正方形区域为划分单位，按从上到下、从左到右的顺序进行区块划分，其中N的取值由视频编码器类型决定；将W与N作商向上取整，得到水平方向划分后的区块个数col；将H与N作商向上取整，得到垂直方向划分后的区块个数row；

(3-2)创建水平分辨率为col、竖直分辨率为row的图像I₃，将I₂上N×N的像素块当成I₃的一个像素点，遍历图像I₂，搜索每一个N×N的区块，若区块内像素点的灰度值全为0或255，则将对应的0或255作为I₃对应像素点的灰度值；否则该区块包含图像边缘信息，将I₃对应像素点的灰度值设置为255。

4.如权利要求3所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，N的取值集合为{16,64}。

5.如权利要求1所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的步骤(4)包括以下子步骤：

(4-1)采用四邻域方法标记出I₃上的连通域；

(4-2)计算所有连通域的像素总面积，并除以连通域个数得到连通域像素面积的平均值S_avg；

(4-3)当任一连通域的面积小于α×S_avg，则直接将其舍弃，保留面积大于等于α×S_avg的连通域，并得到连通域的总个数N_a。

6.如权利要求5所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，α的取值范围为[0.1,0.5]。

7.如权利要求1所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的步骤(5)包括以下子步骤：

(5-1)若N_a小于等于M，则保留所有的连通域，将N_ROI设为N_a，并跳到步骤(5-3)；

(5-2)若N_a大于M，则对N_a个连通域按像素面积进行降序排列，仅保留前M个连通域，并将N_ROI设为M；

(5-3)对N_ROI个连通域，逐个取其最小外接矩形；

(5-4)将每个外接矩形的左上顶点坐标和宽、高值都乘以N，完成矩形从划分后的缩小图像到原图的映射，最终得到深度图中N_ROI个ROI区域位置信息。

8.如权利要求1所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，所述的步骤(6)包括以下子步骤：

(6-1)对N_ROI个ROI区域，计算每个ROI区域内所有前景像素点的灰度平均值，将平均值V_avg按升序排列；若多个ROI区域的V_avg相等，则按ROI区域的面积升序排列，来区分这多个ROI区域；排序序号为1至N_ROI；

(6-2)根据V_avg的排序序号给每个ROI区域设置级别T_rank，T_rank的取值范围为[1,N_ROI]；V_avg越大，T_rank越大；ROI区域的量化参数QP_ROI按式(1)进行计算：

式中QP_bg为背景区域的QP值，D_max为ROI区域与背景区域的最大QP差值；

(6-3)将QP_ROI应用于深度图编码。

9.如权利要求8所述的一种自由视点视频深度图感兴趣区域编码方法，其特征在于，QP_bg的取值范围为[28,40]；当N_ROI小于等于6时，D_max的取值范围为[6,12]，当N_ROI大于6时，D_max的取值范围为[12,18]。