CN103152569A - 一种基于深度信息的视频感兴趣区域压缩方法 - Google Patents

Abstract

一种基于深度信息的视频感兴趣区域压缩方法，涉及一种视频感兴趣区域压缩方法，解决现有的感兴趣区域压缩方法不能根据人类视觉对低频信息敏感对高频信息不敏感的特性和人类视觉对前景和深度交界区域的细节敏感对背景区域细节不敏感的特性进行自动提取感兴趣区域的问题。获取待压缩视频的每一帧画面的深度图序列；对深度图序列进行边缘提取；对提取的结果进行数学形态学膨胀操作，获取边缘区域的周边区域；对深度图序列进行区域分割，计算各分割区域的像素灰度平均值将赋值给该区域内的所有像素；确定感兴趣区域；将非感兴趣区域进行平滑处理；对处理后的视频图像进行压缩编码。本发明可广泛应用于对视频信息感兴趣区域的压缩过程。

Description

一种基于深度信息的视频感兴趣区域压缩方法

技术领域

本发明涉及一种视频感兴趣区域压缩方法。

背景技术

视频所包含的数据量巨大，尤其是三维视频，它同时拥有两路二维视频或者一路二维视频和一路深度图序列。视频压缩式是减少视频数据量，以便于其存储和传输的关键技术。

现有的感兴趣区域压缩方法不能根据人类视觉对低频信息蜜柑对高品信息不敏感的特性和人类视觉对前景和深度交界区域的细节敏感对背景区域细节不敏感的特性进行自动提取感兴趣区域。

发明内容

本发明为了解决现有的感兴趣区域压缩方法不能根据人类视觉对低频信息敏感对高频信息不敏感的特性和人类视觉对前景和深度交界区域的细节敏感对背景区域细节不敏感的特性进行自动提取感兴趣区域的问题，从而提供一种基于深度信息的视频感兴趣区域压缩方法。

一种基于深度信息的视频感兴趣区域压缩方法，它包括如下步骤：

步骤一：获取待压缩视频的每一帧画面的深度图序列；深度z可由以下方程求出：

$z(r,c)=\frac{1.0}{(P(r,c)/255.0)\×(1.0/\mathrm{MinZ}-1.0/\mathrm{MaxZ})+1.0/\mathrm{MaxZ}}---\left(1\right)$

其中z(r，c)代表r行c列处像素的实际深度值，P(r，c)为该位置深度图的灰度值，MinZ和MaxZ分别为深度最小值和深度最大值；

步骤二：利用边缘检测算法对深度图序列进行边缘提取，所述边缘提取的结果用一幅与所述深度图序列等大的二进制灰度图表示，

所述等大的条件为图像行数M和列数N均与所述深度图相同；

其中，灰度值为“0”的像素表示该点在所述深度图序列上为非边缘区域，灰度值为“1”的像素表示该点在所述深度图序列上为边缘区域；

步骤三：对边缘提取的结果进行数学形态学膨胀操作，获取边缘区域的周边区域；

所述数学形态学膨胀操作是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程；膨胀操作定义为：

即对深度图边缘区域X进行大小为S的膨胀操作所产生的图像满足：像素x的大小为膨胀操作S的邻域与深度图边缘区域X的交集非空；

步骤四：利用图像分割方法对深度图序列进行区域分割，计算各分割区域的像素灰度平均值，并将所述像素灰度平均值赋值给该区域内的所有像素；

步骤五：根据步骤二获得的边缘区域、步骤三获得的边缘区域的周边区域和步骤四获得的像素灰度平均值确定感兴趣区域；

用参数I表示感兴趣程度，感兴趣程度I的范围为0～1，设深度图边缘及其周边区域的感兴趣程度I为1，所述感兴趣程度I为1时则该区域为感兴趣区域，其他区域的感兴趣程度按下式定义：

I(r，c)＝P(r，c)/255.0

其中I(r，c)代表r行c列处像素的感兴趣程度，P(r，c)为该位置深度图的灰度值；

步骤六：采用时域与空域联合的高斯平滑滤波方法将非感兴趣区域进行平滑处理，非感兴趣区域为I小于0.6的区域，所用高斯窗函数的方差与I成反比；

步骤七：处理后的视频图像可用MPEG4和H.264的压缩标准进行压缩编码。

本发明一种基于深度信息的视频感兴趣区域压缩方法，实现了根据人类视觉对低频信息敏感对高频信息不敏感的特性和人类视觉对前景和深度交界区域的细节敏感对背景区域细节不敏感的特性进行自动提取感兴趣区域的过程。采用本发明一种基于深度信息的视频感兴趣区域压缩方法，对深度图进行感兴趣区域压缩与直接用压缩标准进行压缩方法比较，能够在不影响主观质量的条件下提高压缩比10％～20％。

附图说明

图1为本发明一种基于深度信息的视频感兴趣区域压缩方法的流程图。

具体实施方式

具体实施方式一，结合图1说明本具体实施方式。一种基于深度信息的视频感兴趣区域压缩方法，它包括如下步骤：

步骤一：获取待压缩视频的每一帧画面的深度图序列；深度z可由以下方程求出：

$z(r,c)=\frac{1.0}{(P(r,c)/255.0)\×(1.0/\mathrm{MinZ}-1.0/\mathrm{MaxZ})+1.0/\mathrm{MaxZ}}---\left(1\right)$

其中z(r，c)代表r行c列处像素的实际深度值，P(r，c)为该位置深度图的灰度值，MinZ和MaxZ分别为深度最小值和深度最大值；

步骤二：利用边缘检测算法对深度图序列进行边缘提取，所述边缘提取的结果用一幅与所述深度图序列等大的二进制灰度图表示，

所述等大的条件为图像行数M和列数N均与所述深度图相同；

其中，灰度值为“0”的像素表示该点在所述深度图序列上为非边缘区域，灰度值为“1”的像素表示该点在所述深度图序列上为边缘区域；

步骤三：对边缘提取的结果进行数学形态学膨胀操作，获取边缘区域的周边区域；

所述数学形态学膨胀操作是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程；膨胀操作定义为：

即对深度图边缘区域X进行大小为S的膨胀操作所产生的图像满足：像素x的大小为膨胀操作S的邻域与深度图边缘区域X的交集非空；

步骤四：利用图像分割方法对深度图序列进行区域分割，计算各分割区域的像素灰度平均值，并将所述像素灰度平均值赋值给该区域内的所有像素；

步骤五：根据步骤二获得的边缘区域、步骤三获得的边缘区域的周边区域和步骤四获得的像素灰度平均值确定感兴趣区域；

用参数I表示感兴趣程度，感兴趣程度I的范围为0～1，设深度图边缘及其周边区域的感兴趣程度I为1，所述感兴趣程度I为1时则该区域为感兴趣区域，其他区域的感兴趣程度按下式定义：

I(r，c)＝P(r，c)/255.0

其中I(r，c)代表r行c列处像素的感兴趣程度，P(r，c)为该位置深度图的灰度值；

步骤六：采用时域与空域联合的高斯平滑滤波方法将非感兴趣区域进行平滑处理，非感兴趣区域为I小于0.6的区域，所用高斯窗函数的方差与I成反比；

步骤七：处理后的视频图像可用MPEG4和H.264的压缩标准进行压缩编码。

所述MPEG4为运动图像专家组第四代视频编码标准；H.264为先进视频编码标准。

具体实施方式二、本具体实施方式与具体实施方式一不同的是步骤二所述膨胀操作所选取S大小范围为3～8。

本技术的特色和创新之处在于根据人眼立体视觉对前景区域深度变化敏感，对背景区域深度变化不敏感以及深度图存在大部分灰度平滑区域，而边缘处灰度变化剧烈的特点，利用边缘检测和图像分割技术实现深度图感兴趣区域的自动选取。再根据上述感兴趣区域选取结果对深度图进行感兴趣区域压缩。

Claims (2)

1.一种基于深度信息的视频感兴趣区域压缩方法，其特征在于它包括如下步骤：

步骤一：获取待压缩视频的每一帧画面的深度图序列；深度z可由以下方程求出：

$z(r,c)=\frac{1.0}{(P(r,c)/255.0)\×(1.0/\mathrm{MinZ}-1.0/\mathrm{MaxZ})+1.0/\mathrm{MaxZ}}---\left(1\right)$

其中z(r，c)代表r行c列处像素的实际深度值，P(r，c)为该位置深度图的灰度值，MinZ和MaxZ分别为深度最小值和深度最大值；

步骤二：利用边缘检测算法对深度图序列进行边缘提取，所述边缘提取的结果用一幅与所述深度图序列等大的二进制灰度图表示，

所述等大的条件为图像行数M和列数N均与所述深度图相同；

其中，灰度值为“0”的像素表示该点在所述深度图序列上为非边缘区域，灰度值为“1”的像素表示该点在所述深度图序列上为边缘区域；

步骤三：对边缘提取的结果进行数学形态学膨胀操作，获取边缘区域的周边区域；

所述数学形态学膨胀操作是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程；膨胀操作定义为：

即对深度图边缘区域X进行大小为S的膨胀操作所产生的图像满足：像素x的大小为膨胀操作S的邻域与深度图边缘区域X的交集非空；

步骤四：利用图像分割方法对深度图序列进行区域分割，计算各分割区域的像素灰度平均值，并将所述像素灰度平均值赋值给该区域内的所有像素；

步骤五：根据步骤二获得的边缘区域、步骤三获得的边缘区域的周边区域和步骤四获得的像素灰度平均值确定感兴趣区域；

用参数I表示感兴趣程度，感兴趣程度I的范围为0～1，设深度图边缘及其周边区域的感兴趣程度I为1，所述感兴趣程度I为1时则该区域为感兴趣区域，其他区域的感兴趣程度按下式定义：

I(r，c)＝P(r，c)/255.0

其中I(r，c)代表r行c列处像素的感兴趣程度，P(r，c)为该位置深度图的灰度值；

步骤六：采用时域与空域联合的高斯平滑滤波方法将非感兴趣区域进行平滑处理，非感兴趣区域为I小于0.6的区域，所用高斯窗函数的方差与I成反比；

步骤七：处理后的视频图像可用MPEG4和H.264的压缩标准进行压缩编码。

2.根据权利要求1所述的一种基于深度信息的视频感兴趣区域压缩方法，其特征在于步骤二所述膨胀操作所选取S大小范围为3～8。

Images