CN102281439B - 流媒体视频图像预处理方法 - Google Patents

Abstract

本发明公开了一种流媒体视频图像预处理方法，旨在提供一种在保证重要区域图像质量的情况下，降低图像编码码率的视频图像预处理方法。本方法包括以下步骤：从视频源取得一帧RGB格式的图像转换为YUV420格式的图像；对图像的Y分量作边缘检测，得到边缘2值图像；将原图像和边缘2值图像缩放固定大小；对图像的Y分量作人脸检测；对图像的Y分量的非重要区域，作双边滤波操作；对图像的U、V分量进行双边滤波操作。图像重要区域一半为人脸部位和边缘部位，处理以后的图像将可以降低编码码率，而对人脸等区域不进行处理，保证重要部位的清晰度。本发明适用于手机等无线网络的流媒体处理。

Description

流媒体视频图像预处理方法

技术领域

本发明涉及一种视频图像预处理方法，尤其是涉及一种对流媒体视频图像进行处理使之更加适宜于网络传输的方法。

背景技术

在手机流媒体所处的无线互联网络中，网络带宽极其有限。要在低端手机上实现流媒体解决方案，不仅仅是在算法的时间复杂度上需要高度优化，网络带宽的瓶颈很难突破。尤其是GPRS网络，更是如此。在流媒体传输中，视频图像的码率占据着主要部分，而且码率波动范围较大。传统的均值滤波算子操作是一种低通滤波器，它能够有效去除噪声，降低码率。但是在去除噪声的同时，也使得图像变得模糊。

中华人民共和国国家知识产权局于2009年02月04日公开了公开号为CN101350235A的专利文献，名称是视频图像预处理方法，包括如下步骤:初始化噪声点数和噪声阈值；计算当前编码块原始像素与零运动矢量参考块像素差的绝对值集合；所述集合中去掉与噪声点数对应数量的最大值，然后在剩下的点中选出最大值；判断该最大值是否大于噪声阈值；若该最大值大于噪声阈值，则用普通的快速搜索算法搜索各种块模式的最优运动矢量并选择最优块模式编码；若该最大值小于等于噪声阈值，则调整量化步长，按零运动矢量的模式编码。此方案尽管降低了文件大小和播放时的处理时间，但是在视频质量上整体下降，对于重点内容影响较大。

发明内容

本发明主要是解决现有技术所存在的使视频质量整体下降、难以保持重点部分清晰度的技术问题，提供一种可以在保证重点部分清晰度、保证图像质量的前提下降低视频图像的编码码率的流媒体视频图像处理方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种流媒体视频图像预处理方法，包括以下步骤：

步骤一、从视频源取得一帧RGB格式的图像；

步骤二、将RGB格式的图像转换为YUV420格式的图像；

步骤三、对YUV420格式的图像的Y分量作边缘检测，得到Y分量的边缘2值图像；

步骤四、将YUV420图像缩放到固定大小；

步骤五、将Y分量的边缘2值图像也缩放到同样的尺寸；

步骤六、对缩放之后YUV420格式图像的Y分量，做人脸检测，得到人脸区域；

步骤七、对缩放之后的YUV420格式图像的Y分量的非人脸区域和非边缘点，作双边滤波操作；

步骤八、对缩放之后的YUV420格式图像的U、V分量进行双边滤波操作，得到处理以后的图像。

图像重要区域一般为人脸部位和边缘部位，处理以后的图像将可以降低编码码率，而对人脸等区域不进行处理，保证重要部位的清晰度。

作为优选，边缘检测包括以下步骤：

A、首先用2D高斯滤波模板与原始图像进行卷积，以消除噪声；

B、利用一阶偏导有限差分算子找到灰度图像沿着两个方向的导数Gx，Gy，并求出梯度大小和梯度方向；

C、把梯度方向大致分为4个方向（0度，45度，90度，135度），并找到沿这个像素梯度方向的邻接像素；

D、遍历图像，若整个像素的灰度值与梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为零，即不是边缘。

E、使用累积直方图计算两个阈值，凡是大于高阈值的一定是边缘，凡是小于阈值的一定不是边缘；如果在两个之间，则根据这个像素的邻接像素中有没有超过高阈值的边缘像素进行判断，如果有，则就是边缘，否则不是边缘。

作为优选，对YUV420格式图像的缩放包括：

A、对于Y分量，根据Y分量的边缘2值图像选择插值核函数，如果选择的源象素点处于边缘点，则选择bi-cubic计算插值核函数，否则选择三次B样条插值核函数，此处边缘2值图像信息由步骤三得到；

B、对U，V分量，统一采用B样条做插值核函数进行图像缩放。

对于图像缩放来说，高质量的缩放算法有双3次多项式插值bi-cubic,还可以选择3次B样条插值B-Spline。两种插值都是3次多项式插值，只是计算插值系数所采样的多项式不同而已。B样条插值会在一定程度上模糊图像，因为它的滤波器系数具有低通滤波器的特性。通过试验也可以验证：用B样条插值缩放的图像较暗，而普通的bi-cubic插值得到的图像能够保持原图像的亮度不变。同时，B样条插值后的图像编码出来的码率比bi-cubic插值后编码出来的码率要低10%左右。对不同区域选用不同的缩放算法，可以在保证图像质量和降低图像码率之间获得平衡。

作为优选，人脸检测时，如果检测不到人脸，则当前图像的人脸位置固定为上一帧图像的人脸位置，如果连续15帧都没有检测到人脸，则把人脸位置移到图像的中心位置。

作为优选，每一张图片中人脸个数最大为2。

作为优选，对缩放之后的YUV420格式图像的Y分量的部分区域，作双边滤波操作包括：

A、对人脸区域，不做滤波操作；

B、对边缘点，不做滤波操作，其中边缘点信息由步骤五得到；

C、其它部分，进行双边滤波。

传统的滤波操作虽然能够去除噪声，降低码率，但是也使得图像的边缘变模糊了。而双边滤波bi-lateral能够在去除噪声的同时，有效保持图像的边缘。经测试发现，当采用5x5的窗口做双边滤波，会使得图像变模糊，但是边缘却得到很好的保留。本发明采用3x3窗口做双边滤波，为了不使图像模糊，改进了双边滤波器的连续高斯核函数。对于空间位置，不在采用连续高斯函数生成卷积核，而采用改进的离散3x3的均值滤波器。

本发明带来的实质性效果是，可以在保证视频中人脸区域的重要位置质量不变的情况下，有效控制实际编码码率在设定的码率附近，减小视频文件体积，降低网络负荷，为手机GPRS网络实现流媒体技术提供了可行性的解决方案。

附图说明

图1是本发明的一种流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种流媒体视频图像预处理方法，如图1所示，包括以下步骤：

步骤一、从视频源取得一帧RGB格式的图像。

步骤二、将RGB格式的图像转换为YUV420格式图像。

步骤三、对YUV420格式图像的Y分量作边缘检测，得到Y分量的边缘2值图像。

边缘检测具体包括以下步骤：A、首先用2D高斯滤波模板与原始图像进行卷积，以消除噪声；

B、利用一阶偏导有限差分算子找到灰度图像沿着两个方向的导数Gx，Gy，并求出梯度大小和梯度方向；

C、把梯度方向大致分为4个方向（0度，45度，90度，135度），并找到沿这个像素梯度方向的邻接像素；

D、遍历图像，若整个像素的灰度值与梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为零，即不是边缘。

E、使用累积直方图计算两个阈值，凡是大于高阈值的一定是边缘，凡是小于阈值的一定不是边缘；如果在两个之间，则根据这个像素的邻接像素中有没有超过高阈值的边缘像素进行判断，如果有，则就是边缘，否则不是边缘。

步骤四、将YUV420格式图像缩放到固定大小。

对于Y分量，根据Y分量的边缘2值图像选择插值核函数，如果选择的源象素点处于边缘点，则选择bi-cubic计算插值核函数，否则选择三次B样条插值核函数，此处边缘2值图像信息由步骤三得到；对U，V分量，统一采用B样条做插值核函数进行图像缩放。

步骤五、将Y分量的边缘2值图像也缩放到同样的尺寸。

步骤六、对缩放之后YUV420格式图像的Y分量，作人脸检测，得到人脸区域。

如果检测不到人脸，则当前图像的人脸位置固定为上一帧图像的人脸位置，如果连续15帧都没有检测到人脸，则把人脸位置移到图像的中心位置。约定每一张图片中人脸个数最大为2。

步骤七、对缩放之后的YUV420格式图像的Y分量的部分区域，作双边滤波操作。

对人脸区域，不做滤波操作；对边缘点，不做滤波操作，其中边缘点信息由步骤五得到；对其它部分，进行双边滤波。

本实施例采用3x3窗口做双边滤波，为了不使图像模糊，改进了双边滤波器的连续高斯核函数。对于空间位置，不在采用连续高斯函数生成卷积核，而采用改进的离散3x3的均值滤波器。

步骤八、对缩放之后的YUV420格式图像的U、V分量进行双边滤波操作，得到处理以后的图像。

本文中所描述的具体实施例仅仅是对本发明思想作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了边缘检测、双边滤波等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (6)

1.一种流媒体视频图像预处理方法，其特征在于，包括以下步骤：

步骤一、从视频源取得一帧RGB格式的图像；

步骤二、将RGB格式的图像转换为YUV420格式图像；

步骤三、对YUV420格式图像的Y分量作边缘检测，得到Y分量的边缘2值图像；

步骤四、将YUV420格式图像缩放到固定大小；

步骤五、将Y分量的边缘2值图像也缩放到同样的尺寸；

步骤六、对缩放之后YUV420格式图像的Y分量，作人脸检测，得到人脸区域；

步骤七、对缩放之后的YUV420格式图像的Y分量的非人脸区域和非边缘点，作双边滤波操作；

步骤八、对缩放之后的YUV420格式图像的U、V分量进行双边滤波操作，得到处理以后的图像。

2.根据权利要求1所述的流媒体视频图像预处理方法，其特征在于，所述边缘检测包括以下步骤：

A、首先用2D高斯滤波模板与原始图像进行卷积，以消除噪声；

B、利用一阶偏导有限差分算子找到灰度图像沿着两个方向的导数Gx，Gy，并求出梯度大小和梯度方向；

C、把梯度方向大致分为0度、45度、90度和135度4个方向，并找到沿这个像素梯度方向的邻接像素；

D、遍历图像，若整个像素的灰度值与梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为零，即不是边缘；

E、使用累积直方图计算两个阈值，凡是大于高阈值的一定是边缘，凡是小于阈值的一定不是边缘；如果在两个之间，则根据这个像素的邻接像素中有没有超过高阈值的边缘像素进行判断，如果有，则就是边缘，否则不是边缘。

3.根据权利要求1所述的流媒体视频图像预处理方法，其特征在于，所述步骤四包括：

A、对于Y分量，根据Y分量的边缘2值图像选择插值核函数，如果选择的源象素点处于边缘点，则选择双3次多项式插值bi-cubic计算插值核函数，否则选择三次B样条插值核函数，此处边缘2值图像信息由步骤三得到； 

B、对U，V分量，统一采用B样条做插值核函数进行图像缩放。

4.根据权利要求1所述的流媒体视频图像预处理方法，其特征在于，步骤六中，如果检测不到人脸，则当前图像的人脸位置固定为上一帧图像的人脸位置，如果连续15帧都没有检测到人脸，则把人脸位置移到图像的中心位置。

5.根据权利要求1或4所述的流媒体视频图像预处理方法，其特征在于，每一张图片中人脸个数最大为2。

6.根据权利要求1或2所述的流媒体视频图像预处理方法，其特征在于，所述步骤七包括：

A、对人脸区域，不做滤波操作；

B、对边缘点，不做滤波操作，其中边缘点信息由步骤五得到；

C、其它部分，进行双边滤波。

Images