CN106210448B - 一种视频图像抖动消除处理方法 - Google Patents

Abstract

本发明公开了一种视频图像抖动消除处理方法，其包括图像预处理、选取图像特征窗口、特征跟踪、轨迹平滑和图像置换等步骤实现图像的平稳输出，所述图像预处理通过时域滤波处理和空域滤波处理对图像进行降噪处理。本发明的视频图像抖动消除处理方法具有加图像输出平稳、图像质量高和实现性强的特点。

Description

一种视频图像抖动消除处理方法

技术领域

本发明涉及视频图像处理技术领域，具体是指一种视频图像抖动消除处理方法。

背景技术

网络视频图像是由多帧静止图像组合而来，并且静止图像间保持着某种相关性，这些相关的静止图像连接在一起，形成了具有实际意义的视频序列。消除数字视频抖动技术实质上是一种统计方法。在时间和空间上，视频序列通常包含统计冗余度。消除视频抖动技术所依赖的基本统计特性为像素之间的相关性，在各连续帧之间存在简单的相关性平移运动，消除视频抖动算法就是采用一些编码技术，以n*n像素的画面块为单位，有效的开发同一画面各附件像素之间的空间相关性。若附件帧中各像素间具有较大的相关性时，也就是说两个连续帧的内容很相似或相同时，就可以认为视频图像是相对稳定的，然而，若附近帧中各像素间具有较小的相关性时，也就是说两个连续帧的内容发生位置上的平移时，就可以认为发生了抖动，严重影响了视频的播放效果。

发明内容

本发明的目的是提供一种视频图像抖动消除处理方法，具有加图像输出平稳、图像质量高和实现性强的特点。

本发明可以通过以下技术方案来实现：

本发明公开了一种视频图像抖动消除处理方法，包括以下步骤：

选取图像特征窗口：在视频输入数据中的一帧图像选取具有变化结构模型的区间作为图的一系列像特征窗口。在视频选取特征窗口的过程，典型的特征点选择方法是基于灰度值的局部最大变化量，特征点出现在拐角处或不满足平滑约束条件的表面不连续处；拐点，角点也称为兴趣点，而特征点的跟踪就是在连续帧中兴趣点的匹配。为了对特征点进行跟踪，发现一帧图像中一系列特征窗口，在选择特征窗口过程中把那些比较重要的点形成图像的结构；由于在一帧图像中，一般只具有一个具有变化结构模型的区间，但是，同密度活线性密度的区域却很少，可以有效保证视频图像数据处理选取的准确性。

特征跟踪：在一帧图像中发现一系列特征窗口后，计算视频序列轨迹，从而在视频序列的2个基本相邻帧图像中寻找匹配点，具体算法如下：

I(x，y，t+)＝I(x-Δx，y-Δy，t)；

其中x，y表示图像窗口的位置。t表示某一时间捕捉到的第一帧图像；

轨迹平滑：在完成特征跟踪后，对视频序列轨迹分别在X方向和Y方向平滑原轨迹，具体平滑算法为：对X方向：x＝m₁t+c，对Y方向：y＝m₂t+c2；其中x＝m1,c1,m2,c2是衡量，t表示时间。

利用特征跟踪来发现视频码流的轨迹，轨迹方向分别包括X方向和Y方向。因为任何复杂的轨迹因为X方向和Y方向的不同而分成X方向矢量和Y方向矢量。在第一帧中选择特征窗口，然后再下面N个连续图像中跟踪，在跟踪这N个连续图像后得到视频序列中不是很准确的原轨迹，因为一些干扰移动，这个轨迹有可能是混乱的，必须进行平滑化处理。

图像置换：按照如下算法对完成轨迹平滑后的轨迹进行置换处理即可实现图像的平稳输出：

其中Mk，Ni，S(k,l)表示子块中坐标为(k,l)处的像素亮度值；Sr(k+I,l+j)表示参考图像搜索窗中坐标为(k+I,l+j)处的像素亮度值。

为了产生平稳的视频，特征窗口的轨迹适应满足特征跟踪的两个公式，置换每一帧图像的结果是X方向和Y方向的干扰移动将会被抵消。但是如果被置换图像比置换图像大的多，图像的边界区域将会变成黑色。经过图像置换后，特征窗口可以比较平稳的方式运动，因此整个视频都是平稳的。

进一步地，在所述选取图像特征窗口之前，视频输入数据还包括图像预处理步骤，所述图像预处理步骤对图像实施降噪过程，排除图像干扰保留图像需要处理的部分，并过滤掉图像不需要的部分。视频图像降噪作为图像预处理技术，其表现往往决定后期的图像处理。降噪有一个固有的瓶颈，就是在降噪的同时会造成图像细节模糊与丢失，基于此，视频图像降噪包含两个方面的内容，图像噪声的滤除以及图像边缘特征的增强，有效保证了图像输出的质量。

进一步地，所述图像预处理步骤首先将待降噪的当前帧分为16×16大小的块，以块为单位进行后续处理；在划分块数据的同时将图中输入的参考帧分别置为前一帧和后一帧得到帧数据；然后将块数据和帧数据经过滤波处理然后进行平均，就能得到最终的降噪结果输出降噪的图像。

进一步地，所述滤波处理包括时域滤波和空域滤波。

进一步地，所述时域滤波处理的过程如下：首先将帧数据和块数据进行运动估计，结合MAD准则在前一帧中找到其匹配块；然后通过当前块和匹配块的共同信息检测当前运动强度系数k，最后根据运动强度k来确定当前块和匹配块时域平滑滤波强度，进行加权平均滤波。其算法数学描述如下：

Bout是当前块的降噪结果；Bt是当前块，Bt-1是运动估计在前一帧搜索到的匹配块；w是时域加权滤波系数；Th和Tl分别是根据经验设定的块运动强度高阈值和低阈值。

首先将帧数据和块数据进行运动估计，搜索匹配块；接着进行运动检测，将运动强度较小的数据先将时域加权滤波系数设定在某个范围内，然后在进行视频图像滤波时根据运动强度和噪声方差大小自适应的选取滤波系数。时域滤波算法是结合运动估计模块，根据运动强度确定当前块与匹配块时域滤波强度，从而沿着块运动轨迹进行自适应的加权平均滤波，滤波系数和阈值均随着噪声方差估计的大小自适应调节，以达到最佳的降噪效果。

进一步地，所述空域滤波处理的过程如下：将块数据进行噪声标准差估计，噪声标准差估计小的数据直接进行空域滤波处理算法处理；若噪声标准差偏大进行运动检测，选择运动强度较大的数据进行空域滤波算法处理：所述空域滤波算法如下：

NL(z)(i₀，j₀)＝∑_{i，j}∈Iω(i，j)z(i，j)

其中，权重值

取决于像素点(i,j)与目标像素点(i₀,j₀)之间的相似性，权重计算方法如下：

其中SAD(N(i，j)，N(m，n))表示对(i,j)和(m,n)点所在的块进行SAD计，h表示系数调节，Z函数实现了归一化过程。

进一步地，所述噪声标准差估计是采用基于求块方差的加权平均方法进行的。因为噪声估计方法必须遵循的准则是尽量避免在噪声方差估计过程中受到视频图像中有用信息的影响，寻求视频图像的空白块或者较为平坦的地方。如果单纯的对选定的8×8大小宏块进行方差的计算并选出其中的最小值，可能会受到很对有用图像信息的影响，降低估计效果。因此，在对各个块进行方差计算之前先进行有用图像信息的滤除。具体实现方法为：先将8×8大小的宏块分割为四个4×4大小的子块，分别算出这四个4×4大小子块的方差，然后对着四个子块的方差进行加权平均，以加权平均后的方差值作为8*8宏块的方差估算值，最后从所有宏块中选出方差最小的一个值作为图像最终的方差估算值。

本发明一种视频图像抖动消除处理方法，具有如下的有益效果：

第一、图像输出平稳，在本发明中，消除视频图像中的抖动是利用帧与帧之间的相关性，分析出相邻帧，静止图像的抖动因子，从而消除视频图像中的抖动，其处理的过程实质是求解运动估计矢量和图像位移补偿的过程，运动估计矢量是通过估计视频图像在相邻帧之间的运动得到的，它是整个视频图像抖动消除算法的基础；抖动消除后的视频图像补偿技术由图像平移得到，并且视频图像边缘的补偿技术直接决定了抖动消除的效果；

第二、图像质量高，图像的降噪处理通过分析噪声主要来源，建立噪声模型，然后根据噪声的强弱分别进行时域滤波和空域滤波，根据环境自适应调节视频图像噪声大小，降噪后输出视频图像主观视觉质量较好，没有明显的块效应或图像质量下降；

第三、实现性强，图像抖动消除处理和图像降噪处理的步骤简单，算法简洁，处理流程化繁为简，具有较强的可实现性。

附图说明

图1为本发明一种视频图像抖动消除处理方法的流程图。

图2为本发明一种视频图像抖动消除处理方法的图像预处理的流程图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

如图1所示，本发明公开了一种视频图像抖动消除处理方法，包括以下步骤：

选取图像特征窗口：在视频输入数据中的一帧图像选取具有变化结构模型的区间作为图的一系列像特征窗口：

特征跟踪：在一帧图像中发现一系列特征窗口后，计算视频序列轨迹。具体算法如下：

I(x，y，t+)＝I(x-Δx，y-Δy，t)；

其中x，y表示图像窗口的位置。t表示某一时间捕捉到的第一帧图像；

轨迹平滑：在完成特征跟踪后，对视频序列轨迹分别在X方向和Y方向平滑原轨迹，具体平滑算法为：对X方向：x＝m₁t+c₁，对Y方向：y＝m₂t+c₂；

其中x＝m1,c1,m2,c2是衡量，t表示时间；

图像置换：按照如下算法对完成轨迹平滑后的轨迹进行置换处理即可实现图像的平稳输出：

其中Mk，Ni，S(k,l)表示子块中坐标为(k,l)处的像素亮度值。Sr(k+I,l+j)表示参考图像搜索窗中坐标为(k+I,l+j)处的像素亮度值。

进一步地，在所述选取图像特征窗口之前，视频输入数据还包括图像预处理步骤，所述图像预处理步骤对图像实施降噪过程，排除图像干扰保留图像需要处理的部分，并过滤掉图像不需要的部分。

如图2所示，所述图像预处理步骤首先将待降噪的当前帧分为16×16大小的块，以块为单位进行后续处理；在划分块数据的同时将图中输入的参考帧分别置为前一帧和后一帧得到帧数据；然后将块数据和帧数据经过滤波处理然后进行平均，就能得到最终的降噪结果输出降噪的图像。所述滤波处理包括时域滤波和空域滤波。

如图2所示，所述时域滤波处理的过程如下：所述时域滤波处理的过程如下：首先将帧数据和块数据进行运动估计，结合MAD准则在前一帧中找到其匹配块；然后通过当前块和匹配块的共同信息检测当前运动强度系数k，最后根据运动强度k来确定当前块和匹配块时域平滑滤波强度，进行加权平均滤波。其算法数学描述如下：

Bout是当前块的降噪结果；Bt是当前块，Bt-1是运动估计在前一帧搜索到的匹配块；w是时域加权滤波系数。Th和Tl分别是根据经验设定的块运动强度高阈值和低阈值。

如图2所示，所述空域滤波处理的过程如下：将块数据进行噪声标准差估计，噪声标准差估计小的数据直接进行空域滤波处理算法处理；若噪声标准差偏大进行运动检测，选择运动强度较大的数据进行空域滤波算法处理：所述空域滤波算法如下：

NL(z)(i₀，j₀)＝∑_{i，j}∈Iω(i，j)z(i，j)

其中，权重值

取决于像素点(i,j)与目标像素点(i₀,j₀)之间的相似性，权重计算方法如下：

其中SAD(N(i，j)，N(m，n))表示对(i,j)和(m,n)点所在的块进行SAD计，h表示系数调节，Z函数实现了归一化过程。所述噪声标准差估计是采用基于求块方差的加权平均方法进行的。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种视频图像抖动消除处理方法，其特征在于包括以下步骤：

选取图像特征窗口：在视频输入数据中的一帧图像选取具有变化结构模型的区间作为图像的一系列特征窗口；

特征跟踪：在一帧图像中发现一系列特征窗口后，计算视频序列轨迹；具体算法如下：I(x,y,t+)＝I(x-Δx,y-Δy,t)；

其中x，y表示图像窗口的位置；t表示某一时间捕捉到的第一帧图像；

轨迹平滑：在完成特征跟踪后，对视频序列轨迹分别在X方向和Y方向平滑原轨迹，具体平滑算法为：对X方向：x＝m₁t+c₁，对Y方向：y＝m₂t+c₂；

其中m₁,c₁,m₂,c₂是恒量，t表示时间；

图像置换：按照如下算法对完成轨迹平滑后的轨迹进行置换处理即可实现图像的平稳输出：

其中S(k,l)表示子块中坐标为(k,l)处的像素亮度值；S_R(k+i,l+j)表示参考图像搜索窗中坐标为(k+i,l+j)处的像素亮度值；

在所述选取图像特征窗口之前，视频输入数据还包括图像预处理步骤，所述图像预处理步骤对图像实施降噪过程，排除图像干扰保留图像需要处理的部分，并过滤掉图像不需要的部分；

所述图像预处理步骤首先将待降噪的当前帧分为16×16大小的块，以块为单位进行后续处理；在划分块数据的同时将图中输入的参考帧分别置为前一帧和后一帧得到帧数据；然后将块数据和帧数据经过滤波处理然后进行平均，就能得到最终的降噪结果输出降噪的图像；

所述滤波处理包括时域滤波和空域滤波。

2.根据权利要求1所述的视频图像抖动消除处理方法，其特征在于：所述时域滤波处理的过程如下：首先将帧数据和块数据进行运动估计，结合MAD准则在前一帧中找到其匹配块；然后通过当前块和匹配块的共同信息检测当前运动强度系数k，最后根据运动强度k来确定当前块和匹配块时域平滑滤波强度，进行加权平均滤波；其算法数学描述如下：

B_out是当前块的降噪结果；B_t是当前块，B_t-1是运动估计在前一帧搜索到的匹配块；w是时域加权滤波系数；T_h和T_l分别是根据经验设定的块运动强度高阈值和低阈值。

3.根据权利要求2所述的视频图像抖动消除处理方法，其特征在于：所述空域滤波处理的过程如下：将块数据进行噪声标准差估计，噪声标准差估计小的数据直接进行空域滤波处理算法处理；若噪声标准差偏大进行运动检测，选择运动强度较大的数据进行空域滤波算法处理；所述空域滤波算法如下：

其中，权重值w(i,j)取决于像素点(i,j)与目标像素点(i₀,j₀)之间的相似性，权重计算方法如下：

其中SAD(N(i,j))，N(m,n)表示对(i,j)和(m,n)点所在的块进行SAD计算，h表示系数调节，Z函数实现了归一化过程。

4.根据权利要求3所述的视频图像抖动消除处理方法，其特征在于：所述噪声标准差估计是采用基于求块方差的加权平均方法进行的。

Images