CN1607839A - 用于在视频处理系统中判断丢失模块的特性的装置和方法 - Google Patents

Abstract

一种用于在视频处理系统中判断丢失模块特性的方法，该方法包括：证明在发送的视频模块中是否存在丢失模块；计算当前帧和先前帧的丢失模块的邻近像素之间的时间差分cost₁；以及计算丢失视频模块的周围模块的运动向量分布值cost₂。该方法还包括将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较；以及基于比较结果确定丢失模块的特性。自动判断的丢失模块的特性用作用于恢复丢失模块的信息以由此再现接近原始视频的恢复视频。

Description

用于在视频处理系统中判断丢失模块的特性的装置和方法

技术领域

本发明涉及一种视频处理技术，更具体地涉及一种当传送数字视频时判断丢失模块的特性的装置和方法。

背景技术

近来，用于无错误地恢复通过通信媒质传送的各种视频信号的技术变得尤为重要。视频包括具有不同场景特性和运动程度的一些帧。另外，帧包括具有对应于视频编码单元的16×16像素大小的宏模块。

使用离散余弦变换(DCT)、可变长度编码方法、运动补偿编码方法等压缩视频，并且之后传送。如果视频模块因为在编码处理或通过传输信道的传输处理中的错误而丢失，恢复的视频的质量下降。

当前使用一些错误隐藏技术来恢复丢失模块。但是，当前方法不能满足通信产业的需要。

发明内容

因此，本发明的一个目的是至少解决上述和其它值得注意的问题。

本发明的另一目的是自动判断在传输期间丢失的视频模块的特性并提供用于恢复丢失模块的有关信息。

为实现这些和其它优点并根据本发明的目的，如在这里具体地和广泛地描述的，本发明提供在视频处理系统中新颖的丢失模块特性判断装置，其包括丢失模块检测单元，用于确定发送的视频模块中是否存在丢失模块；像素差分计算单元，用于计算在其中产生丢失模块的当前帧和先前帧的邻近像素之间的时间差分cost₁；以及分布值计算单元，用于计算丢失模块的周围模块的运动向量分布值cost₂。本装置还包括模块特性确定单元，用于通过将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较来判断丢失模块的特性。

本发明的其它优点、目的和特征部分地将在随后的说明中描述，部分地经过以下检验或从本发明的实践中学习，上述优点、目的和特征对于本领域的普通技术人员来说是显而易见的。本发明的目的和优点可以如所附权利要求书中所特别指出的来实现和获得。

附图说明：

将参考附图详细描述本发明，其中相同的参考数字表示相同的元件，附图中：

图1是一框图，示出了根据本发明的在视频处理系统中的丢失模块特性判断装置；

图2是一流程图，示出了根据本发明的在图像处理系统中的丢失模块特性判断方法；

图3是示出了在当前帧和先前帧中像素之间的时间差分的总体视图；

图4是示出了丢失模块和周围模块的运动向量的总体视图；

图5A和5B是示出了具有“场景改变”特性的模块的cost函数的分布图；

图6是示出了在图5A和5B的cost函数之间的相关性的视图；

图7A和7B是示出了具有“摄像机移动”特性的模块的cost函数的分布图；

图8是示出了在图7A和7B的cost函数之间的相关性的视图；

图9A和9B是示出了具有“物体移动”特性的模块的cost函数的分布图；

图10是示出了在图9A和9B的cost函数之间的相关性的视图；

图11A和11B是示出了具有“无移动”特性的模块的cost函数的分布图；

图12是示出了在图11A和11B的cost函数之间的相关性的视图；

图13是示出了根据本发明定义的每一模块的特性的分布图。

具体实施方式

下面参考附图来描述本发明，附图中相同的参考数字表示全部视图中相同或相应的部分。

图1是根据本发明的在视频处理系统中的丢失模块特性判断装置的框图。如图所示，该装置包括丢失模块检测单元10，用于确定发送的视频模块中是否存在丢失模块；像素差分计算单元20，用于当丢失模块检测单元10检测到丢失模块时计算当前帧和先前帧的邻近像素之间的时间差分cost₁；分布值计算单元30，用于计算丢失模块的周围模块的运动向量分布值cost₂；以及模块特性确定单元40，用于通过将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较来判断丢失模块的特性。

之后可以通过参考由模块特性确定单元40判断的丢失模块的特性，使用适于相应丢失模块的错误隐藏技术来恢复视频。就是说，精确地判断丢失模块的特性以选择最合适的错误隐藏技术。

之后，图2是示出了根据本发明的丢失模块特性判断方法的流程图。首先，从传输侧(没有示出)发送视频帧时(S11)，丢失模块检测单元10判断在视频帧中是否存在丢失模块(S12)。

如果在图像帧中检测到丢失模块，在当前帧中丢失模块的邻近像素和先前帧中与当前帧相同位置存在的邻近像素之间计算时间差分cost₁(S13)。之后，计算视频帧中丢失模块的周围模块的运动向量分布值cost₂(S14)，并且将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较(S15)。

使用计算的值cost₁，cost₂和预先设置的阈值之间的比较，确定丢失模块的特性(S16)。之后，通过参考丢失模块的特性，恢复相应的丢失模块(S17)。如上所述，在本发明中，使用在邻近像素之间的时间差分和运动向量来判断丢失模块的特性。

在下文中，将参考图3到15解释用于计算邻近像素之间的时间差分cost₁和运动向量分布值cost₂的方法。

在本发明的一个实例中，可以将丢失模块的特性大致分类为5个类型，就是说，“场景改变”，“物体移动”，“无移动”，“摄像机移动”，和“其它”类型。

“场景改变”类型表示在帧之间具有场景转换的模块，“物体移动”类型表示具有无确定方向的移动物体的模块，“无移动”类型表示具有几乎无移动的模块，比如摄像机的固定图像的背景，“摄像机移动”类型表示具有因为摄像机本身移动因而其移动类似的图像的模块，“其它”类型指示不属于其它四种类型的模块。

首先，解释用于计算丢失模块的邻接像素之间的时间差分cost₁的方法。图3示出了当前帧中的丢失模块的邻近象素和先前帧中与当前帧的丢失模块相同位置存在的邻近像素之间的时间差分，其中斜线表示当前帧和先前帧中丢失模块的邻近像素。

通常，具有16×16大小的宏模块在它的周围包括64(16×4)个邻近像素。将具有和先前帧的时间差分超过预定阈值的邻近像素的数量定义为cost函数。

cost函数可以由下面的公式1和2表示。

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$        (公式1)

       (公式2)

在这里，curr_i表示在当前帧中丢失模块的邻近像素的值，并且prev_i表示在和当前帧相同位置的先前帧中丢失模块的邻近像素的值。

小的cost函数cost₁意味着在当前帧的丢失模块和在和当前帧相同位置的先前帧的模块之间没有产生显著变化。但是，大的cost函数cost₁(也就是，和先前帧的大的时间差分)，意味着丢失模块的运动向量显著或产生了场景转换。

因此，通过将cost函数和预先设置的阈值比较，cost函数cost₁用作确定丢失模块的特性的基础。就是说，如果cost₁小于阈值，则确定在当前帧和先前帧之间的时间差分不显著并且丢失模块的运动向量很小。相反的，如果cost₁大于阈值，则确定丢失模块的运动向量很大或产生了场景转换。

将解释使用丢失模块的周围模块的运动向量计算cost函数cost₂的方法。图4示出了丢失模块和丢失模块的周围模块的运动向量。丢失模块的运动向量和周围模块的运动向量紧密相关，使得可以使用周围模块的运动向量判断丢失模块的特性。

就是说，如果周围模块的运动向量具有几乎恒定的大小，可以判断周围模块的移动方向实质上恒定，并且丢失模块也具有相同方向的移动。但是，如果周围模块的运动向量的大小不恒定，不能容易地预测丢失模块的运动。

因此，可以使用周围模块的运动向量的分布，以下面的公式3和4表示cost函数cost₂。

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-{\left[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i\right]}^2$       (公式3)

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$       (公式4)

这里，MV_ix和MV_iy分别表示MV_i的水平分量和垂直分量。公式3用于获得运动向量的分布值。

小的cost函数cost₂意味着七个周围运动向量MV₁-MV₇具有类似的值，并且大的cost函数cost₂意味着运动向量广泛地分布并且由此周围模块的运动不恒定。

因此，可以通过比较cost函数cost₂和预先设置的阈值判断丢失模块的特性。另外，可以经验地确定合适的阈值。为确定阈值，可以使用四个模块特性和cost函数之间的关系。

之后，图5A和5B是示出了具有“场景改变”特性的模块的cost函数的分布图，并且图6是示出了在图5A和5B的cost函数之间的相关性的视图。更为具体的说，图5A是示出了邻近像素之间的时间差分的cost函数cost₁的分布的视图。如图所示，大多数cost函数cost₁超过60。另外，图5B是示出了邻近丢失模块的运动向量的分布值cost₂的视图，其中示出偶cost函数cost₂没有偏向一个值。

如图6所示，“场景改变”模块取决于邻近像素之间的时间差分的cost函数cost₁。

下面的表1示出了cost₁和cost₂的平均值和标准偏差，其中时间差分cost₁具有偏向平均值61.53的周围的小的标准偏差，然而分布值cost₂具有示出均匀分布的大的标准偏差。

表1

	cost1	cost2
			平均值	61.53	118.95
标准偏差	2.71	87.10

因此，当判断丢失模块是具有“场景改变”特性的模块时，仅使用cost函数cost₁并且将相应阈值定义为60。就是说，使用下面公式5执行具有“场景改变”特性的模块的判断。

cost₁≥60                         (公式5)

之后，图7A和7B是示出了具有“摄像机移动”特性的模块的cost函数的分布图，并且图8是示出了在图7A和7B的cost函数之间的相关性的视图。如图7A所示，相对具有“场景改变”特性的模块，cost函数cost₁广泛分布，但是大多数cost₁超过30。相反的，参考图7B，大多数cost函数cost₂小于或等于50。

另外，具有“摄像机移动”特性的模块具有基本上恒定的cost函数cost₂，因为帧的整个移动恒定并且由此周围模块的运动向量具有几乎类似的值。

参考图8，cost函数cost₁主要偏向较大值并且cost函数cost₂主要偏向较小值。因此，使用下面公式6执行具有“摄像机特性”的模块的判断。

cost₁≥30，cost₂≤50                         (公式6)

之后，图9A和9B是示出了具有“物体移动”特性的模块的cost函数的分布图，且图10是示出了在图9A和9B的cost函数之间的相关性的视图。

如图9A和9B所示，cost函数cost₁和cost函数cost₂均匀分布。另外，对于cost值大于30，cost函数cost₁具有大值，并且cost函数cost₂具有很多在100周围的数据。如图所示，cost函数不偏向于特定值，但是预期运动向量根据“物体移动”类型的特性广泛分布。参考图10，在cost函数cost₁和cost₂中数据主要偏向大值。

因此，使用下面的公式7执行具有“物体移动”的模块的判断。

cost₁≥30，cost₂≤150                            (公式7)

图11A和11B是示出了具有“无移动”特性的模块的cost函数的分布图；且图12是示出了在图11A和11B的cost函数之间的相关性的视图。如图所示，cost函数cost₁和cost₂偏向小值。大多数cost函数cost₁偏向值25和更小，这意味着在当前帧和先前帧存在小的差分。而且，在cost函数cost₂中，很多数据偏向值25和更小。

参考图12，cost₁和cost₂函数都具有小值。因此，使用下面的公式8执行具有“无移动”特性的模块的判断。

cost₁≤25，cost₂≤25                       (公式8)

下面的表2表示判断丢失模块的特性的基础，其由上述过程计算。通过判断其中对应cost函数cost₁和cost₂存在的范围确定丢失模块的特性。

表2

	cost1	cost2
			场景改变	cost1≥60
摄像机移动	cost1≥30	cost2≤50
			物体移动	cost1≥30	cost2≥150
无移动	cost1≤25	cost2≤25
			其它	其它	其它

就是说，如果cost函数cost₁(其是在丢失模块的邻近像素之间的时间差分)是61并且cost函数cost₂(其是和丢失模块相邻的运动向量的分布值)是50，判断相应丢失模块是具有“场景改变”特性的宏模块。类似的，如果cost₁是20并且cost₂是15，判断相应的丢失模块是具有“无移动”特性的宏模块。但是，如果cost₁是20并且cost₂是30，判断相应丢失模块是具有“其它”特性的宏模块。

而且，如果cost₁是40并且cost₂是20，判断相应丢失模块是具有“摄像机移动”特性的宏模块。但是，如果cost₁是40且cost₂是180，判断相应丢失模块是具有“物体移动”特性的宏模块。

现在转到图13，其是显示表2中定义的每一模块的特性的分布图。如图所示，具有小运动向量和在当前帧和先前帧之间的小差分的模块分布在左下侧，并且具有大运动向量和在当前帧和先前帧之间的大差分的模块分布在右上侧。

如上所述，自动判断在其中经常发生信道错误的通信网络中的丢失模块的场景特性，并且因此使用场景特性作为用于恢复丢失模块的信息，由此再现接近原始图像的恢复图像。而且自动判断丢失模块信息以应用在需要丢失模块信息的视频处理过程中。

对计算机领域普通技术人员来说，可以使用现有的通用计算机或根据本说明的教导编程的微处理器方便地实现本发明。对于软件领域普通技术人员来说，熟练的程序员可以基于本公开的教导容易地制备合适的软件代码。

对本领域普通技术人员来说，可以通过制备特定用途集成电路或通过互联现有元件电路的合适网络来实现本发明。本发明包括计算机程序产品，其是包括可以用于对计算机编程以执行本发明的过程的存储介质。该存储介质可以包括，但是不限于，任意类型的盘，包括软磁盘、光盘、CD-ROM、和磁光盘、ROM，RAM、EPROM、EEPROM、磁或光卡、或任意类型的适于存储电子指令的介质。

Claims (23)

1.一种视频处理系统中的丢失模块特性判断装置，包括：

丢失模块检测单元，用于确定在发送的视频模块中是否存在丢失模块；

像素差分计算单元，用于计算其中产生丢失模块的当前帧和先前帧的邻近像素之间的时间差分cost₁；

分布值计算单元，用于计算丢失模块的周围模块的运动向量分布值cost₂；以及

模块特性确定单元，用于通过将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较来判断丢失模块的特性。

2.如权利要求1所述的装置，其中，该丢失模块是具有16×16像素大小的宏模块。

3.如权利要求1所述的装置，其中，该像素差分计算单元使用下面公式计算邻近像素之间的时间差分cost₁，

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中，curr_i表示当前帧中邻近丢失模块的像素的值，并且prev_i表示先前帧中邻近和当前帧相同位置的丢失模块的像素的值。

4.如权利要求1所述的装置，其中，该分布值计算单元使用下面的公式计算丢失模块的周围模块的运动向量分布值cost₂，

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-\[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i{\]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中，MV_ix和MV_iy分别表示MV_i的水平分量和垂直分量。

5.一种视频处理系统中的丢失模块特性判断方法，该系统用于接收通过通信网络发送的视频信号并随后进行视频处理，该方法包括：

计算丢失视频模块的cost函数；

比较cost函数和预先设置的阈值；以及

基于cost函数和预先设置的阈值的比较判断丢失模块的特性。

6.如权利要求5所述的方法，其中计算cost函数的步骤包括：

计算其中产生丢失模块的当前帧和先前帧的丢失模块的邻近像素之间的时间差分cost₁；

计算丢失视频模块的周围模块的运动向量分布值cost₂。

7.如权利要求6所述的方法，其中，该丢失模块是具有16×16像素大小的宏模块。

8.如权利要求6所述的方法，其中，使用下面公式计算丢失模块的邻近像素之间的时间差分cost₁，

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中，curr_i表示当前帧中邻近丢失模块的像素的值，并且prev_i表示先前帧中邻近和当前帧相同位置的丢失模块的像素的值。

9.如权利要求6所述的方法，其中，使用下面的公式计算丢失模块的周围模块的运动向量分布值cost₂，

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-\[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i{\]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中，MV_ix和MV_iy分别表示MV_i的水平分量和垂直分量。

10.如权利要求6所述的方法，其中判断丢失模块的特性的步骤包括：

当cost₁和cost₂小于等于第一阈值T1时判断丢失模块为“无移动”模块；

当cost₁大于等于第二阈值T2，并且cost₂小于等于第三阈值T3时判断丢失模块为“摄像机移动”模块；

当cost₁大于等于第四阈值T4时判断丢失模块为“场景改变”模块；以及

当cost₁大于第二阈值T2，并且cost₂大于等于第五阈值T5时判断丢失模块为“物体移动”模块，

其中T1＜T2＜T3＜T4＜T5。

11.一种视频处理系统中的丢失模块特性判断方法，该方法包括：

证明在发送的视频模块中是否存在丢失模块；

计算当前帧和先前帧的丢失模块的邻近像素之间的时间差分cost₁；

计算丢失视频模块的周围模块的运动向量分布值cost₂；以及

将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较；以及

基于比较结果确定丢失模块的特性。

12.如权利要求11所述的方法，进一步包括参考丢失模块的特性恢复相应丢失模块。

13.如权利要求11所述的方法，其中，该丢失模块是具有16×16像素大小的宏模块。

14.如权利要求11所述的方法，其中，使用下面公式计算丢失模块的邻近像素之间的时间差分cost₁，

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中，curr_i表示当前帧中邻近丢失模块的像素的值，并且prev_i表示先前帧中邻近和当前帧相同位置的丢失模块的像素的值。

15.如权利要求11所述的方法，其中，使用下面的公式计算该运动向量分布值cost₂，

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-\[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i{\]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中，MV_ix和MV_iy分别表示MV_i的水平分量和垂直分量。

16.如权利要求11所述的方法，其中确定丢失模块的特性的步骤包括：

当cost₁和cost₂小于等于第一阈值T1时判断丢失模块为“无移动”模块；

当cost₁大于等于第二阈值T2，并且cost₂小于等于第三阈值T3时判断丢失模块为“摄像机移动”模块；

当cost₁大于等于第四阈值T4时判断丢失模块为“场景改变”模块；以及

当cost₁大于第二阈值T2，并且cost₂大于等于第五阈值T5时判断丢失模块为“物体移动”模块，

其中T1＜T2＜T3＜T4＜T5。

17.一种视频处理系统中的丢失模块特性判断方法，该方法包括：

通过判断丢失模块的特性为“场景改变”特性、“摄像机移动”特性、“物体移动”特性或“无移动”特性来确定丢失模块的特性；以及

基于确定的由丢失模块显示出的特性来恢复丢失模块，

其中，“场景改变”特性指示在帧之间具有场景转换的丢失模块，“摄像机移动”特性指示移动的摄像机，“物体移动”特性指示具有移动物体的丢失模块，并且“无移动”特性指示实质上无移动的丢失模块。

18.如权利要求17所述的方法，进一步包括：

如果特性没有被确定为“场景改变”特性、“摄像机移动”特性、“物体移动”特性或“无移动”特性，则确定丢失模块的特性为“其它”特性。

19.如权利要求17所述的方法，其中确定丢失模块特性的步骤进一步包括：

计算在当前帧和先前帧的丢失模块的邻近像素之间的时间差分cost₁；

计算丢失视频模块的周围模块的运动向量分布值cost₂；

将时间差分cost₁及运动向量分布值cost₂和预先设置的阈值比较；以及

基于比较结果确定丢失模块的特性。

20.如权利要求17所述的方法，其中，该丢失模块是具有16×16像素大小的宏模块。

21.如权利要求10所述的方法，其中，使用下面公式计算丢失模块的邻近像素之间的时间差分cost₁，

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中，curr_i表示当前帧中邻近丢失模块的像素的值，并且prev_i表示先前帧中邻近和当前帧相同位置的丢失模块的像素的值。

22.如权利要求20所述的方法，其中，使用下面的公式计算该运动向量分布值cost₂，

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-\[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i{\]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中，MV_ix和MV_iy分别表示MV_i的水平分量和垂直分量。

23.如权利要求19所述的方法，其中判断丢失模块的特性的步骤包括：

当cost₁和cost₂小于等于第一阈值T1时判断丢失模块为“无移动”模块；

当cost₁大于等于第二阈值T2，并且cost₂小于等于第三阈值T3时判断丢失模块为“摄像机移动”模块；

当cost₁大于等于第四阈值T4时判断丢失模块为“场景改变”模块；以及

当cost₁大于第二阈值T2，并且cost₂大于等于第五阈值T5时判断丢失模块为“物体移动”模块，

其中T1＜T2＜T3＜T4＜T5。

Images