CN1665308A - 用于恢复图像处理系统的丢失块的装置和方法 - Google Patents

Abstract

一种用于恢复图像处理系统中的丢失块的方法，其包括：通过使用关于丢失块的COST函数来确定丢失块的特征，并且通过应用一个最适宜于丢失块的特征的错误隐蔽方法来恢复丢失块。由于根据丢失块的特征应用最适宜的错误隐蔽方法来恢复图像，所以提高了接收端的错误恢复操作，并且可以再现与原始图像最接近的图像。

Description

用于恢复图像处理系统的丢失块的装置和方法

技术领域

本发明涉及一种视频处理技术，尤其涉及一种根据丢失块的特征应用不同的错误隐蔽方法的恢复图像处理系统的丢失块的装置和方法。

背景技术

最近，由于多媒体内容服务的利益的增加，用于恢复通过通信媒体传输的不同的视频信号的视频处理技术变得越来越重要。

视频包括多个帧，其中每个具有不同的屏幕特征和运动程度。进一步，例如每个帧包括16×16象素大小的宏块，其中上述宏块是图像编码的单位。

另外，视频使用DCT(离散余弦变换)技术，可变长度编码技术，运动补偿编码技术等来压缩。并且如果视频块由于在编码过程或传输过程中产生错误而丢失，那么恢复图像的视频质量将降低。

发明内容

因此，本发明的一个目的是至少达到上述和其它目的。

本发明的另一个目的是自动确定在传输中丢失的图像块的特征，并且在接收端应用一种最适宜于该图像块特征的错误隐蔽方法。

为了至少全部或部分达到上述目的，本发明提供一种新颖的装置用于恢复丢失块，其包括丢失块检测器用于确定在所接收的图像块中是否有丢失块，象素差值计算器用于计算具有丢失块的当前帧中的相邻象素与先前帧之间的时间差值(cost₁)，方差值计算器，用于计算与丢失块相邻的块中的运动向量的方差值(cost₂)。该装置还包括块特征确定单元用于通过将时间差值(cost₁)和运动向量方差值(cost₂)与一个预定阈值进行比较来确定丢失块的特征，丢失块恢复单元，用于通过应用基于所确定的丢失块的特征的最佳错误隐蔽方法来恢复丢失块。本发明还提供一种新颖的方法来处理丢失块。

本发明其它的优点、目的和特征的一部分将通过下述实施例进行阐述，另一部分将通过对下列的审查而对本领域技术人员变得明显或通过本发明的实践而获得。本发明的目的和优点可以由后附的权利要求来实现和获得。

附图说明

本发明将通过下列附图进行详细描述，其中：

图1是根据本发明用于恢复图像处理系统中的丢失块的装置的框图；

图2是表示如表1所定义的每个丢失块特征的分布的图表；

图3是表示根据本发明用于恢复图像处理系统中的丢失块的方法的流程图；

图4是表示领头图像的每一帧的PSNRs(峰值信噪比)的图表；

图5是表示混合图像的每一帧的PSNRs的图表。

具体实施方式

下面将描述一种根据本发明的用于恢复图像处理系统的丢失块的装置和方法。

为了通过补充丢失块来将丢失块恢复得接近于原始图像，可应用不同的错误隐蔽方法。为了选择一个最适宜于每个视频块的错误隐蔽技术，需要精确的确定相应丢失块的特征。即，丢失块的特征可被用作一个在选择应用于每个视频块的最佳错误隐蔽技术时的重要参考。

图1是根据本发明用于恢复图像处理系统中的丢失块的装置的框图；

如图所示，该装置包括丢失块检测器10确定在所传输的视频块中是否有丢失块；象素差值计算器20当由丢失块检测器10检测到丢失块时，计算当前帧与先前帧中的相邻象素之间的时间差值(cost₁)；以及方差值计算器30当丢失块检测器10检测到丢失块时，计算关于丢失块相邻的块中的关于运动向量的方差值(cost₂)。同样示出的还有块特征确定单元40通过将象内时间差值(cost₁)和运动向量方差值(cost₂)与一个预定阈值进行比较来确定丢失块的特征；丢失块恢复单元50，根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。

更加详细的说，象素差值计算器20通过下列等式(1)和(2)来计算来自当前帧和先前帧的丢失块的相邻象素之间的时间差值(cost₁)。更进一步，当先前帧与当前帧中的象素比较大于某一个阈值时，所述cost函数由相邻于丢失块的象素的数目所定义。

$\cos t_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i---\left(1\right)$

其中curr_i是在丢失块周围的象素值，prev_i是先前帧中与当前丢失块相同位置的块周围的象素值。

象素之间的小的时间差值(cost₁)意味着在先前帧和当前帧的之间的丢失块中没有很大的改变，反之，象素之间的大的时间差值(cost₁)意味着丢失块的运动很大或者发生了屏幕切换。

另外，方差值计算器30通过下列等式(3)和(4)来计算关于丢失块的相邻块的运动向量的方差值(cost₂)：

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-{\left[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i\right]}^2---\left(3\right)$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}---\left(4\right)$

其中MV_ix和MV_iy分别是MV_i的水平和垂直分量。

小的运动向量方差值(cost₂)意味着丢失块周围的七个运动向量具有相同值，而大的运动向量方差值(cost₂)意味着运动向量的分布很广以至于相邻块中的运动并不是一致的。

进一步，块特征确定单元40通过将时间差值(cost₁)和运动向量方差值(cost₂)与一个预定阈值进行比较来确定丢失块的特征。

丢失块的特征可被分为五种类型，例如包括‘场景切换’，‘物体运动’，‘没有运动’，‘相机运动’和‘其它’类型。

‘场景切换’类型是在帧之间发生场景切换的块，‘物体运动’类型是具有不定向运动的物体的块，以及‘没有运动’类型是无运动的块比如在静像相机图像种的背景，以及‘相机运动’类型是大体上具有类似运动就像相机运动的图像的块。‘其它’类型是不属于上述四种类型的块。

表1表示由块特征确定单元40在确定丢失块的特征时作为参考的阈值。每个阈值是通过上述等式(1)和(2)的统计计算值。

表1

	cost1	cost2
			场景切换	cost1≥60	-
相机运动	cost1≥30	cost2≤50
			物体运动	cost1≥30	cost2≥150
没有运动	cost1≤25	cost2≤25
				其它	其它

另外，块特征确定单元40计算丢失块的内象素时间差值(cost₁)和运动向量方差值(cost₂)，然后确定阈值范围的cost函数是否相同来确定丢失块的特征。

参见图2，图2是表示如表1所定义的每个丢失块特征的分布的图表。如图所示，具有极小运动或当前帧和先前帧之间差异极小的丢失块分布在左侧的较低区域，而具有大运动或屏幕之间时间差较大的丢失块分布在右侧的较上区域。图中还示出了‘物体运动’和‘相机运动’类型的特征。

进一步，丢失块恢复单元50根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。

错误隐蔽方法用在解码图像数据的处理中丢失块的相邻信息来隐蔽错误，并且根据信息的类型将其分为时间替换隐蔽、空间隐蔽以及运动补偿时间隐蔽。

表2表示根据丢失块的特征的最佳错误隐蔽方法的实例。

表2

丢失块的特征	错误隐蔽
		场景切换	空间隐蔽
相机运动	运动补偿时间隐蔽
		物体运动	空间隐蔽
没有运动	时间替换隐蔽
		其它	运动补偿时间隐蔽

如上所示，如果丢失块的特征是‘场景切换’类型或‘物体运动’类型，相应的丢失块使用空间隐蔽方法来恢复。进一步，如果丢失块的特征是‘没有运动’类型，丢失块使用时间替换隐蔽方法来恢复，以及如果丢失块的特征是‘相机运动’类型，相应的丢失块的错误使用运动补偿时间隐蔽方法来恢复。

即，如果图像屏幕之间不相关，就应用空间隐蔽方法，而如果图像屏幕之间非常相关，就应用时间替换隐蔽方法。

接下来，图3是表示根据本发明用于恢复图像处理系统中的丢失块的方法的流程图。如图所示，当图像帧从发送端(未示出)接收图像帧(步骤S11)时，丢失块检测器10确定在图像帧中是否有丢失块(步骤S12)。

如果在图像中检测到了丢失块(步骤S12的“是”)，那么计算相邻于当前图像帧的丢失块的象素与先前图像帧的相同位置的象素之间的时间差值(cost₁)(步骤S13)。然后，计算当前图像帧中关于丢失块的相邻块的运动向量方差值(cost₂)(S14)。在这种情况下，内象素时间差值(cost₁)通过等式(1)和(2)计算，而运动向量方差值(cost₂)通过等式(3)和(4)计算。

进一步，块特征确定单元40通过将象素之间的时间差值(cost₁)和运动向量方差值(cost₂)与一个预定阈值进行比较(S15)来确定丢失块的特征(S16)。

预定阈值例如，可通过统计地分析丢失块四种类型的特征与cost函数之间的关系来获得。预定阈值如表1所示。

如果内象素时间差值(cost₁)和运动向量方差值(cost₂)分别等于或小于第一阈值(T1)，丢失块的特征被确定为‘没有运动’类型。如果内象素时间差值(cost₁)等于或小于第二阈值(T2)且运动向量的方差值(cost₂)等于或小于第三阈值(T3)，丢失块的特征被确定为‘相机运动’类型。进一步，如果内象素时间差值(cost₁)等于或大于第二阈值(T2)且运动向量的方差值(cost₂)等于或大于第五阈值(T5)，丢失块的特征被确定为‘物体运动’类型。还有，如果相邻象素之间的时间差值(cost₁)等于或大于第四阈值(T4)，丢失块的特征被确定为‘屏幕更换’类型(T1＜T2＜T3＜T4＜T5)。

然后丢失块恢复单元50通过根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。在这种情况下，丢失块特征的最佳错误隐蔽方法如表2所示。

如果丢失块的特征被确定是‘场景切换’类型或‘物体运动’类型(步骤S17的“是”)，相应的丢失块使用空间隐蔽方法来恢复(步骤18)。如果丢失块的特征被确定是‘没有运动’类型(步骤S19的“是”)，相应的丢失块使用时间替换隐蔽方法来恢复(步骤S20)因为当前帧的块和先前帧的块非常相似。如果丢失块的特征被确定是‘相机运动’类型(步骤S21)，相应的丢失块的错误使用运动补偿时间隐蔽方法来恢复(步骤S22)，因为丢失块的运动和相邻块的运动几乎相同。

另外，空间隐蔽是一种在丢失块的相邻象素中执行线性内插来恢复丢失块的方法，以及时间替换隐蔽是一种通过用先前帧中相同位置的块来替换丢失块的方法。

进一步，运动补偿时间隐蔽是一种用运动向量在先前帧中寻找最适宜位置的块，并用相应的最适宜的块来替换丢失块的方法，其中所述运动向量可在丢失块的周围被恢复。在这种情况下，当检测到丢失块的相邻块中的运动向量时，计算运动向量之间的中间量并设置为丢失块的运动向量。

在本发明中，当图像屏幕之间不相关时，空间隐蔽方法具有较高的错误恢复效率，而当图像屏幕之间非常相关时，时间替换隐蔽方法具有较高的错误恢复效率。因此，最佳错误隐蔽方法是根据丢失块的这些特征来应用的。

下面参见图4和图5，它们表示根据本发明的用于恢复图像处理系统中的丢失块的装置和方法的执行的模拟效果。在模拟中，使用H.263编码，图像的大小是QCIF和CIF，以及QCIF和CIF的目标比特率分别是112Kbps和322Kbps。

首先，图4是表示领头图像的每一帧的PSNRs(峰值信噪比)的图表，其中时间替换隐蔽和空间隐蔽方法都是灵活应用的。换句话说，在大多帧中执行时间替换隐蔽较好而在具有大运动的一些帧中执行空间隐蔽方法较好。本发明中，在执行空间隐蔽方法的执行较好的帧中应用空间隐蔽方法，而不是时间替换隐蔽方法。

进一步，PSNR表示恢复图像的图像质量的目标估计，其中PNSR越高，原始图像的保存率越高。

接着，图5是表示混合图像的每一帧的PSNRs的图表，其中当PSNR快速改变的部分就是发生了‘场景切换’的部分。

在本发明中，在‘场景切换’发生的部分应用空间隐蔽方法，以及在其它地方应用时间替换隐蔽方法。

如上所述，本发明的用于恢复图像处理系统中的丢失块的装置和方法具有许多优点。

例如，由于通过自动确定传输中丢失块的特征，并灵活应用最适宜的错误隐蔽方法来恢复图像，因此提高了接收端的错误恢复性能。

另外，由于根据丢失块特征用最适宜的错误隐蔽方法来恢复图像，因此可以再现最接近于原始图像的恢复图像。

上述实施方式和优点仅仅是实例而不是本发明的限定。其指教可被应用于其它类型的装置。本发明的描述仅仅是举例说明，并不作为权利要求范围的限定。许多替换、修改和变形对于本领域技术人员来说也是显而易见的。在权利要求中，装置加功能的条款将覆盖执行所述功能的结构，并不仅是结构等同物而且是等同的结构。

Claims (32)

1.一种恢复图像中的丢失块的装置，包括：

丢失块检测器，用于确定在所接收的图像块中是否有丢失块；

象素差值计算器，用于计算具有丢失块的当前帧与先前帧中的相邻象素之间的时间差值(cost₁)；

方差值计算器，用于计算与丢失块相邻的块中的运动向量的方差值(cost₂)；

块特征确定单元，用于通过将时间差值(cost₁)和运动向量方差值(cost₂)与预定阈值进行比较，来确定丢失块的特征；及

丢失块恢复单元，用于通过应用基于所确定的丢失块的特征的错误隐蔽方法来恢复丢失块。

2.如权利要求1所述的装置，其中所述象素差值计算器用下列等式计算相邻象素之间的时间差值(cost₁)：

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中curr_I是在丢失块周围的象素值，prev_I是先前帧中与当前丢失块相同位置的块周围的象素值。

3.如权利要求1所述的装置，其中所述方差值计算器用下列等式计算运动向量的方差值：

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-{\left[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i\right]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中MV_ix和MV_iy分别是MV_i的水平和垂直分量。

4.如权利要求1所述的装置，其中如果所述相邻象素之间的时间差值(cost₁)和运动向量的方差值(cost₂)等于或小于第一阈值(T1)，块特征确定单元将丢失块的特征确定为第一类型，如果所述相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或小于第三阈值(T3)，块特征确定单元将丢失块的特征确定为第二类型，如果所述相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或大于第五阈值(T5)，块特征确定单元将丢失块的特征确定为第三类型，以及如果所述相邻象素之间的时间差值(cost₁)等于或大于第四阈值(T4)，块特征确定单元将丢失块的特征确定为第四类型，其中T1＜T2＜T3＜T4＜T5。

5.如权利要求4所述的装置，其中所述第一类型是无运动的块，第二类型是大体上具有类似运动的图像的块；第三类型是具有不定向运动的物体的块，以及第四类型是在图像帧之间发生屏幕更换的块。

6.如权利要求1所述的装置，其中所述错误隐蔽方法包括：

第一方法，使用时间方法恢复丢失块；

第二方法，使用空间方法恢复丢失块；以及

第三方法，使用根据运动的时间错误隐蔽方法恢复丢失块。

7.如权利要求6所述的装置，其中当所述丢失块无运动时应用所述第一方法。

8.如权利要求6所述的装置，其中当所述丢失块具有不定向运动的物体或者丢失块是在相邻帧之间发生屏幕更换的块时应用所述第二方法。

9.如权利要求6所述的装置，其中当所述丢失块具有大体上类似运动的图像时应用所述第三方法。

10.一种恢复图像中的丢失块的方法，包括：

通过关于丢失块的cost函数来确定丢失块的特征；

通过应用基于所确定的丢失块的特征的错误隐蔽方法来恢复丢失块。

11.如权利要求10所述的方法，其中所述确定丢失块的特征包括：

计算关于丢失块的cost函数；以及

通过将cost函数与预定阈值进行比较，来确定丢失块的特征。

12.如权利要求11所述的方法，其中所述cost函数的计算包括：

计算与当前帧和先前帧的丢失块相邻的象素之间的时间差值(cost₁)；以及

计算关于丢失块的相邻块的运动向量的方差值(cost₂)。

13.如权利要求12所述的方法，其中所述相邻象素之间的时间差值(cost₁)用下列等式计算：

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中curr_I是在丢失块周围的象素值，prev_I是先前帧中与当前丢失块相同位置的块周围的象素值。

14.如权利要求12所述的方法，其中所述方差值计算器用下列等式所述计算运动向量的方差值：

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-{\left[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i\right]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中MV_ix和MV_iy分别是MV_i的水平和垂直分量。

15.如权利要求10所述的方法，其中所述丢失块的特征的确定包括：

如果相邻象素之间的时间差值(cost₁)和运动向量的方差值(cost₂)等于或小于第一阈值(T1)，将丢失块的特征确定为第一类型；

如果相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或小于第三阈值(T3)，将丢失块的特征确定为第二类型；

如果相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或大于第五阈值(T5)，将丢失块的特征确定为第三类型；以及

如果相邻象素之间的时间差值(cost₁)等于或大于第四阈值(T4)，块特征确定单元将丢失块的特征确定为第四类型，其中T1＜T2＜T3＜T4＜T5。

16.如权利要求15所述的方法，其中所述第一类型是无运动的块，第二类型是大体上具有相同运动的图像的块；第三类型是具有不定向运动的物体的块，以及第四类型是在图像帧之间发生屏幕更换的块。

17.如权利要求10所述的方法，其中所述丢失块的恢复包括：

如果丢失块是第一类型，通过第一方法来恢复丢失块；

如果丢失块是第三或第四类型，通过第二方法来恢复丢失块；以及

如果丢失块是第二类型，通过第三方法来恢复丢失块。

18.如权利要求17所述的方法，其中所述第一方法是一种用先前帧中相同位置的块来替换丢失块的时间方法。

19.如权利要求17所述的方法，其中所述第二方法是一种在丢失块的相邻象素中执行线性内插来恢复丢失块的空间方法。

20.如权利要求17所述的方法，其中所述第三方法是一种基于运动的时间错误隐蔽方法，其使用丢失块的相邻块中的运动向量，用先前帧中位于最适宜位置的块来替换丢失块。

21.如权利要求20所述的方法，其中所述基于运动的时间错误隐蔽方法包括：

计算丢失块的相邻运动向量的中间值；

将运动向量的中间值设置为丢失块的运动向量；

计算先前帧中最佳位置的块并且替换丢失块。

22.一种恢复图像中的丢失块的方法，包括：

检测在所传输的图象帧中是否有丢失块；

计算先前帧的象素和当前帧中相邻于丢失块的象素之间的时间差值(cost₁)；

计算与丢失视频块相邻的块中的运动向量的方差值(cost₂)；

将相邻象素之间的时间差值(cost₁)和运动向量方差值(cost₂)与预定阈值进行比较；

根据比较时间差值(cost₁)和运动向量方差值(cost₂)与预定阈值的结果来确定丢失块的特征；

根据所确定的丢失块的特征来恢复相应的丢失块。

23.如权利要求22所述的方法，其中所述相邻象素之间的时间差值(cost₁)用下列等式计算：

${\cos t}_1=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}{\mathrm{Diff}}_i$

其中curr_i是丢失块周围的象素值，prev_i是先前帧中与当前丢失块相同位置的块周围的象素值。

24.如权利要求22所述的方法，其中所述方差值计算器用下列等式计算运动向量的方差值：

${\cos t}_2=\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i^2-{\left[\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{\mathrm{MV}}_i\right]}^2$

${\mathrm{MV}}_i=\sqrt{{\mathrm{MV}}_{\mathrm{ix}}^2+{\mathrm{MV}}_{\mathrm{iy}}^2}$

其中MV_ix和MV_iy分别是MV_i的水平和垂直分量。

25.如权利要求22所述的方法，其中所述丢失块的特征的确定包括：

如果相邻象素之间的时间差值(cost₁)和运动向量的方差值(cost₂)等于或小于第一阈值(T1)，将丢失块的特征确定为第一类型；

如果相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或小于第三阈值(T3)，将丢失块的特征确定为第二类型；

如果相邻象素之间的时间差值(cost₁)等于或大于第二阈值(T2)并且运动向量的方差值(cost₂)等于或大于第五阈值(T5)，将丢失块的特征确定为第三类型；以及

如果相邻象素之间的时间差值(cost₁)等于或大于第四阈值(T4)，块特征确定单元将丢失块的特征确定为第四类型，其中T1＜T2＜T3＜T4＜T5。

26.如权利要求25所述的方法，其中所述第一类型是无运动的块，第二类型是大体上具有相同运动的图像的块；第三类型是具有不定向运动的物体的块，以及第四类型是在图像帧之间发生屏幕更换的块。

27.如权利要求22所述的方法，其中所述丢失块的恢复包括：。

如果丢失块是第一类型，通过第一方法来恢复丢失块；

如果丢失块是第三或第四类型，通过第二方法来恢复丢失块；以及

如果丢失块是第二类型，通过第三方法来恢复丢失块。

28.如权利要求27所述的方法，进一步包括：

如果丢失块具有与第一到第四类型不同的特征，用第三方法来恢复丢失块。

29.如权利要求27所述的方法，其中所述第一方法是一种用先前帧中相同位置的块来替换丢失块的时间方法。

30.如权利要求27所述的方法，其中所述第二方法是一种在丢失块的相邻象素中执行线性内插来恢复丢失块的空间方法。

31.如权利要求27所述的方法，其中所述第三方法是基于运动的时间错误隐蔽方法，其使用丢失块的相邻块中的运动向量，用先前帧中位于最适宜位置的块来替换丢失块。

32.如权利要求31所述的方法，其中所述基于运动的时间错误隐蔽方法包括：

计算丢失块的相邻运动向量的中间值；

将运动向量的中间值设置为丢失块的运动向量；

计算先前帧中最佳位置的块并替换丢失块。

Images