CN1499845A - 视频错误补偿方法以及装置 - Google Patents

Abstract

一种用于处理视频的方法，该方法包括对视频比特流执行两个检测步骤。在第一步骤中，视频比特流与代码本比较。如果没有检测到错误，则第二步骤包括确定是否视频比特流中相邻宏块之间存在断续性。如果检测到存在断续，在显示视频比特流之前执行错误补偿。最好通过比较从宏块中导出的一个或多个彩色值来检测相邻宏块中或之间的断续性。色彩值可以包括色度值和亮度值。相对于各个门限值来测量比较中得出的差值和用结果确定是否存在断续。用于处理视频的系统包括两个检测器，用于分别执行错误检测步骤，和至少一个补偿电路，用于对检测到的错误的视频比特流进行补偿。

Description

视频错误补偿方法以及装置

技术领域

本发明一般涉及视频系统，特别涉及用于补偿视频系统中的错误的方法以及装置。

背景技术

图1显示了根据现有技术的一种视频系统。即，视频系统包括：发射单元110，用于通过无线信道发射视频比特流；和接收单元120，用于通过解码通过无线信道接收的视频比特流来显示图像。

该发射单元110包括：用于拍照视频的照相机111；和编码器112，用于通过H.263标准编码经照相机拍照的视频并产生视频比特流。该H.263是用于压缩多媒体通信业务的视频部分的国际标准，比如视频会议，视频电话等等，通过具有低传输速率的通信信道。该H.263被描述在美国专利No.6,560,280中。

接收单元120包括：解码器121，错误检测器122，错误补偿器123，和显示单元124。解码器以MPEG(运动图像专家组)或H.263标准解码通过无线信道接收的视频比特流。错误检测器检测来自解码的视频比特流的错误。错误补偿器补偿检测的错误。以及，显示单元在屏幕上显示错误补偿的视频比特流(视频信号)。根据现有技术的视频错误补偿装置包括用于补偿检测的错误的错误检测器122和错误补偿器。

现在将描述视频系统的操作。首先，使用编码器112按照MPEG或H.263标准，该发射单元110通过编码从照相机111接收的视频信号来产生视频比特流。然后将产生的视频比特流发送到无线信道。在形成的流中，编码器112以MB(宏块)单位编码视频信号。这里，H.263标准的比特流的句法结构被分成四层。更为具体的，8×8的块层是最低层，该宏块层包括六块层(四个亮度层，两个色度层)，而一个GOB(块层组)包括几个宏块层。并且，一个画面层包括几个GOB。

接收单元120的解码器121以MPEG或H.263标准解码通过无线信道接收的视频比特流。该解码的视频比特流接着被输出到错误检测器122。检测器参考代码块从解码的视频流中检测错误和输出检测的错误到错误补偿器123。该类型的代码块被描述在美国专利No.5,768,438。

通过隐蔽其上检测到错误的宏块，错误补偿器123补偿该错误，并通过显示单元124在屏幕上显示错误补偿的解码的视频比特流(视频信号)。该隐蔽包括用先前解码的宏块或当前的宏块替代其中被检出错误的宏块。更为具体的，在通过无线信道的视频通信中，毫无例外地必须执行错误补偿，其中错误频繁地出现，而且错误隐蔽技术是错误补偿方法的其中之一。错误隐蔽被公开在美国专利No.6,078,616中。

当参考代码本没有相关于视频比特流的索引时，现有技术的错误检测器检测相关的视频比特流作为错误。更为具体的，当没有相关于视频比特流的索引时，相关视频比特流被判断作为无效代码。实际上，当在视频比特流中出现错误时，因为误解一个错误的概率远远大于“无效代码”-判断概率，则现有技术的错误检测技术所使用的“无效代码”可能不会检测到错误，尽管可以检测错误，但由于可变长度编码特性，检测的错误总是在时间之后。

表1显示了按照H.263标准操作的系统中，无效代码没有在代码本中的存在的概率。

表1

代码本类型	代码数	无效代码数	无效代码出现的概率
				有关P-帧的MCBPC代码本	8192	9	0.110％
有关I-帧的MCBPC代码本	512	7	1.37％
				CBPY代码本	64	2	3.125％
MVD代码本	81924	5	0.061％
				TCOEFF代码本	81924	16	0.195％

在表中，MCBPC表示“色度的MB类型&编码的块状图案”，CBPY表示“亮度的编码的块状图案”，MVD表示“运动矢量数据”，以及TCOEFF表示“变换系数”。

在前述的讨论中，现有技术至少具有三个缺点。首先，当具有有关其中出现错误的视频比特流的索引时，判断在视频比特流中不具有错误，并因而不能检测错误出现的位置。第二，因为可变长度编码特性，其中甚至错误影响再同步标记，尽管错误被检测，因为总是在经过实际的错误出现位置之后才检测到错误，由于错误在解码的视频中具有多个绿粉(green-pink)块。因此，画面质量被降低。第三，当达到H.263标准中的无效代码出现的概率时，不能够检测有关视频比特流的所有错误。

发明内容

本发明的目的是解决现有技术的一个或多个缺点和/或实现至少一个和最好是所有的下述优点。本发明的另一个目的是提供一种用于通过检测解码的相邻宏块之间或它们中的断续来补偿视频错误的方法和装置。

为了实现上述目的，视频错误补偿方法包括通过参考代码本从宏块单元解码的视频比特流中检测错误；补偿检测的错误；检测其中错误没有被检测的视频比特流的当前宏块和相邻宏块之间的连续；以及当没有检测到连续时隐蔽当前的宏块。

一种视频错误补偿装置，包括：解码器，用于解码由宏块单元编码的视频比特流；第一错误检测器，用于参考代码本从解码的视频比特流中检测错误；第一错误补偿器，用于补偿由第一错误检测器检测的错误；第二错误检测器，根据其中没有被第一错误检测器检测到错误的解码的视频比特流的当前宏块和当前宏块的相邻宏块之间的连续，用于从其中没有被第一错误检测器检测到错误的视频比特流中检测错误；以及第二错误补偿器，用于补偿通过第二错误检测器检测的错误。

附图说明

图1是方框图，示例了根据现有技术的的视频系统的结构；

图2是方框图，示例了按照本发明的一个实施例的使用视频错误补偿装置的视频系统的结构；

图3是流程图，示例了按照本发明一个实施例的包括在视频错误补偿方法中的步骤；

图4示例了按照本发明的宏块的最佳解码顺序；

图5示例了为了检测断续错误的目的按照本发明的可以被比较的当前的解码宏块和空间相邻的宏块；

图6A和6B示例了通过根据现有技术的视频错误检测器所恢复的图像；和

图7A和7B示例了根据本发明的一个或多个前述的实施例的通过视频错误检测器恢复的图像。

具体实施方式

相对于现有技术的系统和方法，按照本发明的用于补偿视频错误的方法和装置提高了画面质量。它是这样实现的，通过参考代码本从解码的视频比特流中检测错误，对第一次时间补偿检测的错误，当解码的视频比特流的当前宏块和相邻的宏块之间没有连续性时隐蔽当前的宏块，对第二次时间在解码的视频比特流中补偿错误，和接着在屏幕上显示解码的(补偿的两次错误)视频比特流。这里，当解码的视频比特流的当前宏块和相邻宏块之间没有连续性时，当前宏块是“绿粉块”。更为具体的，按照本发明，通过参考代码本从解码的视频比特流中检测错误，错误被补偿，通过隐蔽绿粉块。作为结果，视频的画面质量被提高。

图2显示了按照本发明的一个实施例的使用视频错误补偿装置的视频系统。该系统包括：发射单元210，用于通过无线信道发射视频比特流；和接收单元220，用于解码通过无线信道接收的视频比特流，和显示单元。

发射单元210包括：照相机211，用于拍照和捕捉视频；和编码器212，用于编码由照相机拍照或捕捉的视频。优选地是在H.263的标准中并产生相应的视频比特流。照相机和编码器可以执行现有技术的相同的功能。

接收单元220包括解码器221，第一错误检测器222，第一错误补偿器223，显示单元224，第二错误检测器225，和第二错误补偿器226。解码器解码经MPEG(动图像专家组)或H.263标准通过无线信道接收的视频比特流。第一错误检测器参考代码本从解码的视频比特流中检测错误。第一错误补偿器补偿由第一错误检测器检测的错误。基于解码的视频比特流的当前宏块和一个或多个相邻宏块之间的连续性，第二错误检测器从没有被第一错误检测检测到的解码的视频比特流中检测错误。第二错误补偿器补偿由第二错误检测器检测的错误。而且，显示单元在屏幕上显示已经由第一和第二错误补偿器进行错误补偿的视频比特流(视频信号)。

第二错误检测器225检测其中没有被第一错误检测器检测到的视频比特流的当前的解码的宏块和一个或多个相邻的宏块之间的连续性。当不具有连续性时，当前解码的宏块被判断是错误的。例如，当其中没有被检测到错误的视频比特流的当前解码的宏块和它的一个或多个相邻宏块之间的连续性被检测时，第二错误检测器比较彼此的亮度Y和色度Cr/Cb，以及一个或多个亮度和色度的MAD值与各个存在的参考值相比较。当MAD值小于参考值时，其中没有检测到错误的视频比特流的当前宏块被判断为错误。此外，第二错误补偿器226隐蔽由第二错误检测器判断为错误的宏块。

按照本发明的视频系统的视频错误补偿装置包括第一错误检测器，第一错误补偿器223，第二错误检测器225，和第二错误补偿器226。此外，在本发明中，第一错误补偿器223和第二错误补偿器226被描述成独立部分。然而，还可以把它们构成一个整体的错误补偿器。

图3是流程图，显示了按照本发明一个实施例的包括在视频错误补偿方法中的步骤。该方法执行两个错误检测/错误补偿步骤。首先，该方法参考代码本从解码的视频比特流中的宏块单元中检测错误，然后通过隐蔽其中检测到错误的宏块来补偿错误。第二，该方法检测视频比特流中没有检测到错误的当前宏块和一个或多个相邻宏块之间的连续性，并然后当没有连续性时隐蔽当前宏块。通过采用该方法，从而能够去除在现有技术的视频错误补偿装置中出现的“绿粉现象”。

更为具体的，当发射单元210通过编码器202使用MPEG或H.263标准从照相机211中编码视频信号而产生视频比特流时该方法开始。优选地，该编码器通过以MB(宏块)单位编码视频信号来产生视频比特流。然后将产生的视频比特流通过无线信道发送。

接收单元的解码器221以MPEG或H.263标准解码从无线信道接收的编码的视频比特流，并把解码的视频比特流输出到第一错误检测器222，如步骤S1所示。

第一错误检测器222第一次参考代码本从解码的视频比特流中检测错误并输出第一次检测的错误到第一错误补偿器223。更为具体的，通过比较解码的视频比特流和代码本，第一错误检测器第一次从解码的视频比特流中检测错误，如步骤S2所示。

当第一错误检测器222检测到错误时，如步骤S3所示，第一错误补偿器223补偿第一次检测的错误并输出错误补偿的视频比特流(视频信号)到显示单元224。第一错误补偿器223补偿该错误，优选地通过隐蔽其上检测到错误的宏块，如步骤S4所示。

此后，第二错误检测器225在从第一错误检测器222输出的视频比特流中检测其中没有检测到错误的视频比特流的当前解码的宏块中的错误。

图4示例了优选的宏块的解码顺序。更为具体的，图4显示了QCIF(四分之一公共中间格式)4:2:0格式(Y：176×144象素，Cr/Cb：88×72象素)。其中，Y意味着亮度和Cr/Cb意味着色度。在图4中，K表示当前解码的宏块的位置，和箭头表示先前解码的宏块的解码顺序(K-11，K-1，K)。

图5更为具体的显示了按照本发明的当前的解码的宏块和空间相邻的宏块。通过使用视频信号处理和压缩成“自然世界中的视频信号在暂时的空间相邻位置上不会随时改变”的理念，来检测视频错误。例如，当具有没有被第一错误检测器222检测到错误的视频比特流时，为了检测是否其中在视频比特流中没有检测到错误的第K宏块是“绿粉宏块”，在第K宏块和一个或多个相邻宏块(K-1，K-11)的边界上检测连续性(图5的501，502)。更为具体的，在解码以宏块单位编码的视频信号中，当目前解码的宏块和一个或多个先前解码的相邻宏块之间的差值是很大时，例如，大于预定的门限等级，则当前解码的宏块被判断为错误，如步骤S5所示。

最好根据公式1-3的MAD(平均绝对误差)来检测当前解码的宏块和先前解码的相邻宏块之间的连续性。

$\mathrm{MA}{D}_y\left(k\right)=\frac{1}{16}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|Y_k(0,j)-Y_{k-1}(15,j)|+\frac{1}{16}\underset{i=0}{\overset{15}{\mathrm{\Σ}}}|Y_k(i,0)-Y_{k-1}(i-15)|----\left(1\right)$

${\mathrm{MAD}}_{\mathrm{Cb}}\left(k\right)=\frac{1}{8}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|{\mathrm{Cb}}_k(0,j)-{\mathrm{Cb}}_{k-1}(7,j)|+\frac{1}{8}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|{\mathrm{Cb}}_k(i,0)-{\mathrm{Cb}}_{k-1}(i-7)|----\left(2\right)$

${\mathrm{MAD}}_{\mathrm{Cr}}\left(k\right)=\frac{1}{8}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|{\mathrm{Cr}}_k(0,j)-{\mathrm{Cr}}_{k-1}(7,j)|+\frac{1}{8}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|{\mathrm{Cr}}_k(i,0)-{\mathrm{Cr}}_{k-1}(i-7)|---\left(3\right)$

Y_k(i，j)是Y(亮度)信号的第K宏块的i，j像素值，其中i是宏块的水平坐标轴，和j是宏块的垂直坐标轴。

当第一错误检测器在视频比特流中没有检测到错误时，将视频比特流输入到第二错误检测器中。然后，在根据公式1-3定义的MAD基础上使用公式4，第二错误检测器执行有关当前解码的第K宏块(MB)的错误检测。

如果MAD_Y(k)≥TH_Y，则k_thMB是错误的MB

如果MAD_Cb(k)≥TH_Cb，则k_thMB是错误的MB    (4)

如果MAD_Cr(k)≥TH_Cr，则k_thMB是错误的MB

选择的门限值可以是任何一个可变的值。最好是，Th_Y＝70，Th_Cb，Th_Cr＝50。当对当前的解码的第K宏块(MB)执行错误检测时，绿粉宏块中每个彩色信号的MAD值(MAD_y，MAD_Cb，MAD_Cr)表示断续。这相应于MAD值大于门限值的情况，例如，至少在MAD_y，MAD_Cb，MAD_Cr上大于它们各自的门限值Th_Y，Th_Cb，Th_Cr。如果需要，在错误被检测存在之前，多于一个或所有的MAD_y、MAD_Cb、MAD_Cr可以被要求大于它们各自的门限值。相反，不具有错误的正常宏块的MAD值小于门限值，因为自然界中的视频是连续的，例如，所有三个MAD_y，MAD_Cb，MAD_Cr分别小于Th_Y，Th_Cb和Th_Cr，尽管只有一些或它们的其中之一可以是小于的，如果需要的话。

第二错误检测器225因此比较相邻块之间的亮度Y和色度Cr/Cb，用现存的参考或门限值比较所比较的亮度和色度MAD值，当MAD值不小于参考值时，第二错误检测器225判断它有错误。根据公式1-4，第二错误检测器225对没有被第一错误检测器222检测到错误的视频比特流执行该错误检测功能。更为具体的，根据公式1-4，第二错误检测器225从被表示没有被第一错误检测器222检测到错误的视频比特流中检测“绿粉宏块”。

当通过第二错误检测器225检测到错误时，第二错误补偿器226通过隐蔽其上检测到错误的宏块(绿粉宏块)来补偿该错误。然后补偿器226把错误补偿的视频比特流输出到显示单元224，如步骤S6所示。

当第二错误检测器225没有检测到错误时，第二错误补偿器226把具有其中没有检测到错误的宏块的视频比特流输出到显示单元224。

显示单元224在屏幕上显示由第一和第二错误补偿器223、226进行错误补偿的解码的视频比特流，如步骤S7所示。更为具体的，按照本发明，通过在第一次补偿检测的错误和在第二次根据其中没有被第一检测检测到错误的视频比特流的当前宏块和相邻宏块之间的连续性来补偿错误，可以显示质量改善的画面视频。

图6A和6B以及图7A和7B比较了由现有技术的视频错误检测器和由本发明的视频错误检测器所恢复的视频的例子。更为具体的，图6A和6B示例了按照现有技术的视频错误检测器所恢复的图像。如图所示，图象包括绿粉宏块。图7A和7B示例了按照本发明的视频错误检测器恢复的图像。这些图像不包括绿粉宏块。

如所述的，当通过现有技术的错误检测方法恢复视频时，绿粉宏块100和200出现在恢复的视频中。然而，在本发明中，通过隐蔽其中被检测到错误的当前宏块，如图7A和7B所示，没有出现绿粉宏块。更为具体的，通过使用按照本发明的针对视频系统的视频错误补偿装置，如图7A和7B所示，可以显示质量改善的画面视频。

在本发明中，在当作测试数据的ITU-T提供的错误图案中通过使用BER(误码率)＝10³，将视频比特流注入到编码为48kbps，15fps的Foreman视频比特流中。

如上所述，在按照本发明的视频错误补偿装置和方法中，通过参考代码本从解码的视频比特流中检测错误并补偿该错误，通过从没有检测到错误的视频比特流中检测绿粉块并隐蔽检测的绿粉块，可以提高视频的画面质量。

Claims (16)

1.一种视频错误补偿方法，包括下列步骤：

参考代码本检测经宏块解码的视频比特流中的错误；

如果检测到错误则补偿检测的错误；

如果没有检测到错误，则检测是否在视频比特流的当前宏块和一个或多个相邻的宏块之间存在断续；和

当检测到断续时隐蔽当前的宏块。

2.如权利要求1所述的方法，其中所述补偿步骤包括隐蔽其上检测到错误的宏块。

3.如权利要求1所述的方法，其中检测是否存在断续的步骤包括：

比较当前的和一个或多个相邻的宏块的亮度和色度中的至少一个；

比较从亮度和色度的其中之一的比较中导出的MAD值和当前存在的参考值；和

根据MAD值和参考值的比较判断当前的宏块具有断续性。

4.一种视频错误补偿装置，它包括：

解码器，其解码经宏块单元编码的视频比特流；

第一错误检测器，其参考代码本检测是否在解码的视频比特流中存在错误；

第一错误补偿器，其补偿由第一错误检测器检测的错误；

第二错误检测器，当第一错误检测器没有检测到错误时检测视频比特流中的错误，第二错误检测器通过确定视频比特流的当前宏块和一个或多个相邻宏块之间是否存在断续性来检测错误；以及

第二错误补偿器，其补偿由第二错误检测器检测的错误。

5.如权利要求4所述的装置，进一步包括：

显示单元，其在屏幕上显示其由第一和第二错误补偿器的其中之一进行补偿错误的视频比特流。

6.如权利要求4所述的装置，其中所述第一错误补偿器隐蔽由第一错误检测器检测到错误的宏块，而当检测到断续时，第二错误检测器隐蔽当前的宏块。

7.一种用于处理视频的方法，包括：

检测视频比特流中的相邻宏块之间的断续；和

对视频比特流中的断续进行补偿。

8.如权利要求7所述的方法，其中所述检测断续性的步骤包括：

比较相邻宏块的色彩值；和

基于比较的结果确定存在断续性。

9.如权利要求8所述的方法，其中色彩值是亮度值或色度值。

10.如权利要求7所述的方法，其中所述确定断续性存在的步骤包括：

根据色彩值的比较来计算差值；以及

用预定的门限比较差值。

11.如权利要求7所述的方法，其中所述检测断续的步骤包括：

比较相邻宏块的第一色彩值和第二色彩值；和

根据比较的结果确定存在断续。

12.如权利要求11所述的方法，其中所述比较步骤包括：

计算第一差值等于第一色彩值之间的差；

计算第二差值等于第二色彩值之间的差；

用第一差值和第二差值与各自的门限值比较。

13.如权利要求11所述的方法，其中所述确定步骤包括：

如果第一和第二差值的至少其中之一超过它们各自的门限值，则确定存在断续。

14.如权利要求11所述的方法，其中所述确定步骤包括：

如果第一和第二差值都小于它们各自的门限值，则确定不存在断续。

15.如权利要求7所述的方法，其中所述用于断续的补偿包括：

从显示器上隐蔽相邻宏块的其中之一。

16.如权利要求7所述的方法，其中所述视频比特流符合H.263标准。

Images