CN1080067C - 视频图象中的错误检测 - Google Patents

Abstract

通过为图象的块计算与频率相关的系数并考虑所述系数的统计分布而在视频图象中识别错误。计算系数的方差，如果计算的方差明显地高于一个存储的阀值和/或如果计算的所述方差明显地与为前一帧内相同位置上的块所导出的方差值不同，便掩盖该块原来的图象数据。掩盖是通过从前一帧中选择根据所传输的运动矢量位移了的图象数据而进行的。

Description

视频图象中的错误检测

本发明涉及表示视频图象的信号中的错误检测。

除了广播与存储全带宽视频信号，也已对减少用于视频信号的传输与存储的带宽需求的技术产生关注。这些技术除了其它优点还方便了视频信号的双向传输，导致有条件开发电视会议设施及可视电话。

供在有限带宽传输路径上传输的压缩视频数据的问题在于数据成为更容易出现传输错误。传输路径的性质通常使得错误是不可避免的，并且为了改善传输的图象的总体效果，最好能识别错误的存在及它们在视频图象内的位置，并且在可能时采取行动来掩盖这些错误。

检测错误的一种方法包括加入一个纠错码作为开销。循环冗余码广泛地用于错误检测，其代价为在传输信号中的少量开销。

如果在传输中纠错码受到破坏，则在接收机上检测到这一点而取代受破坏的数据，例如在5,150,210号美国专利中所描述的。

本发明寻求提供用于检测视频信号中出现的错误的一种改进的方法与装置。

按照本发明的第一方面，提供了检测表示一个视频图象的信号中的错误的方法，包括：

接收表示视频图象中各块的与频率的相关的系数的块；

分析所述系数在一块内的统计分布以检测破坏的数据的存在。

在一个较佳实施例中，所述分析步骤包含计算一块中的所述系数的方差，方差是通过计算实际系数值与平均值之间的差、求出所述差的平方及求出所述平方之和而确定的，即： $\mathrm{\σ}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2$

其中σ＝方差

Xi＝第i个系数的值

X＝一块内的所有系数的平均值

N＝一块中的系数的数目

方差可以与一个预定的阈值进行比较，如果方差大于所述的阈值便识别出一个错误，作为替代或附加，可以存储一帧的块的方差值，并且可将考虑中的一块的方差与前一帧中相同位置上的块与/或前一帧中周围的块的方差进行比较，可计算前一帧中的块的均方差值，如果考虑中的方差值显著地大于或显著地小于前一帧的平均值便检测到一个错误。

如果传输编码方案采用表示一块内的象素的实际值的与频率相关的系数，例如该视频信号是只采用DCT(离散余弦变换)系数帧间编码的，便可直接分析传输的系数的数学分布，然而所采用的编码方案不一定得出表示象素的实际值的与频率相关的系数。例如，如果传输的信号表示当前帧与一较早的帧之间的差，则如不首先解压接收到的信号来生成实际的象素值，然后将信号分成块及将信号变换到频率域中以生成与频率相关的系数，便不能得到实际象素值，并因此而不能得到所得出的频率系数的数学分布。

在一个较佳实施例中，如果识别出一个错误，便设法掩盖该块。这可包含用前一帧中的相同位置上的块或者其运动补偿的块来替代检测到的块。另外，可通过求出来自前一帧的相同位置上的块与周围的块的平均运动矢量而计算出一个新的运动矢量，以产生用来替代当前块的前一帧中的一块的相关运动矢量。

下面参照附图只是以示例的方式描述本发明，附图中：

图1示出发送与接收压缩的视频数据的一个系统，其中包含用于检测与掩盖错误的一个电路；

图2示出如何从多个块构成一个图象；

图3示出用在图1所示的系统中的检测与掩盖错误的电路的第一实施例，其中包含一处理单元；

图4详述图3中所示的处理单元用于检测错误的存在的操作；

图5详述图3中所示的处理单元用于掩盖错误的操作；

图6示出包含用于检测与掩盖错误的装置的第二实施例的一个系统；

图7更详细地示出图6所示的用于检测与掩盖错误的装置。

图1中示出用于在从发送站16到接收站17的一条传输路径15上传输压缩的视频数据的一个系统。一个视频源18生成传统的视频信号，该视频源可以是一台摄象机，一台录象带播放机或类似的设备。传输路径15只有有限的带宽，因此要压缩视频数据以便保持在可利用的带宽内。传输路径可以是电话线、专用数字链路，无线链路或任何其它提供通信信道的装置。按照惯例，压缩的视频信号是以非隔行扫描的形式的，每一个视频帧具有288行，每行352个象素。在非压缩形式中，各象素具有一个用8位数据表示的亮度值，而较小的数目的位分配给表示各色差信号。

一个压缩电路19压缩视频源18生成的视频数据，例如按照CCI TT H.261压缩建议压缩视频数据，但本发明不限于这种压缩方式。按照H.261建议，将待压缩的视频信号分成表示视频图象的象素块的部分。用离散余弦变换(DCT)将各块变换到频率域中，并传输系数。可以不参照任何其它块或帧(帧内编码)或者参照另一块或帧来压缩这些块，在后一情况中，DCT系数表示对比的块之间的差。原始视频数据中包含各象素位置上的8位亮度并且该块包含8×8个象素的一个阵列。一个系数阵列可以成相同的比例但是分辨率为使对一特定系数可要求最小12位再加上一个符号位。因为许多系数将具有零值且因而可被有效地忽略，所以可以实现压缩。一个输出电路20放大并且在必要时调制该压缩的视频信号，借此将其置于适合于在传输路径19上传输的形式。

传输的信号所遭受的衰减程度很可能是依赖于频率的，因此接收站上的一个均衡电路26提供补偿。然后用末示出的装置(在必要时)解调所接收的信号，及用一个放大电路25将其放大。

解压缩是由一个配置成执行压缩电路19提供的压缩的逆过程的解压电路27所执行的。由于传输信道15上的噪声而引入信号中的任何错误可导致数据的破坏。这会导致在显示设备28上看得见被破坏的数据，从而，如果能以相同的方式检测出及掩盖受破坏的数据，便能改善所显示的图象的总体完整性。

为了提供这种检测与掩盖处理，本系统包含一个错误检测与掩盖电路29，该电路配置成识别一块受破坏的数据并通过从前面传输的帧中选择一个等价的块而掩盖这一受破坏的数据块。

图2中所示的一个传统的视频帧31包含288行，每行上352个象素。作为H.261压缩过程的一部分，将该帧分成1584块，各块中以8×8的矩阵的形式包含64个象素。

图2中示出了一个亮度块32，并且它与其三个相邻的块组合而提供一个宏块33。宏块33是放大显示的，而块34显示象素35的一个满矩阵。此外，一个全色画面还需要为每一个亮度块传输两个色差块。

图3中详示了错误检测与掩盖电路29，其中在输入端口41上接收来自解压电路27的解压视频数据，并将经过处理的供在显示设备28上显示的视频数据作用在输出端口42上。电路29包含一个第一图象存储器43及一个第二图象存储器44，各能存储一个满的视频帧。一个视频写控制器45控制对图象存储器的视频数据写入，使得将一个第一帧写入图象存储器43，而在一个视频读控制器46的控制下正在从第一图象存储器43读取第一帧的同时，将一个第二帧写入存储器44。在将整个视频帧写入第二图象存储器44之后，便将下一个视频帧写入第一图象存储器43，改写前面写入的帧并通过从存储器44中读取图象而导出端口42的一个输出信号。

在将数据写入图象存储器43或44的同时，还处理所述数据以检测错误的出现。当检测到错误时，便可在一个块改写控制器47的控制下改写图象存储器43与44中的数据块。为了识别错误的出现，还将从端口41输入的图象数据提供给一个变换单元48，该单元配置成将输入图象数据变换成各象素块的与频率相关的系数。在较佳实施例中，该变换单元在图象数据块上执行离散余弦变换(DCT)。然后将与频率相关的系数提供给处理单元49。

为了检测传输的视频数据中出现的错误，将处理单元49配置成计算各块内的系数值的平均值与方差。随着这些方差值的计算，将它们提供给第一方差存储器55或第二方差存储器56，借此保证为前一帧计算的方差值能供处理单元49利用。向与从存储器55与56写与读方差值是由方差存储器控制器57控制的。

如果在传输路径15上提供的视频信息是以这样的方式压缩的，即除了包含空间压缩系数以外，还提供表示各压缩数据块的运动矢量的数据，则也将这些运动矢量通过输入端50提供给错误掩盖电路29。

运动矢量是通过将当前帧中的一块象素与前一帧中相同位置上的块及在x与y两个方向上位移了多个象素位移的块进行比较而计算出的。运动矢量不直接与原始图象内的目标的运动相关，但实际表示通过比较所关心的块与前一帧中的相似块而导出的最接近的吻合。转让给本申请人的5,083,202号美国专利中公开了为生成运动矢量而执行这种比较的一种技术。

从而，对于各视频数据块，传输了指示来自前一帧的最接近的吻合块的运动矢量的x与y值。将这些位移矢量提供给矢量存储器写控制器51，其中从第一帧导出的矢量写入第一矢量存储器52，来自下一帧的矢量写入第二矢量存储器53，此后重写第一存储器，以此类推。从而，处理单元49可通过一个矢量存储器读电路54得到前一帧的矢量值。

图4中详细示出处理单元49的操作过程。作为变换单元46所执行的变换的结果，一帧系数将可供处理单元49利用，处理单元在步骤61启动其处理过程。在步骤62提出关于是否能得到该帧的另一块的问题，对于一帧的第一块，这一问题的答复是肯定的。当答复为肯定时，在步骤63计算该块中的系数的平均值。通过将系数值加在一起然后除以64而导出一个8×8块的系数的平均值。

在步骤64，通过从各系数值中减去该平均值以生成各特定系数的一个差值以供计算值的方差。求出这一差值的平方并通过求出所有64个平方项之和而得出方差。

在步骤65将为该特定的块计算的方差值存储在方差存储器55或56中，这取决于考虑中的特定的帧的相位。

在步骤66读取一个阈值T并在步骤67提出关于在步骤64计算的方差值是否大于阈值T的问题。阈值T可由操作员调整或选择，并可调整成适应特定类型的传输。如果在步骤64计算的方差值大于在步骤66读出的阈值，便认为考虑中的块包含错误，其理由是由于出现错误而生成了一个大方差值。从而，如果对步骤67提出的问题答复是肯定的，便通过地在步骤68调用一个掩盖块例程而掩盖该块。

如果对步骤67提出的问题的答复是否定的，在方差值上执行进一步的检验来判定所述值是否表示出现错误。前面，所述方差值是与一个阀值比较的，这对于识别产生非常大的方差值的非常严重的错误是适用的。但是，具有带适度方差的系数的一块仍然可能有错误，如果该方差与包围前一帧中与考虑中的块在相同的位置上的块的那些块的方差值明显地不同，便检测到这种错误。

从而在步骤69，处理单元访问用于前一帧的方差存储器。如果在步骤64计算的方差值是写入存储器55的，步骤69便访问来自存储器56的方差值。识别与考虑中的块等价的位置，并从存储器56中读出它的及八个周围的块的方差值。

在步骤70，计算前一帧方差值的平均值P，在步骤71将这一前一平均值与当前方差值进行比较。如果考虑中的块的该值大于前一平均值P的三倍或者小于前一平均值P的三分之一，便认为该块包含错误而再一次调用掩盖算法。从而，如果该值大于前一平均值的三倍或者小于所述前一平均值的三分之一，对步骤71提出的问题的答复是肯定的，而在步骤72调用掩盖块例程。否则，如果对步骤71提出的问题的答复是否定的，则在步骤73认为该块无错误而控制返回到步骤62。最终，考虑过了一个特定的帧的所有的块而对步骤62提出的问题的答复成为否定，返回控制到步骤61并将处理单元49置于准备好处理下一帧系数的状态中。

图5中详细示出有可能在步骤68或72调用的掩盖例程。为了本实例的目的，假定图象数据正在写入图象存储器43中而处理单元49已识别出包含错误的一块图象数据。由于数据是写入图象存储器43的，便从图象存储器44中读取前面处理过的数据，借此提供一个视频输出信号给输出端口42。因此在输出控制器46选择所述数据之前，可以得到一个时间间隔。在这一时间间隔中可对存储在存储器43中的图象数据进行修正。由于图象数据是写入存储器43的，运动矢量便是写入矢量存储器52的，以及类似地，随着将图象数据的写入切换到图象存储器44，运动矢量数据的写入也切换到存储器53。

从而，处理单元在已写入图象存储器43的一块图象数据中检测到了一个错误，现在要求处理单元49在将这些数据提供给输出端口42之前执行过程来掩盖错误。

在图5的步骤81，访问矢量存储器52以便读取前一帧的等价块的运动矢量。

在步骤82，从矢量存储52中读出8个周围的块的运动矢量，借此向处理单元49提供总数为9个的运动矢量。

在步骤83通过将所述9个值相加并除以9而计算一个平均运动矢量，以生成一个用于访问前一帧的图象数据的平均运动矢量。从而，该平均运动矢量在前一帧中标识一块的位置，该块在X与Y方向上运动了该运动矢量所指定的量之后，提供对当前帧中考虑中的块的紧密匹配。

从而，平均运动矢量标识在这一时间点上保持在图象存储器44中的前一帧中的一块数据，当前正在读取该存储器以提供输出信号。在步骤85，块改写控制器47响应从处理单元49接收的指令读取在存储器44中识别的数据，并将其写到输入图象存储器43中考虑中的块上。

注意到下述问题是重要的，即假定为象素位置指定了运动矢量，从输出图象存储器44中读出的块不一定位于原来的块边界之内。

改写了图象块之后，控制便返回到步骤62，以便考虑另一块。

图6示出一个系统，其中压缩的传输信号包括表示帧的实际象素值的与频率相关的系数。因此，在将它们输入到处理单元49之前，只需要少量或不需要对DCT系数进行进一步处理，如图7中所示。除此以外，图7中所示的电路的操作与图3中所示的相同。

解压电路27可包含某些传统形式的错误检验，例如纠错码检验装置。在本例中，解压电路在识别出包含错误的一个宏块或一个块群(GOB)上加上标记，(一个块群包括11宏块×3宏块的一个矩阵)。只将加标记的宏块或GOB中的块传送给错误检测与掩盖电路29去判定宏块或GOB内哪一块包含错误。因此可以保留末遭破坏的块，而掩盖在其中检测到错误的块。

Claims (13)

1、一种在表示视频图象的信号中检测错误的方法，包括：

接收表示该图象的各块的与频率相关的系数的块；及

分析所述系数在一块内的统计分布以检测受破坏的数据的出现。

2、按照权利要求1的一种方法，其中所述分析步骤包含计算一块中的所述系数的方差。

3、按照权利要求2的一种方法，还包括将一块的计算方差与一个预定的阈值进行比较，如果计算方差超过该预定的阈值，便检测到一个错误。

4、按照权利要求2或3的一种方法，还包括将一个当前帧的一块的计算方差与为前一帧中至少一个相同位置上的块计算的方差值进行比较，如果当前帧的一块的计算方差与前一帧的相同位置上的块的方差相差一个预定的量，便检测到一个错误。

5、按照权利要求4的一种方法，还包括首先将信号分成与一个图象的各块(32)对应的多个部分；以及将所述部分变换成与频率相关的系数的块。

6、用于在表示视频图象的一个信号中识别错误的出现的装置，其特征在于：

用于分析表示图象的各块的与频率相关的系数的统计分布以识别受破坏的数据的装置(49)。

7、按照权利要求6的装置，其中所述分析装置包括用于计算一块中的系数的方差的装置。

8、按照权利要求7的装置，其中所述分析装置包括用于将所述方差值与一个预定的阈值进行比较的装置。

9、按照权利要求7或8的装置，其中所述分析装置包括用于将所述方差值与为前一帧中至少一个相同位置上的块得出的方差值进行比较的装置。

10、按照权利要求6至8中任何一项的装置，包括用于存储图象数据的装置；以及响应在一个块内检测到错误而进行操作以用图象的一个较早的帧中的一个存储的块替代该块的装置。

11、按照权利要求10的装置，包括用于读取包含有传输的视频数据的运动矢量的装置(52、53、54)；以及处理装置(49，47)，用于通过根据所述运动矢量选择一个存储的块来掩盖识别为包含错误的块。

12、按照权利要求11的装置，其中通过求出与前一帧内相同位置上的块相关联的运动矢量的平均值而计算一个新的运动矢量。

13、按照权利要求6、7、8、11、12中任何一项的装置，还包括：

用于首先将一个信号分成对应于图象中的各块(32)的多个部分的装置(48)；以及

用于将所述部分变换成与频率相关的系数的块的装置(48)。

Images