CN1163541A - 利用当前帧预测装置的视频信号编码系统 - Google Patents

Abstract

通过采用产生对应于各当前数据块信号的预测的当前数据块信号的一个装置，根据一个先前帧，预测包括多个当前数据块信号的一个当前帧。根据对于当前的和先前的帧之间的运动的估算，该装置首先计算表示在当前数据块信号和从先前帧中选择的相应预测数据块信号之间的改进的相关性的一个相关因数。一旦计算了该相关因数，就根据该相关因数和当前及预测的数据块信号来确定预测的当前数据块信号。

Description

利用当前帧预测装置的视频信号编码系统

本发明涉及对视频信息进行编码的装置，尤其涉及一种改进的当前帧预测装置，用于产生更为精确地预测的当前帧数据。

众所周知，数字化的视频信号的发送能够传递质量比模拟信号的发送要高得多的视频图象。当一个包括图象“帧”序列的图象信号被表示成数字形式的时候，就产生用于发送的大量数据，尤其是在高清晰度电视系统的情况中。但是由于普通的发送通道的可用带宽的限制，为了通过有限的频道带宽发送大量的数字数据，就不可避免地要压缩或降低要发送的数据量。在各种视频压缩技术中，将时间和空间压缩技术和统计编码技术相结合的所谓的混合编码技术被认为是最有效的。

多数的混合编码技术采用了运动补偿的DPCM(差分脉码调制)、二维DCT(离散余弦变换)、DCT系数的量化和VLC(可变长度编码)。运动补偿的DPCM是一个确定当前帧和先前帧之间的一个物体运动的过程，并根据物体的运动流对于当前帧进行预测，以产生表示当前帧和它的预测帧之间的差异的一个差分信号。这种方法可见于下列的两篇文章中，一篇是Staffan Ericsson的“用于混合预测/变换编码的固定的和自适应的预测器”(见于1985年12月的IEEE通信报导的33卷第12期)，另一篇是Ninomiya和Ohtsuka的“用于电视图象的运动补偿帧间编码方案”(见于1982年1月的IEEE通信报导的30卷第1期)。

具体地说，在运动补偿的DPCM中，根据对于当前帧和先前帧之间的运动的估算，从对应的先前帧数据预测当前帧数据。这种估算的运动能够用表示在先前帧和当前帧之间的象素的位移的二维运动矢量来描述。随后通过采用二维运动矢量将与当前帧相似的先前帧的若干部分组合而构成预测的当前帧；并且确定表示在当前帧和它的预测(即预测的当前帧)之间的差的差分信号。

然而，在上述的运动补偿的DPCM中，由于被使用来产生差分信号的预测的当前帧只是根据先前帧和运动矢量来构成，所以，如果在运动矢量中存有误差时，就会使得预测的当前帧变得实际上不同于当前帧。

因此，本发明的目的在于提供一种装置，通过结合在当前帧和先前帧的对应象素值之间的增强的相关性而有效地预测当前帧的数据。

本发明的另一个目的是提供一种视频信号编码器，该编码器采用了一种通过结合在当前帧和先前帧的对应象素值之间的增强的相关性而有效地预测当前帧的数据的装置。

根据本发明的一个方面，提供了一种使用在视频信号编码系统中的装置，用于根据当前帧和先前帧产生一个预测的当前的数据块信号，其中的该当前帧和该先前帧被包括在具有多个帧的视频信号中，这些帧的每一个被分成具有NXM个象素值的多个数据块，其中的M和N是正整数，该装置包括：当前数据块信号提供器，用于作为一个当前数据块信号提供当前帧中的各数据块；预测的数据块信号选择器，用于在先前帧中选择与当前数据块信号相似的一个数据块，作为一个预测的数据块信号；相关因数计算器，用于确定对在当前的和预测的数据块信号的对应象素值之间的一个改进的相关性进行描述的一个相关因数；以及预测的当前数据块信号发生器，用于根据该相关因数和当前及预测的数据块信号而产生预测的当前数据块信号。

根据本发明的另一个方面，提供了用于对视频信号进行编码的一个视频信号编码器，其中的视频信号包括当前帧和先前帧，这些帧的每一个被分成具有NXM个象素的多个数据块，其中的M和N是正整数，该编码器包括：一个提供器，用于作为一个当前数据块信号提供当前帧中的数据块；一个选择器，用于在先前帧中选择与当前数据块信号相似的一个数据块，作为一个预测的数据块信号，并提供一个表示在当前和预测的数据块信号之间的位移的运动矢量；一个发生器，用于根据当前和预测的数据块信号产生一个预测的当前数据块信号和补偿信息，其中的预测的当前数据块信号是根据在当前和该预测的数据块信号的对应象素值之间的改进的相关性而生成的，而该补偿信息描述了该改进的相关性；一个计算器，用于计算表示在当前数据块信号和预测的当前数据块信号之间的差分象素值的一个数据块差信号；以及一个编码部分，用于对该数据块差信号，运动矢量和补偿信息进行编码，从而提供一个编码的视频信号。

从下面结合附图的描述，本发明的上述的和其它的目的和特征将会变得显见。

图1是采用本发明的运动补偿器的一个视频信号编码器的框图；和

图2A和2B分别表示根据本发明的较佳实施例的运动补偿器的详细的框图。

参考图1，其中示出一个用于编码输入视频信号的视频信号编码器，其中的视频信号包括诸如当前帧和先前帧的多个帧，这些帧的每一个被分成具有NXM个象素的多个数据块，其中的M和N是正整数。输入的视频信号按照逐帧的方式被送到第一帧存储器100进行存储。

该第一帧存储器100顺序地将表示存储在其中的包括在当前帧的各数据块的象素值的当前数据块信号提供到减法器105、运动补偿器140和运动估算器150。

在运动估算器150，来自第一帧存储器100的当前数据块信号和来自第二帧存储器160的包括多个先前数据块信号的一个先前帧数据被处理，以便通过采用传统的运动估算技术确定用于当前数据块信号的运动矢量。在运动估算器150获得的运动矢量被加到运动补偿器140，并经过线路L30加到平均信息量编码器170。

根据来自第一帧存储器100的当前数据块信号、来自第二帧存储器160的先前帧数据和来自运动估算器150的运动矢量，运动补偿器140产生一个预测的当前数据块信号。

在图2A和2B中，分别地示出了根据本发明的较佳实施例的运动补偿器140的框图。将参考附图对于运动补偿器140作详细的描述。

首先，尽管在图2A和2B中没明确示出，运动补偿器140将根据先前帧数据和运动矢量，通过采用传统的运动补偿技术检测对应于当前数据块信号的预测的数据块信号。就是说，在先前帧中的与当前数据信号块相似的一个数据块被选作预测的数据块信号。随后，通过上述的方法获得的预测的数据块信号被送到对应的第二削减部分，即图2A的143A和图2B的143B中。

参考图2A，根据本发明的较佳实施例的第一削减部分141A计算第一确定值，例如从第一帧存储器100提供的在当前数据块信号中的所有象素值的均值；并从在当前数据块信号中的象素值的每一个中减去该第一确定值，以便产生一个被削减的当前数据块信号。该第一确定值经过线路L50提供到补偿部分148A和图1中的多路复用器180，且将削减的当前数据块信号传送到第一归一化部分142A。

相似地，第二削减部分143A计算第二确定值，例如在预测的数据块信号中的所有象素的均值，通过从预测的数据块信号的象素值中的每一个中减去该第二确定值而产生削减的预测数据块信号；并将该削减的预测数据块信号提供到第二归一化部分144A和一个相乘部分147A。

在第一归一化部分142A中，为了产生归一化的当前数据块信号，在削减的当前数据块信号中的象素值的每一个被归一，例如，由下式计算： $I_n(i,j)=\frac{I(i,j)}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}I{(i,j)}^2}}$           公式.1其中的I(i，j)描述了在削减的当前数据块信号中的位置坐标(i，j)的一个象素值，i和j是表示在数据块中的象素位置的整数，而In(i，j)表示I(i，j)的归一化的象素值。

同样，第二归一化部分144A也按照公式1中的同样的方式对在已经削减的预测数据块信号中的每一个象素值作归一化，以便产生归一化的预测数据块信号。

归一化的当前和预测的数据块信号耦合到相关因数计算部分145A，它确定它们之间的一个内积作为相关因数。该相关因数，即两个数据块信号的内积由下式计算： $S=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{I}_{\mathrm{nc}}(i,j)\×I_{\mathrm{np}}(i,j)$              公式.2其中S表示内积，Inc(i，j)表示在归一化的当前数据块信号中的位置坐标(i，j)的归一化象素值；Inp(i，j)描述了在归一化的预测数据块信号中的位置坐标(i，j)处的归一化的象素值。

内积S被送到相乘部分147A和量化部分146A。该内积S在量化部分146A被量化并被送到多路复用器180。

在相乘部分147A中，来自第二削减部分143A的已经削减的预测数据块信号被由内积S相乘，且相乘结果送到补偿部分148A。

补偿部分148A通过将经过线路L50传来的第一确定值加到在相乘部分147A得出的相乘结果上而产生预测的当前数据块信号，并将该信号提供到线路L10上。

另一方面，参考图2B，示出了根据本发明的另一个较佳实施例的运动补偿器140的细节框图。但是由于构成图2B的运动补偿器140的处理装置的操作与图2A示出的装置的操作相似(后者已参考图2A说明)，所以其中的图2A和图2B的装置的共同的操作将是简单地提及，而随后将参考附图详细地描述在图2B的运动补偿器执行的与图2A的运动补偿器的不同过程。

在此例中，运动补偿器140同样是采用上面提到的运动补偿技术利用先前帧的数据和运动矢量检测对应于当前数据块信号的一个预测数据块信号。当前数据块信号和预测的数据块信号被送到第一削减部分141B和第二削减部分143B。

象参考图2A描述的那样，第二削减部分143B利用在预测数据块信号中的全部的象素值的均值计算一个确定值，并产生一个削减的预测数据块信号，再将该信号送到第二归一化部分144B。

第一削减部分141B从当前数据块信号中的象素值的每一个减去在第二削减部分143B得出的该确定值，以便产生将被传送到第一归一化部分142B的一个被削减的当前数据块信号。

第一归一化部分142B和第二归一化部分144B将削减的当前数据块信号和削减的预测数据块信号归一化，从而分别产生归一化的当前数据块信号和归一化的预测数据块信号。

归一化的当前数据块信号和预测的数据块信号被提供到相关因数计算部分145B，通过上述的公式2确定它们之间的一个相关因数。该相关因数再被送到量化部分146B和一个相乘部分147B，并按照上述的方式处理。

在补偿部分148B中，通过将来自第二削减部分143B的该确定值加到在相乘部分147B得出的相乘结果而确定预测的当前数据块信号，并将其耦合到线路L10

在上述的参考图2A和2B描述的产生预测的当前数据块信号的处理过程中，由于该削减的数据块信号(例如削减的当前数据块信号或削减的预测数据块信号)是通过从该数据块信号(例如当前的或预测的数据块信号)中的每一个象素值减去一个确定值(例如第一或第二确定值)而被确定的，所以，它只包括在数据块信号中的象素值之间的差值。如同在公式2中所示，由于相关因数是由归一化的当前和预测的数据块信号所确定的，所以它反映了在当前和预测的数据块信号中的对应象素之间的相关性，并因此能够由上述的处理产生预测的当前数据块信号。

再回到图1，在减法器105处从当前的数据块信号减去经线路L10来的预测的当前数据块信号；并将产生的数据，即表示在当前数据块信号与预测的当前数据块信号之间的象素值的差的数据块差信号发送到图象信号编码器120，在其中，数据块差信号，例如通过利用离散余弦变换(DCT)或其它的任何适当的量化方法，被编码成一组量化的变换系数。

随后这些量化的变换系数被送到平均信息量编码器170和图象信号解码器130。在平均信息量编码器170，通过利用例如行程长度和可变长度编码的组合对来自图象信号编码器120的量化的变换系数和经过线路L30提供的运动矢量共同编码。来自平均信息量编码器170的编码的数据和来自运动补偿器140的输出，例如相关因数和第一确定值或相关因数在多路复用器180多路复用，并被送到发射机(没示出)被发送。

同时，图象信号解码器130利用逆量化和逆DCT将来自图象信号编码器120的量化的变换系数变换回到一个重建的数据块差信号。

来自图象信号解码器130的重建的数据块差信号和来自运动补偿器140的预测的当前数据块信号在加法器115组合，从而提供重建的当前数据块信号，以便作为先前的数据块信号写入第二帧存储器160。

虽然本发明是参照具体的实施例进行的描述，但是本专业的技术人员显然能够在不背离所附的权利要求的精神范围内做出各种的改进和修正。

Claims (20)

1、一种使用在视频信号编码系统中的装置，用于根据当前帧和先前帧产生一个预测的当前数据块信号，其中的该当前帧和该先前帧被包括在具有多个帧的视频信号中，这些帧的每一个被分成具有NXM个象素的多个数据块，其中的N和M分别是正整数，该装置包括：

装置，用于作为一个当前数据块信号提供当前帧中的各数据块；

装置，用于在先前帧中选择与当前数据块信号相似的一个数据块，作为一个预测的数据块信号；

装置，用于确定表示在当前和预测的数据块信号中的对应象素值之间的一个改进的相关性的一个相关因数；以及

装置，用于根据该相关因数和当前及预测的数据块信号而产生预测的当前数据块信号。

2、根据权利要求1的装置，其中的相关因数确定装置包括：

装置，用于根据当前数据块信号计算第一个确定值；

装置，用于根据预测的数据块信号计算第二个确定值；

装置，用于通过从当前数据块信号中的象素值的每一个中减去第一确定值而产生一个削减的当前数据块信号；

装置，用于通过从预测的数据块信号中的象素值的每一个中减去第二确定值而产生一个削减的预测数据块信号；

装置，用于对削减的当前和预测的数据块信号进行归一化，以便分别提供归一化的当前和归一化的预测数据块信号；和

装置，用于根据归一化的当前的和预测的数据块信号计算相关因数。

3、根据权利要求2的装置，其中的第一和第二个确定值的每一个分别是通过计算在当前和预测的数据块信号中的象素的平均值而被确定的。

4、根据权利要求3的装置，其中的预测的当前数据块信号产生装置包括：

装置，用于将削减的预测数据块信号与相关因数相乘，以便产生一个相乘的预测数据块信号；和

装置，用于通过将第一确定值加到相乘的预测数据块信号而确定预测的当前数据块信号。

5、根据权利要求4的装置，其中的归一化的当前数据块信号是通过对于在削减的当前数据块信号中的象素值的每一个进行由下式决定的归一化而被确定的： $I_n(i,j)=\frac{I(i,j)}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}I{(i,j)}^2}}$ 其中的I(i，j)表示在削减的当前数据块信号中的位置坐标(i，j)的一个象素值，i和j是表示在数据块中的象素位置的整数，而In(i，j)表示I(i，j)的归一化的象素值。

6、根据权利要求5的装置，其中的归一化的预测数据块信号是通过采用在生成归一化的当前数据块信号中所用的相同的方式，根据削减的预测数据块信号而被确定的。

7、根据权利要求6的装置，其中的相关因数是如下式计算的： $S=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{I}_{\mathrm{nc}}(i,j)\×I_{\mathrm{np}}(i,j)$ 其中S表示相关因数，Inc(i，j)表示在归一化的当前数据块信号中的位置坐标(i，j)的归一化象素值；Inp(i，j)表示在归一化的预测数据块信号中的位置坐标(i，j)处的归一化的象素值。

8、根据权利要求1的装置，其中的相关因数确定装置包括：

装置，用于根据预测的数据块信号计算一个确定值；

装置，用于通过从当前数据块信号中的象素值的每一个中减去该确定值而生成一个削减的当前数据块信号；

装置，用于通过从预测数据块信号中的象素值的每一个中减去该确定值而生成一个削减的预测数据块信号；

装置，用于对削减的当前和预测的数据块信号进行归一化，以便分别提供归一化的当前和归一化的预测数据块信号；和

装置，用于根据归一化的当前和预测的数据块信号计算相关因数。

9、根据权利要求8的装置，其中的确定值是通过计算在预测数据块信号中的象素值的均值而被确定的。

10、根据权利要求9的装置，其中的预测的当前数据块信号产生装置包括：

装置，用于将削减的预测数据块信号与相关因数相乘，以便产生一个相乘的预测数据块信号；和

装置，用于通过将该确定值加到相乘的预测数据块信号而确定预测的当前数据块信号。

11、一种用于对视频信号进行编码的视频信号码器，其中的视频信号包括当前帧和先前帧，各帧被分成具有NXM个象素的多个数据块，其中的N和M是正整数，该编码器包括：

装置，用于作为一个当前的数据块信号提供当前帧中的各块；

装置，用于在先前帧中选择与当前帧数据块信号相似的一个数据块，作为一个预测的数据块信号，并提供一个表示在当前和预测的数据块信号之间的位移的一个运动矢量；

装置，用于根据当前和预测的数据块信号产生一个预测的当前数据块信号和补偿信息，其中该预测的当前数据块信号是利用在当前和预测数据块信号的对应象素值之间的改进的相关性而被产生的，而该补偿信息表示该改进的相关性；

装置，用于计算表示在当前数据块信号和预测的当前数据块之间的差分象素值的一个数据块差信号；以及

装置，用于对该数据块差信号、运动矢量和补偿信息进行编码，从而提供一个编码的视频信号。

12、根据权利要求11的视频信号编码器，其中的产生装置装置包括：

装置，用于根据当前数据块信号计算第一个确定值；

装置，用于根据预测数据块信号计算第二个确定值；

装置，用于通过从当前数据块信号中的象素值的每一个中减去第一确定值而产生一个削减的当前数据块信号；

装置，用于通过从预测数据块信号中的象素值的每一个中减去第二确定值而产生一个削减的预测数据块信号；

装置，用于对削减的当前和预测的数据块信号进行归一化，以便分别提供归一化的当前和归一化的预测数据块信号；

装置，用于根据归一化的当前的和预测的数据块信号计算相关因数；

装置，用于根据相关因数、削减的预测数据块信号和第一确定值来产生预测的当前数据块信号；

装置，用于对相关因数进行量化；和

装置，用于提供已被量化的相关因数和第一确定值作为补偿信息。

13、根据权利要求12的视频信号编码器，其中的第一和第二的确定值的每一个分别是通过计算在当前和预测的数据块信号中的每个中的象素的平均值而被确定的。

14、根据权利要求13的视频信号编码器，其中预测的当前数据块信号产生装置包括：

装置，用于将削减的预测数据块信号与相关因数相乘，以便产生一个相乘的预测数据块信号；和

装置，用于通过将第一确定值加到相乘的预测数据块信号而确定预测的当前数据块信号。

15、根据权利要求14的视频信号编码器，其中该归一化的当前数据块信号是通过对在削减的当前数据块信号中的象素值的每一个进行由下式决定的归一化而被确定的： $I_n(i,j)=\frac{I(i,j)}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}I{(i,j)}^2}}$ 其中的I(i，j)表示在削减的当前数据块信号中的位置坐标(i，j)的一个象素值，而In(i，j)表示I(i，j)的归一化的象素值。

16、根据权利要求15的视频信号编码器，其中该归一化的预测数据块信号是通过采用在生成归一化的当前数据块信号中所用的相同方式，根据削减的预测数据块信号而被确定的。

17、根据权利要求16的视频信号编码器，其中的相关因数是由下式计算的： $S=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{I}_{\mathrm{nc}}(i,j)\×I_{\mathrm{np}}(i,j)$ 其中S表示相关因数，Inc(i，j)表示在归一化的当前数据块信号中的位置坐标(i，j)的归一化象素值；Inp(i，j)表示在归一化的预测数据块信号中的位置坐标(i，j)处的归一化象素值。

18、根据权利要求11的视频信号编码器，其中的相关因数生成装置包括：

装置，用于根据预测的数据块信号计算一个确定值；

装置，用于通过从当前数据块信号中的象素值的每一个中减去该确定值而产生一个削减的当前数据块信号；

装置，用于通过从预测数据块信号中的象素值的每一个中减去该确定值而产生一个削减的预测数据块信号；

装置，用于对削减的当前和预测的数据块信号进行归一化，以便分别提供归一化的当前和归一化的预测数据块信号；

装置，用于根据归一化的当前的和预测的数据块信号计算相关因数；

装置，用于根据相关因数、削减的预测数据块信号和该确定值来产生预测的当前数据块信号；

装置，用于对相关因数进行量化；和

装置，用于提供已被量化的相关因数作为补偿信息。

19、根据权利要求18的视频信号编码器，其中该确定值是通过计算在预测数据块信号中的象素值的均值而被确定的。

20、根据权利要求19的视频信号编码器，其中该预测的当前数据块信号产生装置包括：

装置，用于将削减的预测数据块信号与相关因数相乘，以便产生一个相乘的预测数据块信号；和

装置，用于通过将该确定值加到相乘的预测数据块信号而确定预测的当前数据块信号。

Images