CN101513071A - 用于确定解码视频块中的期望失真的方法及设备 - Google Patents

Abstract

提供了用于确定解码视频块中的期望失真的方法及设备。一种设备包括：失真计算器(1050)，用于在图像块的运动向量具有非整数值时使用该运动向量来计算该图像块的失真，所述图像块包含在视频序列的图像中，并且通过有损通道予以发送。失真计算器(1050)根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真。图像块是以帧间模式或跳跃模式进行编码的。

Description

用于确定解码视频块中的期望失真的方法及设备

相关申请的交叉引用

本申请要求于2006年8月28日提交的序列号为60/823,748的美国临时申请的优先权，其全部内容一并在此作为参考。

技术领域

本发明总体涉及视频编码和失真计算，具体涉及用于确定解码视频块中的期望失真的方法及设备。

背景技术

在典型的视频编码器中，如遵循例如国际电信联盟电信部门(ITU-T)的H.261建议(recommendation)、ITU-T H.263建议、国际标准化组织/国际电工技术委员会(ISO/IEC)运动图像专家组-1(MPEG-1)标准、ISO/IEC MPEG-2标准、以及ISO/IEC MPEG-4部分10高级视频编码(AVC)标准/ITU-T H.264建议(以下称“MPEG-4 AVC标准”)的视频编码器中，将视频帧分成宏块(macroblock)，并且可以采用若干编码模式之一来对每个宏块(MB)进行编码。在帧间模式下，首先找出指向先前编码帧中最优匹配块的运动向量(MV)，然后对该宏块与其最优匹配块之差进行编码。其他帧间模式使宏块能被分成若干子块，并针对每个子块来估计单独的运动向量，而不是针对一个宏块仅允许一个运动向量。编码器还可以在若干可能的、先前编码的帧中进行选择，而不是使用紧邻当前帧在当前帧之前的帧。对于给定的帧间模式(与特定子块结构相对应)，运动估计过程通过使运动估计标准最小化来针对每个宏块或子块确定最优参考帧索引以及相应的运动向量。在跳跃(SKIP)模式下，编码器假定运动向量是0，或根据已编码的选定的邻近宏块的运动向量来预测该宏块的运动向量，并且不对预测误差进行编码。简单地，编码块是以所预测的运动向量(所述运动向量可以是0)为基础的运动补偿块。在帧内模式下，直接对宏块进行编码，或根据相同帧中一些先前编码的像素来预测所述宏块(称作帧内预测)。对于帧内预测存在若干可能的相邻形式(neighborhoodpattern)，每种形式与不同的帧内模式相对应。在所有可能的模式中，编码器根据预设的模式判定标准最终选择一个最优的模式。

在率失真最优化运动估计和模式选择中，运动估计和模式判定标准都是解码宏块与所使用的比特数的加权和。当基础传输网络不可靠时，所传输的视频比特流的一部分可能丢失。一个具有挑战性问题是，如何在解码器处确定期望失真。

上述率失真最优化运动估计和模式判定过程需要对每个候选选项的预测误差进行量化和编码，以便确定量化失真以及对预测误差进行编码所需的比特数。在速率受限(rate-constrained)运动估计中，用于运动搜索的标准不包括对预测误差进行编码所需的比特，相反包括预测误差本身。

在关于运动估计和模式判定的大多数现有技术中，搜索标准在编码器处仅考虑量化器引起的失真(quantizer invoked distortion)(此处亦称“量化失真”)。具体地，搜索标准是量化失真与使用候选模式(包括模式信息)、运动向量(在选择了帧间模式的情况下)、以及预测误差信号(或在帧内模式不使用帧间预测的情况下的原始像素)对宏块进行编码所需的比特数的加权和。一般将这样的方法称作率失真最优化模式选择。权重称作拉格朗日(Langrangian)乘数。对于运动估计，还提出了简化的搜索标准，该搜索标准使用帧间预测误差与对运动向量进行编码所需的比特数的加权和。一般将这样的方法称作速率受限运动估计。

当通过可能经历比特错误(bit error)和/或分组丢失的网络来传送压缩视频流时，在解码器处看到的失真不同于在编码器处看到的失真。在率失真最优化运动估计和模式选择中的主要挑战是：如何在给定候选编码模式和运动向量的情况下为宏块确定期望解码器失真。称作ROPE方法的现有技术方法针对在编码器中先前解码的帧中的每个像素递归地计算和记录一阶和二阶矩(first order and second ordermoment)。根据先前帧中的这些记录的一阶和二阶矩，编码器可以针对每个候选编码模式的每个宏块来计算期望失真。ROPE方法的问题是：当运动估计精度是亚像素(sub-pel)时，当允许多个参考帧进行运动补偿时，或当编码器应用解块滤波(deblocking filtering)时，该ROPE方法不可用。ROPE方法仅可用于被称作帧复制的一类差错隐藏(error concealment)。此外，ROPE方法需要复杂的计算，这是因为ROPE方法包括跟踪每个像素处的通道失真。已提出了一种ROPE的扩展，以考虑亚像素运动补偿，然而这样的扩展实质上比原始ROPE方法需要更多的计算。已考虑了运动估计的ROPE方法的另一扩展，然而该扩展仍然采用整数像素(integer-pel)运动向量以及使用帧复制差错隐藏方法。

现有技术手段(以下称“第一现有技术手段”)考虑模式判定中的通道引起的(channel-induced)失真，并且针对候选模式的每个宏块来计算期望失真。第一现有技术途径使用一种用于确定期望失真的方法，所述方法需要在I帧之后的所有先前编码的帧中存储所有宏块的隐藏失真。与ROPE方法相同，第一现有技术途径不考虑亚像素运动补偿、用于运动补偿的多个参考帧、以及解块滤波。

提出了一种包括块级(block-level)解码器失真模型的第二现有技术手段，所述第二现有技术手段也递归地在宏块级计算期望解码器失真。第二现有技术手段通过单独考虑接收或丢失先前帧中的相应匹配块的情况，来确定当前宏块的失真。然而，只有当编码器运动向量在用于差错隐藏的解码器处可用时，第二现有技术手段才可应用。此外，第二现有技术手段单独地需要针对每个先前帧中的每个宏块来跟踪接收块时的失真以及丢失块时的失真，从而需要大量的计算和存储空间。此外，第二现有技术手段用于根据编码器选择的运动向量和编码模式来针对每个宏块估计期望失真，而不是用于运动估计和模式判定。

发明内容

本发明解决了现有技术的上述和其他缺点以及不足，本发明旨在提出用于确定解码视频块中期望失真的方法和设备。

根据本发明原理的一方面，提供了一种设备。所述设备包括：失真计算器，用于在图像块的运动向量具有非整数值时使用该运动向量来计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送。失真计算器根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真。所述图像块是以帧间模式或跳跃模式进行编码。

根据本发明原理的另一方面，提供了一种方法。该方法包括：在图像块的运动向量具有非整数值时使用该运动向量来计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送。所述计算步骤根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真。所述图像块是以帧间模式或跳跃模式进行编码的。

根据本发明原理的另一方面，提供了一种设备。该设备包括：失真计算器，用于在对图像块应用解块滤波操作时计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送。所述失真计算器根据参考图像中至少两个相邻整数像素位置相对于所述解块滤波操作中所使用的像素位置的传播失真来计算期望失真。所述图像块是以帧间模式或跳跃模式进行编码的。

根据本发明原理的另一方面，提供了一种方法。该方法包括：在对图像块应用解块滤波操作时计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送。所述计算步骤根据参考图像中至少两个相邻整数像素位置相对于解块滤波操作中所使用的像素位置的传播失真来计算期望失真。所述图像块是以帧间模式或跳跃模式进行编码的。

根据本发明原理的另一方面，提供了一种设备。该设备包括：编码器，用于使用解块滤波器操作和帧间编码块的运动向量来计算所述帧间编码块的期望失真，所述帧间编码块包含于视频帧序列的图像中，并且通过有损通道予以发送。所述编码器根据失真的影响来计算期望失真，所述失真的影响来自于解块滤波器操作中所使用的帧间编码块的邻近块中的像素位置。

根据本发明原理的另一方面，提供了一种方法。该方法包括：使用解块滤波器操作和帧间编码块的运动向量来计算所述帧间编码块的期望失真，所述帧间编码块包含于视频帧序列的图像中，并且通过有损通道予以发送。编码器根据失真的影响来计算期望失真，所述失真的影响来自于解块滤波器操作中所使用的帧间编码块的邻近块中的像素位置。

根据本发明原理的另一方面，提供了一种设备。该设备包括：编码器，用于计算块的期望失真，所述块包含于视频序列的图像中，并且通过有损通道予以发送。所述编码器根据所述块的编码模式和运动向量，并且使用解码器差错隐藏操作来计算期望失真。所述块的运动向量具有非整数值。

根据本发明原理的另一方面，提供了一种方法。该方法包括：计算块的期望失真，所述块包含于视频序列的图像中，并且通过有损通道予以发送。所述计算步骤根据所述块的编码模式和运动向量，并且使用解码器差错隐藏操作来计算期望失真，其中，所述块的运动向量具有非整数值。

根据以下将要结合附图进行阅读的示例实施例的详细说明，本发明的上述和其他方面、特征以及优点将变得显而易见。

附图说明

根据以下示例性附图，本发明将得以更好的理解，附图中：

图1A是根据本发明原理的实施例的、可以对其应用本发明原理的示例视频编码器的方框图；

图1B是根据本发明原理的实施例的、可以对其应用本发明原理的视频编码环境的方框图；

图2是根据本发明原理的实施例的、用于针对给定的编码选项确定

的示例方法的流程图；

图3是根据本发明原理的实施例的、用于当解码器使用差错隐藏方法EC2时针对给定的编码选项确定的方法的流程图；

图4是根据本发明原理的实施例的、用于当解码器使用差错隐藏方法EC3时针对给定的候选编码选项确定

的示例方法的流程图；

图5是根据本发明原理的实施例的示例方法的流程图，该示例方法用于在解码器使用差错隐藏方法EC2时，针对率失真最优化运动估计和模式判定为给定宏块(MB)确定拉格朗日开销中的总期望失真

图6是根据本发明原理的实施例的示例方法的流程图，该示例方法用于在解码器使用差错隐藏方法EC3时，针对率失真最优化运动估计和模式判定为给定宏块(MB)确定拉格朗日开销中的

以及

图7是根据本发明原理的实施例的示例方法的流程图，该示例方法用于在解码器使用差错隐藏方法EC3时，针对为给定宏块(MB)所选择的编码选项o确定总期望失真

和通道失真

具体实施方式

本发明原理涉及用于确定解码视频块中的期望失真的方法及设备。可以关于不同的候选运动向量和编码模式来确定期望失真。有利地，可以关于能够在解码器处使用的至少三种不同差错隐藏技术中的一种或两种来实现本发明原理的各种实施例。

本说明阐释了本发明的原理。因而，应意识到，所属领域技术人员将能够设计出此处虽未明确说明或示出，但体现了本发明原理，并处于其精神和范围内的各种配置。

此处叙述的所有示例以及条件式语言均为达到教学目的，旨在帮助读者理解由发明者提出的改进了现有技术的发明原理以及发明构思，因而应将其看成不限于那些具体叙述的示例以及条件。

此外，此处叙述了发明原理、方案和实施例的所有说明及其具体示例均意在涵盖其结构以及功能等价物。此外，这些等价物意在包括现存等价物以及将于未来开发出来的等价物，即，不管结构如何，开发出来用于执行同一功能的任意元件。

因而，举例而言，所属领域技术人员应意识到此处所示的方框图呈现了体现本发明原理的示意电路的概念视图。同样，应意识到流程图、状态转移图、伪码等表示各种可以计算机可读介质充分表现的，因而无论是否明确说明了计算机或处理器，均能够用计算机或处理器予以执行的过程。

可以通过采用专用硬件以及能够执行同适当软件有关的软件的硬件实现附图所示的各种实施例的功能。如果用处理器来提供功能，则可以用单独的专用处理器、单独的共享处理器或者多个其中若干可以是共享处理器的独立处理器来提供功能。此外，不应将术语“处理器”或“控制器”的明确使用看成专指能够执行软件的硬件，而可以无限制地隐含包括，数字处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。

还可以包括常规的和/或定制的其他硬件。类似地，附图中的所有开关也只是概念上的。可以通过程序逻辑操作、专用逻辑、程序控制以及专用逻辑的相互作用，或者甚至手动实现它们的功能，其中具体技术可以根据环境进行了更加具体的理解后，由实施者加以选择。

在其权利要求中，任意被表示为用于执行指定功能的装置都意在包含执行该功能的任意方式，后者包括：比如，a)执行该功能的电路元件的组合或b)任意形式的软件，因而包括：同用于执行该软件以实现所述功能的适当电路相结合的固件、微码或类似软件。由这种权利要求所限定的发明在于以权项要求的方式结合在一起的各种所述装置所提供的功能。因而，应将能够提供这种功能的任意装置看做此处说明的装置的等价物。

说明书中对本发明原理“一实施例”的引用意味着，至少在依照本发明原理的一实施例中包含了结合实施例进行说明的特定的特征、结构、特点等等。因而，在整篇说明书中各处出现的短语“在一实施例中”未必指同一实施例。

如此处所用，邻近整数像素位置是最接近于非整数(non-integer)位置的整数像素位置，所述非整数(non-integer)位置被称为非整数值的(non-integer valued)运动向量。

转向图1A，参考数字100总体指示可以对其应用本发明原理的示例视频编码器。

视频编码器100的输入与合并器110的同相输入(non-invertinginput)以信号通信方式连接。合并器110的输出与变换器/量化器120以信号通信方式连接。变换器/量化器120的输出与熵编码器140以信号通信方式连接。熵编码器140的输出可用作编码器100的输出。

变换器/量化器120的输出还与逆变换器/量化器150以信号通信方式连接。逆变换器/量化器150的输出与解块滤波器160以信号通信方式连接。解块滤波器160的输出与参考图像存储器(reference picturestore)170以信号通信方式连接。参考图像存储器170的第一输出与运动估计器180的第一输入以信号通信方式连接。编码器100的输入还与运动估计器180的第二输入以信号通信方式连接。运动估计器的输出与运动补偿器190的第一输入以信号通信方式连接。参考图像存储器170的第二输出与运动补偿器190的第二输入以信号通信方式连接。运动补偿器190的输出与合并器110的反相输入以信号通信方式连接。

转向图1B，参考数字1000总体指示可以对其应用本发明原理的视频编码环境。

视频编码环境1000包括编码器1010，编码器1010的输出与失真计算器1050的第一输入、参考图像存储器1020的输入、以及有损通道1030的输入以信号通信方式连接。参考图像存储器1020的输出与编码器1010的第一输入以信号通信方式连接。有损通道的第一输出与失真计算器1050的第二输入以信号通信方式连接。失真计算器的输出与失真参考图像存储器1060的输入以信号通信方式连接。参考图像存储器1060的输出与失真计算器1050的第三输入以信号通信方式连接。

有损通道的第二输入与解码器1040的输入以信号通信方式连接。编码器1010的第二输入可用作视频编码环境的输入。解码器1040的输出可用作视频编码系统1000的输出。

应当认识到，尽管与编码器1010分开地示出了失真计算器1050，然而在另一实施例中，在保持本发明原理的精神的同时，失真计算器1050可以被包含在编码器1050内。也就是，在给出这里所提供的发明原理的教义的情况下，本领域技术人员将在保持本发明原理的精神的同时设想出对这里所示的元件的上述和各种其他配置以及修改。

根据本发明原理，提供了用于确定视频块中的失真的方法和设备。在一实施例中，对与候选编码模式和运动向量相对应的宏块的期望失真进行估计。此外，在一实施例中，还针对最终选择的编码模式来估计每个宏块的期望通道失真，所述期望通道失真用于计算后继帧中的宏块的总失真。针对当前帧中候选编码模式和运动向量的新宏块的期望总失真是所传播的通道失真与该宏块的隐藏失真的加权和，所述所传播的通道失真来自用于运动补偿的参考帧，所述该宏块的隐藏失真是指只有该宏块丢失时该宏块的隐藏失真。

针对以下三种类型的差错隐藏方法描述分别涉及估计方法的三种变体的示例实施例：帧复制；使用当前帧的运动向量；以及使用先前帧中相同位置的宏块的运动向量。可以在编码器使用亚像素运动向量时使用本发明原理的实施例。此外，可以在使用多个参考帧时使用本发明原理的实施例。此外，可以在使用解块滤波时使用本发明原理的实施例。此外，可以在解码器采用不同类型的差错隐藏方法时使用本发明原理的实施例。本发明原理的实施例不需要跟踪每个像素处的通道失真，从而实质上比ROPE方法更简单。此外，同上述第二现有技术手段相比，本发明原理的实施例需要更少的计算和存储空间。如上所述，本领域技术人员容易判定，在保持本发明原理的范围的同时，可以容易地组合各种实施例以及各种实施例的各种方面。

为了说明和清楚起见，下面将对这里所使用的一些表示法和假定加以描述，并对本发明不同实施例进行概述。

使用

来表示帧n中像素i的原始值，表示编码器处的重建值，

表示解码器处的重建值。将解码器处帧n中第j个宏块的期望总失真定义为 $D_n^j=\frac{1}{N}\underset{i\∈{\mathrm{MB}}_j}{\mathrm{\Σ}}E\left\{{(f_n^i-{\tilde{f}}_n^i)}^2\right\},$ 其中，对于给定的丢包率对所有可能的丢包实现运用期望算子{.}。将量化失真定义为 $D_{q,n}^j=\frac{1}{N}\underset{i\∈{\mathrm{MB}}_j}{\mathrm{\Σ}}{(f_n^i-{\hat{f}}_n^i)}^2,$ 可以针对任何所选择的编码模式和运动向量在编码器处精确地计算出所述量化失真。将期望通道失真定义为 $D_{c,n}^j=\frac{1}{N}\underset{i\∈{\mathrm{MB}}_j}{\mathrm{\Σ}}E\left\{{({\hat{f}}_n^i-{\tilde{f}}_n^i)}^2\right\}.$ 在以下示出的一些方程中，假定 $D_n^j=D_{q,n}^j+D_{c,n}^j.$

假定P帧中的每个宏块具有丢失率P，则丢失率P等于在每个分组包括完整帧或固定数目的宏块的情况下的丢包率。

在率失真最优化运动估计和模式判定中，通过使如下的拉格朗日开销函数最小化来确定运动向量(包括在允许多个参考帧的情况下的参考帧索引)以及编码模式：

$L\left(o\right)=D_n^j\left(o\right)+\mathrm{\λ}{R}_n^j\left(o\right)---\left(1\right)$

其中，o表示候选编码选项(包括编码模式以及针对帧间模式的候选参考帧索引和运动向量)，

表示使用选项o的针对帧n中宏块j的期望总失真，

是使用选项o对该宏块进行编码所需的总比特数。对于每个候选帧间模式，首先确定与所有可能的参考帧索引和运动向量相对应的期望失真

以及作为结果的拉格朗日开销，并且选择具有最小拉格朗日开销的最佳参考帧索引和运动向量。并计算出针对所有可能帧内模式和跳跃模式的期望失真和拉格朗日开销。最后，选择具有最小拉格朗日开销的编码模式。

当宏块的丢包率是P时，一般可以按以下公式计算期望失真

$D_n^j\left(o\right)=(1-P)D_{R,n}^j\left(o\right)+{\mathrm{PD}}_{L,n}^j\left(o\right)---\left(2\right)$

项

表示接收宏块时的失真，其依赖于编码选项。项

表示丢失宏块时的失真，其依赖于所采用的差错隐藏方法和编码选项。根据本发明原理的不同实施例，提供了用于针对帧间模式和跳跃模式确定

以及在差错隐藏使用经运动补偿的预测时确定

的方法。

针对帧内模式计算

以及在差错隐藏使用帧复制时计算

属于现有技术。然而，为了完整起见，这里还是对它们的计算进行了描述。

出于说明目的，考虑以下三种不同的差错隐藏方法：帧复制(这里还称作“EC1”)；使用当前帧的运动向量(这里还称作“EC2”)；以及使用先前帧中相同位置的宏块的运动向量(这里还称作“EC3”)。采用EC2，针对宏块所选择的编码模式和运动向量将在该宏块丢失时影响失真。对于率失真最优化运动估计和模式判定，将使用方程(1)中的拉格朗日开销，并使用方程(2)来计算该宏块的总期望失真

这里，提出了用于对与不同候选编码选项相对应的期望失真进行估计的方法。以下，提出了用于针对差错隐藏方法EC1和EC2估计期望失真

的方法。

采用EC3，针对宏块所选择的编码模式和运动向量将在帧n+1中相同位置的宏块丢失时影响失真。对于率失真最优化运动估计和模式判定，提出使用如下的另一种拉格朗日开销：

$L\left(o\right)=D_{n,n+1}^j\left(o\right)+\mathrm{\λ}{R}_n^j\left(o\right)---\left(3\right)$

其中

$D_{n,n+1}^j\left(o\right)=(1-P)D_{R,n}^j\left(o\right)+{\mathrm{PD}}_{L,n+1}^j\left(o\right)---\left(4\right)$

仍然可以针对不同编码模式按以下所述方式计算项

项

是使用从编码选项o推导出的参考帧索引和运动向量的，帧n+1中相同位置的宏块的期望失真。在下文中描述了和

的计算。

在下文中，关于实施例，针对给定的帧间模式提出了速率受限运动估计方法。引入了考虑通道失真的新的拉格朗日开销函数。根据不同实施例，针对不同差错隐藏方法提供了对这种新开销函数中的各项进行计算的方法。基于这种新方案的运动估计比也在这里描述的率失真最优化运动估计需要更少的计算。

在这里所提出的一些方法中，假定根据先前的M帧来确定每个宏块的期望通道失真，其中，M是编码器所使用的最大时间预测距离(temporal prediction distance)。然而，在一实施例中，提出了用于根据最终选择的运动向量和编码模式确定当前编码帧中任何宏块的期望通道失真的方法。

本发明原理假定，帧内模式下的帧内预测仅使用帧内编码宏块中先前编码的像素。这在MPEG-4 AVC标准中称作受限帧内预测。这里根据本发明原理提供的表示仅针对P帧考虑编码选项判定和差错隐藏，其中，根据从M个先前编码的帧中选出的一个先前编码的帧来预测宏块。为了便于表示，假定顺序地排列P帧，即，如果帧n是P帧，则下一P帧是n+1。然而，根据该实施例的方法可以被扩展为考虑I帧(其中利用帧内模式之一来对所有宏块进行编码)和B帧(其中除了帧内、帧间和跳跃模式以外还可以使用双向预测模式)中的模式判定。

针对不同候选模式为所接收的宏块计算期望失真的方法

下面将关于根据本发明原理的不同实施例的、用于针对不同候选编码模式为所接收的宏块计算期望失真的不同方法给出描述。更具体地，描述了用于针对不同编码模式，在接收到宏块时计算方程(2)中的

以及期望失真的方法。

转向图2，由参考数字200总体指示用于针对给定编码选项来确定

的示例方法。

方法200包括功能框205。功能框205根据编码模式来执行切换，并将控制权交予功能框201、功能框220和功能框235。

功能框210采用参考帧索引m和运动向量(MV)v将编码模式设置为帧间，并且将控制权交予功能框215。

功能框215使用方程(5)计算并将控制权交予结束框299。

功能框220将编码模式设置为跳跃模式，并将控制权交予功能框225。功能框225设置m_c＝1、v_c＝0或根据先前编码的宏块(MBs)来预测m_c、v_c，并将控制权交予功能框230。功能框230使用方程(7)或方程(9)来计算

并将控制权交予结束框299。

功能框235采用帧内模式索引m将编码模式设置为帧内，并将控制权交予功能框240。功能框240使用方程(11)计算

并将控制权交予结束框299。

帧间模式

至于提供用于针对不同候选模式为所接收的宏块计算期望失真的方法，首先考虑帧间预测模式，其中对于整个宏块仅使用单个运动向量(MV)。通常，可以从先前的M帧中的任一帧中选择参考帧。对于候选参考帧索引m(1<＝m<＝M)和候选运动向量v，按如下方式计算失真：

$D_{R,n}^j(P,m,v)=D_{q,n}^j(P,m,v)+{\mathrm{aD}}_{c,n-m}^{r(j,v)}---\left(5\right)$

其中

$D_{q,n}^j(P,m,v)=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_j}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_n^i)}^2---\left(6\right)$

是使用候选参考帧索引m和运动向量v的宏块j的均方量化误差。

项

表示：针对帧n中的宏块j，在由r(j，v)索引的帧n-m中的运动补偿块中的期望平均通道失真。如前所述，假定之前已经确定并且记录了先前M帧中每个宏块中的相应的平均通道失真。即，假定

可用于所有m和j。通常，块r(j，v)可能不与规则块边界对齐，并且可能与帧n-m中多达4个宏块重叠。通过对重叠的块中的相应通道失真进行加权平均来确定

其中权重与重叠面积成正比。

方程(5)中的项

表示在接收到块j时来自帧n-m的传播失真(propagated distortion)。这种解释帧间编码块中的时间误差传播的方法与现有技术不同，并且提供了由于现有技术的有利特征。系数a是衰减因子，说明了由在使用亚像素运动向量时的解块滤波和内插操作所导致的误差传播的衰减。在数学上，a依赖于对该块应用的实际解块滤波器、候选运动向量(其确定了用于内插和内插滤波器的像素数目)、以及在运动补偿和解块滤波中所包含的邻近像素中的通道引起的误差(channel induced error)间的相关性。在候选运动向量是整数向量的特殊情况下，a＝1。更一般地，a值在(0到1)的范围内。对a的具体限定以及使用来针对所接收的帧间编码块计算传播失真是对现有技术手段的扩展。还对现有技术方法进行扩展，以根据训练数据(training data)来估计参数a。作为相对于需要全像素位置的现有技术的一个差别，在本发明原理的实施例中，可以针对具有亚像素精度的所有候选运动向量为a使用预估值(pre-estimated value)。此外，与现有技术不同，可以在这种情况下使用解块滤波器。

为了考虑将宏块分成多个更小子块(每个子块具有与相应参考帧相关的单独运动向量)的帧间模式，只需要使用方程(5)来针对相应候选参考帧索引和运动向量为每个子块计算失真

然后对所有子块计算平均。

跳跃模式

至于提供用于针对不同候选编码模式为所接收的块计算期望失真的方法，下面考虑跳跃模式。在跳跃模式下，编码器或者假定运动向量是0或者根据所选择的、先前编码的宏块的运动向量来预测运动向量，并计算预测误差信号而不对预测误差信号进行编码。简单地，由编码器重建的块是先前帧中相同位置的宏块(如果编码器假设运动向量为0)或基于所预测的运动向量的运动补偿块。接收到宏块时的失真是预测误差误差加来自于参考帧的传播通道误差。这里假定在采用跳跃模式的情况下，编码器可以预测参考帧索引以及运动向量，然而对于整个宏块仅使用单个运动向量。应当注意到，采用MPEG-4 AVC标准，仅允许先前的帧作为参考帧，这是根据本发明原理的实施例而在此考虑的具体情况。令m_e和v_e表示编码器预测参考帧和运动向量(是针对先前邻近宏块而选择的参考帧索引和运动向量的函数)。以下是期望失真：

$D_{R,n}^j(S;m_e,v_e)=D_{\mathrm{DFD},n}^j(m_e,v_e)+{\mathrm{aD}}_{c,n-m_e}^{r(j,v_e)}---\left(7\right)$

项

表示：在当前宏块中的原始像素与基于运动向量v的来自编码帧n-m的这些原始像素的预测值间的移位帧差(displacedframe difference)(DFD)平方的均值，因而

按以下方式进行计算：

$D_{\mathrm{DFD},n}^j(m,v)=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_j}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_{n,p}^i(m,v))}^2---\left(8\right)$

其中，

表示帧n中像素i的预测值，是编码器使用运动向量v根据先前编码的帧n-m计算得到的。

在m_e＝1，v_e＝0， $D_{\mathrm{DFD},n}^j(m_e,v_e)=D_{\mathrm{FD},n}^j,$ $D_{c,n-m_e}^{r(j,v_e)}=D_{c,n-1}^j$ 的特殊情况下，有

$D_{R,n}^j(S;m_e=1,v_e=0)=D_{\mathrm{FD},n}^j+{\mathrm{aD}}_{c,n-1}^r---\left(9\right)$

项

表示：在当前宏块的原始像素与帧n-1中相同位置像素的编码值间的帧差(FD)平方的平均，因而

按以下方式进行计算：

$D_{\mathrm{FD},n}^j=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_j}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_{n,1}^i)}^2---\left(10\right)$

帧内模式

至于提供用于针对不同候选编码模式为所接收的宏块计算期望失真的方法，下面考虑帧内模式。帧内模式可以直接对块进行编码，或使用一种帧内预测形式。在后一种情况下，仅考虑受限的帧内预测，根据受限的帧内预测，只有帧内编码宏块中的先前编码像素用于帧内预测。如下所示，接收到宏块时帧内模式的期望失真等于量化失真：

$D_{R,n}^j(I,m)=D_{q,n}^j(I,m)---\left(11\right)$

其中可以使用方程(6)来计算

表示使用帧内模式(I，m)的重建值。

使用差错隐藏方法EC1和EC2针对丢失宏块计算期望失真的方法

下面描述根据本发明原理的不同实施例的、针对差错隐藏方法EC1和EC2为丢失宏块估计方程(2)中的期望失真

的方法。

帧复制(EC1)

至于提供使用差错隐藏方法EC1和EC2为丢失宏块计算期望失真的方法，首先考虑：解码器对先前帧中相同位置的宏块进行复制，以对所有丢失宏块进行差错隐藏的情况。将这种情况表示为EC1。

在该情况下，不管编码模式如何失真都是相同的。失真按如下方式进行计算：

$D_{\mathrm{EC}1,n}^j=D_{\mathrm{FD},n}^j+D_{c,n-1}^j---\left(12\right)$

使用编码器编码模式和运动向量(EC2)

至于提供使用差错隐藏方法EC1和EC2为丢失宏块计算期望失真的方法，下面考虑使用编码器编码模式和运动向量(这里称作EC2)的情况。在该情况下，假定对宏块的编码模式和运动向量信息进行编码和传送，使得即使在纹理信息(texture information)(帧内和帧间预测误差的DCT系数)丢失的情况下它们也是可用的。例如，编码器可以在冗余切片中或在单独的数据部分中包括编码模式和运动向量信息，以实现这样的不等保护(unequal protection)。在该情况下，如果纹理信息丢失，则解码器将使用编码器编码模式以及相应的参考帧索引和运动向量来执行经运动补偿的差错隐藏。当使用帧内模式或跳跃模式来对宏块进行编码时，解码器可以或者假定运动向量是0(等同于帧复制)或者使用基于先前编码宏块的运动向量的预测运动向量，来执行差错隐藏。编码器可以针对这些宏块产生相同的预测运动向量，从而可以采用任一选项来精确地估计隐藏失真。将这种差错隐藏方法称作EC2。

转向图3，由参考数字图3总体指示用于在解码器使用差错隐藏方法EC2时针对给定的编码选项来确定

的方法。方法300包括功能框305。功能框305根据编码模式来执行切换，并将控制权交予功能框310、功能框320、以及功能框335。

功能框310采用参考帧索引m和运动向量(MV)v将编码模式设置为帧间，并将控制权交予功能框315。

功能框315设置m_d＝m，v_d＝v，并将控制权交予功能框330。

功能框330在m_d＝1并且v_d＝0时使用方程(12)确定否则使用方程(13)确定并将控制权交予结束框399。

功能框320将编码模式设置为跳跃模式，并将控制权交予功能框325。功能框325设置m_d＝1，v_d＝1，或根据先前编码的宏块(MB)来预测m_d、v_d，并将控制权交予功能框330。

功能框335采用帧内模式索引m将编码模式设置为帧内，并将控制权交予功能框340。功能框340设置m_d＝1，v_d＝0，或根据先前编码的宏块(MB)来预测m_d、v_d，并将控制权交予功能框330。

采用任一编码模式，令解码器使用的参考帧索引和运动向量被表示为m_d和v_d，可以按以下公式计算隐藏宏块的失真：

$D_{\mathrm{EC}2,n}^j(m_d,v_d)=D_{\mathrm{DFD},n}^j(m_d,v_d)+{\mathrm{aD}}_{c,n-m_d}^{r(j,v_d)}---\left(13\right)$

按上述方式计算项

和

采用帧间模式，在解码器处使用的参考帧索引和运动向量(m_d和v_d)等于在编码器处使用的参考帧索引和运动向量。对于帧内和跳跃模式，如果解码器根据先前解码的宏块来预测参考帧索引和运动向量，则m_d和v_d等于根据先前编码宏块的编码器预测的参考帧索引和运动向量。如果解码器针对差错隐藏使用帧复制，则m_d＝1并且v_d＝0。在该情况下，方程(13)简化成方程(12)。

使用对先前帧的编码模式和运动向量加以复制的差错隐藏方法来计算期望失真的方法(EC3)

在某些应用中，模式信息和运动向量并未受到与纹理数据不同的保护，解码器必须针对时间差错隐藏为丢失的宏块估计运动向量。隐藏丢失宏块的一种简单方式是，使用先前帧中相同位置宏块的运动向量。如果帧n中的相同位置运动向量使用相隔m帧远的(m frame away)参考帧，则针对帧n+1中相同宏块的时间隐藏基于帧n+1-m。如果使用帧内模式或跳跃模式来对先前帧中相同位置宏块进行编码，则差错隐藏可以或者假设运动向量为0或者根据帧n+1中先前解码的帧间编码宏块的所恢复的运动向量来预测运动向量。在任一情况下，编码器可以针对这些宏块产生相同的预测运动向量，从而可以采用任一选项来精确地估计隐藏失真。将这种差错隐藏方法称作EC3。由于针对当前宏块选择的编码模式和运动向量将影响后继帧中相同位置宏块的隐藏失真，因此将方程(1)中的传统拉格朗日开销函数修改成方程(3)中的拉格朗日开销函数，后者包括计算如方程(4)定义的

和

仍然可以针对不同编码模式按以上所述方式计算项

转向图4，以参考数字400总体指示用于在解码器使用差错隐藏方法EC3时为给定的候选编码选项确定

的示例方法。方法400包括功能框405。功能框405根据编码模式执行切换，并将控制权交予功能框410、功能框420、以及功能框435。

功能框410采用参考帧索引m和运动向量(MV)v将编码模式设置为帧间，并将控制权交予功能框415。

功能框415设置m_d＝m、v_d＝v，并将控制权交予功能框430。

功能框430在m_d＝1并且v_d＝0时使用方程(14)确定或在m_d>1或m_d＝1但已经对帧n中的MB r(j，v_d)进行了编码时使用方程(16)来确定

否则使用方程(18)来确定

并将控制权交予结束框499。

功能框420将编码模式设置为跳跃模式，并将控制权交予功能框425。功能框425设置m_d＝1、v_d＝0，或根据先前编码的宏块(MBs)来预测m_d、v_d，并将控制权交予功能框430。

功能框435采用帧内模式索引m将编码模式设置为帧内，并将控制权交予功能框440。功能框440设置m_d＝1，v_d＝0，或根据先前编码的宏块(MB)来预测m_d、v_d，并将控制权交予功能框430。

对隐藏宏块的失真的估计

令m_d和v_d表示该宏块解码器所用的参考帧索引和运动向量，参考帧索引和运动向量可以由编码器根据针对帧n中宏块j的候选编码模式、参考帧索引和运动向量推导得到的。下面将使用

来表示 $D_{L,n+1}^j\left(o\right).$

例如，可以采用以下描述的三种示例方式根据m_d和v_d的值计算出 $D_{L,n+1}^j(m_d,v_d).$

如果m_d＝1并且v_d＝0，则

$D_{L,n+1}^j\left(\mathrm{1,0}\right)=D_{\mathrm{FD},n+1}^j+D_{c,n}^j---\left(14\right)$

其中

$D_{\mathrm{FD},n+1}^j=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_i}{\mathrm{\&Sigma;}}{(f_{n+1}^i-{\hat{f}}_n^i)}^2---\left(15\right)$

其中，

表示使用当前候选模式和运动向量针对宏块j和帧n中的像素值重建的编码器重建值。注意，如果解码器选择使用帧复制以隐藏这样的块，则这种情况适用帧内和跳跃模式。

如果m_d>1或m_d＝1，但已经对帧n中的宏块r(j，v_d)进行了编码，则

$D_{L,n+1}^j(m_d,v_d)=D_{\mathrm{DFD},n+1}^j(m_d,v_d)+{\mathrm{aD}}_{c,n+1-m_d}^{r(j,v_d)}---\left(16\right)$

其中

$D_{\mathrm{DFD},n+1}^j(m,v)=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_j}{\mathrm{\&Sigma;}}{(f_{n+1}^i-{\hat{f}}_{n+1,p}^i(m,v))}^2---\left(17\right)$

其中，

表示在假设运动向量是v的情况下根据帧n+1-m帧中的编码像素预测得到的帧n+1中的像素i的预测值。

如果m_d＝1并且已经对帧n中的宏块r(j，v_d)进行了编码，则按如下公式计算失真：

$D_{L,n+1}^j(1,v_d)={\stackrel{\&OverBar;}{D}}_{\mathrm{DFD},n+1}^j(1,v_d)+a_q{D}_{q,n}^{r(j,v_d)}+{\mathrm{aD}}_{c,n}^{r(j,v_d)}---\left(18\right)$

按以下公式计算项

${\stackrel{\&OverBar;}{D}}_{\mathrm{DFD},n+1}^j(m,v)=\frac{1}{N}\underset{i\&Element;{\mathrm{MB}}_j}{\mathrm{\&Sigma;}}{(f_{n+1}^i-f_{n+1,p}^i(m,v))}^2---\left(19\right)$

其中，

表示在假设运动向量是v的情况下根据帧n+1-m中的原始像素预测得到的帧n+1中的像素i的预测值。

常量a_q是可以采用与a相同的方式进行预估的参数，通常a_q<＝a。当候选运动向量是整数向量时，a_q＝a＝1。

项

和

是尚未编码的帧n中块r(j，v)的量化失真和期望通道失真。以下描述如何估计这两项。

在对宏块编码之前估计该宏块的量化和通道失真

为了在尚未对块r(j，v)编码时确定方程(18)中的

可以针对该帧中或先前帧中先前编码的宏块使用平均量化失真。可选地，可以使用根据用于该帧的量化步骤确定的平均量化失真。

为了在尚未对块r(j，v)编码时确定方程(18)中的

可以使用

的平均值，

是针对该帧中先前编码的MB计算得到的。

可选地，例如，可以使用现有技术帧级通道失真模型来计算帧n的平均通道失真，并使用平均通道失真来近似任何未编码宏块的通道失真。具体地，令β_n表示帧n中的平均帧内率(以帧内模式编码的宏块的百分比)，可以使用以下方程递归计算平均通道失真：

D_c，n＝PD_ECP，n+((1-P)(1-β_n)a+Ph)D_c，n-1　　　　(20)

其中，h是类似于a的因子，但取决于用于差错隐藏的运动向量的分布。采用EC3，差错隐藏与编码器使用相同的运动向量集合，因此可以设置h＝a。为了在对该帧编码之前估计帧内率β_n，可以对先前编码帧中所使用的帧内率取平均。在先前帧中不存在通道引起的误差的情况下，项D_ECP，n表示帧n的平均隐藏失真。采用EC3，如果对于帧n-1中相同位置的宏块j而言，最终选择的参考帧索引是

并且所选择的运动向量是

则宏块j的隐藏失真是 $D_{\mathrm{ECP},n}^j=D_{\mathrm{DFD},n}^j(m_{n-1}^j,v_{n-1}^j)-D_{q,n}^j,$ 其中，可以像如上所述的那样计算

并且可以使用方程(8)来计算

失真D_ECP，n是针对所有宏块的

的平均。

考虑通道失真的速率受限运动估计

为了计算拉格朗日开销中的速率项编码器需要对与每个候选模式和运动向量相对应的预测误差进行量化和编码，以确定表示运动向量和预测误差所需的速率。为了减少计算，可以使用开销函数，所述开销函数不需要知道对预测误差进行编码所需的速率，而只需要知道表示模式和运动向量的速率。通常将这称作速率受限运动估计。应当认识到，该领域中的现有技术仅考虑量化失真。为了考虑通道失真，将拉格朗日开销修改为以下方程：

$L_{\mathrm{MV}}(m,v)=D_{\mathrm{DFD},n}^j(m,v)+{\mathrm{\&lambda;}}_{\mathrm{MV}}{R}_v(m,v)+{\mathrm{\&lambda;}}_C((1-P){\mathrm{aD}}_{c,n-m}^{r(j,v)}+{\mathrm{PD}}_{L,n}^j(m,v))---\left(21\right)$

其中，针对总速率限制或量化参数(QP)适当地选择λ_MV和λ_c。项

与方程(8)所定义的相同，且R_v(m，v)是对参考帧索引m和运动向量v进行编码所需总比特数。

对于EC1和EC2，项

是在丢失并隐藏帧n中的宏块j时的期望失真。对于EC1该项可以使用方程(12)加以计算，对于EC2，可以使用方程(13)加以计算。

对于EC3，将

替换成根据m和a的候选值使用方程(14)或方程(16)或方程(18)来计算

针对所选模式和运动向量的通道失真估计

以上所提出的方法假设：多达M个先前帧中的所有宏块的期望通道失真是已知的。这里，考虑在一旦选择了宏块的最终编码模式和运动向量，如何计算宏块的期望信道失真。该计算是在对帧n中的每个宏块进行编码时在运动估计和模式判定过程结束时完成的。

以o^*来表示宏块j的最终编码选项(在帧间模式的情况下，包括编码模式以及参考帧索引和运动向量)。如果与该编码选项相对应的期望总失真是则量化失真是

该宏块的期望通道失真如下：

$D_{c,n}^j\left(o^{*}\right)=D_n^j\left(o^{*}\right)-D_{q,n}^j\left(o^{*}\right)---\left(22\right)$

对于EC1和EC2，根据针对不同编码模式计算出的

和

可以针对所有可能的编码选项(包括o*)使用方程(2)来推导出总期望失真

类似地，已经针对不同编码模式计算出了

对于跳跃模式， $D_{q,n}^j\left(o\right)=D_{\mathrm{DFD},n}^l(S;m_e,v_e).$ 因此，方程(22)可以直接用于计算通道失真。

对于EC3，针对不同编码选项，只计算了

帧n+1中宏块j(在其丢失的情况下)的期望失真。为了确定

由于当前宏块的隐藏依赖于

因此还需要计算

其中，

表示针对帧n-1中的宏块j选择的编码选项。通常，根据

可以推导出参考帧索引m_d和运动向量v_d，解码器使用所述参考帧索引m_d和运动向量v_d，以对帧n中的宏块j进行差错隐藏。在丢失并隐藏该宏块时的失真可以使用以下方程进行计算：

$D_{L,n}^j\left(o_{n-1}^j\right)=D_{L,n}^j(m_d,v_d)=D_{\mathrm{DFD},n}^j(m_d,v_d)+{\mathrm{aD}}_{c,n-m_d}^{r(j,v_d)}.$

如果对于帧内和跳跃模式，解码器差错隐藏使用帧复制，则以上方程被简化成方程(12)。

然后可以使用方程(2)根据先前算出的

和新计算的

来确定总期望失真

转向图5，由参考数字500总体指示一示例方法，所述该示例方法用于在解码器使用差错隐藏方法EC2时，针对率失真最优化运动估计和模式判定，为给定的宏块(MB)确定拉格朗日开销中的总期望失真

方法500包括功能框505。功能框505输入：宏块中的像素值、该宏块的位置索引j和帧索引n、候选编码模式、在候选模式是帧间模式的情况下候选参考帧索引m和运动向量(MV)v、帧n-M至n-1中所有宏块(MB)中的编码像素值和平均通道失真、宏块丢失率P，并将控制权交予功能框510。功能框510确定

(例如如同关于图2所描述的那样)，并将控制权交予功能框515。功能框515确定

(例如如同关于图3所描述的那样)，并将控制权交予功能框520。功能框520使用 $D_n^j\left(o\right)=(1-P)D_{R,n}^j\left(o\right)+{\mathrm{PD}}_{L,n}^j\left(o\right)$ 来确定

并将控制权交予功能框525。功能框525输出

并将控制权交予结束框599。

转向图6，以参考数字600总体指示一示例方法，所述方法用于在解码器使用差错隐藏方法EC3时，针对率失真最优化运动估计和模式判定，为给定的宏块(MB)计算拉格朗日开销中的

方法600包括功能框605。功能框605输入：宏块中的像素值、其位置索引j和帧索引n、候选编码模式、在候选模式是帧间模式的情况下候选参考帧索引m和运动向量(MV)v、帧n-M至n-1中所有宏块(MB)中的编码像素值和平均通道失真、宏块丢失率P，并将控制权交予功能框610。功能框610确定

(例如，如同关于图2所描述的那样)，并将控制权交予功能框615。功能框615确定(例如，如同关于图4所描述的那样)，并将控制权交予功能框620。功能框620使用 $D_{n,n+1}^j\left(o\right)=(1-P)D_{R,n}^j\left(o\right)+{\mathrm{PD}}_{L,n+1}^j\left(o\right)$ 来确定

并将控制权交予功能框625。功能框625输出

并将控制权交予结束框699。

转向图7，由参考数字700总体指示一示例方法，所述示例方法在解码器使用差错隐藏方法EC3时针对给定的宏块(MB)为所选择的编码选项o确定总期望失真

和通道失真

方法700包括功能框705。功能框705输入：宏块中的像素值、其位置像素j和帧索引n、候选编码模式、在候选编码模式是帧间模式的情况下候选参考帧索引m和运动向量(MV)v、帧n-M至n-1中所有宏块(MB)中的编码像素值和平均通道失真、宏块丢失率P，并将控制权交予功能框710。功能框710确定

(例如如同关于图2所描述的那样)，并将控制权交予功能框715。功能框715确定参考帧索引m_d和MV v_d，并将控制权交予功能框720，所述参考帧索引m_d和MV v_d将针对该宏块用于解码器处。关于功能框715，如果帧n-1中相同位置的宏块(MB)使用采用参考帧索引m和运动向量(MV)v的帧间模式，则功能框715设置m_d＝m，v_d＝v。否则，根据帧n-1中邻近宏块中的参考帧索引和运动向量来预测m_d、v_d。

功能框720确定

并将控制权交予功能框725。关于功能框720以及对

的确定，如果m_d＝1、v_d＝0，则使用方程(12)。否则，使用方程(13)。

功能框725使用 $D_n^j\left(o\right)=(1-P)D_{R,n}^j\left(o\right)+{\mathrm{PD}}_{L,n}^j\left(o\right)$ 来确定

并将控制权交予功能框730。功能框730确定

并将控制权交予功能框735。

关于功能框730，对于帧间模式和帧内模式，使用方程(6)。对于跳跃模式，使用以下方程： $D_{q,n}^j\left(o\right)=D_{\mathrm{DFD},n}^j(S;m_e,v_e).$

功能框735使用 $D_{c,n}^j\left(o\right)=D_n^j\left(o\right)-D_{q,n}^j\left(o\right)$ 来确定

并将控制权交予功能框740。功能框740输出

并将控制权交予结束框799。

下面将对本发明的某些附属优势/特征予以说明，其中某些优势/特征已在上文有所提及。例如，一个优点/特征是具有失真计算器的设备，所述失真计算器用于在图像块的运动向量具有非整数值时，使用该运动向量来计算该图像块的期望失真，所述图像块包含在视频序列的图像中，并且通过无损通道予以发送。失真计算器根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真。以帧间模式或跳跃模式来对图像块进行编码。

另一优点/特征是如上所述具有失真计算器的设备，其中，所述失真计算器通过向所述至少两个邻近整数值位置的失真应用比例因子来计算期望失真，所述比例因子的值在0到1之间。

另一优点/特征是具有失真计算器的设备，所述失真计算器通过应用比例因子来计算期望失真，其中，比例因子是针对具有非整数值的块的所有候选运动向量预估的。

此外，另一优点/特征是如上所述具有失真计算器的设备，其中，失真计算器包含在视频编码器中。

此外，另一优点/特征是具有失真计算器的设备，所述失真计算器用于在对图像块应用解块滤波操作时计算该图像块的期望失真，所述图像块包含在视频序列的图像中，并通过有损通道予以发送。失真计算器根据参考图像中至少两个邻近整数像素位置相对于在所述解块滤波操作中所使用的像素位置的传播失真来计算期望失真。以帧间模式或跳跃模式来对图像块进行编码。

此外，另一优点/特征是如上所述具有失真计算器的设备，其中，所述设备还包括：编码器，用于在以帧间模式对图像块编码并且在解码器接收到所述图像块时，计算包括期望失真在内的拉格朗日开销函数，所述解码器使用针对先前解码的图像中相同位置块的解码后的编码模式和运动向量，针对丢失宏块来执行经运动补偿的时间预测。

此外，另一优点/特征是具有编码器的设备，所述编码器用于使用解块滤波器操作和帧间编码块的运动向量来计算该帧间编码块的期望失真，所述帧间编码块包含在视频序列的图像中，并通过有损通道予以发送。编码器根据失真的影响来计算期望失真，所述失真的影响来自于在解块滤波器操作中使用的帧间编码块的邻近块中的像素位置。

此外，另一优点/特征是具有编码器的设备，所述编码器用于计算块的期望失真，所述块包含在视频序列的图像中，并通过有损通道予以发送。编码器根据块的编码模式和运动向量，并且使用解码器差错隐藏操作来计算期望失真，其中块的运动向量具有非整数值。

此外，另一优点/特征是如上所述具有编码器的设备，其中，解码器差错隐藏操作是帧复制操作。

此外，另一优点/特征是如上所述具有编码器的设备，其中，解码器差错隐藏操作使用所述块的编码器编码模式和编码器运动向量。

此外，另一优点/特征是如上所述具有编码器的设备，其中，解码器差错隐藏操作对与先前图像相对应的编码器编码模式和编码器运动向量进行复制。

此外，另一优点/特征是如上所述具有编码器的设备，其中，差错隐藏操作使用经运动补偿的时间预测，并且编码器通过将隐藏失真与通道失真求和来计算期望失真，所述隐藏失真是仅当块在所述图像中丢失时使用解码器差错隐藏操作计算得到，并基于参考图像中的运动补偿块中的编码像素值进行计算的，所述通道失真存在于所述块的运动向量所指向的参考图像中的所述运动补偿块中，并按比例因子进行了缩小。

根据此处的说明，所属领域技术人员易于弄清本发明的上述和其他特征以及优势。应当理解的是，可以硬件、软件、固件、专用处理器或其组合的各种形式实现本发明的教义。

优选情况下，用硬件和软件的组合实现本发明的教义。此外，可以用确实包含于程序存储单元中的应用程序实现软件。应用程序可装载于具有任意适当架构的机器，并由后者予以执行。优选情况下，在具有诸如一个以上的中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输入(“I/O”)接口等硬件的计算机平台上实现所述机器。计算机平台还可以包含操作系统以及微指令代码。此处说明的各种处理以及函数可以是用CPU执行的、微指令代码的一部分或者应用程序的一部分或者其任意组合的一部分。此外，可以将诸如附加数据存储单元和打印单元等各种其他外围设备连接至计算机平台。

还应当理解的是，由于附图中所描绘的某些构成系统组件以及方法在优选情况下是用软件来实现的，因而系统组件或处理函数方框间的实际连接根据本发明的编程方式可能会有所不同。给定此处的说明，所属领域技术人员将能够构想出本发明的上述以及类似的实现或者配置。

虽然参考附图对说明性实施例进行了描述，然而应当理解的是，本发明不局限于这些具体的实施例，所属领域技术人员可以在不背离本发明范围或精神的前提下进行各种改进以及修改。正如附属权利要求所阐释的那样，意图将所有此类修改以及改进包含于本发明的范围之内。

Claims (25)

1、一种设备，包括：

失真计算器(1050)，用于在图像块的运动向量具有非整数值时使用该运动向量来计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述失真计算器根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真，所述图像块是以帧间模式或跳跃模式进行编码的。

2、根据权利要求1所述的设备，其中，所述失真计算器(1050)通过向所述至少两个邻近整数像素位置的失真应用比例因子来计算期望失真，所述比例因子的值在0到1之间。

3、根据权利要求2所述的设备，其中，所述比例因子是针对具有非整数值的块的所有候选运动向量预估的。

4、根据权利要求1所述的设备，其中，所述失真计算器(1050)被包含在视频编码器中。

5、一种方法，包括：

在图像块的运动向量具有非整数值时使用该运动向量来计算该图像块的期望失真(230)，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述计算步骤根据参考图像中至少两个邻近整数像素位置相对于所述具有非整数值的运动向量的传播失真来计算期望失真，所述图像块是以帧间模式或跳跃模式进行编码的。

6、根据权利要求5所述的方法，其中，所述计算步骤通过向所述至少两个邻近整数像素位置的失真应用比例因子来计算期望失真，所述比例因子的值在0到1之间(330)。

7、根据权利要求6所述的方法，其中，所述比例因子是针对具有非整数值的块的所有候选运动向量预估的(330)。

8、根据权利要求5所述的方法，其中，该方法是由视频编码器来执行的。

9、一种设备，包括：

失真计算器(1050)，用于在对图像块应用解块滤波操作时计算该图像块的期望失真，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述失真计算器根据参考图像中至少两个相邻整数像素位置相对于所述解块滤波操作中所使用的像素位置的传播失真来计算期望失真，所述图像块是以帧间模式或跳跃模式进行编码的。

10、根据权利要求9所述的设备，还包括：编码器(1010)，用于在以帧间模式来编码图像块并且在解码器接收到所述图像块时，计算包括期望失真在内的拉格朗日开销函数，所述解码器使用针对先前解码的图像中相同位置块的解码后的编码模式和运动向量，针对丢失宏块来执行经运动补偿的时间预测。

11、一种方法，包括：

在对图像块应用解块滤波操作时计算该图像块的期望失真(330)，所述图像块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述计算步骤根据参考图像中至少两个相邻整数像素位置相对于解块滤波操作中所使用的像素位置的传播失真来计算期望失真，所述图像块是以帧间模式或跳跃模式进行编码的。

12、根据权利要求11所述的方法，还包括：在以帧间模式来编码图像块并且在解码器接收到所述图像块时，计算包括期望失真在内的拉格朗日开销函数(330)，所述解码器使用针对先前解码的图像中相同位置块的解码后的编码模式和运动向量，针对丢失宏块来执行经运动补偿的时间预测。

13、根据权利要求12所述的方法，其中，所述计算拉格朗日开销函数的步骤是由视频编码器执行的。

14、一种设备，包括：

编码器(100)，用于使用解块滤波器操作和帧间编码块的运动向量来计算所述帧间编码块的期望失真，所述帧间编码块包含于视频帧序列的图像中，并且通过有损通道予以发送，其中，所述编码器根据失真的影响来计算期望失真，所述失真的影响来自于解块滤波器操作中所使用的帧间编码块的邻近块中的像素位置。

15、一种方法，包括：

使用解块滤波器操作和帧间编码块的运动向量来计算所述帧间编码块的期望失真(330)，所述帧间编码块包含于视频帧序列的图像中，并且通过有损通道予以发送，其中，所述编码步骤根据失真的影响来计算期望失真，所述失真的影响来自于解块滤波器操作中所使用的帧间编码块的邻近块中的像素位置。

16、一种设备，包括：

编码器(100)，用于计算块的期望失真，所述块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述编码器根据所述块的编码模式和运动向量，并且使用解码器差错隐藏操作来计算期望失真，其中，所述块的运动向量具有非整数值。

17、根据权利要求16所述的设备，其中，所述解码器差错隐藏操作是帧复制操作。

18、根据权利要求16所述的设备，其中，所述解码器差错隐藏操作使用所述块的编码器编码模式和编码器运动向量。

19、根据权利要求16所述的设备，其中，所述解码器差错隐藏操作对与先前图像相对应的编码器编码模式和编码器运动向量进行复制。

20、根据权利要求16所述的设备，其中，所述差错隐藏操作使用经运动补偿的时间预测，并且所述编码器(100)通过将隐藏失真与通道失真求和来计算期望失真，所述隐藏失真是仅当块在所述图像中丢失时使用解码器差错隐藏操作计算得到，并基于参考图像中的运动补偿块中的编码像素值进行计算的，所述通道失真存在于所述块的运动向量所指向的参考图像中的所述运动补偿块中，并按比例因子进行了缩小。

21、一种方法，包括：

计算块的期望失真(330)，所述块包含于视频序列的图像中，并且通过有损通道予以发送，其中，所述计算步骤根据所述块的编码模式和运动向量，并且使用解码器差错隐藏操作来计算期望失真，其中，所述块的运动向量具有非整数值。

22、根据权利要求21所述的方法，其中，所述解码器差错隐藏操作是帧复制操作(315)。

23、根据权利要求21所述的方法，其中，所述解码器差错隐藏操作使用所述块的编码器编码模式和编码器运动向量(310)。

24、根据权利要求21所述的方法，其中，所述解码器差错隐藏操作对与先前图像相对应的编码器编码模式和编码器运动向量进行复制(430)。

25、根据权利要求21所述的方法，其中，所述差错隐藏操作使用经运动补偿的时间预测，并且所述计算步骤通过将隐藏失真与通道失真求和来计算期望失真，所述隐藏失真是仅当所述块在图像中丢失时使用解码器差错隐藏操作计算得到，并基于参考图像中的运动补偿块中的编码像素值进行计算的，所述通道失真存在于所述块的运动向量所指向的参考图像中的所述运动补偿块中，并按比例因子进行了缩小(430)。

Images