CN103168469B - 用于图像和视频编码的错误恢复率失真优化 - Google Patents

用于图像和视频编码的错误恢复率失真优化 Download PDF

Info

Publication number
CN103168469B
CN103168469B CN201180050157.XA CN201180050157A CN103168469B CN 103168469 B CN103168469 B CN 103168469B CN 201180050157 A CN201180050157 A CN 201180050157A CN 103168469 B CN103168469 B CN 103168469B
Authority
CN
China
Prior art keywords
distortion
image
video data
unit
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180050157.XA
Other languages
English (en)
Other versions
CN103168469A (zh
Inventor
陈志峰
佩沙拉·V·帕哈拉瓦达
亚历山德罗斯·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN103168469A publication Critical patent/CN103168469A/zh
Application granted granted Critical
Publication of CN103168469B publication Critical patent/CN103168469B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

错误恢复率失真优化（ERRDO）用于在例如流送应用中通过有限带宽网络来传送高质量图像和视频。描述了通过降低计算复杂性来传送高质量图像和视频。

Description

用于图像和视频编码的错误恢复率失真优化
对相关申请的引用
本申请要求2010年10月20日提交的美国临时专利申请第61/405,025号的优先权，其全部内容通过引用合并于此。
技术领域
本发明的实施例一般涉及对图像和视频数据进行编码。更具体地，本发明的实施例涉及用于图像和视频编码的错误恢复率失真优化。
背景技术
近年来，图像和视频流送（streaming）应用的流行度增加。这些应用的范围从实现内容到用户的按需流送的软件和装置到点对点视频流送、在线视频广播以及用户家庭网络内的图像和视频共享。这些应用可能需要通过有线以及无线网络来传送图像和视频。例如，可以记录和回放图像和视频数据的移动多媒体装置（诸如智能电话）的增长已导致对实现高质量无线图像和视频传送的技术、以及实现这样的装置与其它互连的多媒体装置之间的无缝连接的技术的兴趣增加。视频的新发展（诸如3D立体视觉和多视图视频以及高动态范围成像和视频的涌现）也将增加对高质量图像和视频传送的需要，同时进一步增加了带宽要求。因此，通过有限带宽网络提供高质量图像和视频的能力是对于所有这样的流送应用的主要因素。
然而，两个因素可以影响对高质量图像和视频数据进行流送的能力。这两个因素是信道中的带宽限制和随机不可预测损失。
附图说明
并入本说明书并构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例，并且连同示例实施例的描述一起用于说明本公开的原理和实现。
图1示出了具有率失真优化块的视频编码器的框图。
图2示出了视频解码器的框图。
图3示出了使用传送失真的一阶矩和二阶矩的分析计算的率失真优化系统的框图。
具体实施方式
根据本公开的第一方面，提供了一种用于图像或视频数据的失真优化的方法，该方法包括：提供编码图像或视频数据；根据图像或视频数据的传送失真而评估编码图像或视频数据的失真；以及在对图像或视频数据进行编码的同时执行图像或视频数据的失真优化。
根据本公开的第二方面，提供了一种被适配成接收图像或视频数据的编码器，该编码器包括：输入，用于接收图像或视频数据；参考画面缓冲器单元，该参考画面缓冲器单元包含所存储的图像或视频数据；率失真优化单元，该率失真优化单元被适配成接收来自输入的图像或视频数据；运动估计单元，该运动估计单元被适配成接收来自输入和率失真优化单元的图像或视频数据，并且被适配成接收来自参考画面缓冲器单元的所存储的图像或视频数据；运动补偿单元，该运动补偿单元被适配成接收来自运动估计单元的图像或视频数据和来自参考画面缓冲器单元的所存储的图像或视频数据；变换单元；以及量化单元，该量化单元和变换单元被适配成接收来自输入和运动补偿单元的组合图像或视频数据。
错误恢复率失真优化（ERRDO）是可以用于缓解信道中的带宽限制和随机不可预测损失的影响的一种方法。在视频压缩中使用率失真优化以使得对经受比特率约束的视频失真的估计最小化。通常，这通过对运动矢量、宏块模式、参考画面等的认真选择来执行，以减少比特流中可能存在的冗余，从而使得将适合在规定约束内。然而，尽管比特流中的较少冗余与压缩效率有关，但是也减少了其对不可预测错误的恢复力。
视频压缩技术包括用于改进错误恢复力的一些技术，诸如FMO（可变宏块排序）、ASO（任意切片排序）和冗余切片。然而，由于在视频编码器和解码器中的实现复杂度均较高，因此这些具有有限的实际应用。
用于增加错误恢复力的较不复杂途径是随机帧内更新（例如，在比特流中随机地插入帧内编码画面或帧内宏块）（参见[参考文献1]）。这减少了新画面/宏块对先前的解码画面/宏块的依赖性，从而减少了解码视频中的错误传播。然而，用于帧内编码宏块的额外比特增加了带宽，结果也增加了比特流对错误的敏感度。
其它方案选择最可能受错误不利地影响的图像或视频的区域，并且选择性地仅在这些区域中插入帧内编码块。除了帧内编码块的选择之外，还可以修改通常在率失真优化期间执行的其它模式判定（诸如参考画面的选择（包括长期参考画面的使用））以考虑信道损失的影响，从而改进比特流的错误恢复力，同时仍保持在约束带宽内。另外，也可为包含更重要信息的源数据分组提供不等的错误保护，诸如在可伸缩视频编码的情况下，其中，为了进行解码，一个层可依赖于先前解码的因此更重要的层。因此，错误恢复率失真优化可以以公式表示为：
min s J ( s ) = E [ D ( s , c ) ] + λR ( s ) , - - - ( 1 )
其中，s表示根据以上段落而选择的模式（这里也称为源参数），c表示信道状况，E[D(s,c)]表示在给定所选择的源参数和当前信道状况的情况下的预期失真，并且R(s)表示在给定所选择的源参数的情况下的比特率。术语“所选择的模式”（源参数）表示用于编码的方法（诸如帧内编码块、块大小/形状的选择、参考画面的选择），并且术语“信道状况”表示比特流从编码器移动到解码器的介质的质量（诸如分组或比特错误率）。比特率R(s)可作为对源数据进行编码的真实比特率而获得（这可能增加了模式判定处理的复杂性）或者作为估计比特率而获得。
等式（1）与传统率失真优化（RDO）方案之间的差别在于，在给定源参数和信道状况的情况下的预期失真的计算或估计。这种差别是由于失真的估计不再是确定的而是也依赖于传送期间的随机损失而导致的。
在[参考文献2至6]中示出了ERRDO过程中用于估计预期失真的方法。在[参考文献2]中提出的方法是基于多假设解码器的方案，该方案对信道误差进行模拟并且对编码器内的解码处理进行仿真，而不需要实际上对整个比特流进行解码。每个假设解码器经历由所指定的信道状况确定的不同随机损失实现。所有解码器中的平均失真然后用作在给定源参数和信道参数的情况下的预期失真的估计，并且用在率失真优化构架中。
在[参考文献3]中提出并且在[参考文献4]中进一步加强的方法是与基于多解码器的方案相比存储器较不密集的递归方案，该方法通常称为ROPE（递归最优像素失真估计）。为了计算特定帧k处的预期失真，该方法使用对于帧k-1的在解码器处的重构像素值和一阶矩和二阶矩（假设帧k依赖于帧k-1）。该方案可以被扩展到使用多个参考帧时的情况（参见[参考文献5]）。
[参考文献6]中的方法假设在编码器处使用整数像素精度用于运动估计，并且不执行环路滤波。诸如H.264/AVC的现有技术的视频压缩标准（参见[参考文献7]）通常使用子像素内插、环路滤波、双预测等等，其中，在编码器处采用整数像素精度用于运动估计不是最优的。
当使用在多个重构像素样本中具有附加滤波的特征时，错误隐藏之后的解码样本值也受到滤波的影响，并且这可以在估计失真时纳入考虑。
本公开提出了对该方案的增强，其将应用扩展到如下情况：编码器使用子像素运动估计、环路滤波、双预测等等，以使得[参考文献6]中的方法也可以用于错误恢复率失真优化构架。
图1至2分别是视频编码器和解码器架构的高级图。在图1所示的编码器图中，空间位置u和时间k处的输入样本值被表示为f(u，k)（100）。在变换/量化和逆量化/变换之后的编码器处的预测残差被表示为ec(u,k)（110）。预测残差是在编码阶段所预测的、解码器处所预期的残差。该残差与时间预测fc(u+mv(u，k)，k-1)（120）相加，然后被剪切和滤波以获得编码器处以fc(u，k)（140）表示的最终重构图像样本，其中，mv(u,k)表示估计运动矢量。在更一般的情况下，不一定是先前帧k-1的时间邻居（被表示为j）可用作参考来生成时间预测。另外，图1中示出了率失真优化块（160），这将在稍后参照图3来讨论。
在图2所示的解码器图中，接收可包含随机错误或分组损失的输入比特流（230）并且对该比特流执行熵解码。也可在熵解码之前执行错误校正步骤，以便从信道中的一些损失复原。当这种试图从信道中的损失进行复原不足以进行错误校正时，错误隐藏步骤试图从比特流恢复损失的信息（例如，宏块模式、运动矢量、残差信息等）。错误隐藏使用从来自同一帧（帧内错误隐藏）或先前帧（帧间错误隐藏）的其它像素获得的信息对给定帧中的损坏像素进行校正。错误隐藏步骤可作为在对图像或区域的所有正确接收的部分都进行了解码之后的后处理而发生。
解码器处的隐藏残差被表示为ed(u，k)(200），并且隐藏运动矢量被表示为mvd(u，k)（210）。由于比特流中的错误，因此这两个值可能均与在编码器处算出的相应值不同。隐藏运动矢量与来自参考画面缓冲器（240）的帧k进行组合，以创建被表示为fd(u+mvd(u，k)，k-1)（250）的时间估计。时间估计fd(u+mvd(u，k),k-1)（250）与隐藏残差ed(u,k)（200）相加，然后被剪切和滤波以获得解码器处的被表示为fd(u,k)（220）的最终重构样本。
由于失真是输出处的样本质量的度量，因此，在给定特定输入的情况下，以E[D(u，k)]表示的、画面k中的位置u处的像素的预期失真可以被计算为：
其中，失真被表示为编码器的输入处的样本f(u,k)和解码器的输出处的样本fd(u,k)的平方差。以上等式可以被重写为：
E[D(u，k)]=E[{(f(u，k)-fc(u，k))+(fc(u，k)-fd(u，k))}2]
，(3)
通过相加和减去项fc(u,k)以获得等式（3）的左手侧的、编码器的输入与输出之间的差、以及等式的右手侧的、解码器的输入与输出之间的差。编码器处的差可以被重写为编码器的失真Dc(u，k)，并且解码器处的差可以被重写为解码器的失真Dd(u，k)，被表示为：
E[D(u，k)]=E[(Dc(u，k)+Dd(u，k))2]
，(4)
通过对等式（4）应用简单代数学，我们得到：
E[D(u,k)]＝[Dc(u，k)]2+Dc(u,k)E[Dd(u，k)]+E[(Dd(u,k))2]，(5)
其中，Dc(u，k)表示编码器处的失真（由量化、剪切等引起的），并且Dd(u，k)表示解码器处的传送失真（由信道误差、剪切等引起的）。Dc(u，k)是确定的并且在编码器处是已知的，因此去除了“预期”。
基于等式（5），为了计算预期失真，首先计算E[Dd(u，k)]（一阶矩）和E[(Dd(u，k))2]（二阶矩）。假设画面k的位置u处的像素依赖于作为参考的画面j，可以根据包含与位置u处的像素有关的运动矢量信息和残差的分组的丢失概率以及E[Dd(u+mvd(u，k)，j)]、E[Dd(u+mv(u，k)，j)]、E[（Dd(u+mvd(u，k)，j))2]和E[(Dd(u+mv(u，k)，j))2]来计算E[Dd(u，k)]和E[(Dd(u，k))2]。
这样的假设的基础由图2来提供，从图2可以看出，在错误隐藏期间提供的时间估计量是解码器处的失真的度量。特别地，位置(u+mvd(u，k)，j)表示在解码器重构画面j中的像素的位置，其将用于在相应分组丢失的情况下利用错误隐藏来隐藏画面k中的位置u处的像素。类似地，(u+mv(u，k)，j)表示解码器重构画面j中的像素的位置，其将用于在接收到相应分组的情况下预测画面k中的位置u处的像素。
由于画面j用作画面k的参考，因此已对画面j执行了错误恢复率失真优化，然后对其进行了编码。因此，在运动矢量mv(u，k)和mvd(u，k)表示整数像素位置的情况下，E[Dd(u+mvd(u，k)，j)]、E[Dd(u+mv(u，k)，j)]、E[(Dd(u+mvd(u，k)，j))2]和E[(Dd(u+mv(u，k)，j))2]的值将已在画面j的错误恢复率失真优化期间算出。因此，所得到的E[Dd(u+mvd(u，k)，j)]、E[Dd(u+mv(u，k)，j)]、E[(Dd(u+mvd(u，k)，j))2]和E[(Dd(u+mv(u，k)，j))2]的值可以被存储并且从存储器读出。
然而，在先进视频编解码器中，mv(u，k)和mvd(u，k)可表示子像素位置，于是，通常在基于来自画面j的整数像素位置的可用信息对画面k的率失真优化期间重新计算以上值。甚至对于子像素运动矢量，一阶矩、E[Dd(u+mv(u，k)，j)]和E[Dd(u+mvd(u，k)，j)]的计算也是相对直接的。然而，二阶矩（平方值）的计算可能是较复杂的。本公开描述了对于子像素情况下的二阶矩的计算使用低复杂度途径的方法。
可以假设，用于生成子像素位置u处的像素的内插包括对画面j中的整数像素位置ui（i=0、…、N-1）处的像素所施加的N抽头有限脉冲响应（FIR）滤波器。对于每个位置ui，施加权重wi。因此，运动补偿之后的预期失真的二阶矩可以被写为：
E [ ( D d ( u , j ) ) 2 ] = E [ ( Σ i = 0 N - 1 ( w i D d ( u i , j ) ) ) 2 ] , - - - ( 6 a )
其中，wi表示像素位置ui处的滤波器抽头。将等式（6）写为：
E [ X 2 ] = E [ ( Σ i = 0 N - 1 ( w i X i ) ) 2 ] , - - - ( 6 b )
并且假设，则获得以下表达式：
E [ X 2 ] = Σ i = 0 N - 1 w i E [ ( X i ) 2 ] - Σ i = 0 N - 2 Σ j = i + 1 N - 1 ( w i w j E [ ( X i - X j ) 2 ] ) , - - - ( 7 ) .
根据本公开的一个实施例，可以假设，由于i和j表示极近的像素位置，因此由Xi和Xj表示的失真是高度相关的。因此，等式（7）的右手侧的第二项可忽略。这允许以与一阶矩的复杂度相同的复杂度来执行二阶矩的计算，以使得：
E [ X 2 ] ≈ Σ i = 0 N - 1 w i E [ ( X i ) 2 ] , - - - ( 8 ) .
根据另一实施例，项E[(Xi-Xj)2]可被建模为像素位置i与j之间的距离的函数（例如，线性函数或指数函数），从而允许对这样的项的低复杂度估计。
在另一实施例中，可针对每个子像素精确地计算该项一次，然后将其存储在存储器中。每次来自同一帧的宏块用作未来帧中的参考时，存储在存储器中的算出值可以用于预期失真计算，从而降低了未来帧的计算复杂度。因此，尽管执行了一次复杂计算，但是简化了未来的计算。
图3所示的框图示出了可以在ERRDO构架内使用上述方法的方式，其中，所示出的整个处理可以例如发生在图1中的编码器的率失真优化块（160）内。在图3中，模式选择器块（300）测试每种可能的编码模式（诸如帧间编码、帧内编码、用于运动估计的各种块大小/形状等等）。对于每种模式，计算块（340,350,360,370）计算画面j（即，所选择的模式的相应参考画面）的传送失真的一阶矩和二阶矩，并且模式选择器块（300）使用这些算出的传送失真的一阶矩和二阶矩的值来获得当前画面的估计失真。对于每种模式，还计算估计比特率。然后，由模式选择器块（300）例如通过使用诸如等式（1）所示的方法来选择期望模式，然后通过将来自模式选择器块（300）的所选择的模式的估计运动参数发送到图1的运动估计单元（170）和运动补偿单元（180）来使用该期望模式进行编码。所选择的模式的失真的一阶矩和二阶矩也可存储在一阶矩缓冲器（320）和二阶矩缓冲器（330）中，以用于对随后的画面进行编码。丢弃未选择的模式。
根据本公开的另外的实施例，等式（7）也可以应用在除子像素内插之外的情况下（诸如，例如，加权预测或加权解块），以基于用于滤波的样本的预期失真来确定线性滤波后样本的预期失真。一般地，等式（7）及其上述简化也可以用在其它应用中，这些其它应用可以得益于对作为一组随机变量的加权和的随机变量的二阶矩的简化计算。
总之，本公开的实施例将用于估计视频的传送失真的现有方法（等式6）扩展为可以用于错误恢复模式判定处理的形式（等式7）。这些实施例还改进了失真估计算法对现有技术的视频编码标准的适用性。
本公开中描述的方法和系统可以以硬件、软件、固件或其组合来实现。被描述为块、模块或部件的特征元件可在一起（例如，以诸如集成逻辑装置的逻辑装置）或分开（例如，作为分开连接的逻辑装置）实现。本公开的方法的软件部分可包括计算机可读介质，该计算机可读介质包括指令，该指令当被执行时，至少部分执行所描述的方法。计算机可读介质可包括例如随机存取存储器（RAM）和/或只读存储器（ROM）。指令可由处理器（例如，数字信号处理器（DSP）、专用集成电路（ASIC）或现场可编程门阵列（FPGA））来执行。
提供以上阐述的示例以向本领域普通技术人员给出如何实现和使用本公开的用于图像和视频编码的、用于ERRDO的方法和系统的实施例的完全公开和描述，并且不旨在限制发明人视为其公开的范围。本领域技术人员可使用用于执行本公开的上述模式的变型，并且该变型旨在为所附权利要求的范围内。如这里所描述的，本发明的实施例可涉及在以下表1中列举的示例实施例中的一个或多个。
表1
列举示例实施例
EEE1.一种用于图像或视频数据的失真优化的方法，包括：
提供编码图像或视频数据；
根据所述图像或视频数据的传送失真而评估所述编码图像或视频数据的失真；以及
在对所述图像或视频数据进行编码的同时执行所述图像或视频数据的失真优化。
EEE2.根据列举示例实施例1所述的方法，其中，所述图像或视频数据的传送失真是编码之前的输入图像或视频数据与编码之后的相应输出图像或视频数据之间的差。
EEE3.根据列举示例实施例2所述的方法，其中，所述编码之前的输入图像或视频数据是已知值。
EEE4.根据列举示例实施例2所述的方法，其中，所述编码之后的输出图像或视频数据是未知随机变量。
EEE5.根据列举示例实施例1或2中任一项所述的方法，其中，所述传送失真是信道损失的函数。
EEE6.根据前述列举示例实施例1-5中任一项所述的方法，其中，评估失真包括评估关于线性项和二次项的失真，所述线性项和所述二次项中的每个均表示所述图像或视频数据的传送失真。
EEE7.根据列举示例实施例6所述的方法，其中，评估失真包括计算解码器处预期的失真。
EEE8.根据列举示例实施例7所述的方法，其中，计算所述解码器处预期的失真包括计算所述传送失真的一阶矩。
EEE9.根据列举示例实施例7所述的方法，其中，计算所述解码器处预期的失真包括计算所述传送失真的二阶矩。
EEE10.根据前述列举示例实施例中任一项所述的方法，其中，在错误隐藏步骤期间通过运动矢量来执行所述失真优化。
EEE11.根据列举示例实施例10所述的方法，其中，所述运动矢量表示整数像素位置。
EEE12.根据列举示例实施例10所述的方法，其中，所述运动矢量表示子像素位置。
EEE13.根据列举示例实施例12所述的方法，其中，所述子像素位置是通过对整数像素位置应用滤波器而生成的。
EEE14.根据列举示例实施例13所述的方法，其中，所述滤波器是有限脉冲响应（FIR）滤波器。
EEE15.根据列举示例实施例13或14中任一项所述的方法，其中，当评估所述二次项时，假设接近像素位置之间的失真是相同的。
EEE16.根据列举示例实施例13或14中任一项所述的方法，其中，当评估所述二次项时，将接近像素位置之间的失真的平方差的估计建模为函数。
EEE17.根据列举示例实施例16所述的方法，其中，所述所述函数是线性函数或指数函数。
EEE18.根据列举示例实施例13或14中任一项所述的方法，其中，当评估所述二次项时，计算接近像素位置之间的失真的平方差的估计。
EEE19.根据列举示例实施例18所述的方法，其中，将算出的估计存储在存储器中。
EEE20.根据列举示例实施例15-19中任一项所述的方法，其中，通过加权预测来确定所述失真。
EEE21.根据列举示例实施例15-19中任一项所述的方法，其中，通过加权解块来确定所述失真。
EEE22.根据列举示例实施例1-21中任一项所述的方法，其中，所述失真优化发生在编码器的率失真优化块中。
EEE23.一种被适配成接收图像或视频数据的编码器，所述编码器包括：
输入，用于接收所述图像或视频数据；
参考画面缓冲器单元，所述参考画面缓冲器单元包含所存储的图像或视频数据；
率失真优化单元，所述率失真优化单元被适配成接收来自所述输入的图像或视频数据；
运动估计单元，所述运动估计单元被适配成接收来自所述输入和所述率失真优化单元的图像或视频数据，并且被适配成接收来自所述参考画面缓冲器单元的所存储的图像或视频数据；
运动补偿单元，所述运动补偿单元被适配成接收来自所述运动估计单元的图像或视频数据以及来自所述参考画面缓冲器单元的所存储的图像或视频数据；
变换单元；以及
量化单元，所述量化单元和所述变换单元被适配成接收来自所述输入和所述运动补偿单元的组合图像或视频数据。
EEE24.根据列举示例实施例23所述的编码器，其中，所述率失真优化单元被适配成接收来自所述运动补偿单元的反馈。
EEE25.根据列举示例实施例23-24中任一项所述的编码器，其中，所述率失真优化单元进一步包括：
传送失真一阶矩计算单元；
传送失真一阶矩缓冲器单元，所述传送失真一阶矩缓冲器单元被适配成接收来自所述传送失真一阶矩计算单元的、所计算的传送失真一阶矩的值；
传送失真二阶矩计算单元；
传送失真二阶矩缓冲器单元，所述传送失真二阶矩缓冲器单元被适配成接收来自所述传送失真二阶矩计算单元的、所计算的传送失真二阶矩的值；以及
模式选择器单元，所述模式选择器单元被适配成接收所计算的传送失真一阶矩的值和传送失真二阶矩的值、所述图像或视频数据输入以及来自所述运动补偿单元的反馈。
EEE26.根据列举示例实施例25所述的编码器，还包括两个传送失真一阶矩计算单元和两个传送失真二阶矩计算单元。
EEE27.根据列举示例实施例25-26中任一项所述的编码器，其中，所述传送失真一阶矩计算单元和所述传送失真二阶矩计算单元被适配成执行根据列举示例实施例15-18中任一项所述的方法的计算。
EEE28.根据列举示例实施例25-27中任一项所述的编码器，其中，所述模式选择器单元被适配成对选自以下的分组的编码模式进行测试和选择：帧间编码、帧内编码以及用于运动估计的各种大小/形状。
EEE29.根据列举示例实施例23-28中任一项所述的编码器，其中，所述率失真优化单元被适配成减少解码器处的传送失真。
EEE30.根据列举示例实施例23-28中任一项所述的编码器，其中，所述编码器被适配成减少解码器处的传送失真。
EEE31.一种用于根据在列举示例实施例1-30中的一项或多项中所述的方法对图像或视频信号进行编码的编码器。
EEE32.一种用于根据在列举示例实施例1-30中的一项或多项中所述的方法对图像或视频信号进行编码的设备。
EEE33.一种用于根据在列举示例实施例1-30中的一项或多项中所述的方法对图像或视频信号进行编码的系统。
EEE34.一种包括一组指令的计算机可读介质，所述一组指令使得计算机执行在列举示例实施例1-33中的一项或多项中所述的方法。
EEE35.一种使用在列举示例实施例1-34中的一项或多项中所述的方法来对图像或视频信号进行编码的用途。
注意，如在表1中所使用的，所有的数字序号是包括性的列表。另外，如在表1中的指示上下文中所使用的，术语“是（is）”和“是（are）”可分别对应于含义“包括（comprises）”和“包括（comprise）”。
因此，本发明可以以这里所述的任意形式来实现，包括但不限于描述了本发明的一些部分的结构、特征和功能的列举示例实施例（EEE）。此外，本说明书中提及的所有专利和公开可表示本公开所属领域的技术人员的技能水平。本公开中所引用的所有参考文献以就像每个参考文献的全部内容都单独地通过引用而合并一样相同的程度通过引用而合并。
应理解，本公开不限于特定方法或系统，这些方法或系统当然可以变化。还应理解，这里所使用的术语仅为了描述了特定实施例的目的，而不旨在为限制性的。如在本说明书和所附权利要求中所使用的，单数形式“一（a）”、“一个（an）”和“所述（the）”包括复数的所指事物，除非内容明确相反规定。术语“多个”包括两个或更多个所指事物，除非内容明确相反规定。除非相反地定义，否则这里所使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常所理解的含义相同的含义。
描述了本公开的多个实施例。然而，应理解，在不背离本公开的精神和范围的情况下，可进行各种修改。因此，其它实施例在所附权利要求的范围内。
参考文献列表
[1]T.Stockhammer，M.M.Hannuksela，and T.Wiegand,“H.264/AVC in WirelessEnvironments，”IEEE Trans.on Circuits and Systems for Video Technology，vol。13，no.7，pp.657-673，July2003.
[2]T.Stockhammer，T.Wiegand，and S.Wenger，“Optimized Transmission of H.26L/JVTCoded Video Over Packet-Lossy Networks，”Proc.of the International Conference onImage Processing(ICIP)，2002.
[3]R.Zhang，S.L.Regunathan，and K.Rose，“Video Coding with Optimal Intra/Inter-ModeSwitching for Packet Loss Resilience，”IEEE Journal on Selected Areas inCommunications，vol.18，no 6，pp.966-976，June 2000.
[4]H.Yang，and K.Rose，“Advances in Recursive Per-Pixel End-to-End DistortionEstimation for Robust Video Coding in H.264/AVC,”IEEE Trans.on Circuits andSystems for Video Technology，vol.17，no.7，pp.845-856，July 2007.
[5]A.Leontaris，and P.C.Cosman，“Video Compression for Lossy Packet Networks withMode Switching and a Dual-Frame Buffer，”IEEE Trans.on Image Processing，vol.13,no.7,pp.885-897，July 2004.
[6]Z.Chen,D.Wu,“Study of video distortion for real-time video transmission overwireless channels，”Proceedings of SPIE Defense & Security Symposium2009,Orlando，,FL，UsA，April 13-17，2009.
[7]Advanced video coding for generic audiovisual services，http://www.itu.int/rec/recommendation.asp？type＝folders & lang＝e & parent＝T- REC-H.264，March2009.

Claims (21)

1.一种用于图像或视频数据的失真优化的方法，包括：
提供编码图像或视频数据；
根据所述图像或视频数据的传送失真而评估所述编码图像或视频数据的失真；
其中，评估失真的步骤包括通过估计接近像素位置之间的失真的平方差，计算传送失真的二阶矩；以及
在对所述图像或视频数据进行编码的同时执行所述图像或视频数据的失真优化。
2.根据权利要求1所述的方法，其中，所述图像或视频数据的传送失真是编码之前的输入图像或视频数据与解码之后的相应输出图像或视频数据之间的差。
3.根据权利要求2所述的方法，其中，所述编码之前的输入图像或视频数据包括已知值。
4.根据权利要求2所述的方法，其中，所述解码之后的输出图像或视频数据包括未知随机变量。
5.根据权利要求1或2中的任一项所述的方法，其中，所述传送失真包括信道损失的函数。
6.根据前述权利要求1或2所述的方法，其中，失真评估包括评估关于线性项和二次项的失真，所述线性项和所述二次项中的每个均表示所述图像或视频数据的传送失真。
7.根据权利要求6所述的方法，其中，评估所述失真包括计算解码器处预期的失真。
8.根据前述权利要求1或2所述的方法，其中，在错误隐藏步骤期间通过运动矢量来执行所述失真优化。
9.一种被适配成接收图像或视频数据的编码器，所述编码器包括：
输入，用于接收所述图像或视频数据；
参考画面缓冲器单元，所述参考画面缓冲器单元包含所存储的图像或视频数据；
率失真优化单元，所述率失真优化单元被适配成接收来自所述输入的图像或视频数据以及评估所述图像或视频数据的失真；
所述率失真优化单元被适配成通过估计接近像素位置之间的失真的平方差而计算传送失真的二阶矩，评估失真；
运动估计单元，所述运动估计单元被适配成接收来自所述输入和所述率失真优化单元的图像或视频数据，并且被适配成接收来自所述参考画面缓冲器单元的所存储的图像或视频数据，以对来自所述输入和所述率失真优化单元的图像或视频数据进行运动估计；
运动补偿单元，所述运动补偿单元被适配成接收来自所述运动估计单元的图像或视频数据以及来自所述参考画面缓冲器单元的所存储的图像或视频数据，以对来自所述运动估计单元的图像或视频数据进行运动补偿；
变换单元，所述变换单元被适配成接收来自所述输入和所述运动补偿单元的组合图像或视频数据，以对来自所述输入和所述运动补偿单元的组合图像或视频数据进行变换；以及
量化单元，所述量化单元被适配成接收来自所述输入和所述运动补偿单元的组合图像或视频数据，以对来自所述输入和所述运动补偿单元的组合图像或视频数据进行量化。
10.根据权利要求9所述的编码器，其中，所述率失真优化单元被适配成接收来自所述运动补偿单元的反馈，从而使用所述反馈评估来自所述输入的图像或视频数据的失真。
11.根据权利要求9-10中任一项所述的编码器，其中，所述率失真优化单元还包括：
传送失真一阶矩计算单元，所述传送失真一阶矩计算单元被适配成计算传送失真的一阶矩；
传送失真一阶矩缓冲器单元，所述传送失真一阶矩缓冲器单元被适配成接收来自所述传送失真一阶矩计算单元的、所计算的传送失真一阶矩的值，以对所计算的传送失真一阶矩的值进行缓冲；
传送失真二阶矩计算单元，所述传送失真二阶矩计算单元被适配成计算传送失真的二阶矩；
传送失真二阶矩缓冲器单元，所述传送失真二阶矩缓冲器单元被适配成接收来自所述传送失真二阶矩计算单元的、所计算的传送失真二阶矩的值，以对所计算的传送失真二阶矩的值进行缓冲；以及
模式选择器单元，所述模式选择器单元被适配成接收所述所计算的传送失真一阶矩的值和传送失真二阶矩的值、所述图像或视频数据输入以及来自所述运动补偿单元的反馈，其中，所述模式选择器单元被适配成对选自以下的分组的编码模式进行测试和选择：帧间编码、帧内编码以及用于运动估计的各种大小/形状。
12.根据权利要求9或10所述的编码器，其中，编码器或者其率失真优化单元中的一个或多个被适配成减少解码器处的传送失真。
13.一种用于对图像或视频信号进行编码的设备，包括：
用于提供编码图像或视频数据的装置；
用于根据所述图像或视频数据的传送失真而评估所述编码图像或视频数据的失真的装置；
其中，评估失真包括通过估计接近像素位置之间的失真的平方差，计算传送失真的二阶矩；以及
用于在对所述图像或视频数据进行编码的同时执行所述图像或视频数据的失真优化的装置。
14.根据权利要求13所述的设备，其中，所述图像或视频数据的传送失真是编码之前的输入图像或视频数据与解码之后的相应输出图像或视频数据之间的差。
15.根据权利要求14所述的设备，其中，所述编码之前的输入图像或视频数据包括已知值。
16.根据权利要求14所述的设备，其中，所述解码之后的输出图像或视频数据包括未知随机变量。
17.根据权利要求13或14所述的设备，其中，所述传送失真包括信道损失的函数。
18.根据权利要求13或14所述的设备，其中，失真评估包括评估关于线性项和二次项的失真，所述线性项和所述二次项中的每个均表示所述图像或视频数据的传送失真。
19.根据权利要求18所述的设备，其中，评估所述失真包括计算解码器处预期的失真。
20.根据权利要求13或14所述的设备，其中，在错误隐藏步骤期间通过运动矢量来执行所述失真优化。
21.一种使用根据权利要求1-8中的一项或多项所述的方法来对图像或视频信号中的至少一个进行编码的用途。
CN201180050157.XA 2010-10-20 2011-10-19 用于图像和视频编码的错误恢复率失真优化 Expired - Fee Related CN103168469B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40502510P 2010-10-20 2010-10-20
US61/405,025 2010-10-20
PCT/US2011/056835 WO2012054570A1 (en) 2010-10-20 2011-10-19 Error resilient rate distortion optimization for image and video encoding

Publications (2)

Publication Number Publication Date
CN103168469A CN103168469A (zh) 2013-06-19
CN103168469B true CN103168469B (zh) 2016-08-10

Family

ID=44860581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180050157.XA Expired - Fee Related CN103168469B (zh) 2010-10-20 2011-10-19 用于图像和视频编码的错误恢复率失真优化

Country Status (9)

Country Link
US (1) US9066073B2 (zh)
EP (3) EP3541076B1 (zh)
CN (1) CN103168469B (zh)
DK (1) DK2630797T3 (zh)
ES (3) ES2870332T3 (zh)
HU (1) HUE045503T2 (zh)
PL (1) PL2630797T3 (zh)
PT (1) PT2630797T (zh)
WO (1) WO2012054570A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492163B (en) 2011-06-24 2018-05-02 Skype Video coding
GB2492330B (en) 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
GB2492329B (en) 2011-06-24 2018-02-28 Skype Video coding
GB2493777A (en) 2011-08-19 2013-02-20 Skype Image encoding mode selection based on error propagation distortion map
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
FR3041194B1 (fr) * 2015-09-16 2017-09-01 Vogo Procede d'optimisation de transmission de flux de donnees video dans un reseau sans fil
CN109983775A (zh) 2016-12-30 2019-07-05 深圳市大疆创新科技有限公司 用于基于反馈的数据发送的系统和方法
CN110225338B (zh) 2016-12-30 2021-12-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759610A (zh) * 2003-01-09 2006-04-12 加利福尼亚大学董事会 视频编码方法及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144688A (en) 1990-03-23 1992-09-01 Board Of Regents, The University Of Texas System Method and apparatus for visual pattern image coding
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US20060256867A1 (en) * 2002-09-06 2006-11-16 Turaga Deepak S Content-adaptive multiple description motion compensation for improved efficiency and error resilience
US7106907B2 (en) * 2002-10-18 2006-09-12 Mitsubishi Electric Research Laboratories, Inc Adaptive error-resilient video encoding using multiple description motion compensation
JP4593556B2 (ja) * 2003-01-09 2010-12-08 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 映像符号化方法及びデバイス
GB2401502B (en) 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
US7349472B2 (en) * 2004-02-11 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Rate-distortion models for error resilient video transcoding
US7983341B2 (en) 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
US7256716B2 (en) 2005-03-01 2007-08-14 The Texas A&M University System Data encoding and decoding using Slepian-Wolf coded nested quantization to achieve Wyner-Ziv coding
US8170102B2 (en) 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
US20070248268A1 (en) 2006-04-24 2007-10-25 Wood Douglas O Moment based method for feature indentification in digital images
US7414549B1 (en) 2006-08-04 2008-08-19 The Texas A&M University System Wyner-Ziv coding based on TCQ and LDPC codes
US8731070B2 (en) * 2006-12-15 2014-05-20 Thomson Licensing Hybrid look-ahead and look-back distortion estimation
US20090067495A1 (en) 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
EP2051524A1 (en) 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8073288B2 (en) 2008-01-16 2011-12-06 International Business Machines Corporation Rendering a mask using coarse mask representation
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759610A (zh) * 2003-01-09 2006-04-12 加利福尼亚大学董事会 视频编码方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Prediction of transmission distortion for wireless video communication:Algorithm and application;Zhifeng Chen等;《Journal or Visual Commmunication & Image Representation》;20100917;P948-964 *

Also Published As

Publication number Publication date
ES2870905T3 (es) 2021-10-28
WO2012054570A1 (en) 2012-04-26
EP3541075B1 (en) 2021-03-10
DK2630797T3 (da) 2019-08-26
EP3541076A1 (en) 2019-09-18
ES2741426T3 (es) 2020-02-11
PL2630797T3 (pl) 2019-11-29
EP2630797B1 (en) 2019-07-24
CN103168469A (zh) 2013-06-19
HUE045503T2 (hu) 2019-12-30
PT2630797T (pt) 2019-08-26
US20130223513A1 (en) 2013-08-29
EP3541075A1 (en) 2019-09-18
EP2630797A1 (en) 2013-08-28
ES2870332T3 (es) 2021-10-26
EP3541076B1 (en) 2021-03-10
US9066073B2 (en) 2015-06-23

Similar Documents

Publication Publication Date Title
CN103168469B (zh) 用于图像和视频编码的错误恢复率失真优化
US9491467B2 (en) Method and apparatus for image encoding/decoding
AU2006320064B2 (en) Image encoding/image decoding method and image encoding/image decoding apparatus
CN101542926B (zh) 使用多个层进行可缩放编码及解码
CN101778275B (zh) 一种自适应时间域和空间域分辨率框架的图像处理方法
US10091526B2 (en) Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same
US20080049837A1 (en) Image Processing Apparatus, Program for Same, and Method of Same
CN104054338A (zh) 位深和颜色可伸缩视频编码
JP2009522974A (ja) 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置
CN102098517A (zh) 用于确定解码视频块中的期望失真的方法及设备
CN102362498A (zh) 用于运动矢量编码/解码的方法和装置、以及用于使用其对图像进行编码/解码的装置和方法
CN101917621A (zh) 用于编码混合内部-相互编码块的方法和装置
US20050129125A1 (en) Method and apparatus for pitcure compression using variable block of arbitrary size
CN101548549A (zh) 精细粒度可伸缩图像编码和解码
CN105122805A (zh) 针对多层视频编码的层间参考图片增强
CN102972027B (zh) 预测图像生成装置、动图像解码装置、动图像编码装置以及预测图像生成方法
WO2007091601A1 (ja) 符号化装置、符号化方法およびプログラム
JP2010534015A (ja) 画像処理方法及び対応する電子装置
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
CN101682787A (zh) 空间增强的变换编码
CN104754337B (zh) 视频编码方法
KR102105323B1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
KR101641716B1 (ko) 통합 영상 부호화 방법 및 장치
CN114450965A (zh) 基于长范围端对端深度学习的视频压缩
KR101543310B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180628

Address after: No. 18, Wu Sha seashore road, Changan Town, Dongguan, Guangdong

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: California, USA

Patentee before: DOLBY LABORATORIES LICENSING Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

CF01 Termination of patent right due to non-payment of annual fee