CN101375606A - 视频编码 - Google Patents

视频编码 Download PDF

Info

Publication number
CN101375606A
CN101375606A CNA2007800038098A CN200780003809A CN101375606A CN 101375606 A CN101375606 A CN 101375606A CN A2007800038098 A CNA2007800038098 A CN A2007800038098A CN 200780003809 A CN200780003809 A CN 200780003809A CN 101375606 A CN101375606 A CN 101375606A
Authority
CN
China
Prior art keywords
piece
candidate
macroblock partition
signal
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800038098A
Other languages
English (en)
Other versions
CN101375606B (zh
Inventor
拉戈哈文德拉·C·纳加拉杰
王凯
纳伦德拉纳特·马拉亚特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101375606A publication Critical patent/CN101375606A/zh
Application granted granted Critical
Publication of CN101375606B publication Critical patent/CN101375606B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一实施例针对一种在视频编码器中的运动估计和补偿中从多个候选宏块分区中选择预测性宏块分区的方法,其包含确定所述候选宏块分区的每一者的位速率信号;产生所述候选宏块分区的每一者的失真信号;基于各自位速率和失真信号而计算所述候选宏块分区的每一者的成本以产生多个成本;以及从所述成本中确定运动向量。所述运动向量指定所述预测性宏块分区。

Description

视频编码
技术领域
本申请案涉及视频编码器和其中所使用的成本函数。
背景技术
视频压缩涉及数字视频数据的压缩。视频压缩用于有效地编码视频文件格式和串流视频格式的视频数据。压缩是数据到具有较少位的格式的可逆转换,其通常经执行以使得可较有效地存储或传输数据。如果所述过程的相反过程解压缩产生原始数据的准确复制品,那么压缩无损失。通常应用于图像数据的有损失压缩不允许再生原始图像的准确复制品,但较有效率。虽然无损失的视频压缩是可能的,但在实践中其几乎从未被使用。标准视频数据速率减少涉及丢弃数据。
视频基本上是彩色像素的三维阵列。两个维度充当移动图片的空间(水平和垂直)方向,且一个维度表示时间域。
帧是(近似)对应于时间上的单一点的所有像素的集合。基本上,帧与静态图片相同。然而,在交错视频中,具有偶数编号的水平线的集合和具有奇数编号的集合在域中分组在一起。术语“图片”可表示帧或域。
视频数据含有空间和时间冗余。因此可通过仅对齐帧(空间)内和/或帧(时间)之间的差异来编码类似性。通过利用人眼不能如颜色可改变其亮度那样容易地区分颜色中的较小差异且因此可使颜色的非常类似的区域“达到平均”的事实来执行空间编码。利用时间压缩,仅编码从一个帧到下一帧的变化,因为较大数目的像素在一系列帧上通常将是相同的。
视频压缩通常使用有损失压缩来减小此冗余。通常这通过以下技术来实现:(a)图像压缩技术,其从帧中减少空间冗余(这称为帧内压缩或空间压缩),以及(b)运动补偿和其它技术,其减少时间冗余(称为帧间压缩或时间压缩)。
H.264/AVC是由ISO(国际标准组织)和ITU(国际电信联盟)的联合努力产生的视频压缩标准。图1展示H.264/AVC编码器的框图。输入视频帧102被划分为宏块104并馈送到系统100中。对于每一宏块104,产生预测器132并从原始宏块104中减去预测器132以产生残余107。此残余107接着经变换108和量化110。量化的宏块接着进行熵编码112以产生压缩位流113。量化的宏块还经反量化114、反变换116并由加法器添加回到预测器118。重建的宏块在宏块边缘上被解块滤波器120滤波并接着存储在存储器122中。
量化原则上涉及减小信号的动态范围。这影响由熵编码产生的位数目(速率)。这还引入导致原始与重建的宏块不同的残余中的损失。此损失通常称为量化误差(失真)。量化的强度由量化因数参数确定。量化参数越高,失真越高且速率越低。
如上文所论述,预测器可具有两种类型-帧内128和帧间130。空间估计124检查帧中的相邻宏块以从多个选择中产生帧内预测器128。运动估计126检查先前/将来帧以从多个选择中产生帧间预测器130。帧间预测器旨在减少时间冗余。通常减少时间冗余对减小速率具有最大影响。
运动估计可以是编码器中计算量最大的块之一,因为其必须从大量潜在预测器中进行选择。实际上,运动估计涉及在包括先前帧的子集的搜索区域中搜索帧间预测器。基于成本函数或量度而检查来自搜索区域的潜在预测器或候选者。一旦计算出搜索区域中的所有候选者的量度,就选择使量度最小化的候选者作为帧间预测器。因此,影响运动估计的主要因素是:搜索区域大小、搜索方法和成本函数。
特定关注成本函数,成本函数实质上量化当前帧的原始块与搜索区域的候选块之间的冗余。冗余理想地应依据准确速率和失真而经量化。
当前运动估计器中所使用的成本函数为绝对差和(SAD)。图2展示如何计算SAD。帧(t)206是含有存储在编码MB(宏块)RAM 212中的宏块208的当前帧。帧(t-1)202是含有存储在搜索RAM 210中的搜索区域204的先前帧。应了解,可使用一个以上先前帧。
在图2的实例中,搜索区域204大小为M×N。假设所考虑的块的大小为A×B,其中A和B在表1中界定。假设来自当前帧206的给定块208表示为c215。假设来自搜索区域204的每一候选者表示为p(x,y)214,其中x∈[0,N]且y∈[0,M]。(x,y)表示搜索区域214中的位置。
Figure A200780003809D00091
表1-针对不同块形状的e(x,y)的表示法
计算以下步骤以得到运动向量(X,Y):
c由p(x,y)214运动补偿216以得到残余误差信号218,e(x,y)
e(x,y)=p(x,y)-c                    (1)
接着从e(x,y)中计算220 SAD 222。
SAD ( x , y ) = Σ i , j | e ( x , y ) | 其中i∈[0,A]且j∈[0,B]  (2)
接着从SAD(x,y)中计算运动向量(X,Y)。
(X,Y)=(x,y)|min SAD(x,y)          (3)
理想上,预测器宏块分区应是最近似地类似宏块的宏块分区。SAD的缺点之一是其不明确并准确地虑及速率和失真。因此,不能准确地量化冗余,且因此所选择的预测性宏块分区有可能不是最有效的选择。因此,在一些情况下,利用SAD方法可能实际上导致次于最佳的性能。
发明内容
一个实施例涉及一种在视频编码器中的运动估计和补偿中选择预测性宏块分区的方法,其包含确定位速率信号;产生失真信号;基于位速率信号和失真信号来计算成本;以及从所述成本中确定运动向量。所述运动向量指定所述预测性宏块分区。所述方法可实施在例如移动电话、数字组织器或膝上型计算机等移动装置中。
附图说明
图1展示H.264/AVC视频编码器的框图。
图2展示如标准视频编码器中所使用的绝对差和成本函数的框图。
图3展示用于视频编码器的理论上最佳解决方案速率-失真优化的成本函数的框图。
图4展示用于视频编码器的速率-失真优化的成本函数的框图。
图5展示与使用成本函数的视频编码器相比使用绝对差和成本函数的视频编码器的性能的第一图表说明。
图6展示与使用成本函数的视频编码器相比使用绝对差和成本函数的视频编码器的性能的第二图表说明。
具体实施方式
现将详细参看一些实施例,所述实施例的实例在附图中说明。将了解,不希望所述实施例限制描述内容。相反,希望描述内容涵盖可包含在如权利要求书所界定的所述描述内容的精神和范围内的替代方案、修改和等效物。此外,在详细描述内容中,陈述了大量特定细节以便提供全面理解。然而,所属领域的一般技术人员将了解,可在没有这些特定细节的情况下实践本描述内容。在其它例子中,未详细描述众所周知的方法、程序、组件和电路以便不会不必要地混淆本描述内容的各方面。
依据对计算机或数字系统存储器内的数据位的操作的程序、逻辑块、处理和其它符号表示来呈现以下详细描述内容的一些部分。这些描述和表示是数据处理领域的技术人员用来有效地将其工作的主旨传达给所属领域的其他技术人员的手段。本文中且通常,将程序、逻辑块、过程等理解为导致所需结果的步骤或指令的序列。
除非从本文论述内容中明显看出另有明确规定,否则应了解,在对实施例的整个论述中,利用例如“确定”或“输出”或“传输”或“记录”或“定位”或“存储”或“显示”或“接收”或“辨识”或“利用”或“产生”或“提供”或“存取”或“检查”或“通知”或“递送”等术语的论述是指操纵并变换数据的计算机系统或类似电子计算装置的动作和过程。将数据表示为计算机系统的寄存器和存储器内的物理(电子)量,并变换为类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示装置内的物理量的其它数据。
一般来说,以下描述内容的实施例使候选宏块分区经受一系列过程,其近似在宏块分区实际上被选择作为预测性宏块分区(大体参见图1)时所述宏块分区将经历的过程。这样做允许准确地近似每一候选宏块分区的速率和失真。实施例接着使用基于拉格朗日的成本函数,而不是SAD,来选择最佳使与编码过程期间发生的速率和失真相关联的成本最小化的候选宏块分区。
需要建立预测性宏块分区选择的最佳解决方案以了解SAD位于哪里以及可能的增益范围。最佳解决方案将保证速率(R)约束下的最小失真(D)。此解决方案是使用基于拉格朗日的优化而建立的,所述基于拉格朗日的优化将速率和失真组合为D+λR。λ是表示速率与失真之间的折衷的拉格朗日乘数。图3展示针对RD优化的成本函数的最佳解决方案的框图300。为了准确地计算速率和失真,应针对候选块304的每一者实行整个编码过程,如图3所示和下文所描述。
当前帧308由候选宏块分区304运动补偿310以得到如(1)中所示的残余误差信号e(x,y)。
e(x,y)被划分为整数数目的4×4块e(x,y,z)312,其中 z ∈ [ 0 , A × B 16 - 1 ] . e(x,y)的大小为A×B。A和B可采取的值在表1中展示。假设e(x,y,z)由E表示。
Figure A200780003809D00112
Figure A200780003809D00121
表1-针对不同块形状的e(x,y)的表示法
E 312从空间域变换314到频率域中。假设经变换的块表示为t(x,y,z)或T 316。由于所述变换是可分离的,所以其在水平(4)和垂直(5)两个阶段中应用于E 312。E′表示中间输出。D表示(6)中所示的变换矩阵。
E ′ ( i , j ) = Σ k = 0 3 E ( i , k ) × D ( k , j ) 其中i,j∈[0,3]      (4)
T ′ ( i , j ) = Σ k = 0 3 E ′ ( k , j ) × D ( i , k ) 其中i,j∈[0,3]      (5)
D = 1 1 1 1 2 1 - 1 - 2 1 - 2 - 1 1 1 - 2 2 - 1 - - - ( 6 )
T 316以预定义的量化参数Q量化318。假设量化块由1(x,y,z)或L 320表示。
L(i,j)=(T(i,j)×M(i,j)+R)>>S其中i,j∈[0,3]     (7)
M = f g f g g h g h f g f g g h g h - - - ( 8 )
S = 15 + Q 6 - - - ( 9 )
R = 2 S 3 - - - ( 10 )
M的元素的值从此项技术中已知的表导出。所述表的样本展示于表2中。
 
Q%6 f g h
0 13107 8066 5243
1 11916 7490 4660
2 10082 6554 4194
3 9362 5825 3647
4 8192 5243 3355
5 7282 4559 2893
表2-用于H.264量化的乘法因数(M)的值
接下来,使用上下文自适应可变长度编码(CAVLC)方案对L 320进行熵编码328。此产生用于表示l(x,y,z)的位的数目,所述l(x,y,z)表示为Rate(x,y,z,Q)或Rate(Q)332。
Rate(x,y,z,Q)=CAVLC(l(x,y,z,Q))         (11)
所属领域的技术人员应了解,CAVLC是此项技术中已知的且可代替它而使用另一熵编码算法。
使用量化参数Q将L 320反量化322。假设反量化块由
Figure A200780003809D00134
Figure A200780003809D00135
表示。
L ^ ( i , j ) = ( L ( i , j ) &times; M ^ ( i , j ) ) < < S 其中i,j∈[0,3]          (12)
M ^ = f ^ g ^ f ^ g ^ g ^ h ^ g ^ h ^ f ^ g ^ f ^ g ^ g ^ h ^ g ^ h ^ - - - ( 13 )
Figure A200780003809D00143
的元素的值从此项技术中已知的表导出。所述表的样本展示于表3中。
Figure A200780003809D00144
表3-用于H.264反量化的乘法因数
Figure A200780003809D00145
的值
Figure A200780003809D00146
从频率域变换到空间域326。假设经变换的块由
Figure A200780003809D00147
表示。由于所述变换是可分离的,所以其在水平(14)和垂直(15)两个阶段中应用于
Figure A200780003809D00149
。L′表示中间输出。
Figure A200780003809D001410
表示(16)中所示的变换矩阵。
L &prime; ( t , j ) = &Sigma; k = 0 3 L ^ ( i , k ) &times; D ^ ( k , j ) 其中i,j∈[0,3]        (14)
E ^ ( i , j ) = &Sigma; k = 0 3 L &prime; ( k , j ) &times; D ^ ( i , k ) 其中i,j∈[0,3]        (15)
D ^ = 1 1 1 1 1 1 / 2 - 1 / 2 - 1 1 - 1 - 1 1 1 / 2 - 1 1 - 1 / 2 - - - ( 16 )
Figure A200780003809D00152
与E之间的均方误差表示失真,Distortion(x,y,z,Q)或Distortion(Q)。
Distortion ( x , y , z , Q ) = &Sigma; i , j ( E ^ ( i , j ) - E ( i , j ) ) 2 其中i,j∈[0,3]                            (17)
针对预定义的λ计算拉格朗日成本Cost 4x4(x,y,z,Q,λ)。
Cost4x4(x,y,z,Q,λ)=Distortion(x,y,z,Q)+λ×Rate(x,y,z,Q)  (18)
p(x,y)的总成本由下式给出:
Cost ( x , y , z , Q , &lambda; ) = &Sigma; z Cost 4 x 4 ( x , y , z , Q , &lambda; ) 其中 z &Element; [ 0 , A &times; B 16 - 1 ] - - - ( 19 )
接着如下计算运动向量(X,Y)。
(X,Y)=(x,y)|min Cost(x,y,Q,λ)                                  (20)
刚才所描述的最佳解决方案尽管提供可能的最佳解决方案但可能太复杂而不可行。本描述内容的实施例引入一种新的成本函数,其表示最佳解决方案的计算近似。此计算近似可对最佳解决方案的结果具有微小影响,同时显著减小所述最佳解决方案的复杂性。
图4展示一实施例的框图400。正如利用最佳解决方案,当前帧408由候选宏块分区406运动补偿410以得到残余误差信号e(x,y)。接着,e(x,y)被划分为整数数目的四乘四块e(x,y,z)或E 412,如表1中所示。E 412接着如(4)、(5)和(6)中所示从空间域变换到频率域中,以得到t(x,y,z)或T 416。
根据最佳解决方案,T现将被量化。然而,量化过程在计算上较复杂,因为其涉及乘法和其它复杂二进制函数。因此,在一个实施例中,来自(7)的T和M的乘法通过如下一系列移位和相加来近似:
M(i,j)×T(i,j)=(T(i,j)<<a+SignT(i,j)<<b,b)+Sign(T(i,j)<<c,c))>>d       (21)
因此,(7)可重写为量化近似418:
L(i,j)=((T(i,j)<<a+SignT(i,j)<<b,b))+Sign(T(i,j)<<c,c))>>d+R>>S     (22)
其中i,j∈[0,3],且其中当x为负时Sign(x)为1且当x为正时Sign(x)为0。可从(9)和(10)中确定S和R。使用
Figure A200780003809D00161
近似乘法因数M。a、b、c、d、b和c的值参看表4和表5中,其针对相应的第一量化近似参数和近似乘法因数的相应元素。
M ~ = f ~ g ~ f ~ g ~ g ~ h ~ g ~ h ~ f ~ g ~ f ~ g ~ g ~ h ~ g ~ h ~ - - - ( 23 )
Figure A200780003809D00164
 
1 13 14 10 1 14 10 9 1 12 9 0 0
2 13 11 0 0 12 11 9 0 12 7 0 0
3 13 10 0 0 14 13 10 2 12 0 9 0
4 13 0 0 0 14 12 9 2 11 10 8 0
5 13 7 10 0 12 9 0 0 11 9 8 0
表4-针对用于量化近似的乘法近似因数的给定值的(a,b,c,d)移位值
Figure A200780003809D00171
表5-针对用于量化近似的乘法近似因数
Figure A200780003809D00172
的给定值的(b,c)符号值
根据最佳解决方案,接着将对量化近似块420进行熵编码以产生速率信号428。然而,例如CAVLC等熵编码算法是计算上要求非常高的运算。4×4经量化块的熵编码涉及编码令牌(指示非零系数的数目和结尾1的数目)、符号或结尾1、非零系数的级,和非零系数之间的零的运作。在一个实施例中,通过使用快速位估计方法(FBEM)估计速率来消除熵编码。根据FBEM,由不同元素采取的位的数目可从非零系数的数目(NC)、零的数目(Nz)和绝对级和(SAL)导出。
Rate(x,y,z,Q)=Token_Bits+Sign_Bits+Level_Bits+Run_Bits   (24)
Token_Bits=NC                                              (25)
Sign_Bits=NC                                                (26)
Level_Bits=SAL                                              (27)
Run_Bits=NC+NZ                                              (28)
N c = &Sigma; l = 0 n ( Scan ( l ( x , y , z , Q ) ) | = 0 ) - - - ( 29 )
其中Scan()表示z形扫描
N Z = &Sigma; l = 0 n ( Scan ( l ( x , y , z , Q ) ) = = 0 - - - ( 30 )
其中Scan()表示z形扫描
SAL = &Sigma; i = 0 16 | l ( x , y , z , Q ) | - - - ( 31 )
因此,可通过熵编码近似424针对每一候选宏块分区406确定速率428。
根据最佳解决方案,L也将需要反量化322和反变换326。类似于量化,反量化在计算上也较复杂。在一个实施例中,这些过程通过反量化近似而经简化。通过执行与量化近似相同的步骤但使用第二量化参数来实现反量化近似。
L′(i,j)=((T(i,j)<<a+SignT(i,j)<<b,b))+Sign(T(i,j)<<c,c))>>d+R)>>S         (32)
在一个实施例中,第二量化参数经选择以使得S=15。其近似计算零失真值的等效方法。
通过执行以上步骤,反量化322已显著简化,且不再需要反变换326。应了解,因为实施例通过使用第二量化参数进行量化近似而实现反量化近似,所以L和L’两者可从相同电路、模块等中产生。
在一个实施例中,一旦已产生反量化近似块L’422,失真430、Distortion(x,y,z,Q)或Disiortion(Q)就可由L′与L之间的均方误差表示。(L′-L)表示量化误差且具有较小动态范围。因此,实施例可将均方值存储在查找表中以避免均方操作。
Distortion ( x , y , z , Q ) = &Sigma; i , j ( L &prime; ( i , j ) - L ( i , j ) ) 2 - - - ( 33 )
在一个实施例中,针对预定义的λ计算整数数目的四乘四块Cost4x4(x,y,z,Q,λ)的每一者的拉格朗日成本。
Cost4x4(x,y,z,Q,λ)=Distortion(x,y,z,Q)+λ×Rate(x,y,z,Q)   (34)
在一个实施例中,p(x,y)的总成本由下式给出:
Cost ( x , y , z , Q , &lambda; ) = &Sigma; s Cost 4 x 4 ( x , y , z , Q , &lambda; ) 其中 z &Element; [ 0 , A &times; B 16 ] - - - ( 35 )
最后,接着如下所述选择运动向量(X,Y)。
(X,Y)=(x,y)|minCost(x,y,Q,λ)        (36)
因此,以上实施例能够准确地近似每一候选宏块分区的速率和失真。所述实施例可比SAD成本函数更确定地选择最佳可能的预测性宏块分区,因为选择过程尤其虑及速率和失真。因此,所述实施例能够针对给定位速率实现比SAD更高的信噪比,如图5和图6中所说明。
提供所揭示的实施例的先前描述以使所属领域的技术人员能够制造或使用本描述内容。所属领域的技术人员将易于明白对这些实施例的各种修改,且本文所定义的一般原理可在不偏离本描述内容的精神或范围的情况下应用于其它实施例。因此,不希望本描述内容限于本文所展示的实施例,而是赋予其与本文所揭示的原理和新颖特征一致的最广泛范围。

Claims (30)

1.一种在视频编码器中的运动估计和补偿中选择预测性宏块分区的方法,其包括:
确定位速率信号;
产生失真信号;
基于所述位速率信号和所述失真信号来计算成本;以及
从所述成本中确定运动向量,其中所述运动向量指定所述预测性宏块分区。
2.根据权利要求1所述的方法,其中所述确定所述位速率信号包括:
通过从搜索区域的一部分中减去当前帧的宏块来产生残余误差信号;
将所述残余误差信号划分为整数数目的块;
将所述整数数目的块从空间域变换到频率域中以产生所述整数数目的块的变换;
通过所述整数数目的块的所述变换的移位和相加的组合而产生量化近似块,所述量化近似块具有一数目的非零系数和一数目的零值系数,其中移位和相加的所述组合是基于量化参数;
计算所述量化近似块的绝对级和;以及
通过将所述数目的非零系数的三倍加上所述数目的零值系数加上所述绝对级和来计算所述量化块的所述位速率信号。
3.根据权利要求2所述的方法,其中所述整数数目的块的所述块具有四个像素乘四个像素的大小。
4.根据权利要求1所述的方法,其中所述产生所述失真信号包括:
通过从搜索区域的一部分中减去当前帧的宏块来产生残余误差信号;
将所述残余误差信号划分为整数数目的块;
将所述整数数目的块从所述空间域变换到所述频率域中,从而产生所述整数数目的块的变换;
通过所述整数数目的块的所述变换的移位和相加的第一组合而产生量化近似块,其中移位和相加的所述第一组合是基于第一量化参数;
通过所述整数数目的块的所述变换的移位和相加的第二组合而产生反量化近似块,其中移位和相加的所述第二组合是基于第二量化参数;以及
确定所述量化近似块与所述反量化近似块之间的均方误差,其中所述失真信号等于所述均方误差。
5.根据权利要求4所述的方法,其中所述整数数目的块的所述块具有四个像素乘四个像素的大小。
6.根据权利要求4所述的方法,其进一步包括:
将所述均方误差的可能值存储在存储器中的查找表中。
7.根据权利要求1所述的方法,其中所述计算所述成本包括:
通过将所述失真信号与乘以拉格朗日乘数的所述位速率信号求和来计算拉格朗日成本;以及
对所述整数数目的块的每一者执行所述拉格朗日成本的求和,其中所述成本等于所述总和。
8.根据权利要求7所述的方法,其中所述整数数目的块的所述块具有四个像素乘四个像素的大小。
9.根据权利要求1所述的方法,其中所述确定所述运动向量包括:
扫描所述成本的最低值,其中所述运动向量被定义为对应于所述最低值的向量。
10.根据权利要求1所述的方法,其中所述视频编码器是H.264/AVC编码器。
11.一种在视频编码器中的运动估计和补偿中从多个候选宏块分区中选择预测性宏块分区的方法,其包括:
确定所述候选宏块分区的每一者的位速率信号;
产生所述候选宏块分区的每一者的失真信号;
基于各自位速率信号和各自失真信号来计算所述候选宏块分区的每一者的成本以产生多个成本;以及
从所述成本中确定运动向量,其中所述运动向量指定所述预测性宏块分区。
12.根据权利要求11所述的方法,其中所述确定所述位速率信号包括:
针对每一候选宏块分区,通过从各自候选宏块分区中减去当前帧的宏块来产生残余误差信号;
针对每一候选宏块分区,将各自残余误差信号划分为整数数目的块;
针对每一候选宏块分区,将各自整数数目的块从空间域变换到频率域中,从而产生多个变换;
针对每一变换,通过各自变换的移位和相加的组合而产生量化近似块,所述量化近似块具有一数目的非零系数和一数目的零值系数,其中移位和相加的所述组合是基于量化参数;
针对每一变换,计算所述量化近似块的绝对级和;以及
针对每一变换,通过将各自数目的非零系数的三倍加上各自数目的零值系数加上各自绝对级和来计算所述位速率信号。
13.根据权利要求12所述的方法,其中所述整数数目的块的所述块具有四个像素乘四个像素的大小。
14.根据权利要求11所述的方法,其中所述产生所述失真信号包括:
针对每一候选宏块分区,通过从各自候选宏块分区中减去当前帧的宏块来产生残余误差信号;
针对每一候选宏块分区,将各自残余误差信号划分为整数数目的块;
针对每一候选宏块分区,将各自整数数目的块从所述空间域变换到所述频率域中,从而产生多个变换;
针对每一变换,通过各自变换的移位和相加的第一组合而产生量化近似块,其中移位和相加的所述第一组合是基于第一量化参数;
针对每一变换,通过各自变换的移位和相加的第二组合而产生反量化近似块,其中移位和相加的所述第二组合是基于第二量化参数;以及
针对每一变换,确定各自量化近似块与各自反量化近似块之间的均方误差,其中所述失真信号等于所述均方误差。
15.根据权利要求14所述的方法,其中所述整数数目的块的所述块具有四个像素乘四个像素的大小。
16.根据权利要求14所述的方法,其进一步包括:
将所述均方误差的可能值存储在存储器中的查找表中。
17.根据权利要求11所述的方法,其中所述候选宏块分区的每一者具有整数数目的块,其中所述块的每一者具有各自位速率信号和各自失真信号,且其中所述计算所述成本包括:
针对每一块,通过将各自失真信号与乘以拉格朗日乘数的各自位速率信号求和来计算拉格朗日成本;以及
针对每一候选宏块分区,通过对各自块的各自拉格朗日成本求和来产生所述成本。
18.根据权利要求17所述的方法,其中所述块具有四个像素乘四个像素的大小。
19.根据权利要求11所述的方法,其中所述确定所述运动向量包括:
扫描所述成本的最低值,其中所述运动向量被定义为对应于具有所述最低值的各自候选宏块分区的向量。
20.根据权利要求11所述的方法,其中所述视频编码器是H.264/AVC编码器。
21.一种在视频编码器中的运动估计和补偿中选择预测性宏块分区的设备,其包括:
运动补偿块,其接收当前帧的宏块和M乘N的搜索区域并产生残余误差信号;
正向变换块,其与所述运动补偿块耦合以接收所述残余误差信号,并将所述残余误差信号变换为频率域残余误差信号;
量化近似块,其与所述正向变换块耦合以接收所述频率域残余误差信号,并基于第一量化参数而产生近似的量化信号且基于第二量化参数而产生近似的反量化信号;
熵编码近似块,其与所述量化近似块耦合以接收所述近似的量化信号并产生速率信号,其中所述速率信号用于选择所述预测性宏块分区;以及
均方差和块,其与所述量化近似块耦合以接收所述近似的量化信号和所述近似的反量化信号并产生失真信号,其中所述失真信号用于选择所述预测性宏块分区。
22.根据权利要求21所述的设备,其进一步包括:
成本确定块,其与所述熵编码近似块及所述均方差和块耦合,其中所述成本确定块接收所述速率信号和所述失真信号并产生运动向量。
23.根据权利要求21所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,且所述运动补偿块针对每一候选宏块分区通过从各自候选宏块分区中减去所述宏块来产生所述残余误差信号。
24.根据权利要求21所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,其中所述频率域残余误差信号包括多个频率域残余误差子信号,其中每一频率域残余误差子信号对应于所述候选宏块分区中的一者,其中所述量化近似块基于所述第一量化参数通过各自频率域残余误差子信号的移位和相加的组合而产生每一频率域残余误差子信号的近似的量化子信号,从而产生多个近似的量化子信号,其中所述近似的量化信号包括所述多个近似的量化子信号。
25.根据权利要求21所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,其中所述频率域残余误差信号包括多个频率域残余误差子信号,其中每一频率域残余误差子信号对应于所述候选宏块分区中的一者,其中所述量化近似块基于所述第二量化参数通过各自频率域残余误差子信号的移位和相加的组合而产生每一频率域残余误差子信号的近似的反量化子信号,从而产生多个近似的反量化子信号,其中所述近似的反量化信号包括所述多个近似的反量化子信号。
26.根据权利要求21所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,其中所述近似的量化信号包括多个近似的量化子信号,其中所述近似的量化子信号的每一者对应于所述候选宏块分区中的一者且具有一数目的非零系数和一数目的零值系数,其中所述熵编码近似块通过计算各自近似的量化子信号的绝对级和并对各自绝对级和加上各自数目的非零系数的三倍加上各自数目的零值系数求和,从而产生多个近似的量化子信号,来产生每一近似的量化子信号的速率子信号,其中所述近似的量化信号包括所述多个近似的量化子信号。
27.根据权利要求21所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,其中所述近似的量化信号包括多个近似的量化子信号,其中所述近似的量化子信号的每一者对应于所述候选宏块分区中的一者,其中所述近似的反量化信号包括多个近似的反量化子信号,其中所述近似的反量化子信号的每一者对应于所述候选宏块分区中的一者,其中所述均方差和块通过确定所述近似的量化子信号与所述近似的反量化子信号之间的均方误差来产生多个失真子信号而产生每一候选宏块分区的失真子信号,其中所述失真信号包括所述多个失真子信号。
28.根据权利要求27所述的设备,其进一步包括:
存储器,其与所述均方差和块耦合,用于将所述均方误差的可能值存储在查找表中。
29.根据权利要求22所述的设备,其中所述M乘N的搜索区域包括多个候选宏块分区,其中所述速率信号包括多个速率子信号,其中所述速率子信号的每一者对应于所述候选宏块分区中的一者,其中所述失真信号包括多个失真子信号,其中所述失真子信号的每一者对应于所述候选宏块分区中的一者,其中所述成本确定块通过以下方式来产生所述运动向量:通过对各自失真信号和乘以拉格朗日乘数的各自速率信号求和来计算每一候选宏块分区的拉格朗日成本,从而产生多个拉格朗日成本,并扫描所述拉格朗日成本的最低值,其中所述运动向量被定义为对应于具有所述最低值的各自候选宏块分区的向量。
30.根据权利要求21所述的设备,其中所述视频编码器是H.264/AVC编码器。
CN2007800038098A 2006-02-09 2007-02-08 视频编码 Expired - Fee Related CN101375606B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/351,911 US8208548B2 (en) 2006-02-09 2006-02-09 Video encoding
US11/351,911 2006-02-09
PCT/US2007/061880 WO2007092942A2 (en) 2006-02-09 2007-02-08 Video encoding

Publications (2)

Publication Number Publication Date
CN101375606A true CN101375606A (zh) 2009-02-25
CN101375606B CN101375606B (zh) 2012-04-11

Family

ID=38308628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800038098A Expired - Fee Related CN101375606B (zh) 2006-02-09 2007-02-08 视频编码

Country Status (6)

Country Link
US (1) US8208548B2 (zh)
EP (1) EP1982531A2 (zh)
JP (1) JP5102228B2 (zh)
KR (1) KR101058448B1 (zh)
CN (1) CN101375606B (zh)
WO (1) WO2007092942A2 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
US8761259B2 (en) * 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
US8213509B2 (en) * 2006-10-06 2012-07-03 Calos Fund Limited Liability Company Video coding on parallel processing systems
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
US20080126278A1 (en) * 2006-11-29 2008-05-29 Alexander Bronstein Parallel processing motion estimation for H.264 video codec
US8929448B2 (en) * 2006-12-22 2015-01-06 Sony Corporation Inter sub-mode decision process in a transcoding operation
US8019804B2 (en) * 2007-03-26 2011-09-13 City University Of Hong Kong Method and apparatus for calculating an SSD and encoding a video signal
US8401073B2 (en) * 2007-03-28 2013-03-19 Panasonic Corporation Inverse quantization circuit, inverse quantization method and image reproducing apparatus
US8467451B2 (en) * 2007-11-07 2013-06-18 Industrial Technology Research Institute Methods for selecting a prediction mode
US20090168871A1 (en) * 2007-12-31 2009-07-02 Ning Lu Video motion estimation
US8798137B2 (en) * 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
US8654859B1 (en) * 2009-12-17 2014-02-18 Ambarella, Inc. Low cost rate-distortion computations for video compression
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US10230956B2 (en) 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9392286B2 (en) * 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
KR102114252B1 (ko) 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
US20150085922A1 (en) * 2013-09-25 2015-03-26 Magnum Semiconductor, Inc. Apparatuses and methods for reducing rate and distortion costs during encoding by modulating a lagrangian parameter
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
CN113489981B (zh) * 2021-07-06 2023-02-03 电子科技大学 一种考虑时域率失真优化的零延迟码率控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
JP3670554B2 (ja) 2000-04-25 2005-07-13 日本電信電話株式会社 画像信号符号化装置/復号装置,画像信号符号化方法/復号方法および画像信号符号化/復号プログラム記録媒体
JP2003230149A (ja) 2002-02-05 2003-08-15 Mitsubishi Electric Corp 高圧縮符号化装置
KR20050061762A (ko) 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP4577048B2 (ja) 2004-03-11 2010-11-10 パナソニック株式会社 画像符号化方法、画像符号化装置および画像符号化プログラム
KR20050112587A (ko) 2004-05-27 2005-12-01 학교법인 대양학원 동영상 인코딩, 디코딩 장치 및 그 방법
JP2005354307A (ja) 2004-06-09 2005-12-22 Toshiba Corp 逆量子化器及びこれを用いた画像復号化装置
JP2006270435A (ja) * 2005-03-23 2006-10-05 Toshiba Corp 動画像符号化装置
US8050331B2 (en) * 2005-05-20 2011-11-01 Ntt Docomo, Inc. Method and apparatus for noise filtering in video coding
EP1727370A1 (en) 2005-05-25 2006-11-29 Thomson Licensing Rate-distortion based video coding mode selection foreseeing the esitmation of bit rate and distortion using a simplified transform on low activity prediction residuals
CN100338957C (zh) * 2005-06-20 2007-09-19 浙江大学 一种复杂度可分级的模式选择方法
US7961783B2 (en) * 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder

Also Published As

Publication number Publication date
US8208548B2 (en) 2012-06-26
KR20080102167A (ko) 2008-11-24
CN101375606B (zh) 2012-04-11
WO2007092942A2 (en) 2007-08-16
EP1982531A2 (en) 2008-10-22
JP2009526499A (ja) 2009-07-16
US20070183500A1 (en) 2007-08-09
JP5102228B2 (ja) 2012-12-19
WO2007092942A3 (en) 2007-10-04
KR101058448B1 (ko) 2011-08-24

Similar Documents

Publication Publication Date Title
CN101375606B (zh) 视频编码
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
CN101884219B (zh) 处理视频信号的方法和装置
CN103262541B (zh) 使用四叉树来编码/解码块信息的方法、和使用该方法的装置
KR100809354B1 (ko) 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
CN101889405B (zh) 用于执行运动估计的方法和装置
CN105191309A (zh) 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统
US20150365677A1 (en) Motion picture encoding device and motion picture decoding device
CN104205845B (zh) 具有统一位宽乘法器的lm模式
CN103098473A (zh) 对帧内预测使用自适应dct/dst的低复杂度变换编码
JPWO2011125211A1 (ja) 画像符号化方法及び画像復号化方法
CN106899847A (zh) 编码设备、解码设备、编码方法和解码方法
CN104255033A (zh) 用于lm模式计算的简化查找表
US10638155B2 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
CN104618718B (zh) 一种基于空间‑时间多预测模式的无损压缩方法与系统
US20190230360A1 (en) Apparatus and method for video image encoding and video image decoding
JP2023107799A (ja) ビデオピクチャの復号および符号化の方法ならびに装置
CN101682787A (zh) 空间增强的变换编码
CN107360433A (zh) 一种帧间预测编码方法和装置
CN100576914C (zh) 用于估计当前运动矢量的单元和方法
CN102396232A (zh) 图像处理装置和方法
CN110495175A (zh) 用于对用于并行处理的运动信息进行处理的图像处理方法、用于使用该图像处理方法进行解码和编码的方法、以及用于该方法的设备
CN108432252A (zh) 视频编码中的运动矢量选择及预测系统和方法
Abdelsalam et al. Towards an FPGA-based HEVC encoder: a low-complexity rate distortion scheme for AMVP
CN100499819C (zh) 一种用于降低多媒体数据编码比特率的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120411

Termination date: 20160208

CF01 Termination of patent right due to non-payment of annual fee