CN103096064B - 编码和重构像素块的方法以及相应设备 - Google Patents

编码和重构像素块的方法以及相应设备 Download PDF

Info

Publication number
CN103096064B
CN103096064B CN201210420766.6A CN201210420766A CN103096064B CN 103096064 B CN103096064 B CN 103096064B CN 201210420766 A CN201210420766 A CN 201210420766A CN 103096064 B CN103096064 B CN 103096064B
Authority
CN
China
Prior art keywords
coefficient
illumination change
coefficients
residual error
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210420766.6A
Other languages
English (en)
Other versions
CN103096064A (zh
Inventor
E.弗朗索瓦
D.索罗
P.博兹
J.维罗恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103096064A publication Critical patent/CN103096064A/zh
Application granted granted Critical
Publication of CN103096064B publication Critical patent/CN103096064B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供编码和重构像素块的方法以及相应设备，其中重构方法包含如下步骤：解码和去量化(100)N个残差系数；确定(100)N个参考系数；从N个残差系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构(110，120，130，140，160，170)当前块的N个系数，其中每次重构所述当前块的k个系数时都细调所述照度变化参数，k是整数并且1≤k＜N；以及将N个重构系数变换(180)成N个像素的当前块。

Description

编码和重构像素块的方法以及相应设备
技术领域
本发明涉及图像编码的一般领域。更具体地说，本发明涉及重构图像的像素块的方法以及编码这样的像素块的方法。本发明还涉及相应编码和解码设备。
背景技术
把图像序列编码成编码数据流的方法以及解码这种流的方法的大多数都使用时间预测或图像间预测以及同等空间预测或图像内预测。图像内或图像间预测使图像序列的压缩得到改进。它包含针对当前块生成预测块以及编码当前块与预测块之间，也称为残差块的差值。预测块与当前块越相关，编码当前块所需的位数就越少，因此压缩就越有效。但是，当在序列的图像之间(相应地在当前图像中)存在发光度变化时，图像间(相应地图像内)预测就失去了它的效率。这样的光度变化是由，例如，照度的变化、衰落效应、闪烁等引起的。
编码/解码图像序列的方法要顾及发光度的变化是众所周知的。因此，在描述在ISO/IEC 14496-10文献中的MPEG-4 AVC/H.264标准的框架内，在发光度变化的情况下，已知使用加权预测方法来改进压缩。为此，MPEG-4 AVC/H.264标准允许在流中按图像切片显性发送加权预测参数，一个图像切片包含一个或多个像素块。因此，通过一个加权预测参数或一组几个加权预测参数的照度校正以相同方式应用于与该加权预测参数或该组加权预测参数相关联的所有图像切片块。例如，通过使用像运动矢量MV那样的运动数据计算当前块Bcur的平均值和与这个当前块相关联的参考块Bref的平均值之间的比值，为当前块Bcur确定加权参数。一个块的平均值是，例如，与该块的像素相关联的亮度值的平均值。该参考块是，例如，在运动估计的步骤期间确定的。由于当前块的亮度变化是从与当前块相关联的值中确定的，所以这样的预测方法是精确的。但是，就位速率而言，这样的方法是昂贵的，因为它意味着在流中按图像切片，因此潜在地按块发送一组加权预测参数。
在现有技术中校正局部发光度变化以便在编码器侧和解码器侧以相同方式局部确定加权参数也是众所周知的。在这种情况下，不在流中显性发送加权参数。例如，通过计算当前块Bcur的邻域Nc的平均值和与当前块Bcur相关联的参考块Bref的邻域Nr的平均值之间的比值，确定当前块Bcur的加权参数。邻域的平均值是，例如，与所涉及的邻域的像素相关联的亮度值的平均值。Nc位于块Bcur的因果邻域中。因此在Bc之前编码(相应重构)Nc。就位速率而言，这样的方法是廉价的，因为不在流中显性发送加权预测参数，而是在编码器侧和解码器侧以相同方式确定。但是，这样的预测方法没有前一种方面那么精确，因为与当前块Bcur相关联的(多个)加权参数未考虑到这个块的内容。
国际申请WO2011012669描述了预测方法考虑到当前块内容并且动态地适应照度的局部变化而不必显性地编码与这些局部变化有关的参数的编码和解码方法。它们还具有在未在流中传送加权预测参数的情况下提高编码效率的优点。但是，在WO2011012669中，只根据变换的第一重构系数，即，DC系数一次性更新加权参数。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此，本发明涉及重构N个像素的当前块的方法，其中N是整数。该重构方法包含如下步骤：
-解码和去量化N个残差系数；
-确定N个参考系数；
-从N个残差系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构当前块的N个系数，其中每次重构当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-将N个重构系数变换成N个像素的当前块。
按照一个具体实施例，重构当前块的N个系数的步骤包含如下步骤：
a)通过考虑照度变化模型从参考系数中计算k个第一预测系数；
b)从k个第一残差系数和所计算出的k个第一预测系数中计算k个重构系数；
c)根据已经重构的所有系数和相应参考系数细调至少一个照度变化参数；以及
d)利用k个随后系数重复(reiterating)步骤a)到c)直到计算出N个重构系数。
按照本发明的另一个方面，该重构方法在步骤c)与d)之间，包含根据在步骤c)中细调的至少一个照度变化参数和相应参考系数细调已经重构的所有系数的步骤。
按照本发明的一个具体特征，k的值等于1。
按照本发明的另一个具体特征，k的值每次迭代都不同。
按照本发明的另一个具体特征，k的值等于被零残差系数分开的两个非零残差系数之间的距离。
按照本发明的又一个具体特征，k的值等于被小于阈值的残差系数分开的大于阈值的两个残差系数之间的距离。
按照本发明的一个具体方面，至少一个经细调的照度变化参数是通过使通过量化噪声的方差加权的二次误差最小确定的，该二次误差是在重构系数与相应参考系数之间计算的。
本发明还涉及编码N个像素的当前块的方法，其中N是整数。该编码方法包含如下步骤：
-将当前块变换成N个当前系数；
-确定N个参考系数；
-从N个当前系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中计算N个残差系数，其中每次重构当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-量化和编码N个残差系数。
按照一个具体实施例，计算N个残差系数的步骤包含如下步骤：
a)通过考虑通过至少一个照度变化参数定义的照度变化模型从参考系数中计算k个第一预测系数，其中k是大于等于1的整数；
b)从k个第一当前系数和k个第一预测系数中计算k个残差系数；
c)从k个第一量化然后去量化残差系数和所计算出的k个第一预测系数中计算k个重构系数；
d)根据已经重构的所有系数和相应参考系数细调至少一个照度变化参数；以及
e)利用k个随后系数重复步骤a)到d)直到计算出N个残差系数。
按照本发明的一个具体方面，该编码方法在步骤d)与e)之间，包含根据在步骤d)中细调的至少一个照度变化参数和相应参考系数细调已经重构的所有系数的步骤。
此外，本发明还涉及解码代表N个像素的当前块的流的设备，其中N是整数，该解码设备包含：
-从该流中解码和去量化N个残差系数的部件；
-确定N个参考系数的部件；
-从N个残差系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构当前块的N个系数的部件，其中每次重构当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-将N个重构系数变换成N个像素的当前块的部件。
此外，本发明还涉及编码设备，该编码设备包含：
-将当前块变换成N个当前系数的部件；
-确定N个参考系数的部件；
-从N个当前系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中计算N个残差系数的部件，其中每次重构当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-量化和编码N个残差系数的部件。
有利的是，按照本发明的编码和重构方法实现了该一个或几个照度变化参数的细调，以便随着重构当前块Brec的系数被计算，逐渐调整预测块，从而能够提高编码效率。这些方法有规律地和精确地适应信号特性的局部变化，尤其照度变化。另外，它们不必显性地编码该一个或几个照度局部变化参数。
附图说明
通过参考附图对非限制性实施例以及有利实现加以描述，可以更好地了解和例示本发明，在附图中：
-图1示出了按照本发明的重构方法；
-图2和3代表残差系数；
-图4示出了按照本发明的编码方法；
-图5例示了按照本发明的编码设备；以及
-图6示出了按照本发明的解码设备。
具体实施方式
本发明涉及重构图像序列的像素块的方法以及编码这样块的方法。画面序列是一系列的几个画面。每个画面包含每一个与至少一项画面数据相关联的像素或画面点。一项图像数据是，例如，一项亮度数据或一项色度数据。
在英文术语中表述“brightness variation(光度变化)”也称为“luminancevariation(亮度变化)”、“luminosity variation(发光度变化)”、“luminosity variation(发光度变化)”or“illumination variation(照度变化)”。
术语“运动数据”应该从最宽泛的意义上来理解。它包含运动矢量以及使参考图像可以在图像序列中得到标识的参考图像索引。它还可以包括指示必须应用于参考块以便导出预测块的内插类型的一项信息。
术语“残差数据”表示抽取了其他数据之后获得的数据。这个术语与“残差”同义。残差块是与残差数据相关联的像素块。
术语“变换残差数据”表示已经应用了变换的残差数据。DCT(“离散余弦变换”)是如J.Wiley&Sons公司于2003年9月出版的I.E.Richardson所著的著作《H.264和MPEG-4视频压缩》第3.4.2.2章所述的这样变换的例子。I.E.Richardson所著的著作第3.4.2.3章所述的小波变换以及哈达玛(Hadamard)变换是其他例子。这样的变换将图像数据块，例如，残差亮度和/或色度数据块“变换”成也称为“频率数据块”或“系数块”的“变换数据块”。该系数块一般包含称为连续系数或DC系数的低频系数和称为AC系数的高频系数。
术语“预测数据”指的是用于预测其他数据的数据。预测块是与预测数据相关联的像素块。
一个预测块是从与预测的块所属的图像相同的图像(空间预测或图像内预测)的一个块或几个块中，或从与预测的块所属的图像不同的图像(时间预测或图像间预测)的一个(单向预测)或几个(双向预测)块中获得的。
术语“图像域”代表与亮度和/或色度值相关联的像素域。“频率域”或“变换域”代表系数域。将一种变换，例如，DCT应用于图像就从图像域变到变换域，而应用前一种变换的逆变换，例如，逆DCT就从变换域相反地变到图像域。
在下文中，将针对一个像素块描述编码和重构方法。显然，这些方法可以应用在几个图像块上和一个序列的几个图像上，以便分别编码和重构一个或多个图像。
将在像素域中考虑的块数据称为在建议的方案中，将在变换域中考虑的块数据称为
设Bcur是以利用预测的图像间或图像内模式重构的当前块。设Bref是相关联的参考块。这个参考块可以是当前图像已经重构的块或另一个图像已经重构的块。这也可以是通过内插从当前图像已经重构的像素或另一个图像已经重构的像素中构建的块。的确，在Bref是在子像素精度水平上通过运动矢量在参考图像中识别的块的情况下，内插参考块Bref。
按照参考块Bref以及按照线性类型的亮度局部变化模型构建预测块Bpred：
Bpred(x,y)＝f[Bref(x,y)]，例如，Bpred(x,y)＝a+b·Bref(x,y)，
其中a和b是照度变化参数以及(x,y)是图像中的像素的坐标。
按照本发明，将当前块Bcur重构成重构块Brec是在变换域中作出的。一旦在变换域中计算出所有Bcur系数，就应用逆变换来生成重构块。按照本发明，每次重构一个或多个Bcur系数时，都细调(refine)光度变化模型的参数。
为此，要根据通常用在编码方案中的变换的性能特性，这使得可以建立变换系数与光度变化模型的参数之间的直接链接。与标准方案不同，块Bcur是在变换域中重构的。因此，将变换应用于在变换域中从中确定预测块Cpred的参考块Bref。将变换残差块Cres加入其中以生成变换重构块Crec。在变换域中将逆变换应用于该重构块以生成最终重构块Brec。更精确地说，按照本发明重构块Bcur的方法包含如下参考图1所述的步骤：
-步骤100，解码和去量化N个残差系数并确定N个参考系数；
-步骤175，从N个残差系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构当前块的N个系数，其中每次重构当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-步骤180，将N个重构系数变换成N个像素的当前块。
按照本发明重构块Bcur的方法包含如下参考图4所述的步骤：
-步骤200，将当前块变换成N个当前系数并确定N个参考系数；
-步骤285，从N个当前系数以及通过考虑通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中计算N个残差系数，其中每次重构所述当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-步骤290，量化和编码N个残差系数。
有利的是，按照本发明的编码和重构方法实现了该照度变化参数的细调，以便随着重构当前块Brec的系数被计算，逐渐调整预测块，并且以该方式提高编码效率。该一个或几个照度变化参数随着当前块Brec的系数的重构不断进行下去而被细调。这意味着这些照度变化参数越来越精确，因此使当前块的预测得到改善。
图1示出了按照本发明的具体实施例重构像素块Brec的方法。Brec是重构当前块Bcur。
在步骤100期间，解码然后去量化变换残差块。如此获得的块包含残差系数i＝1，...，N-1，其中整数N是来自变换的系数的个数。在变换8×8的情况下，N＝64。获取照度变化参数的初始值ainit和binit以及参考块Bref的参考系数例如，解码照度变化参数的初始值，要不然，例如，通过视频编码标准预定义它们，因此它们是重构方法已知的。在图像域中，例如，使用运动矢量确定参考块Bref，然后将其变换成参考系数块同样，例如，按照如下公式重构要重构的像素块的第一系数其中和d0(.)是该变换的索引0的基矢，Br是它的支集(support)。
在步骤110期间，将p初始化成零。
在步骤120期间，按照如下公式计算预测系数kp>＝1和p+kp<N：
其中：-是仍然称为预测系数的预测块的索引i的变换系数；
-是仍然称为参考系数的参考块的索引i的变换系数；
-di(.)是该变换的索引i的基矢；以及
-Br是该矢量di(.)的支集。
一般说来，变换基(例如，DCT—“离散余弦变换”、DST—“离散正弦变换”、FFT—“快速傅立叶变换”)是这样的，第一系数是信号平均值，D0＝1，以及随后变换矢量是这样的，对于任何i>0，Di＝0。
按照本发明的一个具体特征，kp＝1。按照本发明的另一个具体特征，kp具有1与N-1之间的预定值。按照一种变体，kp的值每次迭代(iteration)都不同。例如，如图2所示，它等于被零系数分开的两个非零系数之间的距离，索引0的系数与其值无关地加以考虑。在这个图2上，索引4和N-2的系数是零。按照又一种变体，如图3所示，kp的值等于被幅度低于阈值Th的系数分开的幅度大于这个阈值Th的两个系数之间的距离。在这个图3上，索引1，3，N-3和N-1的系数具有大于Th的幅度。
在步骤130期间，按照如下公式，从预测系数和残差系数中计算重构系数
在步骤140期间，针对i＝0至p+kp，根据重构系数和它们在参考块中的对应物细调参数a和b。将细调参数表示成和照度变化参数可以通过不同方法细调。
按照第一种方法，通过使通过量化噪声的方差加权的模拟二次误差最小获取细调照度变化参数和
Qi是索引i的系数的量化步长。
因此，通过导致求解含有两个未知数和两个方程的线性系的最小二乘法获取和
在变换基的第一矢量是D0＝1而所有其他矢量对于任何i>0都是Di＝0的标准变换基(例如，DCT、DST、FFT)的情况下，获得如下方程系：
因此，
要注意的是，对于每个新系数，在求解线性系之前只更新和项。
按照第二种方法，通过似然最大化获取细调照度变化参数和
参数和是针对i＝0至p+kp，在已知a和b、和的条件下使作为精确系数(即，非量化)的系数的似然最大的那些参数：
按照如下线性模型用近似：
其中，εi是假设方差为的无关白高斯的噪声。
由于ni是量化噪声，所以我们拥有：
应用的量化是均匀量化，量化噪声ni是均匀的，具有概率1/Qi，Qi是使用的量化步长。
如果我们假设εi和ni彼此独立并与i无关，则我们因此拥有：
以及
由此最终拥有关于a和b的最大化的函数：
其中K是独立于a和b的参数。
随机梯度型的求解可以用于搜索这个最大值。
按照这第二种方法的一种变体，插入公式中的加性噪声ni被认为是集中高斯型的。在这种特定情况下，这种噪声的方差对应于均匀量化噪声的方差，即，
然后将似然写成：
其中K是独立于a和b的参数。
然后关于a和b的似然最大化相当于像上述那种那样的对加权最小二乘的求解。
在可选步骤150期间，按照如下方程，根据新照度变化参数和细调已经重构的系数：
i＝0至p+kp。
按照一种变体，当重构i＝0至N-1的所有系数时，只实现这个可选步骤一次。
在步骤160期间，检验一下看看当前块Bcur的N个系数是否得到重构。如果正是这种情况，则使该方法继续到步骤180，如果不是，则在步骤170中递增p：p＝p+kp，并且使该方法继续到步骤120。
在步骤180期间，通过逆变换将在变换域中重构的系数块变换成重构像素块Brec。
图4示出了按照本发明的一个具体实施例编码当前像素块Bcur的方法。
在步骤200期间，针对i＝0..N-1，将当前块Bcur变换成系数块例如，按照如下公式计算要编码的当前块的第一残差系数 其中和d0(.)是该变换的索引0的基矢。ainit和binit是照度变化参数的初始值。例如，编码照度变化参数的这些初始值以便发送给重构方法，要不然，例如，通过视频编码标准预定义它们，因此它们是重构方法已知的。还获取参考块Bref的系数在图像域中，例如，使用运动矢量确定参考块Bref，然后将其变换成系数块
在步骤210期间，将p初始化成零。
在步骤220期间，按照如下公式计算预测系数kp>＝1和p+kp<N：
在步骤230期间，计算残差系数
在步骤240期间，按照如下公式，从预测系数和量化然后去量化的残差系数中计算重构系数
Q和Q-1分别代表量化然后逆量化运算。
在步骤250期间，针对i＝0至p+kp，根据重构系数和它们在参考块中的对应物细调参数a和b。将细调参数表示成和这个步骤与步骤140相同。
在可选步骤260期间，按照如下方程，根据新照度变化参数和细调已经重构的系数：
i＝0至p+kp。
这个步骤与步骤150相同。
按照一种变体，当重构i＝0至N-1的所有系数时，只实现这个可选步骤260一次。
在步骤270期间，检验一下看看变换残差块的所有残差系数是否都计算出来。如果正是这样，则使该方法继续到步骤290，如果不是，则在步骤280中递增p：p＝p+kp，并且使该方法继续到步骤220。
在步骤290期间，量化残差系数并通过熵编码将其编码在流F中。然后通过逆变换将在变换域中重构的系数块变换成重构像素块Brec，这个像素块本身能够在以后，在空间上或在时间上用作如通常在视频预测中所作那样的参考。
这些编码和重构方法使预测永远和更精确得多地适应信号特性的局部变化，特别是照度变化。另外，按照这些方法，不必分别显性地编码和解码局部照度变化参数。
细调预测模型的步骤140和240可以应用于除了Bpred(x,y)＝a+b.Bref(x,y)类型的线性模型之外的其他模型。可以将本发明推广到其他模型Bpred(x,y)＝f[Bref(x,y)]，其中f[.]是描述视频信号的时间变化的函数。
本发明还涉及参考图5所述的编码设备12和参考图6所述的解码设备13，其结构被修改成在变换域中实施预测，以便细调照度变化参数。在这些图中，灰色模块是分别针对标准编码和解码方案添加或修改的模块。在图5和6中，所示的模块是可能对应于或可能不对应于物理上可区分单元的功能单元。例如，这些模块或它们的一些可以被一起分组在单个部件中，或构成相同软件的功能。相反，一些模块可能由分立物理实体组成。
参考图5，编码设备12在输入端上接收属于图像序列的图像。每个图像被划分成每一个与至少一项画面数据相关联的像素块Bcur。编码设备12特别实现了利用时间预测的编码。在图3中只表示了编码设备12与通过时间预测的编码或INTER编码有关的模块。未表示的和视频编码器领域的普通技术人员已知的其他模块实现利用或不利用空间预测的INTRA编码。编码设备12特别包含了能够将当前块Bcur变换成变换块Ccur的变换T的模块1100、和能够，例如，通过逐个系数地相减，从变换块Ccur中抽取预测块Cpred，以便在变换域中生成残差块Cres_cur的计算模块1200。变换T是，例如，离散余弦变换(或“DCT”)。它还包含能够用量化系数量化在变换域中计算的残差块的模块1202。编码设备12还包含能够将量化系数编码在流F中的熵编码模块1204。它还包含进行模块1202的逆操作的模块1206。模块1206进行逆量化IQ以生成去量化的残差系数Cres。模块1206与计算模块1208连接，计算模块1208能够，例如，通过逐个系数地相加，合并来自模块1206的残差系数块Cres和预测块Cpred，以生成在变换域中重构的块Crec。计算模块1208与逆变换模块1210连接，逆变换模块1210能够将在变换域中重构的块Crec变换成存储在存储器1212中的表示成Brec的重构图像块。
编码设备12进一步包含能够估计块Bcur与存储在存储器1212中的参考画面块Iref之间的至少一个运动矢量的运动估计模块1214，这个画面是以前已经编码然后重构的。按照一种变体，该运动估计可以在当前块Bcur与原始参考图像Icur之间作出，在该情况下，存储器1212不与运动估计模块1214连接。按照本领域的普通技术人员众所周知的一种方法，该运动估计模块在参考图像Iref中搜索一项运动数据，尤其运动矢量，以便使在当前块Bcur与参考图像Iref中使用该项运动数据识别的块之间计算的误差最小化。
确定的运动数据项被运动估计模块1214发送给能够在预定的一组编码模式中选择块Bcur的编码模式的判定模块1216。所选编码模式是，例如，使位速率-失真型指标(criterion)最小的那种。但是，本发明不局限于这种选择方法，而是可以按照另一个指标，例如，先验型指标选择保留的模式。将判定模块1216所选的编码模式以及运动数据，例如，在时间预测模式或INTER模式的情况下的运动数据发送给运动补偿模块1218。将所选的编码模式和如果需要的话，将运动数据也发送给熵编码模块1204，以便编码在流F中。运动补偿模块1218从判定模块1216确定的编码模式中和可能从运动估计模块1214确定的运动数据中确定参考块Bref(图像间预测)。运动补偿模块1218和与变换模块1100相同的变换模块1220连接。变换模块1220能够将在图像域中获得的参考块Bref变换成变换参考块Cref。变换模块1220与能够从照度变化参数中生成预测块Cpred的预测计算模块1222连接。变换模块1220还与能够按照编码方法的步骤250细调照度变化参数的模块1224连接，并且可选地与能够按照编码方法的步骤260，细调已经根据细调照度变化参数重构的系数的模块1226连接。
参考图6，解码设备13在输入端上接收代表图像序列的编码数据流F。流F是，例如，编码设备12经由信道发送的。解码设备13包含能够生成解码数据，例如，编码模式和与图像的内容有关的解码数据的熵解码模块1300。
解码设备13进一步包含运动数据重构模块。按照第一实施例，该运动数据重构模块是解码流F代表所述运动数据的部分的熵解码模块1300。按照未显示在图6中的一种变体，该运动数据重构模块是运动估计模块。这种经由解码设备13重构运动数据的解决方案被称为“模板匹配”。
然后将与图像的内容有关的解码数据发送到能够进行逆量化以生成残差系数Cres的模块1302。模块1302与编码设备12生成编码流F的模块1206相同。模块1302与计算模块1304连接，计算模块1304能够，例如，通过逐个系数地相加，合并来自模块1302的残差系数块Cres和预测块Cpred，以生成在变换域中重构的当前块Crec。通过与编码设备的模块1210相同的逆变换模块1306将在变换域中重构的当前块Crec变换成在图像域中重构的块Brec。逆变换模块1306与尤其存储在图像域中重构的数据的存储器1308连接。解码设备13进一步包含运动补偿模块1310。运动补偿模块1310从熵解码模块1300为当前块解码的编码模式中和可能从运动数据重构模块确定的运动数据中确定参考块Bref。运动补偿模块1310和与编码设备的变换模块1220相同的变换模块1312连接。变换模块1312能够将在图像域中获得的参考块Bref变换成变换参考块Cref。变换模块1312与能够从照度变化参数中生成细调预测块Cpred的预测计算模块1314连接。变换模块1312还与能够按照重构方法的步骤140细调照度变化参数的细调模块1316连接，并且可选地与能够按照重构方法的步骤150，细调已经根据细调照度变化参数重构的系数的模块1318连接。
按照本发明的编码和解码设备，例如，以硬件、软件、固件、专用处理器、或它们的组合的各种形式实现。优选的是，本原理可以实现成硬件和软件的组合。此外，软件优选地实现成有形地具体化在程序存储设备上的应用程序。应用程序可以上载到包含任何适当架构的机器上并由它执行。优选的是，在含有像一个或多个中央处理单元(CPU)、随机访问存储器(RAM)、和输入/输出(I/O)接口那样的硬件的计算机平台上实现该机器。该计算机平台还包括操作系统和微指令代码。本文所述的各种过程和功能可以是经由操作系统执行的部分微指令代码或部分应用程序(或它们的组合)。另外，像附加数据存储设备和打印设备那样的各种其他外围设备可以与计算机平台连接。
按照各种变体，按照本发明的编码和解码设备按照纯硬件实现，例如，以专用部件(例如，在ASIC(专用集成电路)、FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)中)或集成成一个设备的几个电子部件的形式，或甚至以硬件元件和软件元件的混合的形式来实现。

Claims (18)

1.一种重构N个像素的当前块的重构方法，其中N是整数，其特征在于该重构方法包含：
-解码和去量化(100)N个残差系数；
-确定(100)N个参考系数；
-迭代地从N个残差系数以及通过使用通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构(175)所述当前块的N个系数，其中每次重构所述当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-将N个重构系数变换(180)成N个像素的当前块；
其中，经细调的照度变化参数是通过使通过量化噪声的方差加权的二次误差最小化确定的，所述二次误差是在重构系数与相应参考系数之间计算的。
2.按照权利要求1所述的重构方法，其中重构所述当前块的所述N个系数的步骤包含：
a)通过考虑所述照度变化模型从参考系数中计算(110，120)k个第一预测系数；
b)从k个第一残差系数和所计算出的k个第一预测系数中计算(130)k个重构系数；
c)根据已经重构的所有系数和相应参考系数细调(140)所述至少一个照度变化参数；以及
d)利用k个随后系数重复(160，170)步骤a)到c)直到计算出N个重构系数。
3.按照权利要求2所述的重构方法，其中k的值等于1。
4.按照权利要求2所述的重构方法，其中k的值每次迭代都不同。
5.按照权利要求4所述的重构方法，其中k的值等于被零残差系数分开的两个非零残差系数之间的距离。
6.按照权利要求4所述的重构方法，其中k的值等于被小于阈值的残差系数分开的大于所述阈值的两个残差系数之间的距离。
7.按照权利要求2所述的重构方法，其在步骤c)与d)之间，包含根据在步骤c)中细调的所述至少一个照度变化参数和相应参考系数细调已经重构的所有系数的步骤(150)。
8.按照权利要求7所述的重构方法，其中k的值等于1。
9.按照权利要求7所述的重构方法，其中k的值每次迭代都不同。
10.按照权利要求9所述的重构方法，其中k的值等于被零残差系数分开的两个非零残差系数之间的距离。
11.按照权利要求9所述的重构方法，其中k的值等于被小于阈值的残差系数分开的大于所述阈值的两个残差系数之间的距离。
12.一种编码N个像素的当前块的编码方法，其中N是整数，其特征在于该编码方法包含：
-将所述当前块变换(200)成N个当前系数；
-确定(200)N个参考系数；
-迭代地从N个当前系数以及通过使用通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中计算(285)N个残差系数，其中每次重构所述当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-量化和编码(290)N个残差系数；
其中，经细调的照度变化参数是通过使通过量化噪声的方差加权的二次误差最小化确定的，所述二次误差是在重构系数与相应参考系数之间计算的。
13.按照权利要求12所述的编码方法，其中计算所述N个残差系数的步骤包含：
a)通过考虑所述照度变化模型从参考系数中计算(220)k个第一预测系数；
b)从k个第一当前系数和所计算出的k个第一预测系数中计算(230)k个残差系数；
c)从k个第一量化然后去量化残差系数和所计算出的k个第一预测系数中计算(240)k个重构系数；
d)根据已经重构的所有系数和相应参考系数细调(250)所述至少一个照度变化参数；以及
e)利用k个随后系数重复(270，280)步骤a)到d)直到计算出N个残差系数。
14.按照权利要求13所述的编码方法，其在步骤d)与e)之间，包含根据在步骤d)中细调的所述至少一个照度变化参数和相应参考系数细调已经重构的所有系数的步骤(260)。
15.一种解码代表N个像素的当前块的流的解码设备，其中N是整数，其特征在于该解码设备包含：
-从所述流中解码和去量化(1300，1302)N个残差系数的部件；
-确定(1308，1310，1312)N个参考系数的部件；
-迭代地从N个残差系数以及通过使用通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中重构(1304，1314，1316，1318)所述当前块的N个系数的部件，其中每次重构所述当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-将N个重构系数变换(1306)成N个像素的当前块的部件；
其中，经细调的照度变化参数是通过使通过量化噪声的方差加权的二次误差最小化确定的，所述二次误差是在重构系数与相应参考系数之间计算的。
16.按照权利要求15所述的解码设备，所述解码设备适用于执行按照权利要求1到11之一所述的重构方法的步骤。
17.一种编码N个像素的当前块的编码设备，其中N是整数，其特征在于该编码设备包含：
-将所述当前块变换(1100)成N个当前系数的部件；
-确定(1212，1214，1216，1218，1220)N个参考系数的部件；
-迭代地从N个当前系数以及通过使用通过至少一个照度变化参数定义的照度变化模型从N个参考系数中确定的N个预测系数中计算(1200，1222，1224，1226)N个残差系数的部件，其中每次重构所述当前块的k个系数时都细调该照度变化参数，k是整数并且1≤k<N；以及
-量化和编码(1202，1204)N个残差系数的部件；
其中，经细调的照度变化参数是通过使通过量化噪声的方差加权的二次误差最小化确定的，所述二次误差是在重构系数与相应参考系数之间计算的。
18.按照权利要求17所述的编码设备，所述编码设备适用于执行按照权利要求12到14之一所述的编码方法的步骤。
CN201210420766.6A 2011-10-27 2012-10-29 编码和重构像素块的方法以及相应设备 Expired - Fee Related CN103096064B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1159779 2011-10-27
FR1159779 2011-10-27

Publications (2)

Publication Number Publication Date
CN103096064A CN103096064A (zh) 2013-05-08
CN103096064B true CN103096064B (zh) 2017-12-01

Family

ID=47008426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210420766.6A Expired - Fee Related CN103096064B (zh) 2011-10-27 2012-10-29 编码和重构像素块的方法以及相应设备

Country Status (4)

Country Link
EP (1) EP2587803A1 (zh)
JP (1) JP6093546B2 (zh)
KR (1) KR20130046377A (zh)
CN (1) CN103096064B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891882B (zh) * 2016-12-26 2021-05-11 华为技术有限公司 一种基于模板匹配的编解码方法及装置
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
KR20200112945A (ko) * 2018-01-29 2020-10-05 인터디지털 브이씨 홀딩스 인코포레이티드 재구성된 픽처의 정제를 갖는 인코딩 및 디코딩
CN110223238B (zh) * 2019-04-30 2021-04-27 北京理工大学 编码光照成像重构方法及装置
CN115272556A (zh) * 2022-07-25 2022-11-01 网易（杭州）网络有限公司 反射光照确定、全局光照确定方法、装置、介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1193867A (zh) * 1997-02-10 1998-09-23 汤姆森多媒体公司 通过亮度估算进行编码的方法和装置
WO2011012669A2 (en) * 2009-07-30 2011-02-03 Thomson Licensing Method for decoding a stream of coded data representative of a sequence of images and method for coding a sequence of images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154893A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1193867A (zh) * 1997-02-10 1998-09-23 汤姆森多媒体公司 通过亮度估算进行编码的方法和装置
WO2011012669A2 (en) * 2009-07-30 2011-02-03 Thomson Licensing Method for decoding a stream of coded data representative of a sequence of images and method for coding a sequence of images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Weighted Prediction;Philippe Bordes;《Joint Collaborative Team on Video Coding (JCT-VC)》;20110323;第1页第2节,第8页第1-4行 *

Also Published As

Publication number Publication date
EP2587803A1 (en) 2013-05-01
KR20130046377A (ko) 2013-05-07
JP6093546B2 (ja) 2017-03-08
JP2013098984A (ja) 2013-05-20
CN103096064A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN101557514B (zh) 一种帧间预测编解码方法、装置及系统
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN102893604B (zh) 用于视频的数据压缩
CN101610413B (zh) 一种视频的编码/解码方法及装置
CN102598670B (zh) 参考多个帧对图像进行编码/解码的方法和设备
CN103096064B (zh) 编码和重构像素块的方法以及相应设备
CN106688232A (zh) 基于模型的视频编码的感知优化
CN106131546B (zh) 一种提前确定hevc合并和跳过编码模式的方法
CN103141097B (zh) 优化的去块滤波器
CN101394566B (zh) 一种十字菱形运动估计搜索方法
CN107277506B (zh) 基于自适应运动矢量精度的运动矢量精度选择方法及装置
CN101888546B (zh) 一种运动估计的方法及装置
CN107846593B (zh) 一种率失真优化方法及装置
CN101420617A (zh) 一种十字六边形运动估计搜索方法
CN101668207A (zh) Mpeg到avs视频编码转换系统
CN102017626B (zh) 编码和解码方法、编码器和解码器
CN107646194A (zh) 用于视频运动补偿的装置和方法
Kim et al. Interframe coding using two-stage variable block-size multiresolution motion estimation and wavelet decomposition
CN1194544C (zh) 基于时空域相关性运动矢量预测的视频编码方法
CN101072355B (zh) 一种加权预测运动补偿方法
JP2013098984A5 (ja) ブロックの再構成方法、符号化方法、復号化装置及び符号化装置
CN106060555A (zh) 一种基于多核处理器的编码器
CN103139563B (zh) 编码和重构像素块的方法以及相应设备
CN103959788B (zh) 通过模式匹配在解码器层面的运动估计
CN109688411B (zh) 一种视频编码率失真代价估计方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190529

Address after: American Delaware

Patentee after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171201

Termination date: 20201029