CN101641961B - 使用运动补偿滤波的图像编码和解码方法及设备 - Google Patents

使用运动补偿滤波的图像编码和解码方法及设备 Download PDF

Info

Publication number
CN101641961B
CN101641961B CN2008800096473A CN200880009647A CN101641961B CN 101641961 B CN101641961 B CN 101641961B CN 2008800096473 A CN2008800096473 A CN 2008800096473A CN 200880009647 A CN200880009647 A CN 200880009647A CN 101641961 B CN101641961 B CN 101641961B
Authority
CN
China
Prior art keywords
pixel
filtering
filter
current block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800096473A
Other languages
English (en)
Other versions
CN101641961A (zh
Inventor
李教爀
玛修·摩奴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101641961A publication Critical patent/CN101641961A/zh
Application granted granted Critical
Publication of CN101641961B publication Critical patent/CN101641961B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种用于对图像数据进行编码的图像编码方法和设备以及对编码的图像数据进行解码的图像解码方法和设备,其中,通过对经过运动补偿的图像数据进行滤波来进一步提高压缩效率,从而减小相对于原始图像数据的误差。使用先前解码的当前帧的周围的像素和参考帧的周围的像素来产生滤波器,接着使用产生的滤波器对预测数据进行滤波。因此,可以减小将被编码的冗余数据的大小。

Description

使用运动补偿滤波的图像编码和解码方法及设备
技术领域
本发明涉及一种图像运动预测和补偿,更具体地说,涉及一种图像编码和解码方法和设备,其中,通过对经过运动补偿的图像数据进行滤波来进一步提高压缩效率,从而减少相对于原始图像数据的误差。
背景技术
在图像压缩方案(诸如运动图像编码专家组(MPEG)-1、MPEG-2、MPEG-4、H.264/MPEG-4先进视频编码(AVC))中,将图像划分成宏块以对图像进行编码。通过使用各种编码模式对每个宏块进行帧间预测或帧内预测。其后,根据宏块编码所需的比特率并且根据解码的宏块与原始宏块之间的失真度来选择这些编码模式中的一个对每个宏块进行编码。
在帧内预测中,使用位于当前块周围的像素的像素值计算将被编码的当前块的预测值,并且对当前块的预测值和实际像素值之间的差进行编码。在帧间预测中,通过在将被编码的当前图像之前或之后的至少一个参考图像中搜索与将被编码的当前块相似的区域来产生运动向量,并且对预测块和当前块之间的差值进行编码,使用产生的运动向量通过运动补偿产生所述预测块。
通常,帧内预测或帧间预测用于产生当前块的预测块,接着使用特定代价函数来计算代价。其后,选择代价最低的编码模式来执行编码,这样能够提供压缩效率。
然而,为了克服有限的传输带宽并提供高质量图像,需要更高压缩效率的图像编码方法。
发明内容
技术方案
本发明提供一种对图像数据进行编码的图像编码方法和设备以及用于对编码的图像数据进行解码的图像解码方法和设备,其中,对经过运动补偿的预测数据进行滤波来减小经过运动补偿的预测数据与原始图像数据之间的差值。
本发明还提供一种对图像数据进行编码的图像编码方法和设备以及用于对编码的图像数据进行解码的图像解码方法和设备,其中,当对经过运动补偿的预测数据进行滤波时能够将滤波信息有效地发送到解码设备而不必提供附加信息。
有益效果
根据本发明的示例性实施例,对经过运动补偿的预测数据进行滤波来减小经过运动补偿的预测数据与原始图像数据之间的差值。因此,可以减小将被编码的冗余数据的大小并且提高图像压缩效率。
另外,通过使用先前编码并恢复的周围像素的信息,计算掩模的权值来执行滤波操作。因此,在解码设备中可确定权值而不必发送关于权值的附加信息。
附图说明
图1是用于解释根据本发明的示例性实施例的运动补偿滤波操作的示图;
图2是根据本发明的示例性实施例的图像编码设备的框图;
图3是根据本发明的示例性实施例的运动补偿器通过使用当前块执行的产生预测块的处理的示图;
图4是根据本发明的示例性实施例的用于预测块的滤波操作的示图;
图5A至图5D示出根据本发明的示例性实施例的在图4的预测块的滤波操作中使用的掩模的示例;
图6是根据本发明的示例性实施例的能够双向预测的当前块的运动补偿滤波操作的示图;
图7是根据本发明的另一示例性实施例的当前块的运动补偿滤波操作的示图;
图8是根据本发明的示例性实施例的图像编码方法的流程图;
图9是根据本发明的示例性实施例的图像解码设备的框图;以及
图10是根据本发明的示例性实施例的图像解码方法的流程图。
具体实施方式
最佳方式
根据本发明的一方面,提供一种图像编码方法,所述方法包括:使用当前块的运动预测产生将被编码的当前块的运动向量;使用运动补偿产生当前块的预测块,以获得由运动向量指示的参考帧的相应块;对使用运动补偿产生的预测块进行滤波;以及对滤波的预测块与当前块之间的差值进行编码。
根据本发明的另一方面,提供一种图像编码设备,所述设备包括:运动预测器,通过当前块的运动预测产生将被编码的当前块的运动向量;运动补偿器,使用运动补偿产生当前块的预测块,以获得运动向量指示的参考帧的相应块;滤波单元,对使用运动补偿产生的预测块进行滤波;以及编码器,对滤波的预测块与当前块之间的差值进行编码。
根据本发明的另一方面,提供一种图像解码方法,所述方法包括:使用从接收的比特流提取的运动向量通过运动补偿产生将被解码的当前块的预测块;使用当前块周围的周围像素与运动向量指示的参考帧的相应块周围的周围像素之间的相关性来产生用于预测块的滤波器;通过使用滤波器对预测块进行滤波来产生滤波的预测块;以及通过将滤波的预测块与恢复的冗余相加来恢复当前块。
根据本发明的另一方面,提供一种图像解码设备,所述设备包括:运动预测器,使用从接收的比特流提取的运动向量通过运动补偿产生将被解码的当前块的预测块;滤波单元,使用当前块周围的周围像素与运动向量指示的参考帧的相应块周围的周围像素之间的相关性来产生用于预测块的滤波器,并且通过使用滤波器对预测块进行滤波来产生滤波的预测块;以及加法器,通过将滤波的预测块与恢复的冗余相加来恢复当前块。
发明模式
以下,将参照附图来描述本发明的示例性实施例。
图1是用于解释根据本发明的示例性实施例的运动补偿滤波操作的示图。
通常,如果x(n)表示使用运动补偿产生的预测数据,o(n)表示原始图像数据,则对与预测数据x(n)和原始图像数据o(n)之间的差相应的冗余数据进行压缩和编码。参照图1,根据本发明的示例性实施例,滤波单元100对预测数据x(n)进行滤波,以产生滤波的预测数据y(n)。当滤波单元100在最小化滤波的预测数据y(n)与原始图像数据o(n)之间的误差e(n)的同时执行滤波操作时,能够提高图像压缩效率。通过使用关于先前编码的像素的信息,滤波单元100计算掩模的权值,并在滤波操作中使用所述权值。可在解码设备中实现所述滤波单元100而不必单独发送大量附加信息,并且可使用与编码设备中执行的相同的滤波操作来恢复图像。
图2是根据本发明的示例性实施例的图像编码设备200的框图。
参照图2,根据本发明的示例性实施例的图像编码设备200包括运动预测器210、运动补偿器220、滤波单元230、减法单元240、编码器250、恢复单元260和存储单元270。
运动预测器210使用存储在存储单元270中的先前帧数据执行运动预测,并且产生当前块的运动向量。运动补偿器220在获得当前块的运动向量指示的参考帧区域(以下,称为“相应块”)的数据之后产生当前块的预测块。
图3是用于解释本发明的示例性实施例的运动补偿器220通过使用当前块执行的产生预测块的处理的示图。
运动预测器210搜索参考帧320,以寻找相对于当前帧310的当前块311具有最小误差的块,从而确定当前块311的相应块321。然后,运动预测器210产生作为确定的相应块321与当前块311之间的位置差的运动向量MV。运动补偿器220获得当前块311的运动向量MV指示的参考帧320的相应块321的数据。因此,运动补偿器220产生当前块311的预测块。也就是说,当前块311的预测块是参考帧320的相应块321。
滤波单元230将具有特定大小的掩模应用于使用运动补偿获得的预测块,接着对预测块进行滤波。具体地,滤波单元230在组成预测块的各个像素周围应用掩模,并且计算掩模的权值与包括在掩模中的像素的像素值之间的加权和,从而对预测块的各个像素值进行滤波。另外,滤波单元230包括滤波器产生器231,通过使用当前块311周围的像素和相应块321周围的像素产生滤波器。
图4是用于解释根据本发明的示例性实施例的用于预测块410的滤波操作的示图。图5A至图5D示出根据本发明的示例性实施例的在图4的预测块的滤波操作中使用的掩模的示例。在图4中,使用图5A中示出的掩模420对使用运动补偿产生的大小为4×4的预测块410进行滤波。在此,Pi,j表示在当前块410的位置(i,j)(其中,i,j=0,1,2,3)的预测像素值,Pa至Pe表示在对当前块进行编码之前已经编码且恢复的周围像素。
参照图4,滤波单元230通过对预测像素值Pi,j进行滤波来产生滤波的预测像素值P′i,j。在这个处理中,滤波单元230根据预测块410的各个预测像素值通过将特定权值与包括在具有特定大小的掩模420中的像素值的乘积相加来计算加权和。例如,当图4的掩模420具有3×3的大小,并且被应用于图4的预测块410从而预测块410的位置(0,0)的预测像素值P00位于掩模420的中心位置时,将预测像素值P00周围的3×3像素值乘以分别分配给像素的权值。然后,将所述乘积相加以计算滤波的预测像素值P’00。如果Wi,j表示分配给掩模420的像素位置(i,j)的权值,则可使用下面的等式计算通过对位置(0,0)的预测像素值P00进行滤波获得的滤波的预测像素值P’00:P’00=W00×Pa+W01×Pb+W02×Pc+W10×Pd+W11×P00+W12×P01+W20×Pe+W21×P10+W22×P11。同样,移动掩模500以将图5A所示的中心位置510与当前进行滤波的预测块410的预测像素值的位置匹配可计算预测块410的多个滤波的预测像素值。然后,将掩模500的像素值与掩模500的各个像素的权重相乘,并且将乘积相加。
掩模的形状和大小不限于图5A所示的3×3掩模500,可使用具有大小为N×M(其中,N和M是正整数)的任何掩模。例如,可使用大小为N×1或1×M的一维掩模。图5B示出3×1掩模,图5C示出1×3掩模。图5D示出通过将上述图5B和图5C所示的一维掩模进行组合而获得的掩模。与使用图5A所示的掩模的情况相似,当使用图5B至图5D示出的掩模时,可对预测像素值进行滤波,当图5B至图5D所示的掩模的中心位置520、530和540分别与将被滤波的预测像素值匹配时,通过将掩模的像素值与分配给掩模中的各个像素位置的权值的乘积相加来计算加权和。当N和M等于1时,通过将预定权值与包括在预测块中的各个像素值相乘来执行滤波操作,而不必使用周围的像素。
同时,确定应用到预测块的滤波操作的掩模的权值,以使滤波的预测块与原始像素块之间的差值最小。
如果Oxy t表示在时间t的当前帧中将被编码的当前块的原始像素块,Pxy t表示使用对当前块进行运动补偿产生的参考帧的预测块,Wi,j表示在大小为N×M的掩模中位置(i,j)(其中,i,j=0,1,2,3)的滤波器权值,Pxy t表示与原始像素块Oxy t与滤波的预测块Pxy t之间的差值相应的冗余块,则可通过使用滤波的预测块和冗余块如等式1表示原始像素块Oxy t
[等式1]
[公式1]
O xy t = Σ ij W i , j × P x + i , y + j t + R xy t
如上所述,确定使得预测误差最小化的滤波器权值Wij。当使用误差平方和(SSE)作为预测误差时,通过如等式2所示获取冗余块的像素值的平方和来计算SSE。
[等式2]
[公式2]
SSE = Σ xy ( R xy t ) 2 = Σ xy ( O xy t - Σ ij W i , j × P x + i , y + j t ) 2
可使用等式3获得具有最小SSE的权值,其中,SSE是对大小为N×M的掩模中任意位置(k,l)上的权值Wkl的偏微分,并且选择偏微分值为0时的权值。
[等式3]
[公式3]
∂ SSE ∂ W kl = Σ xy ( 2 × ( O xy t - Σ ij W i , j × P x + i , y + j t ) × ( - P x + k , y + l t ) )
= Σ xy ( O xy t × P x + k , y + l t ) 2 - Σ ij ( W i , j × ( Σ xy P x + k , y + l t × P x + i , y + j t ) ) = 0
可通过使用表示相关性的特定算子C并使用掩模的权值矩阵表示WNM×1如等式4来表示等式3。
[等式4]
[公式4]
C k , l O ′ P ′ - Σ ij ( W ij × C i - k , j - l P ′ P ′ ) = C k , l O ′ P ′ - C i - k , j - l P ′ P ′ · W NM × 1 = 0
因此,可使用等式5表示大小为N×M的掩模的权值矩阵表示WNM×1
[等式5]
[公式5]
W NM × 1 = [ C i - k , j - l P ′ P ′ ] - 1 · C k , l O ′ P ′
其结果是,可通过使用预测块的预测像素值与原始像素块的像素值的参数计算NM线性等式来确定大小为N×M的掩模中的NM权值。
然而,当使用当前块的像素值对掩模中的权值进行编码时,必须将关于掩模的权值的附加信息发送到解码设备,这样导致数据量的增加。因此,压缩效率降低。为了解决这个问题,根据本发明的示例性实施例,使用先前已经编码且恢复的周围像素来计算掩模的权值,从而可在解码设备中确定掩模的权值,而不必发送关于掩模的权值的附加信息。
具体地,再参照图3,滤波器产生器231通过使用当前块311周围的像素312和相应块321周围的像素322来确定掩模的权值。也就是说,使用掩模对周围的像素322进行滤波,因此产生周围的像素322的滤波的像素值。计算相对于周围的像素312的像素值的误差。求该误差关于掩模的权值的偏微分,从而获得具有掩模的权值的参数的线性等式。例如,当使用图5A所示的3×3掩模时,可通过使用与从周围的像素322和周围的像素312选择的至少9个像素相应的像素对来计算3×3掩模的9个权值。
在确定掩模的权值之后,滤波单元230使用掩模对经过运动补偿的预测块进行滤波。
图6是用于解释根据本发明的示例性实施例的能够双向预测的当前块601的运动补偿滤波操作的示图。
图3所示的当前块311是仅使用一个参考帧的P块,并且使用参考帧的相应块周围的像素来确定掩模的权值。参照图6,如果当前块601是能够被双向预测的B块,则以这样的方式来执行当前块601的运动补偿滤波操作:使用分别对第一参考帧610和第二参考帧620产生的掩模对第一参考帧610的第一相应块611和第二参考帧620的第二相应块621进行滤波,并且计算第一滤波的相应块611和第二滤波的相应块621的平均值来产生滤波的预测块。
具体地,滤波器产生器231通过使用当前块601的第一运动向量MV1指示的第一参考帧610的第一相应块611周围的像素612以及当前块601周围的像素602,通过计算特定大小的掩模的权值来产生第一滤波器。滤波单元230通过使用第一滤波器对第一相应块611进行滤波,从而产生滤波的第一相应块PF′。
同样,滤波器产生器231通过使用当前块601的第二运动向量MV2指示的第二参考帧620的第二相应块621周围的像素622以及当前块601周围的像素602,通过计算特定大小的掩模的权值来产生第二滤波器。滤波单元230通过使用第二滤波器对第二相应块621进行滤波,从而产生滤波的第二相应块PB′。
在如上所述产生滤波的第一相应块PF′和滤波的第二相应块PB′之后,滤波单元230输出滤波的第一相应块PF′和滤波的第二相应块PB′的平均值,即(PF′+PB′)/2,作为当前块601的滤波的运动补偿预测值。
根据本发明的另一实施例,如果当前块601是在运动补偿滤波操作中能够被双向预测的B块,则滤波器产生器231通过使用从第一参考帧610和第二参考帧620获得周围的像素612和622的平均值,并且通过使用周围的像素602来确定一个掩模的权值。滤波单元230可通过使用确定的掩模的权值对第一相应块611和第二相应块621的平均值进行滤波来计算当前块601的滤波的运动补偿值。
具体地,滤波器产生器231计算从第一参考帧610的周围的像素612获得的第一像素N1和从第二参考帧620的周围的像素622获得的第二像素N2的平均值。该平均值为(N1+N2)/2。滤波器产生器231使用平均值(N1+N2)/2和周围的像素602如上所述来确定掩模的权值。该平均值与特定像素区域的每个像素的平均值相应,而不是与通过将周围的像素的所有像素值求平均而获得的平均值相应。
接下来,根据双向运动补偿操作,运动补偿器220输出第一运动向量MV1指示的第一参考帧610的第一相应块611(PF)和第二运动向量MV2指示的第二参考帧620的第二相应块621(PB)的平均值,即(PF+PB)/2。然后,滤波单元230对第一相应块611(PF)和第二相应块621(PB)之间的平均值,即(PF+PB)/2进行滤波,从而输出与((PF+PB)/2)′相应的值。
图7是根据本发明的另一示例性实施例的当前块701的运动补偿滤波操作的示图。
参照图7,根据本发明的当前实施例,为了对于帧700的当前块701确定在第一参考帧710的第一相应块711中使用的掩模的权值,不使用当前块701周围的像素702与第一相应块711周围的像素之间的相关性,而是使用周围的像素712与使用运动补偿产生的第一相应块711的运动向量MV2指示的第二参考帧720的第二相应块721周围的像素722之间相关性。也就是说,在滤波操作中,将特定掩模应用于第二参考帧720的周围的像素722。确定使得滤波的周围的像素722与周围的像素712之间的误差最小化的掩模的权值。然后,将具有确定的权值的掩模应用于第一参考帧710的第一相应块711。因此,产生当前块701的滤波的运动补偿预测值。
再参照图2,当对使用运动补偿产生的预测块进行滤波以输出滤波的预测块时,加法器240计算作为滤波的预测块与原始像素块之间的误差的冗余。编码器250通过对该冗余进行变换、量化和熵编码来产生比特流。具体地说,根据本发明的当前示例性实施例的编码器250可自适应地确定是否对每个运动块的经过运动补偿的预测数据进行滤波。因此,指示是否对比特流的特定部分执行运动补偿滤波操作的特定二进制信息可与在滤波操作中使用的掩模模式信息一起被插入到每个运动块中。当由编码器和解码器预先确定掩模模式,即掩模形状时,不需要单独发送掩模模式信息。此外,当发送掩模模式信息时,如上所述不需要单独发送掩模的权值。而是,可预先确定在编码器和解码器中使用的掩模形状。因此,解码设备以与编码设备中相同的方式通过使用周围的像素来确定掩模的权值,执行滤波操作。例如,分别将二进制值“00”、“01”、“10”和“11”分配给图5A至图5D的掩模,可根据使用的掩模形状将上述二进制值之一插入将被发送的比特流。
图8是根据本发明的示例性实施例的图像编码方法的流程图。
使用运动预测产生将被编码的当前块的运动向量(操作810)。
使用运动补偿产生当前块的预测块以获得产生的运动向量指示的参考帧的相应块(操作820)。
通过使用当前块周围的像素与参考帧的相应块周围的像素之间的相关性确定预定大小的掩模的权值来产生滤波器(操作830)。可确定使得当参考帧的相应块的周围的像素被滤波时产生的相应块的周围的像素的像素值与当前块的周围的像素的像素值之间的误差最小的掩模的权值。
通过使用具有产生的权值的掩模对当前块的预测块进行滤波来产生滤波的预测块(操作840)。在滤波操作中,通过将预定大小的掩模的各个权值与掩模的各个像素值的乘积相加来计算加权和。
通过对滤波的预测块和原始像素块之间的冗余执行变换、量化和熵编码来产生比特流(操作850)。产生的比特流具有特定部分,在该特定部分中插入了指示是否对每个运动块执行运动补偿滤波操作的二进制信息。因此,解码设备确定是否执行运动补偿滤波操作。
图9是根据本发明的示例性实施例的图像解码设备900的框图。
参照图9,根据本发明的当前实施例的图像解码设备900包括熵解码器910、重新排序单元920、逆量化器930、逆变换器940、运动补偿器950、帧内预测器960、加法器965和滤波单元980,滤波单元980包括滤波器产生器981。
熵解码器910接收将被熵解码的压缩的比特流,并且产生量化系数。重新排序单元920对量化系数进行重新排序。逆量化器930和逆变换器940分别对量化系数进行逆量化和逆变换,从而恢复冗余。
运动补偿器950对从接收的比特流确定为运动块的当前块进行运动补偿,从而产生预测块。
滤波单元980从接收的比特流识别将被解码的当前块的预测模式。此外,滤波单元980从比特流提取运动补偿滤波信息,其中,所述信息指示是否对与运动块相应的当前块执行运动补偿滤波操作。滤波器产生器981通过使用在对当前块解码之前解码的周围的像素和当前块所参考的参考帧的相应块的周围的像素来确定掩模的权值。滤波单元980产生预测块,其中使用运动补偿产生的预测块对确定的掩模进行滤波。滤波单元980以及包括在滤波单元980中的滤波器产生器981的操作与图3的滤波单元230以及滤波器产生器231的操作相同。因此,将省略对其的详细描述。
加法器965将从滤波单元980输出的滤波的运动补偿预测块与恢复的冗余相加,从而恢复当前块。
图10是根据本发明的示例性实施例的图像解码方法的流程图。
参照图10,从比特流提取运动向量,并且使用提取的运动向量通过运动补偿产生当前块的预测块(操作1010)。
使用当前块周围的像素与当前块的运动向量指示的参考帧的相应块周围的像素之间的相关性来确定将在预测块中使用的权值,即掩模的权值(操作1020)。
通过将掩模应用于使用运动补偿产生的预测块,通过计算将掩模内部的像素与掩模的每个权值的乘积相加而获得的加权和来对预测块的各个像素进行滤波(操作1030)。
通过将滤波的预测块和恢复的冗余相加来恢复当前块(操作1040)。
本发明的示例性实施例也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是能够存储其后可由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的例子包括:只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质可分布于联网的计算机系统上,以便所述计算机可读代码能够以分布方式被记录和执行。
尽管已经参照本发明的示例性实施例具体显示并描述了本发明,但是本领域技术人员将理解,可在不脱离由权利要求限定的本发明的精神和范围的情况下,对其进行形式和细节的修改。示例性实施例应该被认为仅是说明性描述而不是限制的目的。因此,本发明的范围不是由详细描述限定而是由权利要求限定,该范围内的所有差异将被解释为包括在本发明中。

Claims (21)

1.一种图像编码方法,包括:
使用当前块的运动预测产生将被编码的当前块的运动向量;
使用运动补偿产生当前块的预测块,以获得由运动向量指示的参考帧的相应块;
对使用运动补偿产生的预测块进行滤波;以及
对滤波的预测块与当前块之间的差进行编码,其中,对预测块进行滤波的步骤包括:
通过使用先前已经编码和恢复的当前块周围的像素与参考帧的相应块周围的像素之间的相关性产生用于预测块的滤波器;
使用产生的滤波器对预测块的各个像素值进行滤波。
2.如权利要求1所述的图像编码方法,其中,在产生滤波器的步骤中,确定滤波器的权值,使得在使用该滤波器对参考帧的相应块周围的像素进行滤波之后,参考帧的相应块周围的像素与当前块周围的像素之间的误差最小。
3.如权利要求1所述的图像编码方法,其中,对各个像素值进行滤波的步骤包括:
将具有特定大小的掩模应用于组成将被滤波的预测块的每个像素;
将掩模的权值与包括在掩模中的预测块的相应像素相乘,并且将相乘的值求和,从而对预测块的每个像素值进行滤波。
4.如权利要求3所述的图像编码方法,其中,掩模的大小是N×M、1×M、N×1和1×1中的一个,其中,N和M是正整数。
5.如权利要求1所述的图像编码方法,其中,对预测块进行滤波的步骤包括:
如果当前块是能够被双向预测的运动块,则通过使用当前帧参考的两个参考帧中的第一参考帧的第一相应块周围的像素与当前块周围的像素来产生第一滤波器,并且通过使用第一滤波器对第一相应块进行滤波来产生滤波的第一相应块;
通过使用当前帧参考的两个参考帧中的第二参考帧的第二相应块周围的像素与当前块周围的像素来产生第二滤波器,并且通过使用第二滤波器对第二相应块进行滤波来产生滤波的第二相应块;
输出滤波的第一相应块和滤波的第二相应块的平均值作为当前块的滤波的预测块。
6.如权利要求1所述的图像编码方法,其中,对预测块进行滤波的步骤包括:
如果当前块是能够被双向预测的运动块,则计算当前块参考的第一参考帧的第一相应块周围的像素与第二参考帧的第二相应块周围的像素之间的平均值;
通过使用当前块周围的像素和所述第一相应块周围的像素和第二相应块周围的像素之间的平均值来产生滤波器;以及
通过使用产生的滤波器对第一相应块和第二相应块之间的平均值进行滤波来输出当前块的滤波的预测块。
7.如权利要求1所述的图像编码方法,其中,在对预测块进行滤波的步骤中,使用第一参考帧的第一相应块周围的第一像素与第一参考帧的第一相应块的运动向量指示的第二参考帧的第二相应块周围的第二像素之间的相关性。
8.如权利要求1所述的图像编码方法,其中,编码的步骤包括:将二进制信息插入比特流的特定部分,所述二进制信息指示是否对当前块执行运动补偿滤波操作。
9.一种图像编码设备,包括:
运动预测器,通过当前块的运动预测产生将被编码的当前块的运动向量;
运动补偿器,通过获得运动向量指示的参考帧的相应块,使用运动补偿产生当前块的预测块;
滤波单元,对运动补偿器产生的预测块进行滤波;以及
编码器,对滤波的预测块与当前块之间的差进行编码,
其中,滤波单元通过使用先前已经编码和恢复的当前块周围的像素与参考帧的相应块周围的像素之间的相关性产生用于对产生的预测块进行滤波的滤波器,并且使用产生的滤波器对产生的预测块的各个像素值进行滤波。
10.如权利要求9所述的图像编码设备,其中,滤波单元确定滤波器的权值,使得在使用该滤波器对参考帧的相应块周围的像素进行滤波之后,参考帧的相应块周围的像素与当前块周围的像素之间的误差最小。
11.如权利要求9所述的图像编码设备,其中,滤波单元将具有特定大小的掩模应用于组成将被滤波的预测块的每个像素,并且将掩模的权值与包括在掩模中的预测块的相应像素相乘,并且将相乘的值求和,从而对预测块的每个像素值进行滤波。
12.如权利要求9所述的图像编码设备,其中,如果当前块是能够被双向预测的运动块,则滤波单元使用当前帧参考的两个参考帧中的第一参考帧的第一相应块周围的像素与当前块周围的像素来产生第一滤波器,并且通过使用第一滤波器对第一相应块进行滤波来产生滤波的第一相应块;滤波单元通过使用当前块参考的两个参考帧中的第二参考帧的第二相应块周围的像素与当前块周围的像素来产生第二滤波器,并且通过使用第二滤波器对第二相应块进行滤波来产生滤波的第二相应块;滤波单元输出滤波的第一相应块和滤波的第二相应块的平均值作为当前块的滤波的预测块。
13.如权利要求9所述的图像编码设备,其中,如果当前块是能够被双向预测的运动块,则滤波单元计算当前块参考的第一参考帧的第一相应块周围的像素与第二参考帧的第二相应块周围的像素之间的平均值;滤波单元通过使用当前块周围的像素和所述第一相应块周围的像素和第二相应块周围的像素之间的平均值来产生滤波器;滤波单元通过使用所述滤波器对第一相应块和第二相应块之间的平均值进行滤波来输出当前块的滤波的预测块。
14.如权利要求9所述的图像编码设备,其中,滤波单元使用第一参考帧的第一相应块周围的第一像素与第一参考帧的第一相应块的运动向量指示的第二参考帧的第二相应块周围的第二像素之间的相关性来产生用于对预测块进行滤波的滤波器。
15.如权利要求9所述的图像编码设备,其中,编码器将二进制信息插入比特流的特定部分,所述二进制信息指示是否对当前块执行运动补偿滤波操作。
16.一种图像解码方法,包括:
使用从接收的比特流提取的运动向量通过运动补偿产生将被解码的当前块的预测块;
使用当前块的周围的像素与运动向量指示的参考帧的相应块周围的像素之间的相关性来产生用于预测块的滤波器;
通过使用滤波器对预测块进行滤波来产生滤波的预测块;以及
通过将滤波的预测块与恢复的冗余相加来恢复当前块。
17.如权利要求16所述的图像解码方法,其中,产生滤波器的步骤包括:确定滤波器的权值,使得在使用该滤波器对参考帧的相应块周围的像素进行滤波之后,参考帧的相应块周围的像素与当前块周围的像素之间的误差最小。
18.如权利要求16所述的图像解码方法,其中,产生滤波的预测块的步骤包括:将具有特定大小的掩模应用于组成预测块的每个像素,并且将掩模的权值与包括在掩模中的预测块的相应像素相乘,并且将相乘的值求和,从而对预测块的每个像素值进行滤波。
19.一种图像解码设备,包括:
运动预测器,使用从接收的比特流提取的运动向量通过运动补偿产生将被解码的当前块的预测块;
滤波单元,使用当前块的周围的像素与运动向量指示的参考帧的相应块周围的像素之间的相关性来产生用于预测块的滤波器,并且通过使用该滤波器对产生的预测块进行滤波来产生滤波的预测块;以及
加法器,通过将滤波的预测块与恢复的冗余相加来恢复当前块。
20.如权利要求19所述的图像解码设备,其中,滤波单元确定滤波器的权值,使得在使用该滤波器对参考帧的相应块周围的像素进行滤波之后,参考帧的相应块周围的像素与当前块周围的像素之间的误差最小。
21.如权利要求19所述的图像解码设备,其中,滤波单元将具有特定大小的掩模应用于组成预测块的每个像素,并且将掩模的权值与包括在掩模中的预测块的相应像素相乘,并且将相乘的值求和,从而对预测块的每个像素值进行滤波。
CN2008800096473A 2007-03-28 2008-01-15 使用运动补偿滤波的图像编码和解码方法及设备 Expired - Fee Related CN101641961B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2007-0030381 2007-03-28
KR1020070030381A KR101369224B1 (ko) 2007-03-28 2007-03-28 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR1020070030381 2007-03-28
PCT/KR2008/000228 WO2008117924A1 (en) 2007-03-28 2008-01-15 Image encoding and decoding method and apparatus using motion compensation filtering

Publications (2)

Publication Number Publication Date
CN101641961A CN101641961A (zh) 2010-02-03
CN101641961B true CN101641961B (zh) 2012-02-08

Family

ID=39788643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800096473A Expired - Fee Related CN101641961B (zh) 2007-03-28 2008-01-15 使用运动补偿滤波的图像编码和解码方法及设备

Country Status (4)

Country Link
US (1) US8045813B2 (zh)
KR (1) KR101369224B1 (zh)
CN (1) CN101641961B (zh)
WO (1) WO2008117924A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
WO2010143858A2 (ko) * 2009-06-09 2010-12-16 삼성전자주식회사 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
KR101800171B1 (ko) * 2010-03-12 2017-11-24 한국전자통신연구원 무선 통신 시스템에서의 패킷 송/수신 방법 및 장치
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
JP6477369B2 (ja) * 2015-09-02 2019-03-06 富士通株式会社 情報埋め込み装置、情報埋め込み方法、及び情報埋め込みプログラム
EP3358848B1 (en) * 2015-09-29 2021-04-21 LG Electronics Inc. Method of filtering image in image coding system
US10595017B2 (en) 2015-10-22 2020-03-17 Lg Electronics Inc. Modeling-based image decoding method and device in image coding system
WO2017069591A1 (ko) * 2015-10-23 2017-04-27 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
CN108476319A (zh) * 2016-01-11 2018-08-31 三星电子株式会社 图像编码方法和设备以及图像解码方法和设备
EP3509299B1 (en) 2016-09-05 2024-05-01 Rosedale Dynamics LLC Image encoding/decoding method and device therefor
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
WO2018174354A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN108537820B (zh) * 2018-04-18 2021-02-09 图灵人工智能研究院(南京)有限公司 动态预测方法、系统及所适用的设备
WO2024077561A1 (en) * 2022-10-13 2024-04-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024143566A1 (ko) * 2022-12-26 2024-07-04 광운대학교 산학협력단 이벤트 프레임을 이용한 비디오 화면 간 예측 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
CN1823530A (zh) * 2003-07-16 2006-08-23 皇家飞利浦电子股份有限公司 编码方法和设备
WO2007002437A2 (en) * 2005-06-24 2007-01-04 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
EP0721287A1 (en) * 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
KR0171146B1 (ko) * 1995-03-18 1999-03-20 배순훈 특징점을 이용한 움직임 벡터 검출 장치
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6937659B1 (en) * 1997-11-14 2005-08-30 Ac Capital Management, Inc. Apparatus and method for compressing video information
EP0953254B1 (en) 1997-11-17 2006-06-14 Koninklijke Philips Electronics N.V. Motion-compensated predictive image encoding and decoding
FR2821998A1 (fr) * 2001-03-06 2002-09-13 Koninkl Philips Electronics Nv Procede de codage d'images numeriques base sur la dissimulation d'erreurs
FR2829345B1 (fr) 2001-09-06 2003-12-12 Nextream Sa Dispositif et procede de codage d'images video par compensation de mouvement
US7630566B2 (en) 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP3968712B2 (ja) * 2003-04-28 2007-08-29 ソニー株式会社 動き予測補償装置及びその方法
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP2005318297A (ja) 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
KR100708114B1 (ko) * 2004-09-23 2007-04-16 삼성전자주식회사 움직임 보상을 위한 보간 장치를 구비한 부호화 장치 및복호화 장치
JP4270125B2 (ja) * 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
KR100703788B1 (ko) * 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US20080130749A1 (en) * 2006-05-23 2008-06-05 Chang-Che Tsai Method for Performing Pattern-Based Block Motion Estimation
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR20090098214A (ko) * 2008-03-13 2009-09-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
CN1823530A (zh) * 2003-07-16 2006-08-23 皇家飞利浦电子股份有限公司 编码方法和设备
WO2007002437A2 (en) * 2005-06-24 2007-01-04 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation

Also Published As

Publication number Publication date
CN101641961A (zh) 2010-02-03
KR101369224B1 (ko) 2014-03-05
US8045813B2 (en) 2011-10-25
KR20080088046A (ko) 2008-10-02
WO2008117924A1 (en) 2008-10-02
US20080240592A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
CN101641961B (zh) 使用运动补偿滤波的图像编码和解码方法及设备
CN101836455B (zh) 用于处理视频信号的方法和装置
CN100579224C (zh) 用于无损视频编码和解码的方法及设备
CN101945282B (zh) 预测图像产生方法及设备和图像视频编/解码方法及设备
KR101055738B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
TWI678919B (zh) 動態影像預測解碼裝置及動態影像預測解碼方法
TWI718908B (zh) 影像預測解碼方法
CN104170387A (zh) 用于图像编码/解码的方法和设备
CN104902284A (zh) 用于解码视频的方法
CN103370939A (zh) 用于对图像进行编码/解码的方法和装置
WO2008004768A1 (en) Image encoding/decoding method and apparatus
KR20060109249A (ko) 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치
JP2006005438A (ja) 画像処理装置およびその方法
WO2013089129A1 (ja) 画像符号化及び復号方法、装置、プログラム
JP2007081720A (ja) 符号化方法
CN107888929A (zh) 视频编码解码方法、设备以及生成和存储比特流的方法
JP5560009B2 (ja) 動画像符号化装置
CN102075743B (zh) 视频编码方法及装置、视频解码方法及装置
KR20060063608A (ko) 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
US9014495B2 (en) Parallel intra prediction method for video data
CN102396231A (zh) 图像处理设备及方法
CN104219530A (zh) 基于预测模式拷贝的hevc多描述编码
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
CN102652433A (zh) Mpeg视频分辨率降低系统
JP2013016902A (ja) 画像変換装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120208

Termination date: 20210115

CF01 Termination of patent right due to non-payment of annual fee