CN101653006A - 基于帧间预测进行编码和解码的方法和设备 - Google Patents

基于帧间预测进行编码和解码的方法和设备 Download PDF

Info

Publication number
CN101653006A
CN101653006A CN200880011531A CN200880011531A CN101653006A CN 101653006 A CN101653006 A CN 101653006A CN 200880011531 A CN200880011531 A CN 200880011531A CN 200880011531 A CN200880011531 A CN 200880011531A CN 101653006 A CN101653006 A CN 101653006A
Authority
CN
China
Prior art keywords
current block
intra prediction
block
prediction
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880011531A
Other languages
English (en)
Other versions
CN101653006B (zh
Inventor
金素英
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101653006A publication Critical patent/CN101653006A/zh
Application granted granted Critical
Publication of CN101653006B publication Critical patent/CN101653006B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种基于帧间预测进行编码和解码的方法和设备。在所述编码方法中,通过对当前块和参考图片中的与当前块相应的参考块分别执行帧内预测,以及基于执行帧内预测的结果对当前块执行帧间预测来对当前块进行编码。因此,可减少作为执行帧间预测的结果而产生的关于当前块的数据的大小,从而提高视频数据的压缩率。

Description

基于帧间预测进行编码和解码的方法和设备
技术领域
与本发明一致的方法和设备涉及基于帧间预测进行编码和解码,更具体地说,涉及执行帧间预测使得将被编码的当前块的残差最小化,以及基于执行帧间预测的结果来对当前块进行编码和解码。
背景技术
视频压缩方法(诸如MPEG-1,MPEG-2和MPEG-4H.264/MPEG-4高级视频编码(AVC))中,为了对图片进行编码而将图片划分为宏块。接下来,使用帧间预测和帧内预测对每个宏块进行编码。随后考虑到被编码的宏块的数据大小和原始宏块的退化程度来选择最优的编码方法,以及根据最优的编码模式对宏块进行编码。
现有技术中通过使用帧间预测对图像进行编码的方法中,通过移除图片中的空间冗余来压缩图像,上述方法的代表性示例是基于运动估计的编码。
在基于运动估计的编码中,通过使用一个或多个参考图片对当前图片的运动进行估计和补偿来对图像进行编码。在这种情况下,使用预定的评价函数在参考图片的预定搜索范围内检测与当前块最相似的参考块。如果检测到最相似的参考块,仅发送当前块和最相似参考块之间的残差,从而提高数据的压缩率。可使用不同大小的块(例如,16×16块、8×16块和8×8块)作为当前块,下面将参照图1A详细描述。
图1A示出现有技术中的帧间预测方法。参照图1A,为了对图像进行编码或解码使用参考图片来执行帧间预测。
为了对当前图片110的当前块112(编码对象)执行帧间预测,视频编码设备从参考图片120检测与当前块112最相似的参考块122。这里,参考块122是最适合预测当前块112的块,因此,可选择具有与当前块112最小残差的块作为参考块122。
将参考块122用作当前块112的预测值,从而,为了产生比特流仅对当前块112和参考块122的像素值之间的残差进行编码。在这种情况下,将当前图片110中的当前块112的位置和参考块122的位置之间的距离确定为运动矢量130。将关于运动矢量130的信息插入将被发送的比特流的开销中。由于为了视频压缩率仅发送残差,所以残差越小视频压缩率越高。
在帧内预测中,不使用参考图片对当前图片的当前块进行编码。而是使用当前图片的先前编码区域来计算当前块的预测值。根据亮度分量将帧内预测模式划分为4×4帧内预测模式、8×8帧内预测模式和16×16帧内预测模式以及符合色度分量的帧内预测模式。
图1B示出现有技术中的帧内预测方法。参照图1B,为了进行编码/解码,使用当前图片140的先前编码区域142来执行帧内预测。
使用与当前块146相邻的多个像素148来产生当前块146的预测值。以各种帧内预测模式(即,以各种大小的单元和各种帧内预测方向)对当前块146执行帧内预测,根据从各种帧内预测模式中选择的最优的帧内预测模式来产生当前块146的预测值。产生预测值后,仅对当前块146的像素值和预测值之间的残差进行编码,从而提高视频编码的压缩率。
如上面参照图1A和图1B进行的描述,为了减少将被编码的信息的数量,基于帧间预测的编码和基于帧内预测的编码分别包括执行帧间预测和帧内预测从而获得当前块的预测值,从预测值仅产生残差,对残差进行编码和发送。也就是说,如果可显著降低当前块的残差,则可相应地提高视频编码的压缩率。
发明内容
技术方案
本发明示例性实施例克服上述缺点和其他未提到的缺点。此外,本发明不需要克服上述缺点,本发明示例性实施例可不克服上述问题中的任意一个。有益效果
本发明可被实现为计算机可读介质中的计算机可读代码。所述计算机可读介质可以是可存储由计算机系统读取的数据的任意记录设备,例如,只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光学数据存储装置等。所述计算机可读介质可分布于通过网络连接的计算机系统网络,并且本发明可作为分布式系统中的计算机可读代码被存储和实现。
根据本发明示例性实施例,仅对帧间预测残差进行编码以降低残差,从而提高视频编码的压缩率,所述帧间预测残差是当前块的帧内预测残差与参考块的帧内预测残差之间的差。
此外,可对当前块执行帧内预测而不将关于帧内预测模式的信息(帧内预测的方向)插入比特流,从而提高视频编码的压缩率。
当参照本发明示例性实施例来具体地示出和描述本发明时,本领域普通技术人员应该理解的是,在不脱离由本发明的权利要求定义的精神和范围的情况下,可进行形式上和细节上的各种改变。
附图说明
通过参照附图对示例性实施例进行详细描述,本发明的上述和其他方面将会变得更加清楚,其中:
图1A示出现有技术中的帧间预测方法;
图1B示出现有技术中的帧内预测方法;
图2是根据本发明示例性实施例的基于帧间预测进行编码的设备的框图;
图3示出根据本发明示例性实施例的帧间预测方法;
图4是示出根据本发明示例性实施例的帧间预测方法的流程图;
图5是根据本发明示例性实施例的基于帧间预测进行解码的设备的框图;以及
图6是根据本发明示例性实施例的基于帧间预测进行解码的方法的流程图;
最佳模式
本发明提供一种基于预测进行编码和解码的能够在帧间预测期间使当前块的残差最小化的方法和设备。
本发明还提供一种在其上记录有执行上述方法的计算机程序的计算机可读介质。
根据本发明的一方面,提供一种基于帧间预测进行编码的方法,所述方法包括:在参考图片中搜索与当前块相应的参考块,基于参考块估计当前块的运动矢量;对当前块和参考块的每一个执行帧内预测从而获得当前块和参考块的帧内预测残差,计算所述两个帧内预测残差之间的差;以及基于所述运动矢量和所述差对当前块进行编码。
可根据相同的帧内预测模式分别对当前块和参考块执行帧内预测。
根据本发明的另一方面,提供一种基于帧间预测进行编码的设备,所述设备包括:运动估计单元,在参考图片中搜索与当前块相应的参考块,基于参考块估计当前块的运动矢量;运动补偿单元,对当前块和参考块分别执行帧内预测,计算通过执行帧内预测得到的当前块的帧内预测残差与参考块的帧内预测残差之间的差;以及编码单元,基于所述运动矢量和所述差对当前块进行编码。
根据本发明的另一方面,提供一种基于帧间预测进行解码的方法,所述方法包括:接收包含关于当前块的数据的比特流,所述当前块通过下述步骤已被编码,其中,通过对当前块和与当前块相应的参考块分别执行帧内预测从而获得当前块和参考块的帧内预测残差,计算两个帧内预测残差之间的差,以及基于当前块的运动矢量和所述差对当前块进行编码,其中,在参考图片中搜索所述参考块;从比特流提取关于当前块的数据和关于当前块的帧间预测模式的信息;以及基于关于当前块的数据和关于当前块的帧间预测模式的信息来恢复当前块。
根据本发明的另一方面,提供一种基于帧间预测进行解码的设备,所述设备包括:解码单元,接收包含关于当前块的数据的比特流,从比特流提取关于当前块的数据和关于当前块的帧间预测模式的信息,其中,所述当前块通过下述步骤已被编码:通过对当前块和与当前块相应的参考块分别执行帧内预测从而获得当前块和参考块的帧内预测残差,计算两个帧内预测残差之间的差,以及基于当前块的运动矢量和所述差对当前块进行编码,其中,在参考图片中搜索所述参考块;以及运动补偿单元,基于关于当前块的数据和关于当前块的帧间预测模式的信息来恢复当前块。
根据本发明的另一方面,提供一种在其上记录有执行上述编码方法和解码方法的计算机程序的计算机可读介质。
具体实施方式
以下,参照示出本发明示例性实施例的附图来全面地描述本发明。
图2是根据本发明示例性实施例的基于帧间预测进行编码的设备(“设备”)的框图。参照图2,所述设备包括运动估计单元210、运动补偿单元220、编码单元230、恢复单元240、帧存储器250和滤波器260。运动补偿单元220和编码单元230与根据本发明的基于帧间预测进行编码的设备相应。
运动估计单元210在帧存储器250中搜索与当前块相应的参考块,并且使用所述参考块估计用于当前块的运动矢量。
如图1A所示,通过使用当前块的像素值来从参考图片检测参考块。如果确定了参考块122,则计算当前图片中的当前块的位置和参考图片中的参考块的位置之间的距离,从而产生用于当前块的运动矢量。
运动补偿单元220执行根据本发明示例性实施例的帧间预测。也就是说,对当前块和参考块执行帧内预测,以及计算通过执行帧内预测获得的当前块的残差和参考块的残差之间的差。
为了最小化当前块的残差,通过对现有技术中的帧内预测方法和现有技术中的帧间预测方法进行组合来完成根据本发明示例性实施例的帧间预测方法。运动补偿单元220执行上述帧间预测方法,现在将参照图3详细描述所述帧间预测方法。
图3示出根据本发明示例性实施例的帧间预测方法。参照图2和图3,为了对当前图片310中的当前块314进行预测,运动补偿单元220使用参考图片320中的参考块324执行帧间预测。运动估计单元210确定参考图片320中的与当前图片310中的当前块314相应的参考块324,并且计算运动矢量330。随后,运动补偿单元220执行根据本发明示例性实施例的帧间预测。现在将描述使用参考图片和参考块的帧间预测。然而,本领据普通技术人员应该清楚,根据本发明示例性实施例的帧间预测方法不限于使用单个参考图片和单个参考块。例如,可使用多个参考图片和多个参考块来执行根据本发明示例性实施例的帧间预测。
运动补偿单元220首先产生当前块314的帧内预测值。优选地,运动补偿单元220使用包括在当前图片310的先前编码区域中的与当前块314相邻的多个像素312的值来执行帧内预测。
如果将当前块314的帧内预测值产生为执行帧内预测的结果,则从当前块314的像素值减掉所述帧内预测值,从而获得当前块314的帧内预测残差。
接下来,运动补偿单元220产生由运动估计单元210确定的参考块324的帧内预测值。与产生当前块314的帧内预测值时相似,使用与参考块324相邻的多个像素322的像素值来执行帧内预测。
如果将参考块324的帧内预测值产生为执行帧内预测的结果,则从参考块324的像素值减掉产生的帧内预测值,从而获得参考块324的帧内预测残差。
在当前块314的帧内预测残差和参考块324的帧内预测残差都被产生之后,从产生的帧内预测残差产生帧间预测残差。优选地,通过从当前块当前块314的帧内预测残差减掉参考块324的帧内预测残差来获得帧间预测残差。
为了对已根据本发明的帧间预测方法被编码的当前块314进行解码,需要关于对当前块314应用的帧内预测模式的信息。换句话说,对当前块314进行解码需要关于用于当前块314的帧内预测的方向的信息。因此,即使残差被最小化,仍然将关于帧内预测方向的信息添加到比特流的开销中,从而使降低视频编码的压缩率的效果减低。
根据本发明示例性实施例,为了防止上述问题,用于参考块324的帧内预测的帧内预测模式也用于执行当前块314的帧内预测。参考块324被包括在已被编码或解码的参考图片320中。因此,首先确定用于参考块324的帧内预测模式,并且确定的帧内预测模式也被应用于当前块314的帧内预测,从而不需要将关于当前块314的帧内预测模式的信息插入到比特流的开销中。
在根据本发明示例性实施例的帧间预测方法中,关于当前块的数据是帧间预测残差,所述帧间预测残差是两个帧内预测残差之间的差。现有技术中,通过从当前块的像素值减掉作为当前块的预测值的参考块的像素值来获得残差,并对所述残差进行编码。然而,根据本发明示例性实施例,仅对当前块的帧内预测残差和参考块的帧内预测残差之间的差进行编码从而降低将被编码的残差的大小。在这种情况下本发明的优点由如下等式(1)示出。
帧间预测残差=(O-F(o))-(P-F(r))=O-[P+(F(o)-F(r))]...(1)
其中,O表示当前块314的像素值;F(o)表示当前块314的通过执行帧内预测获得的帧内预测值;P表示参考块324的像素值;F(r)表示参考块324的通过执行帧内预测获得的帧内预测值。
如等式(1)所示,根据本发明示例性实施例,通过从当前块314的残差(当前块314的像素值和预测值之间的差)减掉参考块324的残差(参考块324的像素值和预测值之间的差)来计算帧间预测残差。
换句话说,通过从当前块314的像素值减掉参考块324的像素值与参考块324的每个帧内预测值之间的差的和来获得帧间预测残差。
参照等式(1),根据现有技术,(O-P)是帧间预测残差,但根据本发明示例性实施例,通过从(O-P)减掉(F(o)-F(r))来获得的值是帧间预测残差,也就是说,可降低残差从而提高视频编码的压缩率。如果(F(o)-F(r))是负数,则可通过从(O-P)减掉所述负数的绝对值或如现有技术中建议的仅对(O-P)进行编码来自适应地最小化将在基于帧间预测进行的编码中使用的残差。
参照图2,根据本发明示例性实施例,运动补偿单元220包括第一帧内预测单元222、第二帧内预测单元224和帧间预测单元226。
第一帧内预测单元222通过使用帧存储器250存储的包括在当前图片的先前编码区域中的与当前块314相邻的像素产生当前块314的帧内预测值。如果产生了帧内预测值,则为了产生当前块314的帧内预测残差而从当前块314的像素值减掉帧内预测值。
第二帧内预测单元224对由运动估计单元210确定的与当前块314相应的参考块324执行帧内预测。也就是说,通过基于帧存储器250存储的参考图片对参考块324执行帧内预测来获得的帧内预测值。如果产生了帧内预测值,则为了产生参考块324的帧内预测残差而从参考块324的像素值减掉帧内预测值。此外,将关于执行帧内预测的帧内预测模式的信息发送到第一帧内预测单元222,从而第一帧内预测单元222可根据与第二帧内预测单元224相同的帧内预测模式执行帧内预测。
帧间预测单元226接收由第一帧内预测单元222产生的当前块314的帧内预测残差,并接收由第二帧内预测单元224产生的参考块324的帧内预测残差;并且产生当前块314的帧间预测残差。通过从当前块314的帧内预测残差减掉参考块324的帧内预测残差来产生所述帧间预测残差。
编码单元230通过将帧间预测残差变换到频域并在频域执行量化和熵编码来将产生的帧间预测残差编码为比特流。在这种情况下,从运动估计单元210接收关于当前块314的运动矢量的信息并将其插入比特流的开销中。
恢复单元240从编码单元230接收关于编码的帧间预测残差的数据,并且对其执行反量化和逆变换从而恢复当前块314的帧间预测残差。恢复单元240通过使用从第一帧内预测单元222接收的当前块314的帧内预测值和从第二帧内预测单元224接收的参考块324的帧内预测残差来恢复当前块314。首先通过将从第二帧内预测单元224接收的参考块324的帧内预测残差与恢复的帧间预测残差进行组合来得到当前块314的帧内预测残差。随后,通过将产生的当前块314的帧内预测残差与当前块314的帧内预测值进行组合来恢复当前块314。
滤波器260对恢复的当前块314执行解块滤波,并将滤波结果存储在帧存储器250中。帧存储器250不仅存储当前图片310的用于对当前块314执行帧内预测的先前编码区域,还存储关于参考图片320的信息。第一帧内预测单元222和第二帧内预测单元224基于先前编码区域和关于参考图片的信息执行帧内预测。
图4是示出根据本发明示例性实施例的帧间预测方法的流程图。参照图2和图4,基于根据本发明示例性实施例的帧间预测进行编码的设备(编码设备)搜索参考图片中的与当前块相应的参考块,并且基于参考块估计用与当前块的运动矢量(操作410)。也就是说,在存储在帧存储器250中的参考图片中搜索与当前块相应的参考块,计算当前图片中的当前块的位置和参考图片中的参考块的位置之间的距离从而产生运动矢量。
接下来,所述编码设备对当前块和参考块中的每一个执行帧内预测从而获得当前块的帧内预测残差和参考块的帧内预测残差,并且计算当前块的帧内预测残差和参考块的帧内预测残差之间的差(操作420)。
特别地,通过使用包括在当前图片的先前编码区域中的与当前块相邻的像素对当前块执行帧内预测来产生当前块的帧内预测值;通过使用与参考块相邻的像素对参考块执行帧内预测来产生参考块的帧内预测值。执行帧内预测后,通过从当前块的像素值减掉当前块的帧内预测值来产生当前块的帧内预测残差,通过从参考块的像素值减掉参考块的帧内预测值来产生参考块的帧内预测残差。优选地,根据相同的帧内预测模式分别对当前块和参考块执行帧内预测。接下来,从当前块的帧内预测残差减掉参考块的帧内预测残差从而计算两个帧内预测残差的差。
接下来,操作430中,所述编码设备对操作410中估计的运动矢量和操作420中计算的两个帧内预测残差之间的差(即,帧间预测残差)进行编码。
图5是根据本发明示例性实施例的基于帧间预测进行解码的设备的框图。参照图5,所述解码设备包括解码单元510、运动估计单元520、帧存储器530和滤波器540。
解码单元510接收包含关于当前块的数据的比特流(所述当前块基于根据图3中示出的帧间预测方法的帧间预测已被编码),以及从比特流提取关于当前块的数据和关于帧间预测模式的信息。
对比特流执行熵解码从而从比特流提取关于帧间预测模式的信息。此外,对作为执行熵解码的结果而产生的量化参数执行反量化和逆变换从而产生当前块的帧间预测残差。关于帧间预测模式的信息指示根据基于帧间预测的编码方法对当前块进行了编码的信息。此外,关于帧间预测模式的信息还包含关于用于对当前块执行帧间预测的运动矢量的信息。
帧间预测残差是当前块的帧内预测残差和参考块的帧内预测残差之间的差,并且关于当前块的数据基于图3中示出的帧间预测方法被编码。
运动补偿单元520基于由解码单元510提取的关于当前块的数据(帧间预测残差)和关于帧间预测模式的信息来恢复当前块。
根据本发明示例性实施例,运动补偿单元520包括第一帧内预测单元522、帧间预测单元524和第二帧内预测单元526。
第一帧内预测单元522通过参考帧存储器530来设置参考块,并对参考块执行帧内预测。由解码单元510提取的关于帧间预测模式的信息包含运动矢量。因此,基于运动矢量来设置用于对存储在帧存储器530中的当前块执行帧间预测的参考块,并通过使用与参考块邻近的像素对参考块执行帧内预测。
将通过执行帧内预测获得的参考块的帧内预测值与参考块进行比较从而获得两者之间的差(即,参考块的帧内预测残差)。
帧间预测单元524通过将第一帧内预测单元522产生的参考块的帧内预测残差和由解码单元510提取的帧间预测残差进行组合来产生当前块的帧内预测残差。
第二帧内预测单元526通过使用帧间预测单元524产生的当前块的帧内预测残差来恢复当前块。
也就是说,使用包括在帧存储器530存储的当前图片的先前编码区域中的与当前块相邻的像素来对当前块执行帧内预测。随后,通过将通过执行帧内预测产生的当前块的预测值与帧间预测单元524产生的当前块的帧内预测残差进行组合来恢复当前块。
根据本发明示例性实施例,由于比特流中不包含用于当前块的帧内预测模式(关于帧内预测的方向的信息),所以根据参考块的帧内预测模式来对当前块执行帧内预测。
滤波器540对由第二帧内预测单元526输出的恢复的当前块的像素值执行解块滤波,并且将滤波的结果存储在帧存储器530中,从而可将滤波的结果用于对后来的块进行解码。
图6是根据本发明示例性实施例的基于帧间预测进行解码的方法的流程图。参照图6,基于帧间预测进行解码的设备(解码设备)接收包含关于当前块的数据的比特流,所述当前块基于图3所示的帧间预测方法已被编码(操作610)。
接下来,所述解码设备从比特流提取关于当前块的数据和关于帧间预测模式的信息(操作620)。
关于当前块的数据包含关于帧间预测残差的数据,所述帧间预测残差是当前块的帧内预测残差和参考块的帧内预测残差之间的差。关于当前块的帧间预测模式的信息包含指示根据基于本发明示例性实施例的帧间预测的编码方法对当前块进行了编码的信息,并包含关当前块的运动矢量的信息。
接下来,所述解码设备基于操作620中提取的关于当前块的数据和关于帧间预测模式的信息来恢复当前块(操作630)。
基于操作620中提取的运动矢量来确定参考块,以及产生参考块的帧内预测残差。将参考块的帧内预测残差与操作620中提取的帧间预测残差进行组合,从而产生当前块的帧内预测残差。从当前块的帧内预测值减掉当前块的帧内预测残差,从而恢复当前块。

Claims (17)

1、一种基于帧间预测进行编码的方法,所述方法包括:
在参考图片中搜索与当前块相应的参考块,基于所述参考块估计当前块的运动矢量;
对当前块和参考块的每一个执行帧内预测以获得当前块的帧内预测残差和参考块的帧内预测残差,计算当前块的帧内预测残差和参考块的帧内预测残差之间的差;以及
基于所述运动矢量以及当前块的帧内预测残差与参考块的帧内预测残差之间的差对当前块进行编码。
2、如权利要求1所述的方法,其中,所述计算当前块的帧内预测残差与参考块的帧内预测残差之间的差的步骤包括:
对当前块执行帧内预测以获得当前块的帧内预测残差;
对参考块执行帧内预测以获得参考块的帧内预测残差;以及
通过从当前块的帧内预测残差减掉参考块的帧内预测残差来获得当前块的帧内预测残差与参考块的帧内预测残差之间的差。
3、如权利要求2所述的方法,其中,使用与当前块邻近的像素的像素值对当前块执行帧内预测,使用与参考块邻近的像素的像素值对参考块执行帧内预测。
4、如权利要求3所述的方法,其中,根据相同的帧内预测模式对当前块和参考块执行帧内预测。
5、一种基于帧间预测进行编码的设备,所述设备包括:
运动估计单元,在参考图片中搜索与当前块相应的参考块,基于参考块估计当前块的运动矢量;
运动补偿单元,对当前块和参考块执行帧内预测,计算通过执行帧内预测得到的当前块的帧内预测残差与参考块的的帧内预测残差之间的差;以及
编码单元,基于所述运动矢量以及当前块的帧内预测残差与参考块的帧内预测残差之间的差对当前块进行编码。
6、如权利要求5所述的设备,其中,运动补偿单元包括:
第一帧内预测单元,对当前块执行帧内预测以产生当前块的帧内预测残差;
第二帧内预测单元,对参考块执行帧内预测以获得参考块的帧内预测残差;以及
帧间预测单元,从当前块的帧内预测残差减掉参考块的帧内预测残差从而获得两个帧内预测残差之间的差。
7、如权利要求6所述的设备,其中,第一帧内预测单元使用与当前块邻近的像素的像素值对当前块执行帧内预测,第二帧内预测单元使用与参考块邻近的像素的像素值对参考块执行帧内预测。
8、如权利要求7所述的设备,其中,第一帧内预测单元和第二帧内预测单元根据相同的帧内预测模式分别对当前块和参考块执行所述帧内预测。
9、一种基于帧间预测进行解码的方法,所述方法包括:
接收包含关于当前块的数据的比特流,所述当前块基于当前块的运动矢量以及当前块的帧内预测残差与参考块的的帧内预测残差之间的差被编码;
从比特流提取关于当前块的数据和关于当前块的帧间预测模式的信息;以及
基于关于当前块的数据和关于当前块的帧间预测模式的信息来恢复当前块。
10、如权利要求9所述的方法,其中,所述关于当前块的数据与通过从当前块的帧内预测残差减掉参考块的帧内预测残差而获得的差相关。
11、如权利要求10所述的方法,其中,恢复当前块的步骤包括:
对当前块执行帧内预测以产生参考块的帧内预测残差;
对参考块的帧内预测残差与当前块的帧内预测残差之间的差以及参考块的帧内预测残差进行组合以产生当前块的帧内预测残差;以及
对当前块执行帧内预测以产生帧内预测值,将当前块的帧内预测值与当前块的帧内预测残差进行组合以恢复当前块。
12、如权利要求10所述的方法,其中,根据相同的帧内预测模式对当前块和参考块执行帧内预测。
13、一种基于帧间预测进行解码的设备,所述设备包括:
解码单元,接收包含关于当前块的数据的比特流,从比特流提取关于当前块的数据和关于当前块的帧间预测模式的信息,其中,所述当前块基于当前块的运动矢量以及当前块的帧内预测残差与参考块的的帧内预测残差之间的差被编码;以及
运动补偿单元,基于关于当前块的数据和关于当前块的帧间预测模式的信息来恢复当前块。
14、如权利要求13所述的设备,其中,所述关于当前块的数据与通过从当前块的帧内预测残差减掉参考块的帧内预测残差而获得的差相关。
15、如权利要求14所述的设备,其中,所述运动补偿单元包括:
第一帧内预测单元,对当前块执行帧内预测以产生参考块的帧内预测残差;
帧间预测单元,对参考块的帧内预测残差与当前块的帧内预测残差之间的差以及参考块的帧内预测残差进行组合以产生当前块的帧内预测残差;以及
第二帧内预测单元,对当前块执行帧内预测以产生帧内预测值,将当前块的所述帧内预测值与所述当前块的帧内预测残差进行组合以恢复当前块。
16、如权利要求14所述的设备,其中,第一帧内预测单元和第二帧内预测单元根据相同的帧内预测模式分别对当前块和参考块执行帧内预测。
17、一种在其上记录有执行基于帧间预测的解码方法的计算机程序的计算机可读介质,所述方法包括:
接收包含关于当前块的数据的比特流,所述当前块基于当前块的运动矢量以及当前块的帧内预测残差与参考块的的帧内预测残差之间的差被编码;
从比特流提取关于当前块的数据和关于当前块的帧间预测模式的信息;以及
基于关于当前块的数据和关于当前块的帧间预测模式的信息来恢复当前块。
CN2008800115313A 2007-02-05 2008-01-09 基于帧间预测进行编码和解码的方法和设备 Expired - Fee Related CN101653006B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020070011821 2007-02-05
KR10-2007-0011821 2007-02-05
KR1020070011821A KR101365575B1 (ko) 2007-02-05 2007-02-05 인터 예측 부호화, 복호화 방법 및 장치
PCT/KR2008/000115 WO2008096964A1 (en) 2007-02-05 2008-01-09 Method and apparatus for encoding and decoding based on inter prediction

Publications (2)

Publication Number Publication Date
CN101653006A true CN101653006A (zh) 2010-02-17
CN101653006B CN101653006B (zh) 2012-02-08

Family

ID=39676134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800115313A Expired - Fee Related CN101653006B (zh) 2007-02-05 2008-01-09 基于帧间预测进行编码和解码的方法和设备

Country Status (6)

Country Link
US (1) US8228989B2 (zh)
EP (1) EP2123050A4 (zh)
JP (1) JP5524625B2 (zh)
KR (1) KR101365575B1 (zh)
CN (1) CN101653006B (zh)
WO (1) WO2008096964A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210646A (zh) * 2010-09-07 2013-07-17 Sk电信有限公司 通过有效选择帧内预测模式组来对图像编码/解码的方法和装置
CN104137540A (zh) * 2012-01-16 2014-11-05 联发科技(新加坡)私人有限公司 帧内模式编码的方法及装置
CN104853214A (zh) * 2010-04-16 2015-08-19 Sk电信有限公司 帧间预测方法和使用帧间预测方法的视频编码/解码方法
CN108282659A (zh) * 2011-06-28 2018-07-13 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN108848387A (zh) * 2011-09-12 2018-11-20 佳能株式会社 推导参考预测模式值的方法
CN110830799A (zh) * 2012-01-18 2020-02-21 韩国电子通信研究院 视频解码装置、视频编码装置和计算机可读记录介质
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2022237168A1 (zh) * 2021-05-10 2022-11-17 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375664B1 (ko) * 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
WO2009113787A2 (en) * 2008-03-09 2009-09-17 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
KR20110068793A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 영상 부호화 및 복호화를 위한 장치 및 방법
KR20120025111A (ko) * 2010-09-07 2012-03-15 에스케이 텔레콤주식회사 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
US20120300838A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Low resolution intra prediction
EP2833633A4 (en) * 2012-03-29 2015-11-11 Lg Electronics Inc METHOD FOR PREDICTION BETWEEN LAYERS, AND ENCODING DEVICE AND DECODING DEVICE USING THE SAME
KR101221227B1 (ko) * 2012-05-10 2013-01-11 상명대학교 산학협력단 다중코어기반 영역 할당을 이용한 움직임 추정 방법 및 장치
CN104641644A (zh) * 2012-05-14 2015-05-20 卢卡·罗萨托 基于沿时间的样本序列的混合的编码和解码
KR102148650B1 (ko) 2012-06-19 2020-08-28 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
WO2015180166A1 (en) * 2014-05-30 2015-12-03 Mediatek Singapore Pte. Ltd. Improved intra prediction mode coding
CN113678440B (zh) 2019-04-12 2023-12-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测与其它编码工具之间的交互
JP7403555B2 (ja) 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
JP2022531147A (ja) 2019-05-01 2022-07-06 北京字節跳動網絡技術有限公司 フィルタリングを用いた行列ベースイントラ予測
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
JP2022533190A (ja) 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
US11202070B2 (en) 2019-05-30 2021-12-14 Hulu, LLC Parallel bi-directional intra-coding of sub-partitions
US11197009B2 (en) 2019-05-30 2021-12-07 Hulu, LLC Processing sub-partitions in parallel using reference pixels
CN114051735B (zh) 2019-05-31 2024-07-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
CN117579823A (zh) 2019-10-28 2024-02-20 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
WO2022140905A1 (zh) * 2020-12-28 2022-07-07 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质
WO2023277603A1 (ko) * 2021-07-02 2023-01-05 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832047B2 (ja) * 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
US6782052B2 (en) 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
BRPI0406625A (pt) * 2003-01-07 2005-12-06 Thomson Licensing Sa Inter / intra vìdeo-codificação mista de partições de macroblocos
JP5052891B2 (ja) * 2003-08-26 2012-10-17 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
US7526025B2 (en) * 2003-10-24 2009-04-28 Sony Corporation Lifting-based implementations of orthonormal spatio-temporal transformations
MXPA06006117A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
US20070201828A1 (en) * 2004-04-02 2007-08-30 Cheng Tao Method and device for generating a menu
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
EP1817911A4 (en) * 2004-12-03 2015-05-20 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILAYER VIDEO ENCODING AND DECODING
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
EP1889487A1 (en) * 2005-06-10 2008-02-20 Samsung Electronics Co., Ltd. Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
AU2006269728B2 (en) * 2005-07-11 2011-11-03 Interdigital Madison Patent Holdings Method and apparatus for macroblock adaptive inter-layer intra texture prediction
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853214A (zh) * 2010-04-16 2015-08-19 Sk电信有限公司 帧间预测方法和使用帧间预测方法的视频编码/解码方法
CN104935922A (zh) * 2010-04-16 2015-09-23 Sk电信有限公司 帧间预测方法和使用帧间预测方法的视频编码/解码方法
CN104853214B (zh) * 2010-04-16 2018-04-03 Sk电信有限公司 帧间预测方法和使用帧间预测方法的视频编码/解码方法
CN104935922B (zh) * 2010-04-16 2018-05-01 Sk电信有限公司 帧间预测方法和使用帧间预测方法的视频编码/解码方法
CN103210646A (zh) * 2010-09-07 2013-07-17 Sk电信有限公司 通过有效选择帧内预测模式组来对图像编码/解码的方法和装置
CN108282659A (zh) * 2011-06-28 2018-07-13 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN108282659B (zh) * 2011-06-28 2022-02-25 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN108848387B (zh) * 2011-09-12 2022-06-07 佳能株式会社 推导参考预测模式值的方法
CN108848387A (zh) * 2011-09-12 2018-11-20 佳能株式会社 推导参考预测模式值的方法
US9942566B2 (en) 2012-01-16 2018-04-10 Hfi Innovation Inc. Method and apparatus for intra mode coding
US10638156B2 (en) 2012-01-16 2020-04-28 Hfi Innovation Inc. Method and apparatus for intra mode coding
US10178409B2 (en) 2012-01-16 2019-01-08 Hfi Innovation Inc. Method and apparatus for intra mode coding
US10368095B2 (en) 2012-01-16 2019-07-30 Hfi Innovation Inc. Method and apparatus for intra mode coding
US20180176598A1 (en) 2012-01-16 2018-06-21 Hfi Innovation Inc. Method and apparatus for intra mode coding
CN104137540A (zh) * 2012-01-16 2014-11-05 联发科技(新加坡)私人有限公司 帧内模式编码的方法及装置
US9936224B2 (en) 2012-01-16 2018-04-03 Hfi Innovation Inc. Method and apparatus for intra mode coding
CN110830799A (zh) * 2012-01-18 2020-02-21 韩国电子通信研究院 视频解码装置、视频编码装置和计算机可读记录介质
CN110855984A (zh) * 2012-01-18 2020-02-28 韩国电子通信研究院 视频解码装置、视频编码装置和计算机可读记录介质
CN110855984B (zh) * 2012-01-18 2023-05-02 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
US11706438B2 (en) 2012-01-18 2023-07-18 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
CN110830799B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
US12003752B2 (en) 2012-01-18 2024-06-04 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11818383B2 (en) 2018-10-10 2023-11-14 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2022237168A1 (zh) * 2021-05-10 2022-11-17 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Also Published As

Publication number Publication date
US8228989B2 (en) 2012-07-24
CN101653006B (zh) 2012-02-08
KR20080073157A (ko) 2008-08-08
JP2010518674A (ja) 2010-05-27
US20080187044A1 (en) 2008-08-07
WO2008096964A1 (en) 2008-08-14
JP5524625B2 (ja) 2014-06-18
EP2123050A4 (en) 2011-01-12
EP2123050A1 (en) 2009-11-25
KR101365575B1 (ko) 2014-02-25

Similar Documents

Publication Publication Date Title
CN101653006B (zh) 基于帧间预测进行编码和解码的方法和设备
CN101601304B (zh) 用于对多视图图像进行编码和解码的方法和设备
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
CN101595735B (zh) 对视频进行编码和解码的方法和设备
CN101816183B (zh) 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
TWI735257B (zh) 影像預測解碼方法、影像預測編碼方法、影像預測解碼器、影像預測編碼器、及儲存有電腦程式之非暫時性記錄媒體
CN101543074B (zh) 去块滤波装置和方法
CN101536530B (zh) 基于运动估计进行视频编码和解码的方法和设备
TWI736186B (zh) 影像預測解碼裝置及影像預測解碼方法
US20120269263A1 (en) Method for coding and method for reconstruction of a block of an image
KR101950015B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR20060109248A (ko) 영상신호의 엔코딩/디코딩시에 내부모드 블록의 정보를처리하는 방법 및 장치
WO2008054176A1 (en) Method and apparatus for video predictive encoding and method and apparatus for video predictive decoding
CN101554058B (zh) 基于帧内预测进行编码和解码的方法和装置
WO2010035735A1 (ja) 画像処理装置および方法
KR101220097B1 (ko) 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법
JP5849681B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20080068277A (ko) 움직임 추정을 이용한 영상의 부호화, 복호화 방법 및 장치
Zhang et al. Edge direction-based fast coding unit partition for HEVC screen content coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120208

Termination date: 20160109

CF01 Termination of patent right due to non-payment of annual fee