CN1492688A - 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法 - Google Patents

用于宏块组结构的两阶段预测编码的帧内编码帧编码方法 Download PDF

Info

Publication number
CN1492688A
CN1492688A CNA031544746A CN03154474A CN1492688A CN 1492688 A CN1492688 A CN 1492688A CN A031544746 A CNA031544746 A CN A031544746A CN 03154474 A CN03154474 A CN 03154474A CN 1492688 A CN1492688 A CN 1492688A
Authority
CN
China
Prior art keywords
pixel
coding
macro block
prediction piece
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031544746A
Other languages
English (en)
Other versions
CN1224270C (zh
Inventor
芸 何
何芸
朱刚
李国平
付文方
杨平
许晓中
赵海武
陈勇
朱维佳
宋利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
SVA Group Co Ltd
Original Assignee
Tsinghua University
SVA Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, SVA Group Co Ltd filed Critical Tsinghua University
Priority to CN 03154474 priority Critical patent/CN1224270C/zh
Publication of CN1492688A publication Critical patent/CN1492688A/zh
Application granted granted Critical
Publication of CN1224270C publication Critical patent/CN1224270C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于信号处理中的视频编解码领域,涉及用于宏块组结构的两阶段预测编码的帧内编码帧编码方法。主要包括:将原始宏块组NS和派生宏块组VS中的各个宏块作为预测块;在两阶段预测编码过程中,将该预测块周围两个、三个或四个方向的所有重建和插值的象素作为参考象素集,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测,得到各个预测模式下的预测块的预测值;其特点为:在基于宏块组编码的各个阶段,在各种情况下,对宏块组内各宏块进行帧内预测。充分利用周围的可得象素作为参考,对宏块组内各个宏块进行帧内预测。

Description

用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
技术领域  本发明属于信号处理中的视频编解码领域,特别涉及帧内编码帧的编码预测技术。
背景技术  传统的视频编码标准如ITU制定的H.261,H.263,H.263+,H.264标准以及ISO的MPEG组织制定的MPEG-1,MPEG-2,MPEG-4等都是建立在混合编码,即Hybrid Coding框架之上的。所谓混合编码框架是一种混合时间空间视频图象编码方法,该方法包括:先进行帧内、帧间的预测,以消除时间域的相关性;然后对原始图象与预测结果的残差进行二维变换(采用离散余弦变换或其它线性变换),消除空间相关性;然后进行熵编码,去除统计上的冗余度。
混合编码框架中包括了帧内编码帧编码和帧间编码帧编码两种不同的编码方法。传统的帧内编码帧编码过程如下:对原始图象数据进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;最后进行熵编码,即Huffman编码或者算术编码等。帧间编码帧的编码过程如下:采用运动估计得到运动矢量,然后采用基于运动补偿的帧间预测,接着对帧间预测得到的残差块进行二维变换,再对变换域系数进行量化,最后进行熵编码。
为了提高压缩效率,预测是最常用的技术。在最近的H.264视频编码标准中,帧内编码帧的编码也充分的使用帧内预测方法。采用帧内预测的帧内编码帧编码方法为:对原始图象块与帧内预测方法得到的预测块的差值进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;最后进行熵编码,即Huffman编码或者算术编码等。
现有采用帧内预测的帧内编码帧编码方法包括编码过程和解码过程,其中的编码过程的具体步骤为:
1)从原始图像中提取一个预测块;
2)分别以各种预测模式对预测块内各个象素进行帧内预测,得到各个预测模式下的预测块的预测值;
3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式;
4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;
5)最后对量化后的系数和最佳的预测模式进行熵编码,即Hunffman编码或者算术编码等,并将编码后的数据写入码流。
解码过程的具体步骤为:
1)首先对编码码流中的数据进行熵编码的解码,对解码后的数据进行反量化和反变换后,得到本预测块的残差数据,并判断出编码过程中选定的最佳预测模式;
2)采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值;
3)用2)步得到的预测块的预测值加上1)步得到的预测块的残差数据,便得到了本预测块的重建数据。
上述方法中的预测块(Intra Predictive Block)有两种大小的预测块:宏块(16×16像素)和4×4像素的矩形块,以这种预测块作为基本预测编解码单位,预测块内每个象素的帧内预测值是通过预测块周围已经编码和重建的块的参考象素得到的。上述的帧内预测方法中所述的参考象素必须是先于本预测块已经编码和重建的象素。
在现有标准中,帧内预测的顺序是水平由左到右,垂直由上到下,因此在对每个预测块进行帧内预测时,只有左边和上边的已经编码和重建的象素可能拿来作为参考象素。上述的帧内预测方法中的每种预测模式分别对应于不同的线性预测器。线形预测器的参数由预测块上部和左部的参考象素的可得性决定。每种线性预测器以参考象素作为输入,输出的是对应被预测象素的预测值。所说的预测模式在H.264中采用了水平、垂直、斜上、和斜下等多个不同方向的线性预测器对当前预测块进行预测,其中以4×4像素的矩形块为预测块时,采用了9种不同方向的线性预测器,即9种预测模式。以宏块为预测块时,采用了4种预测模式。
如上所述,在现有的帧内编码帧编码方法预测步骤中,帧内预测的顺序是水平由左到右,垂直由上到下,图1标出了在H.264中一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(大写字母表示)的位置关系。
可以看出,由于在H.264中对帧内各个预测块采用了单纯的由左及右,由上及下的编码顺序,因此参考象素只可能出现在预测块的左侧和上侧。在对每个预测块进行帧内预测时,只有左边和上边的已经编码和重建的象素可能作为参考象素,由于参考象素的缺少会影响预测效率的提高,不能满足各种不同运动图像的需要,阻碍了视频信号压缩效率的进一步提高。
本申请的发明人提出了一种基于宏块组(Macroblock Group)结构的分阶段预测编码方法。所谓基于宏块组(Macroblock Group)结构的分阶段预测编码方法是利用宏块组数据结构的特点,采用两个阶段对宏块组进行预测编码。这种预测编码方法已经被avs(先进音视频编码标准)所采纳。
在上述预测编码方法中,定义的宏块组为:对于逐行扫描的原始图象,一个连续的32象素×32象素的方块构成一个原始宏块组;对于隔行扫描的原始图象,先将时间上相邻的奇场和偶场,或偶场和奇场图象按自然空间位置拼成帧图象,然后在拼成的帧图象中一个连续的32象素×32象素的方块就构成一个原始宏块组,如图2所示。
在avs视频编解码标准中,原始宏块组由4个16×16的宏块构成,如图3(a)所示,上层两个宏块为NS1,NS2宏块,下层两个宏块为NS3和NS4宏块。具体定义为:
NS1(x,y)=MBG(x,y),
NS2(x,y)=MBG(x+16,y),
NS3(x,y)=MBG(x,y+16),
NS4(x,y)=MBG(x+16,y+16),x,y=1,…,16,
对原始宏块组进行垂直1/2抽样,就得到垂直派生宏块组,如图3(b)所示,上层两个宏块为VS1,VS2宏块,下层两个宏块为VS3和VS4宏块。
具体定义为:
VS1(x,y)=MBG(x,2y),
VS2(x,y)=MBG(x+16,2y),
VS3(x,y)=MBG(x,2y+1),
VS4(x,y)=MBG(x+16,2y+1),x,y=1,…,16,
在avs视频编码标准中,不同类型的宏块组中有些宏块在第一阶段编码,有些在第二阶段编码。区分宏块编码阶段属性的原则是:原始宏块组NS中每个宏块必须编码才能获得比较满意的重建宏块,所以在这种宏块组中每个宏块都必须在第一阶段编码。在派生宏块组VS中,如果这个宏块被其他的已编码宏块通过插值能够获得比较满意的重建宏块,则这个宏块留在第二阶段编码,否则在第一阶段编码。具体情况如下:
VS3可以由VS1插值得到其比较满意的重建宏块,VS4可以由VS2插值得到其比较满意的重建宏块。因此在这种类型宏块组中,VS1和VS2在第一阶段编码,VS3和VS4在第二阶段编码。
在现有的avs视频编解码标准中,虽然采用了基于宏块组(Macroblock Group)结构的分阶段预测编码方法,但在各个阶段对每个宏块作帧内预测时,仍只是采用左边和上边已经编码和重建的象素作为参考象素,这种预测方法没有充分利用基于宏块组(MacroblockGroup)结构的分阶段预测编码方法的基本特点,从而帧内预测的效率不高。
发明内容  本发明的目的是为了克服已有帧内预测的帧内编解码技术的不足之处,提出了一种以宏块组分阶段编码为基础的帧内预测的帧内编码帧编码方法,本发明可充分利用周围的可得象素作为参考,对宏块组内各个宏块进行帧内预测。能够提高基于宏块组分阶段编码的帧内预测的效率,从而提高整个视频信号的压缩效率,可应用于混合编码。
本发明提出的一种用于宏块组结构的两阶段预测编码的帧内编码帧编码方法,包括编码过程和解码过程,其中的编码过程的具体步骤为:
1)将原始宏块组NS和派生宏块组VS中的各个宏块作为预测块;
2)在两阶段预测编码过程中,将该预测块周围两个、三个或四个方向的所有重建和插值的象素作为参考象素集,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测,得到各个预测模式下的预测块的预测值;
3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式;
4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;
5)最后对量化后的系数和最佳的预测模式进行熵编码,即Hunffman编码或者算术编码等,并将编码后的数据写入码流;
解码过程的具体步骤为:
1)首先对编码码流中的数据进行熵编码的解码,对解码后的数据进行反量化和反变换后,得到本预测块的残差数据,并判断出编码过程中选定的最佳预测模式;
2)采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值;
3)用2)步得到的预测块的预测值加上1)步得到的预测块的残差数据,便得到了本预测块的重建数据。
本发明用于两个阶段的宏块编码中,根据当前作预测编码的宏块的具体类型以及该宏块周围的宏块类型,设定周围可得的参考象素集。
本发明的特点:
本发明根据基于宏块组(Macroblock Group)结构的两阶段预测编码方法的基本数据结构的特点,充分利用周围的可得象素作为参考,对宏块组内各个宏块进行帧内预测。能够提高基于宏块组分阶段编码的帧内预测的效率,从而提高整个视频信号的压缩效率,可应用于混合编码。
附图说明
图1 H.264中一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(大写字母表示)的位置关系
图2  32象素×32象素的原始宏块组
图3  原始宏块组NS和垂直抽样的派生宏块组VS
图4  原始宏块组NS的宏块作为预测块时,周围的参考象素情况
图5  派生宏块组VS的VS1或VS2宏块作为预测块时,周围的参考象素情况
图6  派生宏块组VS的VS3或VS4宏块作为预测块时,周围的参考象素情况
具体实施方式  本发明提出的用于宏块组结构的两阶段预测编码的帧内编码帧编码方法结合附图及实施例详细说明如下:
本发明的方法包括编码过程和解码过程,其中的编码过程的具体步骤为:
1)将原始宏块组NS和派生宏块组VS中的各个宏块作为预测块;
2)在两阶段预测编码过程中,将该预测块周围两个、三个或四个方向的所有重建和插值的象素作为参考象素集,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测,得到各个预测模式下的预测块的预测值;
3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式;
4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;
5)最后对量化后的系数和最佳的预测模式进行熵编码,即Hunffman编码或者算术编码等,并将编码后的数据写入码流;
解码过程的具体步骤为:
1)首先对编码码流中的数据进行熵编码的解码,对解码后的数据进行反量化和反变换后,得到本预测块的残差数据,并判断出编码过程中选定的最佳预测模式;
2)采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值;
3)用2)步得到的预测块的预测值加上1)步得到的预测块的残差数据,便得到了本预测块的重建数据。
本发明用于两个阶段的宏块编码中,根据当前作预测编码的宏块的具体类型以及该宏块周围的宏块类型,设定周围可得的参考象素集,本发明设定参考象素集,各种情况举例说明如下:
在第一阶段编码时:
1)如果当前预测块为原始宏块组NS的宏块,左边和上边的宏块都是原始宏块组VS的宏块,如图4所示:“x”代表底场(bottom field)象素,”o”代表顶场(top field)象素,如果底场在先(bottom field first)时,”x”象素是经过第一阶段编码重建的,”o”象素是在编码第一阶段通过插值得到的。如果是顶场在先(top field first),则“o”象素是经过第一阶段编码重建的,“x”象素是在编码第一阶段通过插值得到的。上述所提及的所有重建和插值的象素作为参考象素集。
2)如果当前预测块为原始宏块组NS的宏块,左边为原始宏块组VS的宏块,上边为隔行扫描所得原始宏块组NS的宏块,如图4所示,图像是底场在先时,则图4左边的”x”以及上边的紧邻象素都是经过第一阶段编码重建的,图4左边的”o”象素是在编码第一阶段通过插值得到的。如果是顶场在先,则图4左边的“o”以及上边的紧邻象素都是经过第一阶段编码重建的,图4左边的“x”象素是在编码第一阶段通过插值得到的。如果原始宏块组NS的宏块为逐行扫描所得,则图像是底场在先时,当前原始宏块组NS的宏块左边的底场象素以及上边紧邻的象素都是经过第一阶段编码重建的,当前原始宏块组NS的宏块左边的顶场象素是在编码第一阶段通过插值得到的。如果是顶场在先,则当前原始宏块组NS的宏块左边的顶场象素以及上边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组NS的宏块左边的底场象素是在编码第一阶段通过插值得到的。上述所提及的所有重建和插值的象素作为参考象素集。
3)如果当前预测块为原始宏块组NS的宏块,上边为原始宏块组VS的宏块,左边为隔行扫描所得原始宏块组NS的宏块,如图4所示,图像是底场在先时,图4上边的”x”象素以及左边的紧邻象素都是经过第一阶段编码重建的,图4上边的”o”象素是在编码第一阶段通过插值得到的。如果是顶场在先,则图4上边的“o”象素以及左边的紧邻象素都是经过第一阶段编码重建的,图4上边的“x”象素是在编码第一阶段通过插值得到的。如果原始宏块组NS的宏块为隔行扫描所得,如果图像是底场在先,则当前原始宏块组NS的宏块上边的底场象素以及左边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组NS的宏块上边的顶场象素是在编码第一阶段通过插值得到的。如果是顶场在先,则当前原始宏块组NS的宏块上边的顶场象素以及左边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组NS的宏块上边的底场象素是在编码第一阶段通过插值得到的。上述所提及的所有重建和插值的象素作为参考象素集。
4)如果当前预测块为原始宏块组NS的宏块,左边为原始宏块组NS的宏块,上边为原始宏块组NS的宏块,则当前原始宏块组NS的宏块左边和上边的紧邻象素都为编码重建后的象素,上述所提及的所有重建的象素构成参考象素集。
5)如果当前预测块为原始宏块组VS的宏块,左边和上边都是原始宏块组VS的宏块,因为在第一阶段编码的原始宏块组VS的宏块只有VS1和VS2宏块,所以在图5中“x”表示第一阶段编码重建的VS1宏块或VS2宏块的象素,”o”表示象素是在编码第一阶段通过插值得到的VS3宏块或VS4宏块的象素。上述所提及的所有重建和插值的象素作为参考象素集。
6)如果当前预测块为原始宏块组VS的宏块,左边原始宏块组VS的宏块,上边是原始宏块组NS的宏块,图像底场在先时,则当前原始宏块组VS的宏块左边底场象素以及上边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组VS的宏块左边的顶场象素是在编码第一阶段通过插值得到的。如果图像顶场在先,则当前原始宏块组VS的宏块左边顶场象素以及上边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组VS的宏块左边的底场象素是在编码第一阶段通过插值得到的。上述所提及的所有重建和插值的象素作为参考象素集。
7)如果当预测前块为原始宏块组VS的宏块,左边原始宏块组NS的宏块,上边是原始宏块组VS的宏块,如图4所示,如果图像底场在先,则当前原始宏块组VS的宏块上边底场象素以及左边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组VS的宏块上边的顶场象素是在编码第一阶段通过插值得到的。如果图像顶场在先,则当前原始宏块组VS的宏块上边顶场象素以及左边的紧邻象素都是经过第一阶段编码重建的,当前原始宏块组VS的宏块上边的底场象素是在编码第一阶段通过插值得到的。上述所提及的所有重建和插值的象素作为参考象素集。
8)如果当前预测块为原始宏块组VS的宏块,左边为原始宏块组NS的宏块,上边为原始宏块组NS的宏块,如图5所示,当前原始宏块组VS的宏块左边和上边的紧邻象素都为编码重建后的象素,上述所提及的所有重建的象素构成参考象素集。
在编码的第二阶段编码的只有VS3宏块和VS4宏块,如图6所示,其周围参考象素的情况会有如下几种:
对VS3宏块进行编码预测时,VS3宏块的上下左右四个方向都会出现参考象素,且上边为已经编码重建的VS1块,右边是已经编码重建的VS2块和已经通过VS2块插值得到的VS4块。
1)如果VS3宏块左边和下边都是原始宏块组VS的宏块时,则图6中,图6中“o”为已经编码重建的象素,“x”是通过第一阶段编码过程中由插值所得到的象素,上述所提及的四个方向的重建和插值的象素作为参考象素集。
2)如果VS3宏块左边和下边都为原始宏块组NS的宏块时,则四个方向紧邻的象素都为已经编码重建的象素,这些重建后的象素构成参考象素集。
3)如果左边是原始宏块组NS的宏块,下边是原始宏块组VS的宏块时,当图像为底场在先时,当前VS3宏块右边和下边的顶场象素由第一阶段插值得到,而左边和上边的紧邻象素以及右边和下边的底场象素为已编码重建的象素。当图像为顶场在先时,当前VS3宏块右边和下边的底场象素由第一阶段插值得到,而左边和上边的紧邻象素以及右边和下边的顶场象素为已编码重建的象素。上述所提及的四个方向的重建和插值的象素作为参考象素集。
4)如果左边是原始宏块组VS的宏块,下边是原始宏块组NS的宏块,当图像为底场在先时,当前VS3宏块右边和左边的顶场象素由第一阶段插值得到,而下边和上边的紧邻象素以及右边和左边的底场象素为已编码重建的象素。当图像为顶场在先时,当前VS3宏块右边和左边的底场象素由第一阶段插值得到,而下边和上边的紧邻象素以及右边和左边的顶场象素为已编码重建的象素。上述所提及的四个方向的重建和插值的象素作为参考象素集。
对VS4进行编码时,VS4宏块的左右上下都四个方向可能会出现参考象素,且VS4宏块上边和左边都为已经编码重建的象素。
1)如果VS4宏块右边和下边都为原始宏块组NS的宏块的话,则四个方向的紧邻象素都为已经编码重建的象素,这些重建后的象素构成参考象素集。
2)如果右边和下边都是原始宏块组VS的宏块时,当图像为底场在先时,当前VS4宏块右边和下边的顶场象素由第一阶段插值得到,而左边和上边的紧邻象素以及右边和左边的底场象素为已编码重建的象素。当图像为顶场在先时,当前VS4宏块右边和下边的底场象素由第一阶段插值得到,而左边和上边的紧邻象素以及右边和下边的顶场象素为已编码重建的象素。上述所提及的四个方向的重建和插值的象素作为参考象素集。
3)如果右边是原始宏块组NS的宏块,下边是原始宏块组VS的宏块时,当图像为底场在先时,当前VS4宏块下边的顶场象素由第一阶段插值得到,而左边、上边和右边的紧邻象素以及下边的底场象素为已编码重建的象素。当图像为顶场在先时,当前VS4宏块下边的底场象素由第一阶段插值得到,而左边、上边和右边的紧邻象素以及下边的顶场象素为已编码重建的象素。上述所提及的四个方向的重建和插值的象素作为参考象素集。
4)如果右边是原始宏块组VS的宏块,下边是原始宏块组NS的宏块时,当图像为底场在先时,当前VS4宏块右边的顶场象素由第一阶段插值得到,而下边、上边和左边的紧邻象素以及右边的底场象素为已编码重建的象素。当图像为顶场在先时,当前VS4宏块右边的底场象素由第一阶段插值得到,而下边、上边和左边的紧邻象素以及右边的顶场象素为已编码重建的象素。上述所提及的四个方向的重建和插值的象素作为参考象素集。
在编码以及解码过程中均要用到上述规定的参考象素集,参考象素集中插值的象素是在编码的第一阶段由本宏块组的已编码重建的宏块插值获得,解码时,参考象素集中插值的象素是在解码的第一阶段由本宏块组的已解码出来的宏块插值获得。
上述帧内编码帧编码方法及设定的不同参考象素集运用于基于宏块组(MacroblockGroup)结构的分阶段预测编码方法的实施例如下:
本实施例包括编码过程和解码过程,其中编码过程包括以下步骤:
1)从原始图像中提取一个原始宏块组NS,并对原始宏块组进行垂直1/2抽样,得到派生宏块组VS;
2)先对宏块组的原始宏块组NS的宏块组形式进行编码,在这种块组形式下,4个原始宏块组NS的宏块都必须在第一阶段编码。根据上述在各种情况下设定的参考象素集,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测;
3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式(所说的每种预测模式分别对应于不同的预测器;每种预测器以参考象素作为输入,输出的是对应被预测象素的预测值。);
4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码并计算编码代价。
5)对宏块组的VS块组形式进行编码。在这种块组形式下,VS1和VS2块在第一阶段编码。VS3和VS4块在第二阶段编码。在对VS1和VS2块进行第一阶段编码时,根据上述在各种情况下参考象素集的设定,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测。
6)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式,对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码并计算编码代价,同时估算VS3和VS4块的编码代价,和原始宏块组NS的宏块组形式下的编码代价进行比较,选取编码代价最小的为最佳块组形式。
7)对最佳块组形式进行编码后连同编码后的残差数据、最佳预测模式一起写入码流。最后利用VS1和VS2块的重建数据对VS3和VS4块进行插值,得到VS3和VS4块的插值象素。
8)对整个帧作完第一阶段编码后,开始对还没有编码的宏块进行第二阶段的编码。在这个阶段编码的宏块都是VS3宏块和VS4宏块,根据上述在各种情况下参考象素集的设定,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测。
9)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式;
10)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码,并写入码流。
该解码过程包括以下步骤:
1)首先对编码码流中的数据进行解码和判断,得到编码过程中选定的最佳块组模式;
2)如果最佳块组模式为原始宏块组NS的宏块组的话,根据周围宏块组的最佳块组模式确定周围的参考象素集,采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值;
3)用第2)步得到的预测块的预测值加上第1)步得到的预测块的残差数据,便得到了本预测块的重建数据。
4)如果最佳块组模式是VS块组的话,需要分两个阶段解码,首先是对VS1和VS2块进行解码,和编码过程一样,根据周围宏块组的最佳块组模式确定周围的参考象素集,采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值。
5)用第4)步得到的预测块的预测值加上第1)步得到的预测块的残差数据,便得到了本预测块的重建数据。利用VS1和VS2块的重建数据对VS3和VS4块进行插值,得到VS3和VS4块的插值象素。
6)完成第一阶段的解码过程后,再进行对VS3块和VS4块的第二阶段的解码工作,同样是根据周围宏块组的最佳块组模式确定周围的参考象素集,采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值。
7)用第6)步得到的预测块的预测值加上第1)步得到的预测块的残差数据,便得到了本预测块的重建数据。

Claims (1)

1、一种用于宏块组结构的两阶段预测编码的帧内编码帧编码方法,包括编码过程和解码过程,其中的编码过程的具体步骤为:
1)将原始宏块组NS和派生宏块组VS中的各个宏块作为预测块;
2)在两阶段预测编码过程中,将该预测块周围两个、三个或四个方向的所有重建和插值的象素作为参考象素集,用对应参考象素集里的参考象素采用各种线性或非线性滤波器对NS内部各个象素进行预测,得到各个预测模式下的预测块的预测值;
3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式;
4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系数进行量化;
5)最后对量化后的系数和最佳的预测模式进行熵编码,即Hunffman编码或者算术编码等,并将编码后的数据写入码流;
解码过程的具体步骤为:
1)首先对编码码流中的数据进行熵编码的解码,对解码后的数据进行反量化和反变换后,得到本预测块的残差数据,并判断出编码过程中选定的最佳预测模式;
2)采用选定的最佳预测模式,根据预测块的参考象素,对预测块进行预测并得到预测值;
3)用2)步得到的预测块的预测值加上1)步得到的预测块的残差数据,便得到了本预测块的重建数据。
CN 03154474 2003-09-30 2003-09-30 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法 Expired - Fee Related CN1224270C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 03154474 CN1224270C (zh) 2003-09-30 2003-09-30 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 03154474 CN1224270C (zh) 2003-09-30 2003-09-30 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法

Publications (2)

Publication Number Publication Date
CN1492688A true CN1492688A (zh) 2004-04-28
CN1224270C CN1224270C (zh) 2005-10-19

Family

ID=34240802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03154474 Expired - Fee Related CN1224270C (zh) 2003-09-30 2003-09-30 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法

Country Status (1)

Country Link
CN (1) CN1224270C (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455021C (zh) * 2004-09-30 2009-01-21 华为技术有限公司 帧内预测模式的选择方法
CN102084658A (zh) * 2008-07-01 2011-06-01 法国电信公司 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序
CN102265618A (zh) * 2008-12-25 2011-11-30 夏普株式会社 图像解码设备和图像编码设备
CN101453646B (zh) * 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
US8208739B2 (en) 2005-10-25 2012-06-26 Siemens Aktiengesellshcsft Methods and devices for the determination and reconstruction of a predicted image area
CN101529916B (zh) * 2006-10-31 2012-07-18 汤姆森许可贸易公司 利用帧内编码选择的视频编码
CN103384333A (zh) * 2008-10-01 2013-11-06 韩国电子通信研究院 使用预测模式的视频解码装置
CN104954805A (zh) * 2011-06-28 2015-09-30 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN105338345A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
US9332282B2 (en) 2008-10-01 2016-05-03 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
CN107734342A (zh) * 2012-01-19 2018-02-23 佳能株式会社 编码和解码变换单位的残差系数的有效性映射的方法
CN104125462B (zh) * 2008-07-02 2018-11-23 三星电子株式会社 图像编码方法及装置以及其解码方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148422B1 (ko) * 2010-12-08 2020-08-28 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455021C (zh) * 2004-09-30 2009-01-21 华为技术有限公司 帧内预测模式的选择方法
US8208739B2 (en) 2005-10-25 2012-06-26 Siemens Aktiengesellshcsft Methods and devices for the determination and reconstruction of a predicted image area
CN101297557B (zh) * 2005-10-25 2012-07-04 西门子公司 用于确定并重建预测的图像区域的方法和装置
CN101529916B (zh) * 2006-10-31 2012-07-18 汤姆森许可贸易公司 利用帧内编码选择的视频编码
CN101453646B (zh) * 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
US8428396B2 (en) 2007-12-04 2013-04-23 Huawei Technologies Co., Ltd. Image interpolation method and apparatus, and method for obtaining interpolation coefficients
CN102084658A (zh) * 2008-07-01 2011-06-01 法国电信公司 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序
CN102084658B (zh) * 2008-07-01 2013-06-05 法国电信公司 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序
CN104125462B (zh) * 2008-07-02 2018-11-23 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
US11277622B2 (en) 2008-10-01 2022-03-15 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US9369737B2 (en) 2008-10-01 2016-06-14 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
CN103384333A (zh) * 2008-10-01 2013-11-06 韩国电子通信研究院 使用预测模式的视频解码装置
US11882292B2 (en) 2008-10-01 2024-01-23 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US10917647B2 (en) 2008-10-01 2021-02-09 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US9332282B2 (en) 2008-10-01 2016-05-03 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US9332281B2 (en) 2008-10-01 2016-05-03 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US11683502B2 (en) 2008-10-01 2023-06-20 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US9407937B2 (en) 2008-10-01 2016-08-02 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US10742996B2 (en) 2008-10-01 2020-08-11 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US20190281305A1 (en) 2008-10-01 2019-09-12 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
CN103384333B (zh) * 2008-10-01 2018-01-16 韩国电子通信研究院 使用预测模式的视频解码装置
CN104219523B (zh) * 2008-10-01 2018-02-16 韩国电子通信研究院 使用预测模式的视频解码方法
US10321137B2 (en) 2008-10-01 2019-06-11 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US9942554B2 (en) 2008-10-01 2018-04-10 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US10178393B2 (en) 2008-10-01 2019-01-08 Electronics And Telecommunications Research Institute Image encoder and decoder using unidirectional prediction
US8792738B2 (en) 2008-12-25 2014-07-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
CN102265618B (zh) * 2008-12-25 2014-01-15 夏普株式会社 图像解码设备和图像编码设备
CN102265618A (zh) * 2008-12-25 2011-11-30 夏普株式会社 图像解码设备和图像编码设备
US10506250B2 (en) 2011-06-28 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
US9788006B2 (en) 2011-06-28 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
CN104954805B (zh) * 2011-06-28 2019-01-04 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
US10045042B2 (en) 2011-06-28 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
US10085037B2 (en) 2011-06-28 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
US9813727B2 (en) 2011-06-28 2017-11-07 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
US10075730B2 (en) 2011-06-28 2018-09-11 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
US10045043B2 (en) 2011-06-28 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
CN104954805A (zh) * 2011-06-28 2015-09-30 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN105338345B (zh) * 2011-10-24 2019-01-04 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
CN105338345A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
US10516887B2 (en) 2012-01-19 2019-12-24 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
CN107734342B (zh) * 2012-01-19 2020-01-21 佳能株式会社 编码和解码变换单位的残差系数的有效性映射的方法
US10531101B2 (en) 2012-01-19 2020-01-07 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US10531100B2 (en) 2012-01-19 2020-01-07 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
CN107734342A (zh) * 2012-01-19 2018-02-23 佳能株式会社 编码和解码变换单位的残差系数的有效性映射的方法

Also Published As

Publication number Publication date
CN1224270C (zh) 2005-10-19

Similar Documents

Publication Publication Date Title
CN1874521A (zh) 用于图像编码和解码的设备和方法
CN100336401C (zh) 活动图像编码装置和方法以及活动图像解码装置和方法
CN1200568C (zh) 在图像和视频的编码/解码中的变换系数的最佳扫描方法
CN104602003B (zh) 预测块产生设备
KR100882949B1 (ko) 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
CN1290342C (zh) 可执行区块比对移动补偿与全域移动补偿的装置与方法
CN1929611A (zh) 用于视频帧内预测编码和解码的方法和装置
CN1224270C (zh) 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
CN1719735A (zh) 编码源图像序列的方法和设备
CN104602009A (zh) 帧内预测解码设备
CN1777283A (zh) 一种基于微块的视频信号编/解码方法
CN1258925C (zh) 多视角视频编解码预测补偿方法及装置
CN1589023A (zh) 一种基于上下文的多码表变长编解码方法及编解码装置
CN1209928C (zh) 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
CN1149853C (zh) 带有运动补偿的编码和译码装置
CN1268136C (zh) 基于图像切片结构的帧场自适应编码方法
CN103444171A (zh) 用于通过选择待预测像素来对至少一个图像进行编码和解码的方法和装置,以及对应的计算机程序
CN103747272A (zh) 用于hevc的残余四叉树编码的快速变换方法
CN1857002A (zh) 使用凸包搜索的速率-失真视频数据分割
JP5219062B2 (ja) 画像データの生成方法
US8363722B2 (en) Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder
KR101512643B1 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
CN1235413C (zh) 基于运动估计的小波视频编解码方法
CN1812583A (zh) 块组编码结构及基于该结构的自适应分阶段预测编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051019

Termination date: 20100930