CN102625093A - 一种基于avs的帧间预测方法 - Google Patents

一种基于avs的帧间预测方法 Download PDF

Info

Publication number
CN102625093A
CN102625093A CN2011100300727A CN201110030072A CN102625093A CN 102625093 A CN102625093 A CN 102625093A CN 2011100300727 A CN2011100300727 A CN 2011100300727A CN 201110030072 A CN201110030072 A CN 201110030072A CN 102625093 A CN102625093 A CN 102625093A
Authority
CN
China
Prior art keywords
block
data
row
avs
macro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100300727A
Other languages
English (en)
Other versions
CN102625093B (zh
Inventor
邓磊
呼大明
宋益波
郑海鸥
陈淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Original Assignee
National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd filed Critical National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Priority to CN201110030072.7A priority Critical patent/CN102625093B/zh
Publication of CN102625093A publication Critical patent/CN102625093A/zh
Application granted granted Critical
Publication of CN102625093B publication Critical patent/CN102625093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明提供一种基于AVS的帧间预测方法,该方法包括将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测,对于每个宏块,帧间预测包括下列步骤:从AVS码流中读取当前宏块相应的运动矢量;将当前宏块划分为与运动矢量相应的若干子块进行运动补偿,对于所述宏块中的第一个子块,从外存中读取参考图像的全部数据,并将所读取的数据存入缓存中;对于该宏块中其它子块,则从缓存的相应地址中读取参考图像的部分数据,而从外存中读取参考图像的其余数据;根据参考图像和运动矢量进行插值运算,恢复出当前宏块。本发明具有下列技术效果:大大减少了访问外存所占的带宽。能够减少访问外存的次数。减少了存储参考帧所占用的外存空间。

Description

一种基于AVS的帧间预测方法
技术领域
本发明涉及信源编码技术领域,具体地说,本发明涉及一种帧间预测方法。
背景技术
先进音视频编码标准(英文为Audio Video Coding Standard,本文中简称为AVS标准)是我国具备自主知识产权的第二代信源编码标准。“信源”是信息的“源头”,信源编码技术解决的重点问题是数字音视频海量数据(即初始数据、信源)的编码压缩问题,故也称数字音视频编解码技术。显而易见,它是其后数字信息传输、存储、播放等环节的前提,因此信源编码标准是数字音视频产业的共性基础标准。
在AVS标准中,帧(frame)是视频信号空间信息的表示,由一个亮度样本矩阵(Y)和两个色度样本矩阵(Cb和Cr)构成。帧间预测(inter prediction)是使用先前解码图像(或场)生成当前图像(或场)样本预测值的过程。
典型的AVS解码结构采用了时间及空间的运动预测补偿、反变换、反量化和熵解码。在待解码的视频码流中包含有下述三种编码图像:
帧内编码图像(I图像):仅使用图像本身信息进行编码,在解码时不参照其他图像;
前向预测编码图像(P图像):P图像是向前预测一个或多个I图像或者P图像,因此若前面的某个参考I图像或者P图像不存在,则该P图像不能解码;
双向预测编码图像(B图像):可以同时向前和后向预测一帧或多帧已解码I图像或者P图像;因此在解码B图像时,需要先解码获得在显示顺序上其后的I图像或者P图像数据,这样会导致解码顺序与显示顺序的不一致。
可以看出,P图像和B图像的编解码过程都需要经过帧间预测处理。在编码过程中,如果当前图像是P图像或B图像,需要根据相应的参考图像进行帧间预测,计算并存储当前图像相对于参考图像的运动矢量(运动矢量是由当前图像指向参考图像,其值为当前块和参考块在图像中坐标的偏移)。这样在解码时,只需要根据所述运动矢量和参考图像,就可恢复出所述当前图像。帧间预测技术可以有效的降低时间冗余,而在AVS标准中,还针对运动补偿进一步引入了变块尺寸、多参考帧、直接和对称预测模式、无限制运动矢量、像素插值等新的技术手段,从而获得了更高的编码效率。然而上述新的技术手段在提高编码效率的同时也增加了计算量和存储带宽。
目前,高性能的AVS解码器一般使用硬件实现,已解码的帧会被存入外存作为解码其它帧的参考数据,在帧间预测时就从外存中读取这些参考数据。
在AVS标准中,解码器将一帧图像分为若干个宏块,依次对每个宏块进行帧间预测。每个宏块有四种划分模式。如图1所示,四种划分模式分别是:1个16×16亮度块和相应的色度块,2个16×8亮度块和相应的色度块,2个8×16亮度块和相应的色度块,4个8×8亮度块和相应的色度块。每个亮度块和色度块均对应各自的运动矢量,以便用于运动补偿。AVS标准采用四种宏块划分模式,能够提高编码效率。但由于不同的模式的宏块,进行帧间预测时所需读取的参考图像的像素位置和数目各不相同,因此,这种变块尺寸也给帧间预测带来能更多挑战。
在现有技术中,不论当前宏块是什么格式,解码器均固定按照4个8×8块的模式读取参考图像,即统一成8×8块进行运动补偿。这种方式易于实现,但存在访问外存次数多,从外存中读取的数据总量大等缺陷。其原因是:当运动矢量是1/2像素或1/4像素时,需要对亮度(色度)进行二分之一样本和四分之一样本的插值,而二分之一样本和四分之一样本的插值所需的参考图像较多,在某些插值位置,需要的读取12×12的个参考像素,因此,在双向预测时,对一个宏块进行帧间预测需要读取12×12×4×2=1152个像素,即1152bytes的数据。也就是说,对一个宏块进行帧间预测,就需要从外存中读取1152bytes的数据,而这1152bytes的数据中实际上存在一些冗余数据,导致访存带宽的浪费,硬件开销增大。另一方面,由于每次都案4个8×8块的模式读取数据,使得解码器访问外存的次数增多,这会导致访存总延时的增加。目前,帧间预测的访存量占到解码器总访存量的50%,而其中亚像素插值运算的处理时间则占到总解码时间的25%。可以看出,帧间预测已成为AVS编解码器中数据量最密集的部分之一,同时也是整个系统的瓶颈所在。
综上所述,当前迫切需要一种在保证AVS标准的编码效率的前提下,能够避免读取冗余数据、减少访问外存次数的基于AVS的帧间预测方法。
发明内容
本发明的目的是提供一种在保证AVS标准的编码效率的前提下,能够避免读取冗余数据、减少访问外存次数的基于AVS的帧间预测方法。
为实现上述发明目的,本发明提供了一种基于AVS的帧间预测方法,该方法包括将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测,对于每个宏块,帧间预测包括下列步骤:
1)读取当前宏块相应的运动矢量;
2)根据运动矢量读取参考图像;包括下列子步骤:
21)将当前宏块划分为与运动矢量相应的若干子块进行运动补偿,
22)对于所述宏块中的第一个子块,从外存中读取参考图像的全部数据,并将所读取的数据存入缓存中;
23)对于该宏块中其它子块,则从缓存的相应地址中读取参考图像的部分数据,而从外存中读取参考图像的其余数据;
3)根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
其中,所述步骤1)中,还包括从AVS码流中读取当前宏块的子块划分模式;
所述步骤21)中,按照所读取的当前宏块的子块划分模式划分子块。
其中,所述子块为亮度子块或色度子块。
其中,所述步骤23)中,所述的从缓存的相应地址中读取参考图像的部分数据是两个8×8块所对应的12×12的参考数据的交叠部分的数据。
其中,所述步骤22)和23)中,所述宏块为亮度块或色度块,亮度块和色度块的亚像素插值共用同一缓存。
其中,所述步骤21)中,将当前宏块的亮度块统一划分为4个8×8亮度子块;将当前宏块的Cb色度块也统一划分为4个相同尺寸的Cb色度子块;将当前宏块的Cr色度块也统一划分为4个相同尺寸的Cr色度子块。
其中,所述基于AVS的帧间预测方法还包括:将AVS码流中的Cb色度和Cr色度数据交织存储到外存,
所述步骤23)中,以交织的方式将每对Cb和Cr色度子块的参考图像从外存中一次读取。
其中,所述步骤23)中,当运动矢量所指向的位置超出帧边界时,从外存中读取参考图像中位于帧边界内的数据,然后根据运动矢量和所读取的位于帧边界内的数据进行数据增补,从而得到完整的参考图像。
与现有技术相比,本发明具有下列技术效果:
1、大大减少了访问外存所占的带宽。
2、能够减少访问外存的次数。
3、减少了存储参考帧所占用的外存空间。
附图说明
图1示出了AVS标准中一个宏块的子块划分模式;
图2示出了每个子块读取参考图像时出现的重复的交叠数据;实线方框表示需要进行运动补偿的子块,虚线方框表示子块所对应的参考图像,灰色部分表示重复的交叠数据;
图3示出了AVS标准中的亮度块插值示意图;
图4示出了AVS标准中的色度块插值示意图;
图5示出了本发明实施例5中的数据交织结构示意图;
图6示出了本发明实施例6中的数据增补结构示意图。
具体实施方式
下面,结合附图和实施例对本发明做进一步地描述。
实施例1
根据本发明的一个实施例,提供了一种基于AVS的帧间预测方法。该方法中,解码器将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测。对于每个宏块,帧间预测过程包括下列步骤:
第一步:从AVS码流中读取当前宏块的模式和相应的运动矢量;
第二步:根据当前宏块的模式和运动矢量从外存中读取进行帧间预测所需的参考图像;
第三步:根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
下面分别详细介绍上述步骤。
一、从AVS码流中读取当前宏块的划分模式和相应的运动矢量
在AVS标准中,单个宏块可划分为:1个16×16亮度块和相应的色度块,2个16×8亮度块和相应的色度块,2个8×16亮度块和相应的色度块,或者4个8×8亮度块和相应的色度块。其划分模式可从AVS码流中读出。同时还读出每个亮度块和色度块均对应各自的运动矢量,以便用于运动补偿(即帧间预测)。
二、根据当前宏块的模式和运动矢量从外存中读取进行帧间预测所需的参考图像
本实施例采用了块间数据重用的方式从外存中读取参考图像,这样可以避免在一个宏块中重复读取部分交叠的参考数据,能够有效地降低访问外存的带宽(访存带宽)。
AVS标准中,一个宏块包括亮度块(Y)和色度块(Cb和Cr),亮度块(Y)和色度块(Cb和Cr)均需要进行运动补偿以得出帧间预测结果。
AVS标准中采用树状变块尺寸运动补偿,最小块尺寸为8×8块,需要读取12×12的参考数据。如果统一成8×8块进行运动补偿,在进行双向预测时,需要读取12×12×4×2=1152bytes的数据量。而实际上,任何两个8×8块所对应的12×12的参考数据均存在交叠部分(如图2所示),即存在重复读取的数据,这样就消耗了更多的访存带宽。因此,本实施例设计了数据重用机制,使得在进行插值运算时,能够重用两个8×8块的参考数据之间的交叠部分。
本实施例40×96(40行96列)大小的缓存mem,mem在亚像素插值亮度和色度时共用。对于亮度块,缓存mem的地址空间分配如下:
1).0~11行用于存储前向block 0或block 2,以及交叠列的部分数据;
2).12~23行用于存储后向block 0或block 2,以及交叠列的部分数据;
3).24~27行用于存储前向block 1的交叠行的部分数据;
4).28~31行用于存储后向block 1的交叠行的部分数据。
这样,第一个8×8亮度块插值时,仍然从外存中读取其对应的12×12的参考数据,其它8×8亮度块插值时,则从缓存mem的相应地址中读取部分参考数据,而从外存中读取其余参考数据。这样就大大节省了解码器的访存带宽。
对于色度块Cb,缓存mem的地址空间分配如下:
1).0~4行存储色度Cb前向的block 0的数据;
2).5~9行存储色度Cb后向的block 0的数据;
3).10~14行存储色度Cb前向的block 1的数据;
4).15~19行存储色度Cb后向的block 1的数据;
5).20~24行存储色度Cb前向的block 2的数据;
6).25~29行存储色度Cb后向的block 2的数据;
7).30~34行存储色度Cb前向的block 3的数据;
8).35~39行存储色度Cb后向的block 3的数据。
对于色度块Cr,缓存mem的地址空间分配如下:
1).0~4行存储色度Cr前向的block 0的数据;
2).5~9行存储色度Cr后向的block 0的数据;
3).10~14行存储色度Cr前向的block 1的数据;
4).15~19行存储色度Cr后向的block 1的数据;
5).20~24行存储色度Cr前向的block 2的数据;
6).25~29行存储色度Cr后向的block 2的数据;
7).30~34行存储色度Cr前向的block 3的数据;
8).35~39行存储色度Cr后向的block 3的数据。
于亮度块的插值类似,对第一个色度块插值时,从外存中读取所需的全部参考数据。对其它色度块插值时,则从缓存mem的相应地址中读取部分参考数据,而从外存中读取其余参考数据,从而节省解码器的访存带宽。
三、根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
在读取全部参考数据和运动矢量后,即可根据AVS标准9.9.2.1部分的描述进行插值运算,依次恢复当前宏块的每个亮度块和色度块,从而恢复出整个当前宏块。此时,对当前宏块的帧间预测完成。
实施例2
根据本发明的实施例2,提供了一种基于AVS的帧间预测方法。该方法中,解码器将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测。对于每个宏块,帧间预测过程包括下列步骤:
第一步:从AVS码流中读取当前宏块的模式和相应的运动矢量;
第二步:根据当前宏块的模式和运动矢量从外存中读取进行帧间预测所需的参考图像;
第三步:根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
其中,第一步、第三步均与实施例1一致,不再赘述。
第二步中,本实施例采用变块尺寸读取的方式从外存中读取参考数据。从AVS标准9.9.2.1部分中,可以看出,在进行亚像素插值时,对于不同的运动矢量和不同的亚像素插值位置,需要的参考数据的个数是截然不同的。例如:在插值整像素样本,只需要8×8的参考数据,而插值1/4像素样本,则需要11×11的参考数据。
本实施例将插值位置分为6种不同的类型,每种类型需要的参考数据量是不同的,但在解码过程中,只有其中的一种类型在同一时刻被执行。因此可以根据运动矢量的值,判断此次属于何种插值类型,从而决定本次的访存量,以达到减小带宽的目的。
亮度块的变块尺寸读取
如图3所示,AVS标准中各插值点(即插值位置)所需的参考像素数目如下:
对于D点的插值,需要的参考像素为(0,0),相应8×8块的插值需要的参考像素矩阵大小为8×8;
对于b点的插值,需要的参考像素为(-1,0),(0,0),(1,0),(2,0),相应8×8块的插值需要的参考像素矩阵大小为11×8;
对于h点的插值,需要的参考像素为(0,-1),(0,0),(0,1),(0,2),对应8×8块的插值需要的参考像素矩阵大小为8×11;
对于j点的插值,需要的参考像素为(-1,-1),(0,-1),(1,-1),(2,-1),(-1,0),(0,0),(1,0),(2,0),(-1,1),(0,1),(1,1),(2,1),(-1,2),(0,2),(1,2),(2,2),对应8×8块的插值需要的参考像素矩阵大小为11×11;
对于a点的插值,需要的参考像素为(-2,0),(-1,0),(0,0),(1,0),(2,0),对应8×8块的插值需要的参考像素矩阵大小为12×8;
对于c点的插值,需要的参考像素为(-1,0),(0,0),(1,0),(2,0),(3,0),对应8×8块的插值需要的参考像素矩阵大小为12×8;
对于d点的插值,需要的参考像素为(0,-2),(0,-1),(0,0),(0,1),(0,2),对应8×8块的插值需要的参考像素矩阵大小为8×12;
对于n点的插值,需要的参考像素为(0,-1),(0,0),(0,1),(0,2),(0,3),对应8×8块的插值需要的参考像素矩阵大小为8×12;
对于e,g,p,r点的插值,需要的参考像素与j点相同,对应8×8块的插值需要的参考像素矩阵大小为11×11;
对于f点的插值,需要的参考像素为(-1,-2),(0,-2),(1,-2),(2,-2),(-1,-1),(0,-1),(1,-1),(2,-1),(-1,0),(0,0),(1,0),(2,0),(-1,1),(0,1),(1,1),(2,1),(-1,2),(0,2),(1,2),(2,2),对应8×8块的插值需要的参考像素矩阵大小为11×12;
对于i点的插值,需要的参考像素为(-2,-1),(-2,0),(-2,1),(-2,2),(-1,-1),(-1,0),(-1,1),(-1,2),(0,-1),(0,0),(0,1),(0,2),(1,-1),(1,0),(1,1),(1,2),(2,-1),(2,0),(2,1),(2,2),对应8×8块的插值需要的参考像素矩阵大小为12×11;
对于k点的插值,需要的参考像素为(-1,-1),(-1,0),(-1,1),(-1,2),(0,-1),(0,0),(0,1),(0,2),(1,-1),(1,0),(1,1),(1,2),(2,-1),(2,0),(2,1),(2,2),(3,-1),(3,0),(3,1),(3,2),对应8×8块的插值需要的参考像素矩阵大小为12×11;
对于q点的插值,需要的参考像素为(-1,-1),(0,-1),(1,-1),(2,-1),(-1,0),(0,0),(1,0),(2,0),(-1,1),(0,1),(1,1),(2,1),(-1,2),(0,2),(1,2),(2,2),(-1,3),(0,3),(1,3),(2,3),对应8×8块的插值需要的参考像素矩阵大小为11×12。
在读取外存的过程中,为了减少对外存的访问量,本实施例对读取的尺寸做出一定的优化。在亮度插值中,不同插值位置所需像素个数不同,如果采用最大像素个数,自然能满足要求,但这样增加了外存的访问量。
本实施例为了节省外存的带宽,根据运动矢量得出当前块的插值位置,对不同插值位置,分别调整所申请的外存的line(行)和size(本发明中size代表列)的大小。表3给出了在亮度申请外存情况下,设定每次向外存申请的基础块大小为8×8,同时对不同运动矢量分别设定对应不同的申请外存的行、列增量。由基础块行、列加上对应的增量行、列便可得到本次申请的行、列信息。通过深入研究,本实施例总结出如下规律公式:
1).请求外存的列数增量-req_plus_wid
Figure BDA0000045715650000091
2).请求外存的行数增量-req_plus_hei
Figure BDA0000045715650000092
式中,x为水平位置,即插值点在水平方向上的编号;y为垂直位置,即插值点在垂直方向上的编号。
下面的表1更直观地给出了本实施例的亮度块变块尺寸读取方案。
表1
Figure BDA0000045715650000093
Figure BDA0000045715650000101
色度块的变块尺寸读取
与亮度块类似,色度块的变块尺寸读取方案中,每次读取外存时申请的尺寸也由基础块行、列加上对应的增量行、列得到。基础块尺寸为4×4,其增量行、列按下述公式得出:
1).请求外存的列数增量(req_plus_wid)
req _ plus _ wid = 0 ; x = 0 1 ; other
2).请求外存的行数增量(req_plus_hei)
req _ plus _ hei = 0 ; x = 0 1 ; other
式中,x为水平位置,即插值点在水平方向上的编号;y为垂直位置,即插值点在垂直方向上的编号。
结合参考图4和表2,可以更直观地得出本实施例的色度块变块尺寸读取方案。
表2
Figure BDA0000045715650000111
实施例3
根据本发明的实施例3,提供了一种基于AVS的帧间预测方法。该方法中,解码器将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测。对于每个宏块,帧间预测过程包括下列步骤:
第一步:从AVS码流中读取当前宏块的模式和相应的运动矢量;
第二步:根据当前宏块的模式和运动矢量从外存中读取进行帧间预测所需的参考图像;
第三步:根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
其中,第一步、第三步与实施例1、2一致,不再赘述。
第二步中,在从外存中读取参考数据时,本实施例同时采用块间数据重用和变块尺寸读取两种机制,从而最大程度地避免了冗余数据,进行节省了访存带宽。
在变块尺寸读取方面,本实施例根据运动矢量得出插值位置,并申请相应的外存尺寸,这与实施例2一致,不再赘述。
在块间数据重用方面,本实施例设置缓存mem,其尺寸与实施例1一致。对于亮度块和色度块,缓存mem的地址空间分配也均与实施例1一致,这里不再赘述。在一个宏块中,第一个块插值时,仍然从外存中读取其对应的的参考数据,对其它块插值时,则从缓存mem的相应地址中读取部分参考数据,从外存中读取其余参考数据。这样就大大节省了解码器的访存带宽。
实施例4
根据本发明的实施例4,提供了一种基于AVS的帧间预测方法。该方法中,解码器将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测。对于每个宏块,帧间预测过程包括下列步骤:
第一步:从AVS码流中读取当前宏块的模式和相应的运动矢量;
第二步:根据当前宏块的模式和运动矢量从外存中读取进行帧间预测所需的参考图像;
第三步:根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
其中,第一步、第三步与实施例2一致,不再赘述。
第二步中,在实施例2的变块尺寸读取机制的基础上,本实施例不再以8×8块为单位进行帧间预测,而是根据第一步得出的宏块划分模式,分别对相应的子块进行帧间预测。即当宏块划分为1个16×16亮度块时,即直接从内存中读取该16×16亮度块进行运动补偿所需的参考数据;当宏块划分为2个16×8亮度块或2个8×16亮度块时,则分两次读取进行运动补偿所需的参考数据;当宏块划分为4个8×8亮度块时,则分四次读取进行运动补偿所需的参考数据。这种变块尺寸读取也是通过设定访问外存的基础块和相应的行列增量的方式来实现。对于本领域技术人员,容易参考实施例2得出本实施例中变块尺寸读取机制的具体实现方式,这里不再赘述。
实施例5
在上述实施例1~4任一个的基础上,本实施例进一步优化了色度数据的读取机制,从而提供了一种更加具有优势的基于AVS的帧间预测方法。
AVS标准中,色度块包括Cb色度块和Cr色度块,Cb色度块和Cr色度块成对出现。现有技术中,AVS码流中,每对Cb和Cr色度块的数据分开存储,即连续存储一个Cb色度块的数据后再存储相应的Cb色度块的数据。这样,在对一对Cb和Cr色度块进行运动补偿时,需要分别读取Cb色度块和Cr色度块对应的参考数据。
本实施例中,将AVS码流中的Cb色度和Cr色度数据交织存储到外存。图5示出了Cb和Cr的交织结构。在AVS标准中,每对Cb和Cr色度块共用相同的运动矢量,Cb和Cr的亚像素插值方式也是相同的。如果将Cb和Cr的参考数据以一种交织的方式存入外存,就可以以同样的交织的方式将Cb和Cr的参考数据一起读取。这样访问外存的次数就减少了一半,还进一步提高带宽的利用率。并且,由于DDR宽度的限制,每次访问外存时或多或少会存在一些冗余数据,因此,减少访问外存次数的同时,也意味着减少了所读取的总的数据量。
本实施例中的色度数据交织存储的方案即可以独立实施,也可以在上述实施例1~4任一个的基础上实施,这是本领域技术人员易于理解的。
实施例6
在上述实施例1~5任一个的基础上,本实施例进一步优化了数据增补(padding)机制,从而提供了一种更加具有优势的基于AVS的帧间预测方法。
在AVS标准中,使用无限制的运动矢量,也就是说运动矢量所指向的参考数据可以超出参考图像的边界,在这种情况下对超出参考图像边界的整数样本应该使用距离该整数参考数据所指位置最近的图像内的整数样本进行边界扩展。现有的AVS解码器中,预先对参考帧边界进行扩展并将扩展后的参考帧存入外存。
本实施例则不对参考帧做预先扩展,而是将数据增补的过程放在运动补偿中进行,即根据运动矢量向外存读取真实的参考数据,在本地完成数据增补。这样可以进一步提高带宽的利用率,同时节省每个参考帧所占的外存空间。
图6示出了本实施例的数据增补的结构。根据运动矢量的值,本实施例设计了4种数据增补(padding)类型,数据增补配置信息为:
1).pad_type:padding的类型,图6中0类型代表左上padding;1类型代表左下padding;2类型代表右上padding;3类型代表右下padding。
2).pad_size:padding的列数,大小为0~11。当pad_type为左上和左下时表示向左padding的列数,否则当pad_type为右上和右下时表示不需要padding的列数。
3).pad_line:padding的行数,大小为0~11。当pad_type为左上和右上时表示向上padding的行数,否则当pad_type为左下和右下时表示不需要padding的行数。
在进行帧间预测时,在从外存中读取真实的参考数据后,即可根据数据增补配置信息(pad_type、pad_size和pad_line),在真实的参考数据的基础上进行数据增补。在不同位置上,所增补的具体数值参考AVS标准。
其中,运动矢量所指向的参考数据超出参考图像左边界时,用参考图像最左边一列像素的数值进行数据增补;超出参考图像右边界时,用最右边一列像素的数值进行数据增补;超出参考图像上边界,用最上边一行的数值进行数据增补;超出参考图像下边界,用最下边一行的数值进行数据增补。超出图像的位置位于左上、左下、右上、右下时,分别用左上角点、左下角点、右上角点、右下角点像素的值进行数据增补。
值得说明的是,本实施例的数据增补方案既可以在上述实施例1~5任一个的基础上实施,也可以独立实施。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于AVS的帧间预测方法,该方法包括将需要进行帧间预测的帧分为若干个宏块,依次对每个宏块进行帧间预测,对于每个宏块,帧间预测包括下列步骤:
1)读取当前宏块相应的运动矢量;
2)将当前宏块划分为与运动矢量相应的若干子块进行运动补偿,
3)对于所述宏块中的第一个子块,从外存中读取参考图像的全部数据,并将所读取的数据存入缓存中;
4)对于该宏块中其它子块,则从缓存的相应地址中读取参考图像的部分数据,而从外存中读取参考图像的其余数据;
5)根据参考图像和运动矢量进行插值运算,恢复出当前宏块。
2.根据权利要求1所述的基于AVS的帧间预测方法,其特征在于,所述步骤1)中,还包括从AVS码流中读取当前宏块的子块划分模式;
所述步骤2)中,按照所读取的当前宏块的子块划分模式划分子块。
3.根据权利要求1所述的基于AVS的帧间预测方法,其特征在于,所述子块为亮度子块或色度子块。
4.根据权利要求1所述的基于AVS的帧间预测方法,其特征在于,所述步骤4)中,所述的从缓存的相应地址中读取参考图像的部分数据是两个8×8块所对应的12×12的参考数据的交叠部分的数据。
5.根据权利要求4所述的基于AVS的帧间预测方法,其特征在于,所述步骤3)和4)中,所述宏块为亮度块或色度块,亮度块和色度块的亚像素插值共用同一缓存。
6.根据权利要求4所述的基于AVS的帧间预测方法,其特征在于,所述缓存包括多行,每行96个存储单元,所述宏块为亮度块时,所述缓存的地址空间分配如下:
1).0~11行用于存储前向block 0或block 2,以及交叠列的部分数据;
2).12~23行用于存储后向block 0或block 2,以及交叠列的部分数据;
3).24~27行用于存储前向block 1的交叠行的部分数据;
4).28~31行用于存储后向block 1的交叠行的部分数据。
7.根据权利要求4所述的基于AVS的帧间预测方法,其特征在于,所述缓存包括多行,每行96个存储单元,所述宏块为色度块时,所述缓存的地址空间分配如下:
1).0~4行存储前向的block 0的数据;
2).5~9行存储后向的block 0的数据;
3).10~14行存储前向的block 1的数据;
4).15~19行存储后向的block 1的数据;
5).20~24行存储前向的block 2的数据;
6).25~29行存储后向的block 2的数据;
7).30~34行存储前向的block 3的数据;
8).35~39行存储后向的block 3的数据。
CN201110030072.7A 2011-01-27 2011-01-27 一种基于avs的帧间预测方法 Active CN102625093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110030072.7A CN102625093B (zh) 2011-01-27 2011-01-27 一种基于avs的帧间预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110030072.7A CN102625093B (zh) 2011-01-27 2011-01-27 一种基于avs的帧间预测方法

Publications (2)

Publication Number Publication Date
CN102625093A true CN102625093A (zh) 2012-08-01
CN102625093B CN102625093B (zh) 2015-02-04

Family

ID=46564755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110030072.7A Active CN102625093B (zh) 2011-01-27 2011-01-27 一种基于avs的帧间预测方法

Country Status (1)

Country Link
CN (1) CN102625093B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018418A (zh) * 2015-12-23 2017-08-04 联发科技股份有限公司 参考数据重用方法、带宽估计方法及相关视频解码器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166277A (zh) * 2006-10-20 2008-04-23 三星电子株式会社 在用于处理运动图像的设备中访问存储器的方法
US20090074312A1 (en) * 2007-09-18 2009-03-19 Korea Advanced Institute Of Science And Technology High-speed motion compensation apparatus and method
US20100315550A1 (en) * 2009-06-12 2010-12-16 Masayuki Yokoyama Image frame interpolation device, image frame interpolation method, and image frame interpolation program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166277A (zh) * 2006-10-20 2008-04-23 三星电子株式会社 在用于处理运动图像的设备中访问存储器的方法
US20090074312A1 (en) * 2007-09-18 2009-03-19 Korea Advanced Institute Of Science And Technology High-speed motion compensation apparatus and method
US20100315550A1 (en) * 2009-06-12 2010-12-16 Masayuki Yokoyama Image frame interpolation device, image frame interpolation method, and image frame interpolation program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONGGANG WANG ET AL: "Sub-pixel Motion Compensation Interpolation Filter in AVS", 《2004 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, 31 December 2004 (2004-12-31) *
常丽娜: "AVS-M视频编码技术研究与流媒体应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 06, 15 October 2005 (2005-10-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018418A (zh) * 2015-12-23 2017-08-04 联发科技股份有限公司 参考数据重用方法、带宽估计方法及相关视频解码器

Also Published As

Publication number Publication date
CN102625093B (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
CN103004210B (zh) 用于视频编码的低复杂度帧内预测
CN101198057B (zh) 具有提供参考运动向量的读取缓冲器的运动预测处理器
KR100695141B1 (ko) 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법
CN102547296B (zh) 移动估计加速电路、移动估计方法及环路滤波加速电路
CN105578190B (zh) 应用于视频硬解码的无损压缩方法及系统
CN101193305B (zh) 用于视频编解码芯片中帧内预测的数据存储和交换方法
CN102088603B (zh) 用于视频编码器的熵编码器及其实现方法
CN102647594B (zh) 一种整像素精度运动估计方法及其系统
CN101563927A (zh) 用于对视频图像的块进行解码的方法
CN103314581A (zh) 使用列的图像分割方法和系统
JP2006174486A (ja) ビデオデータの水平及び垂直フィルタリングを同時に行うデブロッキングフィルタ及び動作方法
CN101710986A (zh) 基于同构多核处理器的h.264并行解码方法和系统
CN102246522A (zh) 智能的解码图片缓冲
JPH08123953A (ja) 画像処理装置
US8565312B2 (en) Image processing method and image information coding apparatus using the same
CN1589028B (zh) 基于像素流水的帧内预测装置及预测方法
WO2023000695A1 (zh) 视频编码参考块的压缩方法、编码方法和装置
CN100568920C (zh) 串行输入并行输出的视频图像亮度插值的方法和装置
JP4515922B2 (ja) データ保持装置、画像符号化装置および画像復号化装置
CN102625093B (zh) 一种基于avs的帧间预测方法
CN102625094B (zh) 一种基于avs的帧间预测方法
CN102625095B (zh) 一种基于avs的帧间预测方法
CN102625091B (zh) 一种基于avs的帧间预测方法
CN102665080A (zh) 用于移动补偿的电子装置及移动补偿方法
JP2006166308A (ja) 復号化装置及び復号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant