CN1204753C - 基于相邻像素预测的帧内预测方法 - Google Patents
基于相邻像素预测的帧内预测方法 Download PDFInfo
- Publication number
- CN1204753C CN1204753C CN 03136605 CN03136605A CN1204753C CN 1204753 C CN1204753 C CN 1204753C CN 03136605 CN03136605 CN 03136605 CN 03136605 A CN03136605 A CN 03136605A CN 1204753 C CN1204753 C CN 1204753C
- Authority
- CN
- China
- Prior art keywords
- piece
- sample value
- idol
- sub
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于相邻像素预测的帧内预测方法属于图像处理与压缩编码技术领域,主要涉及视频编码中的帧内预测。本发明首先读出接收到的视频序列的一幅图像,并将该图像的像素亮度样值分成16×16的宏块,将宏块分成p×p(p=4,8,16)的块,接着将每一个p×p块按像素下标的奇偶性分成偶偶子块、奇奇子块、偶奇子块和奇偶子块,分别对每个子块中的像素亮度样值按不同的模式进行预测,然后按JVT中的方法求取预测残差值并对该预测残差值进行变换、量化,对量化变换后的系数信息进行变长编码或算术编码,直到整个图像编码完成为止,最后输出整个图像编码比特流。本发明的提出的预测方法其预测结构精细,预测残差小,提高了图像的编码质量,节省了比特开销。
Description
技术领域
基于相邻像素预测的帧内预测方法属于图像处理与压缩编码技术领域,主要涉及视频编码中的帧内预测。
背景技术
为了在当前有限的传输带宽和存储媒体中传输和存放图像,我们必须对图像进行压缩编码处理。在动态图像的压缩编码技术中,编码算法分帧内编码和帧间编码两种情况。其中对视频序列中的第一幅图像或景物变换后的第一幅图像,采用帧内变换编码,其它图像采用帧间编码。在现有技术中,帧内编码使用空间预测以利用源信号中的空间统计相关性,帧间编码预测的编码算法使用基于块的帧间预测以利用时域统计相关性。在具体帧内编码时,规定了图像内基本处理块的帧内预测模式,然后对预测残差随即进行变换以去除变换块内的空间相关性,再进行量化(这种不可逆过程通常丢弃重要性低的信息而得到与源样值接近的近似值)。最后,使用现有技术的变长编码或算术编码对量化变换系数信息进行编码。
目前,国内外有关视频编码的大多数技术方案,都是基于MPEG4或者H.26L标准的。其中JVT(该组织是由ITU-T和ISO/IEC JTC1这两个国际标准化组织联合形成的一个音视频标准化组织)出具的视频编码标准则是目前国内外十分流行的一种编码标准技术。在J VT中视频编码标准中,一个宏块包括一个16×16的亮度样值块和两个对应的色度样值块,用作视频编解码过程的基本处理单元。
在JVT中,帧内亮度样植的预测采用的是基于4×4的块预测结构和16×16的块预测结构。
1.4×4块预测结构,如图3所示:
该预测结构利用4×4块的左边4个像素I~L、上边8个像素A~H和左上角1个像素M已经编码宏块的像素形成当前4×4块像素a~p的预测。
4×4块预测结构很精细,残差小。但是,在对一幅图像处理时,我们的基本单位是一个16×16的宏块(macroblock),而这样的宏块需要16个4×4块预测,而每个4×4块预测有9种模式,因此一个帧内宏块预测采用4×4块预测结构时,编码模式信息比特开销很大。
2.16×16块预测结构,如图4所示:
该预测结构利用16×16块的左边16个像素、上边16个像素和左上角1个像素已经编码宏块的像素形成当前宏块的预测。它主要采用4种模式的预测方式。
16×16块预测结构虽然只需要1个16×16块预测,编码模式信息比特开销相对减小,可预测很粗糙,残差较大。
发明内容
本发明的目的在于提供一种亮度样值帧内预测结构式及预测模式的计算方法,来克服上述两种预测结构的缺点,即用一种帧内预测结构替代JVT中现有的两种预测结构且在性能上优于现有技术。
本发明的一种基于相邻像素预测的帧内预测方法,首先读出接收到的视频序列的帧内图像,并将该图像的像素亮度样值按从左至右,从上到下的顺序分成16×16的宏块,接着对每个16×16宏块中的像素亮度样值进行预测,然后按JVT中的方法求取预测残差值并对该预测残差值进行变换、量化,对量化变换后的系数信息进行变长编码或算术编码,直到整个图像编码完成为止,最后输出整个图像编码比特流,其特征在于,所述对每个16×16宏块中的像素亮度样值进行预测由以下步骤顺次组成:
1)取第一个16×16宏块为当前预测宏块;
2)将该宏块按从左至右,从上到下的顺序分成p×p(p=4,8,16)的块,接着对每个p×p块进行预测;
3)取第一个p×p块为当前块;
4)将当前p×p块中的像素亮度样值按照像素下标(i=0,1,…,p-1,表示像素行下标;j=0,1,…,p-1,表示像素列下标;)的奇偶性划分成偶偶子块(当i=0,2,4,…,p-2,j=0,2,4,…,p-2,时),偶奇子块(当i=0,2,4,…,p-2,j=1,3,5,…,p-1,时),奇偶子块(当i=1,3,5,…,p-1,j=0,2,4,…,p-2,时)和奇奇子块(当i=1,3,5,…,p-1,j=1,3,5,…,p-1,时);
5)预测当前块中偶偶子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值(对于图像边缘的p×p块,约定其周边重构出的像素亮度样值为128),按照常规预测模式来预测偶偶子块的像素亮度样值
并重构偶偶子块中的像素亮度样值ij,其中,i=0,2,4,…,p-2,表示像素行坐标,j=0,2,4,…,p-2,表示像素列坐标;
6)预测当前块中奇奇子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶子块的像素亮度样值,按照常规预测模式预测奇奇子块的像素亮度样值
并重构奇奇子块中的像素亮度样值ij其中,i=1,3,5,…,p-1,表示像素行坐标,j=1,3,5,…,p-1,表示像素列坐标;
7)预测当前块中偶奇子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶、奇奇子块的像素亮度样值,按照常规预测模式预测偶奇子块的像素亮度样值
并重构偶奇子块中的像素亮度样值ij其中,i=0,2,4,…,p-2,表示像素行坐标,j=1,3,5,…,p-1,表示像素列坐标;
8)预测当前块中奇偶子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶、奇奇和偶奇子块的像素亮度样值,按照常规预测模式预测奇偶子块的像素亮度样值
并重构奇偶子块中的像素亮度样值ij其中,i=1,3,5,…,p-1,表示像素行坐标,j=0,2,4,…,p-2,表示像素列坐标;
9)取下一个p×p块作为当前块,重复第3)至9)步的过程,直到该宏块预测完毕为止;
10)取下一个宏块作为当前预测宏块,重复第2)至10)步的过程,直到完成整幅图像的像素亮度样值的预测。
本发明的一种基于相邻像素预测的帧内预测方法,p×p块的大小为8×8,所述对每个p×p块中的像素亮度样值进行预测由以下步骤顺次组成:
1)将每一个16×16的宏块按照从左至右,从上至下的顺序分成4个8×8块如图9所示,再对每一个8×8块如图10中的64个像素亮度样值按下标的奇偶性划分成偶偶子块、偶奇子块、奇偶子块和奇奇子块如图11所示;
2)选定第一个8×8块且定义其像素为aij其中i=0,1,…,7,表示像素行下标;j=0,1,…,7,表示像素列下标;与其相邻的上边一行的16个像素定义为sp,p=0,1,…,15;与其相邻的左边一列的8个像素定义为tq,q=0,1,…,7;f表示当前8×8块的左上角的像素,对于图像中开始的8×8边缘块,约定其周边重构出的像素亮度样值为128;
3)预测当前8×8块中偶偶子块的像素亮度样值
I.利用当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照下述9种预测模式来形成当前偶偶子块中各个像素9种预测模式下的预测值
如图12所示,其中,k=0,1,2,…,8,表示预测模式,i=0,2,4,6,表示像素行坐标,j=0,2,4,6,表示像素列坐标,符号“>>”表示位右移运算;
a、模式0:vertical Prediction
使用本模式的必要条件是sp(p=0,2,4,6)可用,预测样本
的产生方法如下:
b、模式1:Horizontal prediction
使用本模式的必要条件是tq(q=0,2,4,6)可用,预测样本
的产生方法如下:
c.模式2:DC Prediction
如果sp,tq(p=q=0,1,...,7)都可用,则所有预测样本
等于 如果sp不可用,tq可用,则所有预测样本
等于 如果tq不可用,sp可用,则所有预测样本
等于
如果sp,tq都不可用,则所有预测样本
等于128;
d、模式3:Diagonal_Down_Left Prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,预测样本
的产生方法如下:
e、模式4:Diagonal_Down_Right Prediction
f、模式5 Vertical_Right Prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,预测样本
的产生方法如下:
g、模式6 Horizontal_Down prediction
h、模式7 Vertical_Left Prediction
i、模式8 Horizontal_Up prediction
使用本模式的必要条件是tq(q=0,1,...,7)可用,预测样本
的产生方法如下:
II.确定偶偶子块的最优预测模式:
a.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
b.采用JVT中的编码方法,对各个像素的预测残差做DCT变换、量化和熵编码,计算当前子块在当前模式下的编码比特数;并对各个像素的预测残差做DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值
重构子块中的各个像素点的亮度样值,记为kij,k=0,1,2,…,8,表示预测模式;i=0,2,4,6,表示像素行坐标;j=0,2,4,6,表示像素列坐标;
c.采用JVT中的方法计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为拉格朗日常数,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复第a,b,c步,直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式;
III.将最优预测模式下的预测值作为该子块的最后预测值,记为
i=0,2,4,6,j=0,2,4,6;将最优预测模式下的重构值作为该子块的最后重构值,记为ij,i=0,2,4,6,j=0,2,4,6;该子块重构后当前8×8块的重构状态如图13所示;
4)预测当前8×8块中奇奇子块的像素亮度样值:
I.首先将偶偶子块的16个像素最后重构值放回到原始8×8块的位置上,如图14所示,从图14可以看出所有下标为奇奇的像素正好位于已编码重构完的下标为偶偶的像素中间的位置,然后利用偶偶子块中重构出的16个像素亮度样值和当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照下述9种预测模式来预测奇奇子块中各点的像素亮度样值其中,k=0,1,2,…,8,表示预测模式,i=1,3,5,7,表示像素行坐标,j=1,3,5,7,表示像素列坐标,mn表示偶偶子块中像素最后重构值,m=0,2,4,6,表示像素行坐标,n=0,2,4,6表示像素列坐标,符号“>>”表示位右移运算;
a、模式0:vertical Prediction
使用本模式的必要条件是sp(p=0,1,...,7)可用,预测样本
的产生方法如下:
b、模式1:Horizontal prediction
预测样本
的产生方法如下:
c、模式2:DC Prediction
预测样本
的产生方法如下:
如果sp,tq(p=q=0,1,...,7)都可用,则所有预测样本
等于 如果sp不可用,tq可用,则所有预测样本
等于 如果tq不可用,sp可用,则所有预测样本
等于
d、模式3:Diagonal_Down_Left Prediction
e、模式4:Diagonal_Down_Right Prediction
f、模式5 Vertical_Rght Prediction
预测样本
的产生方法如下:
g、模式6 Horizontal_Down prediction
预测样本
的产生方法如下:
h、模式7 Vertical_Left Prediction
i、模式8 Horizontal_Up prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,预测样本
的产生方法如下:
II.确定奇奇子块的最优预测模式:
a.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下预测像素亮度样值,k=0,1,2,…,4,表示预测模式;i=1,3,5,7,表示像素行坐标;j=1,3,5,7,表示像素列坐标;
b.采用JVT中的编码方法,对各个像素的预测残差做DCT变换、量化和熵编码,计算当前子块在当前模式下的编码比特数;并对各个像素的预测残差做DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值
重构子块中的各个像素点的亮度样值,记为kij,k=0,1,2,…,4,表示预测模式;i=1,3,5,7,表示像素行坐标;j=1,3,5,7,表示像素列坐标;
c.采用JVT中的方法计算该子块在当前预测模式下的失真率rdcost
rd cost=distortion+lambda×rate;
其中,lambda为拉格朗日常数,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复第a,b,c步,直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式;
III.将最优预测模式下的预测值作为该子块的最后预测值,记为
i=1,3,5,7,j=1,3,5,7;将最优预测模式下的重构值作为该子块的最后重构值,记为ij,i=1,3,5,7,j=1,3,5,7;
5)预测当前8×8块中偶奇子块的像素亮度样值:
I.首先将偶偶子块的16个像素最后重构值和奇奇子块的16个像素最后重构值放回到原始的8×8块的位置上如图15所示,并利用当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,然后按照下述9种预测模式来预测偶奇子块中各点的像素亮度样值
其中,k=0,1,2,…,8,表示预测模式,i=0,2,4,6,表示像素行坐标,j=1,3,5,7,表示像素列坐标,mn表示偶偶、奇奇子块中像素最后重构值,m=0,1,…,7,表示像素行坐标,n=0,1,…,7,表示像素列坐标,符号“>>”表示位右移运算;
a、模式0:vertical Prediction
b、模式1:Horizontal prediction
c、模式2:DC Prediction
如果sp,tq(p=q=0,1,...,7)都可用,则所有预测样本
等于 如果sp不可用,tq可用,则所有预测样本
等于 如果tq不可用,sp可用,则所有预测样本
等于
如果sp,tq都不可用,则所有预测样本
等于128;
d、模式3:Diagonal_Down_Left Prediction
使用本模式的必要条件是sp(p=0,1,...,15)可用,预测样本
的产生方法如下:
e、模式4:Diagonal_Down_Right Prediction
f、模式5 Vertical_Right Prediction
使用本模式的必要条件是sp(p=0,1,...,15)可用,预测样本
的产生方法如下:
g、模式6 Horizontal_Down prediction
h、模式7 Vertical_Left Prediction
i、模式8 Horizontal_Up prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,预测样本
的产生方法如下:
II.确定偶奇子块的最优预测模式:
a.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
b.采用JVT中的编码方法,对各个像素的预测残差做DCT变换、量化和熵编码,计算当前子块在当前模式下的编码比特数;并对各个像素的预测残差做DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值
重构子块中的各个像素点的亮度样值,记为kij,k=0,1,2,…,8,表示预测模式;i=0,2,4,6,表示像素行坐标;j=1,3,5,7,表示像素列坐标;
c.采用JVT中的方法计算该子块在当前预测模式下的失真率rdcost;
rdcost=distortion+lambda×rate;
其中,lambda为拉格朗日常数,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复第a,b,c步,直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式;
III.将最优预测模式下的预测值作为该子块的最后预测值,记为
i=0,2,4,6,j=1,3,5,7;将最优预测模式下的重构值作为该子块的最后重构值,记为ij,i=0,2,4,6,j=1,3,5,7;
6)预测当前8×8块中奇偶子块的像素亮度样值:
I.首先将偶偶子块的16个像素最后重构值、奇奇子块的16个像素最后重构值和偶奇子块的16个像素最后重构值放回到原始的8×8块的位置上,如图16所示,并利用当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,然后按照下述9种预测模式来预测奇奇子块中各点的像素亮度样值
其中,k=0,1,2,…,8,表示预测模式,i=1,3,5,7,表示像素行坐标,j=0,2,4,6,表示像素列坐标,mn表示偶偶子块中像素最后重构值,m=0,1,…,7,表示像素行坐标,n=0,1,…,7,表示像素列坐标,符号“>>”表示位右移运算;
a、模式0:vertical Prediction
b、模式1:Horizontal prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,预测样本
的产生方法如下:
c、模式2:DC Prediction
预测样本
的产生方法如下:
如果sp,tq(p=q=0,1,...,7)都可用,则所有预测样本
等于 如果sp不可用,tq可用,则所有预测样本
等于 如果tq不可用,sp可用,则所有预测样本
等于
如果sp,tq都不可用,则所有预测样本
等于128;
d、模式3:Diagonal_Down_Lefft Prediction
e、模式4:Diagonal_Down_Right Prediction
f、模式5 Vertical_Right Prediction
g、模式6 Horizontal_Down prediction
预测样本
的产生方法如下:
h、模式7 Vertical_Left Prediction
使用本模式的必要条件是sp,tq(p=0,1,...,15;q=0,1,...,7)均可用,如果f不可得到,用t0代替f,预测样本
的产生方法如下:
i、模式8 Horizontal_Up prediction
预测样本
的产生方法如下:
II.确定奇偶子块的最优预测模式:
a.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下像素预测值,k=0,1,2,…,8,表示预测模式;i=1,3,5,7,表示像素行坐标;j=0,2,4,6,表示像素列坐标;
b.采用JVT中的编码方法,对各个像素的预测残差做DCT变换、量化和熵编码,计算当前子块在当前模式下的编码比特数;并对各个像素的预测残差做DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值
重构子块中的各个像素点的亮度样值,记为kij,k=0,1,2,…,8,表示预测模式;i=1,3,5,7,表示像素行坐标;j=0,2,4,6,表示像素列坐标;
c.采用JVT中的方法计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为拉格朗日常数,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复第a,b,c步,直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式;
III.将最优预测模式下的预测值作为该子块的最后预测值,记为
i=1,3,5,7,j=0,2,4,6;将最优预测模式下的重构值作为该子块的最后重构值,记为ij,i=1,3,5,7,j=0,2,4,6;
此时,8×8块中所有像素预测完毕,其预测值记为
如图17所示,重构值记为ij,如图18所示,i=0,1,...,7,表示像素行坐标;j=0,1,...,7,表示像素列坐标;
7)选取另一个8×8块,重复第3)至第7)步的过程,直到四个8×8块全部完成。
本发明的一种基于相邻像素预测的帧内预测方法,其预测结构精细,预测残差小,提高了图像的编码质量,节省了编码比特开销。
本发明的系统框图及帧内图像中待压缩块的处理框图如图1、图2所示,这种基于视频内容的视频编码方法,是通过视频摄像机得到原始视频序列作为输入,通过视频采集卡后变成视频序列数据进入计算机,并采用JVT提供的视频编码技术,由计算机进行处理与运算。
本发明的过程如图5、图6、图7、图8所示。
附图说明
图1系统框图;
1、采集的原始视频图像序列,2、计算机,3、帧内图像压缩处理,4、帧间图像压缩处理,5、压缩后编码序列,6、数据传输系统;
图2帧内图像中待压缩块的处理框图;
7、待处理的图像块,8、图像块的预测模块,9、变换,10、量化器,11、熵编码,12、压缩后比特流;
图3现有JVT中的4×4块帧内预测结构;
图4现有JVT中的16×16块帧内预测结构;
图5本发明的主流程图;
图6本发明的宏块预测模块流程图;
图7求图6中任意子块的预测值流程图;
图8求图7中当前预测模式下当前子块编码和重构流程图;
图9本发明的16×16宏块中预测每个8×8块的顺序图;
图10本发明的标注了像素下标的基本8×8块;
图11本发明的对8×8块划分的奇偶子块图;
A、偶偶子块,B、奇奇子块,C、偶奇子块,D、奇偶子块;
图12本发明的用来预测当前偶偶子块的像素和偶偶子块中像素的位置图;
图13本发明重构出的偶偶子块的像素的位置图;
图14本发明重构出的偶偶子块像素和待预测的奇奇子块像素位置图;
图15本发明重构出的偶偶子块像素、奇奇子块像素和待预测的偶奇子块像素位置图;
图16本发明重构出的偶偶子块像素、奇奇子块像素、偶奇子块像素和待预测的奇偶子块像素位置图;
图17本发明的8×8块预测值图;
图18本发明的8×8块重构值图;
图19本发明的重构偶偶子块所需像素值及其位置图;
图20本发明的重构偶偶子块后8×8块像素值及其位置图;
图21本发明的重构出偶偶子块、奇奇子块像素值及其位置图;
图22本发明的重构出偶偶子块、奇奇子块和偶奇子块像素值及其位置图;
图23本发明的整个8×8块重构后所有像素值及其位置图;
图24本发明的整个8×8块预测完毕后所有像素值及其位置图;
图25本发明与JVT预测结构在实例下的亮度样值信噪比及比特率曲线图。
具体实施方式
下面我们对帧内图像中任意取出的一个8×8块做实例说明,当前的8×8块周边的已经编码完的像素亮度样值如图19所示,利用它们来预测当前8×8块中的各个像素的亮度样值;
1.利用8×8块周边已经重构出的亮度样值,预测偶偶子块中各个像素的亮度样值,对于图像中开始的8×8边缘块,约定其周边的像素亮度样值为128,利用它们来预测边缘的8×8块。
a.利用本发明的方法求取9种模式下每种模式预测出的偶偶子块的像素预测值
这里k=0,1,2,…,8,表示预测模式,i=0,2,4,6,表示像素行坐标,j=0,2,4,6表示像素列坐标;
b.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下像素预测值,i=0,2,4,6,表示像素行坐标,j=0,2,4,6,表示像素列坐标;k=0,1,…,8;采用现有JVT中的编码技术,对各个像素的预测残差做DCT变换、量化和熵编码,求编码当前子块所需比特;并对各个像素的预测残差做了DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值重构当前模式下子块中的各个像素点的亮度样值,记为kij;
c.按现有JVT技术计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为常数68.539,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复a.b.c.直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式。在本例中,计算出的该子块的最优预测模式为5,其中模式0的Rdcost为747.7;模式1的Rdcost为498.1;模式2的Rdcost为763.7;模式3的Rdcost为480.1;模式4的Rdcost为824.7;模式5的Rdcost为472.7;模式6的Rdcost为777.7;模式7的Rdcost为723.7;模式8的Rdcost为685.7;所以本子块的最优模式为5。该最优预测模式5下重建的5ij为该子块的最后重构值,记为ij;该最优预测模式5下预测的
记为
为该子块的最后预测值;
偶偶子块重构后当前8×8块的重构状态如图20所示。
2.利用8×8块周边的已经重构完的像素亮度样值和偶偶子块中重构的像素亮度样值,预测本发明奇奇子块中的各个像素的亮度样值;
b.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下像素预测值,i=1,3,5,7,表示像素行坐标,j=1,3,5,7,表示像素列坐标;k=0,1,…,8;采用现有JVT中的编码技术,对各个像素的预测残差做DCT变换、量化和熵编码,求编码当前子块所需比特;并对各个像素的预测残差做了DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值重构当前模式下子块中的各个像素点的亮度样值,记为kij;
c.按现有JVT技术计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为常数68.539,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复a.b.c.直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式。在本例中,计算出的该子块的最优预测模式为1,其中模式0的Rdcost为891.3;模式1的Rdcost为216.1;模式2的Rdcost为703.3;模式3的Rdcost为430.7;模式4的Rdcost为410.7;模式5的Rdcost为428.7;模式6的Rdcost为576.7;模式7的Rdcost为596.7;模式8的Rdcost为518.7;所以本子块的最优模式为1。该最优预测模式1下重建的1ij为该子块的最后重构值,记为ij;该最优预测模式5下预测的
记为
为该子块的最后预测值;
奇奇子块重构后当前8×8块的重构状态如图21所示。
3.用8×8块周边的已经编码完的像素亮度样值和偶偶子块、奇奇子块中重构的像素亮度样值预测本发明偶奇子块中的各个像素的亮度样值;
b.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下像素预测值,i=0,2,4,6,表示像素行坐标,j=1,3,5,7,表示像素列坐标;k=0,1,…,8;采用现有JVT中的编码技术,对各个像素的预测残差做DCT变换、量化和熵编码,求编码当前子块所需比特;并对各个像素的预测残差做了DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值重构当前模式下子块中的各个像素点的亮度样值,记为kij;
c.按现有JVT技术计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为常数68.539,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复a.b.c.直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式。在本例中,计算出的该子块的最优预测模式为1,其中模式0的Rdcost为502.7;模式1的Rdcost为310.1;模式2的Rdcost为884.3;模式3的Rdcost为528.7;模式4的Rdcost为487.7;模式5的Rdcost为494.7;模式6的Rdcost为533.7;模式7的Rdcost为589.7;模式8的Rdcost为440.7;所以本子块的最优模式为1。该最优预测模式1下重建的1ij为该子块的最后重构值,记为ij;该最优预测模式5下预测的
记为
为该子块的最后预测值;
偶奇子块重构后当前8×8块的重构状态如图22所示。
4.利用8×8块周边的已经编码完的像素亮度样值和偶偶子块、奇奇子块、偶奇子块中重构的像素亮度样值,预测本发明奇偶子块中的各个像素的亮度样值;
a.利用本发明技术求取9种模式预测下每种模式奇偶子块的像素亮度样值这里k=0,1,…,8,表示预测模式,i=1,3,5,7,表示像素行坐标,j=0,2,4,6,表示像素列坐标;
b.由下面的预测残差公式,得到预测模式k下的预测残差值Δk:
这里,aij表示原始像素亮度样值,
表示模式k下像素预测值,i=1,3,5,7,表示像素行坐标,j=0,2,4,6,表示像素列坐标;k=0,1,…,8;采用现有JVT中的编码技术,对各个像素的预测残差做DCT变换、量化和熵编码,求编码当前子块所需比特;并对各个像素的预测残差做了DCT变换和量化后,再进行反量化和反DCT变换,然后加上预测值重构当前模式下子块中的各个像素点的亮度样值,记为kij;
c.按现有JVT技术计算该子块在当前预测模式下的失真率rdcost;
rd cost=distortion+lambda×rate;
其中,lambda为常数63.539,rate为在当前模式下编码当前子块所用比特数,distortion为当前子块的所有像素的原始亮度样值与预测值差平方的和;
d.k值增1,重复a.b.c.直至本子块所有预测模式都执行一遍为止;
e.比较各个模式下的rdcost,选取rdcost最小的模式为当前最优预测模式。在本例中,计算出的该子块的最优预测模式为1,其中模式0的Rdcost为527.7;模式1的Rdcost为305.1;模式2的Rdcost为922.3;模式3的Rdcost为569.7;模式4的Rdcost为504.7;模式5的Rdcost为485.7;模式6的Rdcost为715.7;模式7的Rdcost为543.7;模式8的Rdcost为592.7;所以本子块的最优模式为1。该最优预测模式1下重建的1ij为该子块的最后重构值,记为ij;该最优预测模式5下预测的
记为
为该子块的最后预测值。奇偶子块重构后当前8×8块的重构状态如图23所示;
此时8×8块预测完毕,其最后预测值如图24所示。
对于一幅大小为176×144,帧率为30Hz的图像,利用本发明和JVT预测结构分别计算在不同量化值下的亮度样植信噪比及比特率,并画出亮度样植信噪比与比特率曲线图(图25)。从图25中可以看出,利用本发明提出的预测结构给出的曲线在利用JVT结构给出的曲线上方,这就表明了本发明的优势,即在耗费相同的比特时,本发明能提供更高的图象质量;在得到相同的图像质量时,本发明能减少比特的开销。
Claims (2)
1、一种基于相邻像素预测的帧内预测方法,首先读出接收到的视频序列的帧内图像,并将该图像的像素亮度样值按从左至右,从上到下的顺序分成16×16的宏块,接着对16×16宏块中的像素亮度样值进行预测,然后按JVT中的方法求取预测残差值并对该预测残差值进行变换、量化,对量化变换后的系数信息进行变长编码或算术编码,直到整个图像编码完成为止,最后输出整个图像编码比特流,其特征在于,所述对每个16×16宏块中的像素亮度样值进行预测由以下步骤顺次组成:
1)取第一个16×16宏块为当前预测宏块;
2)将该宏块按从左至右,从上到下的顺序分成p×p(p=4,8,16)的块,接着对每个p×p块进行预测;
3)取第一个p×p块为当前块;
4)将当前p×p块中的像素亮度样值按照像素下标(i=0,1,…,p-1,表示像素行下标;j=0,1,…,p-1,表示像素列下标;)的奇偶性划分成偶偶子块(当i=0,2,4,…,p-2,j=0,2,4,…,p-2,时),偶奇子块(当i=0,2,4,…,p-2,j=1,3,5,…,p-1,时),奇偶子块(当i=1,3,5,…,p-1,j=0,2,4,…,p-2,时)和奇奇子块(当i=1,3,5,…,p-1,j=1,3,5,…,p-1,时);
5)预测当前块中偶偶子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值,按照常规预测模式来预测偶偶子块的像素亮度样值
并重构偶偶子块中的像素亮度样值ij,其中,i=0,2,4,…,p-2,表示像素行坐标,j=0,2,4,…,p-2,表示像素列坐标;
6)预测当前块中奇奇子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶子块的像素亮度样值,按照常规预测模式预测奇奇子块的像素亮度样值
并重构奇奇子块中的像素亮度样值ij其中,i=1,3,5,…,p-1,表示像素行坐标,j=1,3,5,…,p-1,表示像素列坐标;
7)预测当前块中偶奇子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶、奇奇子块的像素亮度样值,按照常规预测模式预测偶奇子块的像素亮度样值
并重构偶奇子块中的像素亮度样值ij其中,i=0,2,4,…,p-2,表示像素行坐标,j=1,3,5,…,p-1,表示像素列坐标;
8)预测当前块中奇偶子块的像素亮度样值:
利用该p×p块上边、左边和左上角已经重构的像素亮度样值和重构出的偶偶、奇奇和偶奇子块的像素亮度样值,按照常规预测模式预测奇偶子块的像素亮度样值
并重构奇偶子块中的像素亮度样值ij其中,i=1,3,5,…,p-1,表示像素行坐标,j=0,2,4,…,p-2,表示像素列坐标;
9)取下一个p×p块作为当前块,重复第3)至9)步的过程,直到该宏块预测完毕为止;
10)取下一个宏块作为当前预测宏块,重复第2)至10)步的过程,直到完成整幅图像的像素亮度样值的预测。
2、根据权利要求1所述的一种基于相邻像素预测的帧内预测方法,其特征在于,所述p×p块的大小为8×8,所述对每个p×p块中的像素亮度样值进行预测由以下步骤顺次组成:
1)将每一个16×16宏块中的像素亮度样值按照从左至右,从上至下的顺序分成4个8×8块,再对每一个8×8块中的64个像素亮度样值按下标的奇偶性划分成偶偶子块、偶奇子块、奇偶子块和奇奇子块;
2)选定第一个8×8块且定义其像素为aij,其中i=0,1,…,7,表示像素行下标;j=0,1,…,7,表示像素列下标;与其相邻的上边一行的16个像素定义为sp,p=0,1,…,15;与其相邻的左边一列的8个像素定义为tq,q=0,1,…,7;f表示当前8×8块的左上角的像素,对于图像中开始的8×8边缘块,约定其周边重构出的像素亮度样值为128;
3)预测当前8×8块中偶偶子块的像素亮度样值:
利用当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照常规预测模式来预测偶偶子块的像素亮度样值
并重构偶偶子块中的像素亮度样值ij,其中,i=0,2,4,6,表示像素行坐标,j=0,2,4,6,表示像素列坐标;
4)预测当前8×8块中奇奇子块的像素亮度样值:
首先将偶偶子块的16个像素重构值放回到原始8×8块的位置上,然后利用偶偶子块中重构出的16个像素亮度样值和当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照常规预测模式预测奇奇子块的像素亮度样值
并重构奇奇子块中的像素亮度样值ij其中,i=1,3,5,7,表示像素行坐标,j=1,3,5,7,表示像素列坐标;
5)预测当前8×8块中偶奇子块的像素亮度样值:
利用重构出的偶偶、奇奇子块的像素亮度样值和当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照常规预测模式预测偶奇子块的像素亮度样值
并重构偶奇子块中的像素亮度样值ij其中,i=0,2,4,6,表示像素行坐标,j=1,3,5,7,表示像素列坐标;
6)预测当前8×8块中奇偶子块的像素亮度样值:
利用重构出的偶偶、奇奇和偶奇子块的像素亮度样值和当前8×8块周围已经编码宏块的像素sp(p=0,1,…,15)和tq(q=0,1,…,7)的亮度样值,按照常规预测模式预测奇偶子块的像素亮度样值
并重构奇偶子块中的像素亮度样值ij,其中,i=1,3,5,7,表示像素行坐标,j=0,2,4,6,表示像素列坐标;
7)选取另一个8×8块,重复第3)至第7)步的过程,直到四个8×8块全部完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03136605 CN1204753C (zh) | 2003-05-19 | 2003-05-19 | 基于相邻像素预测的帧内预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03136605 CN1204753C (zh) | 2003-05-19 | 2003-05-19 | 基于相邻像素预测的帧内预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1455600A CN1455600A (zh) | 2003-11-12 |
CN1204753C true CN1204753C (zh) | 2005-06-01 |
Family
ID=29260522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 03136605 Expired - Fee Related CN1204753C (zh) | 2003-05-19 | 2003-05-19 | 基于相邻像素预测的帧内预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1204753C (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100536573C (zh) * | 2004-01-16 | 2009-09-02 | 北京工业大学 | 基于方向的dc预测方法及用于视频编码的帧内预测方法 |
CN1589028B (zh) * | 2004-07-29 | 2010-05-05 | 展讯通信(上海)有限公司 | 基于像素流水的帧内预测装置及预测方法 |
US7813432B2 (en) * | 2004-12-30 | 2010-10-12 | Intel Corporation | Offset buffer for intra-prediction of digital video |
CN100426868C (zh) * | 2005-01-25 | 2008-10-15 | 中国科学院计算技术研究所 | 一种帧内图像的亮度预测编码方法 |
CN100413342C (zh) * | 2005-03-09 | 2008-08-20 | 浙江大学 | 用于视频或图像压缩的帧内预测模式编解码的方法和装置 |
CN100442857C (zh) * | 2005-10-12 | 2008-12-10 | 华为技术有限公司 | 一种增强层帧内预测方法和编解码设备 |
CN100466740C (zh) * | 2005-11-11 | 2009-03-04 | 北京微视讯通数字技术有限公司 | 用于视频编码处理的差值量化方法及其装置 |
KR100904442B1 (ko) | 2006-01-09 | 2009-06-24 | 엘지전자 주식회사 | 영상 신호의 레이어 간 예측 방법 |
KR20070074453A (ko) * | 2006-01-09 | 2007-07-12 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
CN101385356B (zh) * | 2006-02-17 | 2011-01-19 | 汤姆森许可贸易公司 | 采用帧内预测模式的图像编码方法 |
CN100382567C (zh) * | 2006-06-06 | 2008-04-16 | 王程 | 从因隔行采样引起降质的图像中重建超分辨率图像的方法 |
EP2056606A1 (en) * | 2006-07-28 | 2009-05-06 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
CN101039420B (zh) * | 2007-03-30 | 2011-02-02 | 孟智平 | 一种基于流格式的指定区域图像传输及显示方法 |
CN100566427C (zh) | 2007-07-31 | 2009-12-02 | 北京大学 | 用于视频编码的帧内预测编码最佳模式的选取方法及装置 |
JP2010258738A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US20140086309A1 (en) * | 2011-06-16 | 2014-03-27 | Freescale Semiconductor, Inc. | Method and device for encoding and decoding an image |
CN102857752B (zh) * | 2011-07-01 | 2016-03-30 | 华为技术有限公司 | 一种像素预测方法和装置 |
CN107404650B (zh) * | 2017-07-25 | 2020-04-07 | 哈尔滨工业大学 | 基于自适应模式选择的像素级三向帧内预测方法 |
CN109474825B (zh) * | 2018-10-18 | 2020-07-10 | 北京大学 | 一种脉冲序列压缩方法及系统 |
-
2003
- 2003-05-19 CN CN 03136605 patent/CN1204753C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1455600A (zh) | 2003-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1204753C (zh) | 基于相邻像素预测的帧内预测方法 | |
CN1206864C (zh) | 结合率失真优化的码率控制的方法及其装置 | |
CN1172532C (zh) | 图像预测编码/解码装置和方法以及记录媒体 | |
CN1178460C (zh) | 图象编码方法和图象编码装置 | |
CN1320809C (zh) | 图像处理装置与方法 | |
CN1260979C (zh) | 图像处理装置及系统、解码装置、编码装置及编码方法 | |
CN1213935A (zh) | 分层图像编码解码、数字广播信号记录及图像音频的解码 | |
CN1993993A (zh) | 图像处理设备、其程序、及其方法 | |
CN1701616A (zh) | 图像信息编码装置和方法,以及图像信息解码装置和方法 | |
CN1169303C (zh) | 数据处理装置和方法以及记录介质 | |
CN1568622A (zh) | 动态图像的编码方法及解码方法 | |
CN1897703A (zh) | 视频编码方法和装置以及视频解码方法和装置 | |
CN1922885A (zh) | 图象解码装置和图象编码装置 | |
CN1922890A (zh) | 分段可逆视频编码方法、分段可逆视频译码方法、分段可逆视频编码装置、分段可逆视频译码装置和它们的程序及程序记录媒体 | |
CN1253013C (zh) | 预测装置、编码装置、逆预测装置、解码装置 | |
CN1265647C (zh) | 块组编码结构及基于块组结构的自适应分阶段预测编码方法 | |
CN1893655A (zh) | 图像预测编码/解码装置和方法以及记录媒体 | |
CN1170437C (zh) | 图像信号混洗装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20050601 Termination date: 20130519 |