CN103634608B - 一种高性能视频编码无损模式的残差变换方法 - Google Patents

一种高性能视频编码无损模式的残差变换方法 Download PDF

Info

Publication number
CN103634608B
CN103634608B CN201310648456.4A CN201310648456A CN103634608B CN 103634608 B CN103634608 B CN 103634608B CN 201310648456 A CN201310648456 A CN 201310648456A CN 103634608 B CN103634608 B CN 103634608B
Authority
CN
China
Prior art keywords
residual error
intra prediction
formula
coefficient
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310648456.4A
Other languages
English (en)
Other versions
CN103634608A (zh
Inventor
李厚强
陈方栋
张金雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201310648456.4A priority Critical patent/CN103634608B/zh
Publication of CN103634608A publication Critical patent/CN103634608A/zh
Application granted granted Critical
Publication of CN103634608B publication Critical patent/CN103634608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种高性能视频编码无损模式的残差变换方法,该方法包括:若当前编码单元为水平或垂直方向的帧内预测模式,则利用当前残ri,j左侧或上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j;利用所述当前残差ri,j与其预测值之间的差值ai,j代替所述当前残差ri,j进行熵编码;求解使得所述差值ai,j为最小值的最佳系数αi,j,并根据所述最佳系数αi,j获得变换矩阵。通过采用本发明公开的方法大大的降低了码率,提高了编码性能,同时可无失真地保持视频内容。

Description

一种高性能视频编码无损模式的残差变换方法
技术领域
本发明涉及视频编码技术领域,尤其涉及一种高性能视频编码无损模式的残差变换方法。
背景技术
近年来,随着通信技术、多媒体技术的不断发展,人们对于视频等多媒体通信的需求也越来越高。然而,视频的数据量巨大,未经过编码压缩的视频数据基本无法在现有信道中传输。为了满足上面的各种要求,国际上先后提出了各种视频编码方案。从上个世纪九十年代以来,ITU(国际电信联盟)和ISO(国际标准化组织)联合制定了一系列关于视频压缩编解码的国际标准和建议,其中,ITU提出的H.26X系列视频压缩标准和ISO/IEC JTC推出的MPEG(动态图像专家组)系列国际标准影响最大。2013年1月,视频编码标准化组织JCT-VC(Joint Collaborative Team on Video Coding,视频编码联合组)正式发布最新一代视频编码国际标准——HEVC(High Efficiency Video Coding,高性能视频标准)。在相同视频主观质量下,HEVC的码率大约仅为上一代视频编码标准H.264/AVC的50%。
在编码基本框架上,HEVC和先前的H.264/AVC标准类似,依然采用混合编码模式。整个编码过程主要分为:预测、变换、量化、环路滤波、熵编码五步。预测部分分为帧内预测和帧间预测。帧内预测利用当前帧已重建像素作为参考像素进行预测,帧间预测利用前面或后面帧重建的像素值作为参考进行预测。预测完成后,将所得的预测值与当前块相减,进而得到残差,残差经过变换量化得到变换系数,最后将变换系数经过熵编码而得到最后的码流。无论是帧间预测,还是帧内预测都需要用到重建图像的信息,因而在编码过程中,还需要将编码的残差系数进行反量化反变换,得到其残差图像,再将该残差图像与预测值相加,最后经过一个环路滤波滤除视频图像中的噪声。
在HEVC标准中,存在有损压缩和无损压缩两大类编码模式。对于互联网中传输的大部分视频,进行适当的有损失压缩可以很好地降低码率,从而提高传输的效率。而对于医学视频、遥感视频、指纹等领域,无损压缩也存在很广泛的应用。HEVC标准的主流应用为有损压缩,其标准的制定也主要为有损压缩编码而服务。在HEVC标准中,无损压缩作为有损压缩的扩展部分存在。因而,在HEVC有损压缩标准之上,再开发一套全新的编码工具来获得尽可能好的无损编码效率已经不切实际。因此,在进行HEVC无损编码方案设计时,我们应遵循这样的设计原则:尽可能地利用已有的HEVC有损编码结构,提出的无损编码方案对原始的有损编码结构改动尽可能小,以满足该标准的通用性和硬件实现的兼容性,同时考虑编码效率和复杂度的平衡。
在HEVC标准中,由于量化存在量化失真,且其对残差的变换过程与量化结合在一起进行,因而其变换过程也存在失真。为了保持原有的有损压缩编码框架,HEVC标准的无损压缩编码直接将变换量化过程跳过。另外,由于编码前后像素无失真,因而不需要进行环路滤波,HEVC无损压缩编码也跳过了环路滤波过程。换言之,在目前HEVC无损压缩实现中,仅是将变换、量化、环路滤波三部分跳过,以保持重建视频图像和原始编码视频图像的无失真。虽然,简单跳过变换、量化、环路滤波三个过程对原有的编码框架改动小,易于实现,但是其编码效率相对较低,无法满足实际应用需求。对此,已经有很多相关的研究提出了对无损编码性能进行提高的方法,下面将简略介绍几个主要方案及其优劣。
1)针对水平/垂直方向帧内预测的RDPCM(残差差值脉冲编码调制)
该方案与原先使用在H.264/AVC标准中的DPCM(差值脉冲编码调制)方法类似。如图1a-图1b所示,设MxN的矩阵R(元素为ri,j)表示经帧内预测后亮度或色度分量的残差矩阵。当帧内预测的模式为垂直方向时(如图1a所示),对残差矩阵进行如式1所示相减,以获得到矩阵(元素为)。当帧内预测的模式为水平方向时(如图1b所示),对残差矩阵进行如式2所示相减,同样获得到矩阵(元素为)。
r ~ i , j = r i , j , i = 0,0 ≤ j ≤ ( N - 1 ) r i , j - r ( i - 1 ) , j , 1 ≤ i ≤ ( M - 1 ) , 0 ≤ j ≤ ( N - 1 )    式1
r ~ i , j = r i , j , 0 ≤ i ≤ ( M - 1 ) , j = 0 r i , j - r i ( j - 1 ) , 0 ≤ i ≤ ( M - 1 ) , 1 ≤ j ≤ ( N - 1 )    式2
然而,该方案只是简单地将当前残差与邻接残差相减来去除它们之间的相关性。这种方法过于粗略,由于当前残差与邻接残差相近程度存在一定的随机性,例如,两者残差不一定非常相近,而是存在一定的线性关系,此时,简单相减仍无法去除那些相差较大的残差间的相关性,无法实现码率的最大化降低。
2)针对33个帧内预测方向的SAP(基于样本的帧内角度预测)
该方案中,将亮度分量的33个帧内预测方向(总共有35种,如图2所示,此处除去了DC(直流)和Planar(平滑)两个模式)分为两大类,偏向垂直方向的(图2中的模式18到34)归为垂直类,偏向水平方向的(图2中的模式2到17)归为水平类。如图3a,垂直类的帧内预测在完成帧内预测之后,对于残差x,沿着与帧内预测的相同方向又进行了一次预测。帧内预测时,PU(预测单元)内的像素的参考像素均为PU单元外围的像素,而对残差(如图3a中的x)进行再预测时,参考残差选择的是该残差上部和左上部的两个残差(如图3a中的a、b),其原因在于,残差a、b与残差x离得更近,相关性更高。根据帧内预测的方向,通过对残差a、b的双线性插值便可得到残差x的预测残差,该过程的差值过程与帧内预测非整数像素的差值非常类似。而对于水平类的帧内预测,其残差的预测残差获得方式如图3b所示,与垂直类的残差再预测不同,垂直类是逐行进行的,而水平类的残差再预测是逐列进行的。另外,对于色度分量的残差再预测采用与亮度一样的方向进行再预测。
然而,该方案采用的预测方式与原像素的预测方向一样,但事实上,残差的相关性与原像素的空间相关性相差较大,采用相同的方向进行再预测无法最大程度地消除残差的空间相关性。
另外,考虑到上述方案2)的复杂度,某科研机构对其进行了简化,即仅仅对于帧内预测方向为垂直或水平方向的残差才进行SAP。虽然,该方案的复杂度略有降低,但却导致码率的增加,无法获得预期的结果。
发明内容
本发明的目的是提供一种高性能视频编码无损模式的残差变换方法,大大的降低了码率,提高了编码性能,同时可无失真地保持视频内容。
本发明的目的是通过以下技术方案实现的:
一种高性能视频编码无损模式的残差变换方法,该方法包括:
若当前编码单元为水平或垂直方向的帧内预测模式,则利用当前残差ri,j左侧或上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j
利用所述当前残差ri,j与其预测值之间的差值ai,j代替所述当前残差ri,j进行熵编码;
求解使得所述差值ai,j为最小值的最佳系数αi,j,并根据所述最佳系数αi,j获得变换矩阵。
由上述本发明提供的技术方案可以看出,充分利用了HEVC既有的编码结构,保持了原有标准中的语义和语法结构;在保证视频无失真压缩的同时,可以大大降低码率,使其能满足医学视频、遥感视频等领域对无损保存视频的需求,大大降低了保存这些无损视频码流的存储空间,同时也有利于低带宽下进行上述无损码流的传输。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1a为本发明背景技术提供的垂直方向的帧内预测模式的示意图;
图1b为本发明背景技术提供的水平方向的帧内预测模式的示意图;
图2为本发明背景技术提供的帧内预测模式方向及其索引的示意图;
图3a为本发明背景技术提供的垂直类的SAP的示意图;
图3b为本发明背景技术提供的方向类的SAP的示意图;
图4为本发明实施例一提供的一种高性能视频编码无损模式的残差变换方法的示意图;
图5a为本发明实施例一提供的水平方向上的残差预测示意图;
图5b为本发明实施例一提供的垂直方向上的残差预测示意图;
图6为本发明实施例二提供的又一种高性能视频编码无损模式的残差变换方法的示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
目前的HEVC的帧内预测有35种预测模式,而对于不同的预测模式而言,其残差的相关性存在很大区别。为了最大程度地消除残差的冗余度,可以针对不同方向的帧内预测残差,分别采用了不同变换策略。
实施例一
图4为本发明实施例一提供的一种高性能视频编码无损模式的残差变换方法的示意图。如图2所示,该方法主要包括如下步骤:
步骤41、若当前编码单元为水平或垂直方向的帧内预测模式,则利用当前残差ri,j左侧或上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j
本发明实施例将水平方向或与所述水平方向的夹角在阈值范围内的帧内预测模式作为水平方向的帧内预测模式;将垂直方向或与所述垂直方向的夹角在阈值范围内的帧内预测模式作为垂直方向的帧内预测模式。所述阈值可以根据实际需求或经验进行设定。
如图5a所示,若当前编码单元为水平方向的帧内预测模式,其残差在水平方向上存在很大冗余度。则利用当前残差ri,j左侧的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j,其公式为:
r ~ i , j = round ( Σ k = 1 K ( α i , j - k · r i , j - k ) ) .    式3
如图5b所示,若当前编码单元为垂直方向的帧内预测模式,其残差在垂直方向上存在很大的冗余度。则利用当前残差ri,j上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j,其公式为:
r ~ i , j = round ( Σ k = 1 K ( α i - k , j · r i - k , j ) ) .    式4
其中,round为通过四舍五入取最接近整数的函数,即i与j分别表示行列坐标值;αi,j为一待定系数;为当前残差ri,j的预测值,在当前编码单元为水平方向的帧内预测模式时,该预测值为当前残差ri,j左侧的K个残差的组合值,在当前编码单元为垂直方向的帧内预测模式时,该预测值为当前残差ri,j上端的K个残差的组合值。步骤42、利用所述当前残差ri,j与其预测值之间的差值ai,j代替所述当前残差ri,j进行熵编码。
本发明实施例中的差值ai,j表示为:
a i , j = r i , j - r ~ i , j .       式5
即若该预测值能较好地接近当前残差ri,j,则其差值ai,j就近似为零。此时,用差值ai,j代替所述当前残差ri,j进行熵编码将大大节省码率。
步骤43、求解使得所述差值ai,j为最小值的最佳系数αi,j,并根据所述最佳系数αi,j获得变换矩阵。
为了确定最佳的系数αi,j以使该预测值尽可能地接近当前残差ri,j,对于水平方向的帧内预测模式本发明实施例采用当前残差ri,j左侧2K+1个残差的关系进行训练预测,并将求出最小化平方误差SE的参数作为最佳系数αi,j,其公式为:
SE = Σ k = 1 K + 1 ( r i , j - k - r ~ i , j - k ) 2 , j ≥ 2 K + 1 .    式6
本发明实施例采用了无损压缩,因此,在当前残差之前的残差可以无失真地重建,通过上述训练方法,解码端可以准确地得到该最佳系数αi,j。因而,不需要给解码端传额外的信息,这样,对于原有标准的语法与语义都不需要进行修改。
根据上述式3、式5及式6,可得如下预测式子:
a i , j = r i , j - r ~ i , j , 0 &le; j < 2 K + 1 a i , j = r i , j - round ( &Sigma; k = 1 K ( &alpha; i , j - k &CenterDot; r i , j - k ) , j &GreaterEqual; 2 K + 1 ) .    式7
在实际应用中,考虑到复杂度的问题,对于式7中每一行的前2K+1个残差,都可以采用固定系数。最后,可以将式7写成矩阵表达式:
A=RHT
其中,所述R为原始残差矩阵,A为变换后用于编码的系数矩阵,H为由最佳系数αi,j构成的变换矩阵,HT为矩阵H的转置矩阵。
类似的,对于垂直方向的帧内预测模式本发明实施例采用当前残差ri,j上端2K+1个残差的关系进行训练预测,并将求出最小化平方误差SE的参数作为最佳系数αi,j,其公式为:
SE = &Sigma; k = 1 K + 1 ( r i - k , j - r ~ i - k , j ) 2 , j &GreaterEqual; 2 K + 1 .    式8
根据上述式4、式5及式8,可得如下预测式子:
a i , j = r i , j - r ~ i , j , 0 &le; i < 2 K + 1 a i , j = r i , j - round ( &Sigma; k = 1 K ( &alpha; i - k , j &CenterDot; r i - k , j ) , i &GreaterEqual; 2 K + 1 ) .    式9
同样,可以将式9写成矩阵表达式:A=HR。
另一方面,本发明实施例中当前编码还可能出现其他方向的帧内预测模式(例如,非水平与垂直方向),其冗余分布在水平与垂直方向上。此时,需要对两个方向分别进行变换,对应的变换矩阵为:
A=HRHT
本发明实施例中采用了无损压缩,在解码端可以无失真地获得像素残差,因而,在获得预测模式后,解码端可以通过已解码残差训练得到准确的变换系数(反变换方案),从而无失真地解码出剩余残差系数。
本发明实施例中充分利用了HEVC既有的编码结构,保持了原有标准中的语义和语法结构;在保证视频无失真压缩的同时,可以大大降低码率,使其能满足医学视频、遥感视频等领域对无损保存视频的需求,大大降低了保存这些无损视频码流的存储空间,同时也有利于低带宽下进行上述无损码流的传输。
实施例二
为了便于理解本发明,下面结合附图6对本发明做进一步介绍。
如图6所示,该方法主要包括如下步骤:
步骤61:获得预测残差,并判断是否采用了帧内预测模式;若是,则转入步骤62;否则,转入步骤66。
步骤62、判断所述帧内预测模式的方向;若为水平方向,则转入步骤63;若为垂直方向,则转入步骤64;若为其他方向,则转入步骤65。
步骤63、采用水平方向帧内预测模式对应的变换矩阵。
本发明实施例所述的水平方向的帧内预测模式包括水平方向或与所述水平方向的夹角在阈值范围内的帧内预测模式。为了便于理解,此处将阈值设为5.7并结合图2为例来进行说明。图2中的模式18为45度方向,模式10为0度方向,即相邻模式之间的夹角为5.625,因此,可以将模式9-模式11都作为水平方向。
结合附图5a,ri,j表示经帧内预测后实际像素值与预测像素值之间的残差,i和j分别表示行列坐标值。而对于水平方向的帧内预测,其残差在水平方向上存在很大冗余度。换言之,若能找到当前残差ri,j和水平方向上邻接残差的关系,就可以通过该邻接残差来预测当前残差。
考虑到复杂度的原因,本步骤采用正比例函数,即仅将当前残差的左侧的1个残差作为参考,即将式3中的K设置为1,表示为:
r ~ i , j = round ( &alpha; i , j &CenterDot; r i , j - 1 ) ;
其中,round为通过四舍五入取最接近整数的函数,即αi,j为一待定系数,为0.0到2.0之间21个间隔0.1的小数。显然,如果当系数αi,j合适,该预测值能较好地接近ri,j,那么,就近似为零,而我们只需要编码ai,j。此时,用ai,j替代ri,j进行熵编码将可以大大降低码率。
为了获得最佳的系数αi,j,本发明实施例采用最小平方误差的方法来训练这21个候选参数(0.0到2.0的21个小数);即,通过前面已有残差之间的关系,来预测当前残差与左侧残差之间的关系。更具体地讲,就是从该21个参数中选择能最小化式10所示的平方误差SE的参数作为最佳系数αi,j,其中。ri,j-1和ri,j-2分别表示当前残差左侧的两个残差。
SE = ( r i , j - 1 - r ~ i , j - 1 ) 2 + ( r i , j - 2 - r ~ i , j - 2 ) 2 .    式10
需要说明的是,上述方法需要三个已有残差进行训练。对于每一行的第一个残差ri,0,由于没有可参考残差,对其不做处理,即保持原值。对于第二个残差,我们设定其预测系数αi,1为1。而对于第三个残差,其最佳预测系数αi,2按式11进行设置。
&alpha; i , 2 = 1 , r i , 0 = 0 round ( r i , 1 / r i , 0 ) r i , 0 &NotEqual; 0 .    式11
这样,就可以获得如下预测式子,其中αi,j为通过训练获得的最小化SE的最佳系数。
a i , 0 = r i , 0 , a i , 1 = r i , 1 - r i , 0 , a i , 2 = r i , 2 - round ( &alpha; i , 2 &CenterDot; r i , 1 ) , a i , j = r i , j - round ( &alpha; i , j &CenterDot; r i , j - 1 ) , j &GreaterEqual; 3 .    式12
将式12写成矩阵表达式,表示为:
A=RHT
其中,A为变换之后的系数矩阵,R为原始残差矩阵,H为由最佳系数αi,j构成的NxN大小的变换矩阵,其形式如式13所示,HT为其转置矩阵。
式13
步骤64、采用垂直方向帧内预测模式对应的变换矩阵。
本发明实施例所述的垂直方向的帧内预测模式包括垂直方向或与所述垂直方向的夹角在阈值范围内的帧内预测模式。与步骤63类似的,本步骤中将图2中的模式25-模式27都作为垂直方向。
类似的,通过相似的邻接残差特性也可以获得编码性能的提高。对于垂直方向的帧内预测模式,其残差在垂直方向上存在很大的冗余度。因而,式14所示的预测值也可以是当前残差ri,j的一个准确估计
r ~ i , j = round ( &alpha; i , j &CenterDot; r i - 1 , j ) .    式14
类似的,式14的参数αi,j也需要通过ri,j上面的三个已有残差之间关系训练得到。即,训练0.0到2.0的21个参数,选取能最小化式15所示的SE的整数作为当前残差的最佳预测系数αi,j
SE = ( r i - 1 , j - r ~ i - 1 , j ) 2 + ( r i - 2 , j r ~ i - 2 , j ) 2 .    式15
显然,上述式子需要有三个残差作为参考,而对于每一列的前三个残差,没有足够的参考残差作为参考进行训练,因而对于第一个和第二个残差,我们将最佳预测系数αi,j分别设置为0和1,而对于第三个残差,其预测系数如式16所示。
&alpha; 2 , j = 1 , r 0 , j = 0 round ( r 1 , j / r 0 , j ) r 0 , j &NotEqual; 0 .    式16
随之,可以获得如下预测式子,来进一步去除残差相关性,以降低码率。
a 0 , j = r 0 , j , a 1 , j = r 1 , j - r 0 , j , a 2 , j = r 2 , j - round ( &alpha; 2 , j &CenterDot; r 1 , j ) , a i , j = r i , j - round ( &alpha; i , j &CenterDot; r i - 1 , j ) , i &GreaterEqual; 3 .    式17
类似地,可以将上述式17写成矩阵形式,其表示为:
A=HR。
其中,H为由最佳系数αi,j构成的NxN大小的变换矩阵,其形式为:
   式18
步骤65、采用其他方向帧内预测模式对应的变换矩阵。
对于其它帧内预测方向(非水平与垂直方向),其冗余分布在两个方向上。因此,需要对两个方向分布进行变换,即
A=HRHT。        式19
当帧内预测为其他方向时,无论是水平还是垂直方向的相关性都不显著,采用训练的方法获得变化系数的方法不再有效,同时考虑到复杂度,式19中的矩阵H采用固定变换,即采用式20所示的固定变换分别对残差进行行变换和列变换。其中,NxN大小的矩阵H表示为:
   式20
步骤66、熵编码。
当帧内预测模式通过对应的步骤63-65进行处理后,则可进行熵编码;而对于帧间预测模式,由于其残差相对较小,且冗余较小,不适当的变换不但无法去除冗余,还会增加额外的复杂度,同时为了保持无损编码,本发明实施例对于帧间预测的残差不做变换,即直接对残差进行熵编码。
步骤67、熵解码获得预测残差。
对于帧间预测模式,则熵解码得到的系数就是残差系数,不需要进行反变换。
对于帧内预测模式,则根据帧内预测模式的方向选择对应的反变换方案;具体步骤如下:
1)当帧内预测的方向为水平方向时,残差ri,j的可以通过式21获得。
r i , 0 = a i , 0 , r i , 1 = a i , 1 - r i , 0 , r i , 2 = a i , 2 - round ( &alpha; i , 2 &CenterDot; r i , 1 ) , r i , j = a i , j - round ( &alpha; i , j &CenterDot; r i , j - 1 ) , j &GreaterEqual; 3 .    式21
其中αi,2如式11所示,而其他αi,j通过前三个残差训练获得,即取最小化式10所示平方误差SE的候选整数,具体方法与步骤63类似。将上式写成矩阵形式,可以得到:
R=A(HT)-1
其中,(HT)-1为式13所示矩阵H的转置矩阵的逆矩阵。
2)当帧内预测方向为垂直方向时,残差ri,j可以通过式22获得。
r 0 , j = a 0 , j , r 1 , j = a 1 , j - r 0 , j , r 2 , j = a 2 , j - round ( &alpha; 2 , j &CenterDot; r 1 , j ) , r i , j = a i , j - round ( &alpha; i , j &CenterDot; r i - 1 , j ) , i &GreaterEqual; 3 .   式22
其中α2,j如式16所示,而其他αi,j的获得方法与步骤64类似。将上式写成矩阵形式,可以得到:
R=H-1A。
其中,H-1为式18所示矩阵H的逆矩阵。
3)对于其它帧内预测方向,残差ri,j的获取可以通过式23所示的变换获得,即
R=H-1A(H-1)T。         式23
其中H-1为是式20所示矩阵的逆矩阵。
本发明实施例中充分利用了HEVC既有的编码结构,保持了原有标准中的语义和语法结构;在保证视频无失真压缩的同时,可以大大降低码率,使其能满足医学视频、遥感视频等领域对无损保存视频的需求,大大降低了保存这些无损视频码流的存储空间,同时也有利于低带宽下进行上述无损码流的传输。
实施例三
为了验证本发明的有益效果,在最新的HEVC参考软件HM10.0上实现该方法,并与参考代码中原有的跳过变换、量化、滤波的无损编码方法进行了对比。在仿真对比中,将文献(F.Bossen,“Common Test Conditions and Software ReferenceConfigurations,”JCT-VC document,JCTVC-L1100,Geneva,Jan.2013)提供的测试序列和测试条件作为仿真对比环境;其中,采用了如下两个编码环境:全帧内主文件编码(All Intra Main Profile encoding,AI-Main)和随机接入主文件编码(Random AccessMain Profile encoding,RA-Main)。测试序列主要为A类到E类,各个类别的视频序列的分辨率如表1所示。
序列类型 分辨率
A类 2560x1600
B类 1920x1080
C类 832x480
D类 416x240
E类 1280x720
表1各类测试序列
由于参考软件HM10.0中的默认编码方式为有损编码,我们需要将配置文件中指示是否进行无损编码的标志设置为1,即进行无损编码,并且将配置文件中的QP(量化参数)设置为0。
仿真测试结果如表2-表3所示,其分别表示AI-Main和RA-Main两种编码环境下,HM10.0中原有无损编码方法和本发明提出的方法的码率,其中码率节省率通过下式获得:
码率节省率=100(原有方法码率-本发明码率)/原有方法码率%。
表2AI-Main配置环境下仿真测试结果
表3RA-Main配置环境下仿真测试结果
通过表2、3,我们可以看出,相对HM10.0中原有的方法,本发明的编码码率有了很大降低。特别是对于全帧内主文件(AI-Main)编码环境下,本发明方法的码率平均降低了7.2%,其中A类测试序列更是获得了平均高达11.5%的码率节省。由于本发明对于帧内预测编码性能的改善,在采用P帧(前向预测帧)或者B帧(双向预测帧)的编码环境中,编码端更多地采用了帧内编码作为最终的编码方式。由于这样的变化,在RA-Main这样包含P或B帧的编码环境下,码率获得了平均2.1%的降低。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种高性能视频编码无损模式的残差变换方法,其特征在于,该方法包括:
若当前编码单元为水平方向的帧内预测模式,则利用当前残差ri,j左侧的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j;若当前编码单元为垂直方向的帧内预测模式,则利用当前残差ri,j上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j;其中,将水平方向或与所述水平方向的夹角在阈值范围内的帧内预测模式作为水平方向的帧内预测模式;将垂直方向或与所述垂直方向的夹角在阈值范围内的帧内预测模式作为垂直方向的帧内预测模式;
利用所述当前残差ri,j与其预测值之间的差值ai,j代替所述当前残差ri,j进行熵编码;
求解使得所述差值ai,j为最小值的最佳系数αi,j,并根据所述最佳系数αi,j获得变换矩阵。
2.根据权利要求1所述的方法,其特征在于,若当前编码单元为水平方向的帧内预测模式,则利用当前残差ri,j左侧的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,,,其公式为:
r ~ i , j = round ( &Sigma; k = 1 K ( &alpha; i , j - k &CenterDot; r i , j - k ) ) ;
其中,round为通过四舍五入取最接近整数的函数;i与j分别表示行列坐标值,为当前残差ri,j的预测值。
3.根据权利要求2所述的方法,其特征在于,所述求解使得所述差值ai,j为最小值的最佳系数αi,j包括:
对所述当前残差ri,j左侧2K+1个残差的关系进行训练预测,求出最小化平方误差SE的参数作为最佳系数αi,j,其计算公式为:
SE = &Sigma; k = 1 K + 1 ( r i , j - k - r ~ i , j - k ) 2 , j > 2 K + 1 .
4.根据权利要求3所述的方法,其特征在于,根据所述最佳系数αi,j获得变换矩阵包括:
获得预测式子: a i , j = r i , j - r ~ i , j , 0 &le; j < 2 K + 1 a i , j = r i , j - round ( &Sigma; k = 1 K ( &alpha; i , j - k &CenterDot; r i , j - k ) ) , j &GreaterEqual; 2 K + 1 ;
根据所述预测式子获得变换矩阵:A=RHT
其中,所述R为原始残差矩阵,A为变换后用于编码的系数矩阵,H为由最佳系数αi,j构成的NxN大小的变换矩阵,其形式为:
HT为矩阵H的转置矩阵。
5.根据权利要求1所述的方法,其特征在于,若当前编码单元为垂直方向的帧内预测模式,则利用当前残差ri,j上端的K个残差作为参考并结合系数αi,j,预测所述当前残差ri,j,其公式为:
r ~ i , j = round ( &Sigma; k = 1 K ( &alpha; i - k , j &CenterDot; r i - k , j ) ) ;
其中,round为通过四舍五入取最接近整数的函数;i与j分别表示行列坐标值,为当前残差ri,j的预测值。
6.根据权利要求5所述的方法,其特征在于,所述求解使得所述差值ai,j为最小值的最佳系数αi,j包括:
对所述当前残差ri,j上端2K+1个残差的关系进行训练预测,求出最小化平方误差SE的参数作为最佳系数αi,j,其计算公式为:
SE = &Sigma; k = 1 K + 1 ( r i - k , j - r ~ i - k , j ) 2 , j > 2 K + 1 .
7.根据权利要求6所述的方法,其特征在于,根据所述最佳系数αi,j获得变换矩阵包括:
获得预测式子: a i , j = r i , j - r ~ i , j , 0 &le; j < 2 K + 1 a i , j = r i , j - round ( &Sigma; k = 1 K ( &alpha; i - k , j &CenterDot; r i - k , j ) ) , j &GreaterEqual; 2 K + 1 ;
根据所述预测式子获得变换矩阵:A=HR;
其中,H为由最佳系数αi,j构成的NxN大小的变换矩阵,其形式为:
8.根据权利要求1所述的方法,其特征在于,
若当前编码单元帧内预测方向不为水平方向及垂直方向,则其冗余分布在水平与垂直方向上,对应的变换矩阵为:
A=HRHT
其中,NxN大小的矩阵H为:
9.根据权利要求1-8任一项所述的方法,其特征在于,该方法还包括:
根据当前编码单元帧内预测模式的方向,选择对应的反变换方法进行无失真的解码。
CN201310648456.4A 2013-12-04 2013-12-04 一种高性能视频编码无损模式的残差变换方法 Active CN103634608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310648456.4A CN103634608B (zh) 2013-12-04 2013-12-04 一种高性能视频编码无损模式的残差变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310648456.4A CN103634608B (zh) 2013-12-04 2013-12-04 一种高性能视频编码无损模式的残差变换方法

Publications (2)

Publication Number Publication Date
CN103634608A CN103634608A (zh) 2014-03-12
CN103634608B true CN103634608B (zh) 2015-03-25

Family

ID=50215179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310648456.4A Active CN103634608B (zh) 2013-12-04 2013-12-04 一种高性能视频编码无损模式的残差变换方法

Country Status (1)

Country Link
CN (1) CN103634608B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648569B1 (ko) 2019-05-13 2024-03-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환 스킵 모드의 블록 치수 설정들
WO2020228716A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Usage of transquant bypass mode for multiple color components
WO2020233664A1 (en) 2019-05-22 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Sub-block based use of transform skip mode
CN113301347B (zh) * 2021-05-08 2023-05-05 广东工业大学 一种hevc高清视频编码的优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933601A (zh) * 2005-09-16 2007-03-21 世宗大学校产学协力团 用于无损视频编码和解码的方法及设备
CN101641955A (zh) * 2007-03-23 2010-02-03 三星电子株式会社 用于图像编码和图像解码的方法和设备
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN102131093A (zh) * 2011-01-13 2011-07-20 北京中星微电子有限公司 一种图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933601A (zh) * 2005-09-16 2007-03-21 世宗大学校产学协力团 用于无损视频编码和解码的方法及设备
CN101641955A (zh) * 2007-03-23 2010-02-03 三星电子株式会社 用于图像编码和图像解码的方法和设备
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN102131093A (zh) * 2011-01-13 2011-07-20 北京中星微电子有限公司 一种图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HEVC的视频无损压缩算法的研究;刘铁华;《北京工业大学硕士学位论文》;20130618;全文 *

Also Published As

Publication number Publication date
CN103634608A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN104581161B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
RU2579441C2 (ru) Способ и устройство для кодирования видео с учетом порядка сканирования блоков кодирования, имеющих иерархическую структуру, и способ и устройство для декодирования видео с учетом порядка сканирования блоков кодирования, имеющих иерархическую структуру
KR101730639B1 (ko) 계수들의 블럭에서 유효 계수들의 위치들의 코딩을 갖는 비디오 코딩
CN103329522B (zh) 用于使用字典编码视频的方法
US8818114B2 (en) Method and apparatus for image encoding/decoding
CN102316320B (zh) 处理视频图像的方法
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
CN102598663A (zh) 通过使用旋转变换对图像编码和解码的方法和设备
US20100310184A1 (en) Dual prediction video encoding and decoding method and device
KR20200096474A (ko) 계층적 가변 블록 변환이 가능한 부호화 방법 및 장치 그리고 복호화 방법 및 장치
CN108028931A (zh) 用于视频编解码的自适应帧间预测的方法及装置
CN102907100A (zh) 使用帧内块和帧间块相混合的编码块的视频编码/解码设备及其方法
CN103250412A (zh) 用于率失真优化的图像编码/解码方法和用于执行该方法的装置
JP2017506463A (ja) エンコーディング方法及び装置並びにデコーディング方法及び装置
CN103634608B (zh) 一种高性能视频编码无损模式的残差变换方法
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
CN103596003B (zh) 高性能视频编码的帧间预测快速模式选择方法
CN108063947A (zh) 一种基于像素纹理的无损参考帧压缩方法
CN1194544C (zh) 基于时空域相关性运动矢量预测的视频编码方法
CN102065293B (zh) 一种基于空间域预测编码的图像压缩方法
CN101790096B (zh) 基于二重预测的编解码方法及装置
CN111988618B (zh) 进行解码、编码的方法、解码端和编码端
CN103533351B (zh) 一种多量化表的图像压缩方法
CN102484702A (zh) 用于通过使用旋转变换对图像编码和解码的方法和设备
CN102984522B (zh) 一种亮度变换域帧内预测编解码方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Li Houqiang

Inventor after: Chen Fangdong

Inventor after: Zhang Jinlei

Inventor before: Chen Fangdong

Inventor before: Zhang Jinlei

Inventor before: Li Houqiang

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: CHEN FANGDONG ZHANG JINLEI LI HOUQIANG TO: LI HOUQIANG CHEN FANGDONG ZHANG JINLEI

C14 Grant of patent or utility model
GR01 Patent grant