CN101854549A - 基于空域预测的视频和图像编解码方法和装置 - Google Patents

基于空域预测的视频和图像编解码方法和装置 Download PDF

Info

Publication number
CN101854549A
CN101854549A CN 201010185930 CN201010185930A CN101854549A CN 101854549 A CN101854549 A CN 101854549A CN 201010185930 CN201010185930 CN 201010185930 CN 201010185930 A CN201010185930 A CN 201010185930A CN 101854549 A CN101854549 A CN 101854549A
Authority
CN
China
Prior art keywords
spatial domain
predictive filter
unit
coding
domain prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010185930
Other languages
English (en)
Other versions
CN101854549B (zh
Inventor
虞露
陈钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN 201010185930 priority Critical patent/CN101854549B/zh
Publication of CN101854549A publication Critical patent/CN101854549A/zh
Priority to EP10824383.3A priority patent/EP2493194A4/en
Priority to PCT/CN2010/001661 priority patent/WO2011047542A1/zh
Priority to US13/502,900 priority patent/US20120207216A1/en
Application granted granted Critical
Publication of CN101854549B publication Critical patent/CN101854549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了空域预测编码方法和装置,该编码方法和装置通过编码传输空域预测模式所使用的预测滤波器信息,使得空域预测能根据视频图像内容的纹理特征和频域特性来变化更新,提高了空域预测的准确度;在编码预测滤波器信息时,本发明公开的技术方案针对预测滤波器信息的特征引入了预测编码和熵编码技术,极大地降低了编码预测滤波器信息所需的代价,提高了空域预测编码方法的编码性能。

Description

基于空域预测的视频和图像编解码方法和装置
技术领域
本发明涉及多媒体通信领域,尤其涉及基于空域预测的视频和图像编解码方法和基于空域预测的视频和图像编解码装置。
背景技术
视频和图像编码技术是数字视频和图像这一重要多媒体信息得以被广泛应用的基础和关键。在视频和图像编码中,帧内编码帧不依赖于已编码帧,因而可以被解码器独立解码,具有作为随机访问点和有效防止错误传播等功能。然而采用该方法,帧内编码压缩率很低,编码信息量极大。为了提高编码效率,在进行帧内编码时,可以用当前编码块周围已重建的信息对编码块进行空域预测,利用图像的空域相关性去除冗余。这种空域预测的方法也可应用于帧间编码帧。
在H.264视频编码标准/高级视频编码标准(H.264/Advanced Video Coding,H.264/AVC)中,主要利用了空域预测技术来提高帧内编码的压缩率。H.264/AVC支持4x4、8x8和16x16像素宏块的空域预测帧内编码,在对当前编码块进行空域预测时,利用了编码块左面和上面相邻的已重建像素,按照某种特定的方向进行纹理外推生成当前块预测值,然后对去除一定空域冗余后的残差值进行编码,如图1所示。该方法相对于直接对图像数据编码而言,可以大大减小码率。
H.264/AVC对4x4和8x8块提供了1种直流模式和8种单方向纹理预测模式,如图1所示。本质上,H.264/AVC所采用的空域预测技术是将9个特定方向(直流视为一种特殊方向)的预测滤波器组应用于当前编码块左面和上面相邻的已重建参考像素,进行滤波来获得编码块的预测值,其所使用的预测滤波器组是固定的。使用预测滤波器组来表达空域预测的通用方法可描述如下:以4x4块为例,记当前待编码块的像素为a-p,其左面和上面的已重建参考像素为A-X,如图2所示。
用一维矢量
Figure GSA00000138933900011
表示参考像素组成的矢量(例如图2的A至X组成一个1x13的矢量
Figure GSA00000138933900012
),
Figure GSA00000138933900013
表示矢量
Figure GSA00000138933900014
中参考像素A对应的值,依次类推。用一维矢量
Figure GSA00000138933900015
表示空域预测生成的对当前编码块的预测值(例如图2的a至p组成一个1x16的矢量),
Figure GSA00000138933900017
表示矢量
Figure GSA00000138933900018
中a位置的预测值,依次类推。进而,对一种空域预测模式m,可以通过定义一个预测滤波器矩阵Wm来表示,通过将预测滤波器矩阵Wm与参考像素矢量
Figure GSA00000138933900021
相乘可以生成预测值此处,Wm可以表示如下:
Figure GSA00000138933900023
于是预测值矢量
Figure GSA00000138933900024
可由参考像素矢量
Figure GSA00000138933900025
与预测滤波器矩阵Wm按下式得到:
Figure GSA00000138933900026
由(3)式可见,预测滤波器矩阵Wm的每一行对应一个滤波器,通过将该滤波器应用于参考像素矢量可以生成一个特定像素点的预测值。于是,Wm表征了一个由16个滤波器组成的预测滤波器组,每个滤波器对应4x4块的一个待预测像素。
以H.264/AVC的帧内预测模式0即竖直模式(Vertical)为例,如图1所示。该空域预测模式可用预测滤波器的描述方法表述为如下矩阵:
w a , A 0 = w e , A 0 = w i , A 0 = w m , A 0 = 1 ;
w b , B 0 = w f , B 0 = w j , B 0 = w n , B 0 = 1 ; - - - ( 4 )
w c , C 0 = w g , C 0 = w k , C 0 = w o , C 0 = 1 ;
w d , D 0 = w h , D 0 = w l , D 0 = w p , D 0 = 1 ;
所有其他w0均为0。
即当前编码块的a,e,i,m像素位置均用参考像素A竖直外推拷贝得到,其他像素点依次类推。
对H.264/AVC的其他8种预测模式也可用预测滤波器的方法进行表述。需要说明的是,H.264/AVC中的预测模式仅是空域预测模式中的一类特例,凡是目标像素的预测值是根据其所在图像或视频帧内的一个或多个其他像素的原始值或重建值生成的空域预测模式,都可以用如上所述的预测滤波器的方法进行描述。
H.264/AVC空域预测技术在图像表现出较强的单一纹理性的区域编码效率较好,但却无法准确预测纹理复杂、细节丰富的区域。此外,实际应用中的不同视频序列或同一视频序列的不同图像内容都具有不断变化且性质迥异的纹理特征和频域特性,而现有空域预测技术包括H.264/AVC空域预测以及大多数后续提出的改进预测技术都是基于一般视频图像统计特征的平均值而设计的通用型算法,预测方法被预先定义,无法根据实际编码的视频图像具体特征进行自适应地优化调整,因而难以捕捉不同视频图像内容的动态变化特性,不能较好地去除视频图像中所蕴含的复杂的空域相关性。
本申请人针对上述问题,提出了一种改进的空域预测编码方法并已对它提出了相关的专利申请(两项专利申请号分别为200910153393.9和200910153392.4)(下面简称“改进技术方案”)。该改进技术方案提出了能根据待编码视频图像的纹理特征和频域特性自适应地优化生成最佳空域预测模式的方法,使得空域预测能够更好地捕捉不同视频图像内容之间的动态变化特性,提供更为准确的空域预测。
所述改进技术方案采用上述用预测滤波器组表达空域预测的视角来改良空域预测技术。在H.264/AVC空域预测中,9种空域预测模式对应着9个固定的预测滤波器矩阵Wm(m=1,2,...,9),而所述改进技术方案中,也会采用多种(设为M种)空域预测模式,但每种预测模式所对应的预测滤波器矩阵Wm不再是预先定义的固定矩阵,而是在编码每帧图像时自适应计算更新的。其计算优化准则为使得Wm(m=1,2,...,M)的取值能在当前帧上获得最小的预测残差能量和。为了能在解码端正确解码重建图像,所述改进技术方案还需要在每帧将各Wm的信息编码写入码流。所述改进技术方案的技术特点如图3和图4所示:
需要说明的是,所述改进技术方案在编码传递空域预测模式所对应的预测滤波器矩阵时,对每个滤波器系数
Figure GSA00000138933900031
都进行定长编码传输。例如,假设预测滤波器的系数动态范围为[0,1],所述改进技术方案采用8比特定长数来表示每个滤波器系数,则在编码端,一个系数
Figure GSA00000138933900032
将被定点化为F=floor(2^8x(0.25/1)+0.5)=64,然后以8比特的2进制定点数01000000的形式写入码流;在解码端,读取到01000000得到F=64,然后重建出
Figure GSA00000138933900033
所述改进技术方案通过最优化各空域预测模式在当前帧上的预测残差能量和从而自适应地计算更新预测滤波器矩阵,能够更好地捕捉不断变化的视频和图像纹理特征和频域特性,相比各空域预测模式均为频率响应固定的预测滤波器的技术方案,该技术方案所得到的编码结果性能更优。
所述改进技术方案虽然通过自适应更新空域预测滤波器矩阵提供了更准确的预测和更佳的编码性能,但其对预测滤波器信息(抽头系数)的编码方法不够优化,只是简单地采用了定长编码,使得额外传输的滤波器信息过大,抵消了大量的编码性能增益。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于空域预测的视频和图像编解码方法和基于空域预测的视频和图像编解码装置。
为此,本发明提供了一种空域预测编码方法,该方法包括如下步骤:
使用一种或多种空域预测模式进行预测编码;
至少一种空域预测模式对当前待编码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
进一步的,还至少包括以下步骤之一:
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行预测,并对预测误差进行编码写入码流;
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行熵编码并写入码流。
进一步的,所述被编码的预测滤波器信息的预测值至少包含以下特征之一:
预测滤波器信息的预测值是预先定义的;
预测滤波器信息的预测值是根据预测参考点和待预测点的空域位置关系生成的。
进一步的,在所述熵编码之前,先对预测滤波器的信息进行预测,然后对预测误差进行熵编码并写入码流。
本发明还提供一种空域预测解码方法,
解码过程中使用了一种或多种空域预测模式;
至少一种空域预测模式对当前待解码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
进一步的,还至少包括以下步骤之一:
从码流中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的预测误差,根据预测滤波器信息的预测值重建预测滤波器,并使用该预测滤波器对待解码区域进行解码;
从码流中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的熵编码结果,通过熵解码重建预测滤波器,并使用该预测滤波器对待解码区域进行解码。
进一步的,重建所述预测滤波器所使用的预测滤波器信息的预测值至少包含以下特征之一:
预测滤波器信息的预测值是预先定义的;
预测滤波器信息的预测值是根据图像的空域对称性和统计特性生成的。
进一步的,所述熵解码重建后得到的结果是预测滤波器信息的预测误差,将此预测误差加上预测滤波器信息的预测值后得到重建的预测滤波器,并使用该预测滤波器对待解码区域进行解码。
本发明还提供一种空域预测编码装置,包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息预测单元,该单元用于生成空域预测编码单元中空域预测模式所用到的预测滤波器的信息的预测值;
预测滤波器信息预测误差生成单元,该单元使用预测滤波器信息预测单元所提供的预测值对相应的预测滤波器信息进行预测并生成预测误差;
预测滤波器信息预测误差编码单元,该单元预测滤波器信息预测误差生成单元所提供的预测误差进行编码并写入码流。
本发明还提供一种空域预测解码装置,包含:
预测滤波器信息预测误差获得单元,该单元从码流中获得空域预测模式所使用的预测滤波器信息的预测误差;
预测滤波器信息预测单元,该单元用于生成空域预测模式所使用的预测滤波器信息的预测值;
预测滤波器重建单元,该单元使用预测滤波器信息预测误差获取单元所提供的预测滤波器信息的预测误差和预测滤波器信息预测单元所提供的预测滤波器信息的预测值来重建空域预测模式所使用的预测滤波器。
空域预测解码单元,该单元根据预测滤波器重建单元重建生成的预测滤波器来对码流进行解码。
本发明还提供一种空域预测编码装置,包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息熵编码单元,该单元将空域预测编码单元中至少一种空域预测模式所使用的至少一个预测滤波器的信息进行熵编码并写入码流。
本发明还提供一种空域预测解码装置,包含:
预测滤波器信息熵编码结果获得单元,该单元从码流中获得空域预测模式所使用的预测滤波器信息的熵编码结果;
预测滤波器信息熵解码重建单元,该单元对预测滤波器信息熵编码结果获得单元所提供的熵编码结果进行熵解码并重建空域预测模式所使用的预测滤波器;
空域预测解码单元,该单元根据预测滤波器信息熵解码重建单元重建生成的预测滤波器来对码流进行解码。
使用一种或多种空域预测模式进行预测编码;
至少一种空域预测模式对当前待编码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行预测,并对预测误差进行编码写入编码结果。
所述被编码的预测滤波器信息的预测值至少包含以下特征之一:预测滤波器信息的预测值是预先定义的;预测滤波器信息的预测值是根据图像和待预测点的空域位置特性生成的。
本发明还提供一种空域预测解码方法,它包括如下步骤:
解码过程中使用了一种或多种空域预测模式;
至少一种空域预测模式对当前待解码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
从编码结果中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的预测误差,根据预测滤波器信息的预测值重建预测滤波器,并使用该预测滤波器对待解码区域进行解码。
重建所述预测滤波器所使用的预测滤波器信息的预测值至少包含以下特征之一:预测滤波器信息的预测值是预先定义的;预测滤波器信息的预测值是根据图像的空域对称性和统计特性生成的。
本发明还提供一种空域预测编码装置,它包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息预测单元,该单元用于生成空域预测编码单元中空域预测模式所用到的预测滤波器的信息的预测值;
预测滤波器信息预测误差生成单元,该单元使用预测滤波器信息预测单元所提供的预测值对相应的预测滤波器信息进行预测并生成预测误差;
预测滤波器信息预测误差编码单元,该单元预测滤波器信息预测误差生成单元所提供的预测误差进行编码并写入编码结果。
本发明还提供一种空域预测解码装置,它包含:
预测滤波器信息预测误差获得单元,该单元从编码结果中获得空域预测模式所使用的预测滤波器信息的预测误差;
预测滤波器信息预测单元,该单元用于生成空域预测模式所使用的预测滤波器信息的预测值;
预测滤波器重建单元,该单元使用预测滤波器信息预测误差获取单元所提供的预测滤波器信息的预测误差和预测滤波器信息预测单元所提供的预测滤波器信息的预测值来重建空域预测模式所使用的预测滤波器。
空域预测解码单元,该单元根据预测滤波器重建单元重建生成的预测滤波器来对编码结果进行解码。
本发明还提供一种空域预测编码方法,它包括如下步骤:
使用一种或多种空域预测模式进行预测编码;
至少一种空域预测模式对当前待编码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行熵编码并写入编码结果。
进一步的,在所述熵编码之前,先对预测滤波器的信息进行预测,然后对预测误差进行熵编码并写入编码结果。
所述熵编码方法包括指数哥伦布编码、哈夫曼编码和算术编码。
本发明还提供一种空域预测解码方法,它包括如下步骤:
解码过程中使用了一种或多种空域预测模式;
至少一种空域预测模式对当前待解码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
从编码结果中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的熵编码结果,通过熵解码重建预测滤波器,并使用该预测滤波器对待解码区域进行解码。
所述熵解码重建后得到的结果是预测滤波器信息的预测误差,将此预测误差加上预测滤波器信息的预测值后得到重建的预测滤波器,并使用该预测滤波器对待解码区域进行解码。
所述熵编码方法包括指数哥伦布编码、哈夫曼编码和算术编码。
本发明还提供一种空域预测编码装置,它包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息熵编码单元,该单元将空域预测编码单元中至少一种空域预测模式所使用的至少一个预测滤波器的信息进行熵编码并写入编码结果。
本发明还提供一种预测解码装置,它包含:
预测滤波器信息熵编码结果获得单元,该单元从编码结果中获得空域预测模式所使用的预测滤波器信息的熵编码结果;
预测滤波器信息熵解码重建单元,该单元对预测滤波器信息熵编码结果获得单元所提供的熵编码结果进行熵解码并重建空域预测模式所使用的预测滤波器;
空域预测解码单元,该单元根据预测滤波器信息熵解码重建单元重建生成的预测滤波器来对编码结果进行解码。
本发明的有益效果是:本发明在一种使空域预测模式所使用的预测滤波器根据视频图像内容的纹理特征和频域特性来变化更新的自适应空域预测编解码方法及装置的基础上,将预测编码和熵编码引入预测滤波器信息的编码环节,极大地降低了编码预测滤波器信息所需的代价,提高了自适应空域预测方法的编码性能。
附图说明
图1是现有编码技术中H.264/AVC帧内预测编码方法示意图;
图2是用预测滤波器来表述空域预测模式的4x4块示意图;
图3是背景技术中所述的改进技术方案的空域预测编码方法示意图;
图4是背景技术中所述的改进技术方案的空域预测解码方法示意图;
图5是本发明所述的对预测滤波器信息进行预测编码的编码端方法示意图;
图6是本发明所述的对预测滤波器信息进行预测编码的解码端方法示意图;
图7是一种空域预测模式所对应的待预测像素和参考像素示意图;
图8是本发明所述的对预测滤波器信息进行熵编码的编码端方法示意图;
图9是本发明所述的对预测滤波器信息进行熵编码的解码端方法示意图;
图10是一种预测滤波器的抽头系数取值概率分布示意图;
图11是本发明所述的对预测滤波器信息综合采用预测编码和熵编码的编码端方法示意图;
图12是本发明所述的对预测滤波器信息综合采用预测编码和熵编码的解码端方法示意图;
图13是本发明所述的对预测滤波器信息进行预测编码的编码端装置示意图;
图14是本发明所述的对预测滤波器信息进行预测编码的解码端装置示意图;
图15是本发明所述的对预测滤波器信息进行熵编码的编码端装置示意图;
图16是本发明所述的对预测滤波器信息进行熵编码的解码端装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述。
实施例1
本发明的第一实施方式涉及一种空域预测的编码方法和一种空域预测的解码方法。
如“背景技术”中图3所示,编码端对当前编码帧(第n帧)使用M(M>=1)种空域预测模式进行编码。每种空域预测模式对应一个预测滤波器组,并为待编码区域的每个像素点指定一个滤波器用于生成预测值(Km为模式m对应的预测区域像素点数目)。然后对至少一种空域预测模式所用到的至少一个预测滤波器的信息进行编码并写入码流。相应地,如图4所示,解码端从当前帧(第n帧)的码流中读取出至少一种空域预测模式所用到的至少一个预测滤波器的信息,用以更新相应的空域预测模式,并使用更新后与编码端对应的预测滤波器对码流进行解码。该实施方式允许在码流中对不同的视频和图像内容写入不同的空域预测滤波器信息,使得对不断变化的视频和图像内容使用不同的空域预测方法成为可能,相比现有技术中每种空域预测模式都使用频率响应固定的预测滤波器组,本实施方式可以捕获视频和图像内容中纹理特征和频域特性的动态变化,从而获得更准确的预测提高编码性能。
为了实现这种实时的预测滤波器更新,需要在编码端将滤波器信息编码写入码流并在解码端从码流中读取滤波器信息。在编码端编码滤波器信息时,采用了滤波器信息预测技术,如图5所示,首先将待编码的滤波器信息减去相应的滤波器信息预测值获得滤波器信息预测残差,然后对预测残差进行编码并写入码流。相应地,在解码端解码重建滤波器时的步骤如图6所示,首先从码流中获得滤波器信息预测残差,然后加上相应的滤波器信息预测值获得重建的预测滤波器。
为了提高滤波器信息的编码效率,滤波器信息预测值的选择十分重要。在本实施方式中,滤波器信息预测值是在编解码前预先定义的。所述预先定义的滤波器信息预测值的生成方法包括但不限于:1)通过对一个视频序列集合进行编码训练,统计出滤波器信息所包含的每个参数的平均值,以此作为滤波器信息预测值;2)根据滤波器所对应的空域预测模式的性质进行定义,例如水平预测模式对应的预测滤波器所包含的每个参数的预测值就定义成一种具有水平外推性质的滤波器的相应参数值。
以空域预测模式所对应的待预测区域为2x2块,参考像素为左边和上边的5个已重建像素为例,如图7所示。此空域预测模式对应的线性预测滤波器矩阵为Wm
Figure GSA00000138933900101
当采用上述滤波器信息预测值生成方法1)来生成预先定义的预测值时,需要对一个视频序列集合进行编码训练统计,假设统计得到该线性预测滤波器的各抽头系数(滤波器信息的各参数)平均值为:
W pred m = 0.7 0.1 0.1 0.0 0.1 0.2 0.8 0.0 0.0 0.0 0.6 0.1 0.1 0.2 0.0 0.1 0.7 0.0 0.2 0.0
于是,该空域预测模式所对应的预测滤波器预测值即为此
Figure GSA00000138933900103
若在编码一个视频帧时自适应计算得到该空域预测模式的预测滤波器为:
W a m = 0.6 0.0 0.2 0.0 0.1 0.1 0.9 0.0 0.0 0.0 0.4 0.2 0.2 0.2 0.0 0.0 0.8 0.0 0.2 0.0
则需要编码滤波器信息预测残差即为:
W res m = W a m - W pred m = - 0.1 - 0.1 0.1 0.0 0.0 - 0.1 0.1 0.0 0.0 0.0 - 0.2 0.1 0.1 0.0 0.0 - 0.1 0.1 0.0 0.0 0.0
最后,将该滤波器信息预测残差编码后写入码流即可。
当采用上述滤波器信息预测值生成方法2)来生成预先定义的预测值时,需要根据滤波器所对应的空域预测模式的性质来定义预测值。假设滤波器所对应的预测模式为水平模式,则可以将该线性预测滤波器的参数预测值定义成一种具有水平外推性质的滤波器的相应参数值如下:
Figure GSA00000138933900106
即目标象素a和b均由其水平方向对应的参考像素C外推拷贝获得,目标象素c和d均由其水平方向对应的参考像素D外推拷贝获得。
然后,同样将计算得到的需要编码的预测滤波器参数值减去相应的参数预测值后将残差编码并写入码流。
相应地,在解码端首先从码流中获得了滤波器信息预测残差
Figure GSA00000138933900111
然后加上相应的滤波器信息预测值即可重建出该视频帧中该空域预测模式所对应的预测滤波器
Figure GSA00000138933900113
需要说明的是,上述的例子只是本实施方式的一个特例,本实施方式所涉及的空域预测模式对应的待预测区域大小、形状,预测滤波器信息所包含的参数,统计获得的参数预测值等因素都可以根据实际应用的需要而变化,不限于此处的特例。
由上可见,通过提供准确的滤波器信息预测值,可以使得滤波器信息预测残差的动态范围大幅减小,从而可以使用更少比特长度来编码滤波器信息,提高了编码效率。
实施例2
本发明的第二实施方式涉及一种空域预测的编码方法和一种空域预测的解码方法。
本实施例的整体流程可参照本发明实施例1,不同之处在于滤波器信息预测值的生成方法。在本实施方式中,滤波器信息的预测值可以根据参考像素和待预测像素的空域位置关系来生成。
以图7所示的空域预测模式为例。当编码了待预测像素点a对应的滤波器抽头系数
Figure GSA00000138933900114
后,可以将其作为对待预测像素点b的滤波器系数预测值。根据像素点b与像素点a的空域位置关系,可以认为参考像素X相对于待预测像素a的关系等价于参考像素A相对于待预测像素b的关系,同样地参考像素A相对于待预测像素a的关系等价于参考像素B相对于待预测像素b的关系,于是可以将
Figure GSA00000138933900115
作为对
Figure GSA00000138933900116
的预测值,将作为对
Figure GSA00000138933900118
的预测值。
又如也可作为对待预测像素点c的滤波器系数预测值。根据像素点c与像素点a的空域位置关系,可以认为参考像素X相对于待预测像素a的关系等价于参考像素C相对于待预测像素c的关系,同样地参考像素C相对于待预测像素a的关系等价于参考像素D相对于待预测像素c的关系,于是可以将
Figure GSA000001389339001110
作为对
Figure GSA000001389339001111
的预测值,将作为对
Figure GSA000001389339001113
的预测值。
所述的根据参考像素和待预测像素的空域位置关系来生成滤波器信息的预测值的方式还可以有其他各种实施方式。作为另一个例子,可以结合空域预测模式的纹理方向性,来利用所述的参考像素和待预测像素的空域位置关系。例如,空域预测模式对应于斜右下45度方向的纹理,则在编码了待预测像素点a对应的滤波器抽头系数
Figure GSA00000138933900121
后,也可以将其用于生成待预测像素点d的滤波器系数预测值。因为参考像素X与待预测像素a、待预测像素d位于同一条斜右下45度方向的纹理条纹上,因此可以认为这三个像素具有接近的像素值,于是可以将
Figure GSA00000138933900122
作为对
Figure GSA00000138933900123
的预测值。
需要说明的是,上述的例子只是本实施方式的一些特例,本实施方式中应用参考像素与待预测像素的空域位置关系来生成滤波器信息预测只的方法可以根据实际应用需求而变化,不限于以上特例。
实施例3
本发明的第三实施方式涉及一种空域预测的编码方法和一种空域预测的解码方法。
与本发明实施例1类似,本实施例同样应用了图3和图4中所示的自适应帧内技术技术,不同的是,在编码和解码预测滤波器信息时采用了熵编码和熵解码的技术,如图8和图9所示。编码端将根据待编码的滤波器信息的概率分布进行相应的熵编码,将熵编码的结果写入码流(图8);相应地解码端将从码流中获得的滤波器信息熵编码结果进行熵解码以重建预测滤波器(图9)。
本实施方式中的熵编码方法可以根据滤波器信息的概率分布和实际应用的需求选择诸如指数哥伦布编码、哈夫曼编码、算术编码等方式。
例如空域预测模式所对应的预测滤波器所有抽头系数的取值范围为0-7,其概率分布如表1和图10所示。
表1预测滤波器抽头系数取值概率
  取值   0   1   2   3   4   5   6   7
  概率   0.7   0.15   0.06   0.04   0.02   0.01   0.01   0.01
于是,可以针对该概率分布应用码表如表2的哈夫曼编码或0阶的指数哥伦布编码(如表3)或对应该概率分布的算术编码对该空域预测模式对应的预测滤波器抽头系数进行熵编码。
表2哈夫曼编码表
  系数值   码长   码字
  0   1   0
  1   2   10
  2   3   110
  3   4   1110
  4   6   111101
  系数值   码长   码字
  5   6   111100
  6   6   111111
  7   6   111110
表30阶指数哥伦布码表
  系数值   码长   码字
  0   1   0
  1   3   010
  2   3   011
  3   5   00100
  4   5   00101
  5   5   00110
  6   5   00111
  7   7   0001000
此时,当需要编码的预测滤波器抽头系数为{0,1,0,0,3}时,用哈夫曼编码和0阶指数哥伦布编码的结果分别如下:
哈夫曼编码:010001110
0阶指数哥伦布编码:00100000100
需要说明的是,上述的例子只是本实施方式的一个特例,本实施方式所涉及的预测滤波器信息取值的概率分布、使用的具体熵编码方法等因素都可以根据实际应用的需要而变化,不限于此处的特例。
实施例4
本发明的第四实施方式涉及一种空域预测的编码方法和一种空域预测的解码方法。
本实施例的整体流程可参照本发明实施例3,不同之处在于对滤波器信息进行熵编码时,可以对待编码的滤波器信息所包含的不同参数使用不同的熵编码方法。
具体来说,例如空域预测模式如图7所示,其预测滤波器信息包含了20个抽头系数,则可以对不同的抽头系数根据其取值的不同概率分布分别使用不同的熵编码方法。例如对不同抽头系数采用不同阶数的指数哥伦布编码;或对不同抽头系数采用不同码表的哈夫曼编码。
该实施方式可以应对滤波器信息所包含的各参数取值概率分布各不相同的情况,取得更好的编码性能。
实施例5
本发明的第五实施方式涉及一种空域预测的编码方法和一种空域预测的解码方法。
本实例将本发明的实施例1、实施例2所涉及的滤波器系数预测编码和本发明的实施例3、实施例4所涉及的滤波器系数熵编码结合起来综合应用,如图11、图12所示。在编码端,首先对待编码的滤波器信息进行预测获得滤波器信息的预测残差,然后对预测残差进行熵编码并写入码流;相应地,在解码端,首先从码流中获得滤波器预测残差的熵编码结果并进行熵解码得到预测残差,然后加上滤波器信息预测值重建出预测滤波器。
本发明实施例1至4中所涉及的滤波器信息预测和熵编码方法均可应用于本实施实例中。
实施例6
本发明的第六实施方式涉及一种空域预测编码装置和一种空域预测解码装置。
本实施方式所述的空域预测编码装置与解码装置与实施例1中所述的空域预测编码方法与解码方法相对应。
如图13所示,本实施方式所述的编码装置包含空域预测编码单元、预测滤波器信息预测单元、预测滤波器信息预测误差生成单元和预测滤波器信息预测误差编码单元。其中空域预测编码单元使用一种或多种空域预测模式进行预测编码;预测滤波器信息预测单元用于生成空域预测编码单元中空域预测模式所用到的预测滤波器的信息的预测值;预测滤波器信息预测误差生成单元使用预测滤波器信息预测单元所提供的预测值对相应的预测滤波器信息进行预测并生成预测误差;预测滤波器信息预测误差编码单元预测滤波器信息预测误差生成单元所提供的预测误差进行编码并写入码流。
如图14所示,本实施方式所述的解码装置包含预测滤波器信息预测误差获得单元、预测滤波器信息预测单元、预测滤波器重建单元和空域预测解码单元。其中预测滤波器信息预测误差获得单元从码流中获得空域预测模式所使用的预测滤波器信息的预测误差;预测滤波器信息预测单元用于生成空域预测模式所使用的预测滤波器信息的预测值;预测滤波器重建单元使用预测滤波器信息预测误差获取单元所提供的预测滤波器信息的预测误差和预测滤波器信息预测单元所提供的预测滤波器信息的预测值来重建空域预测模式所使用的预测滤波器;空域预测解码单元根据预测滤波器重建单元重建生成的预测滤波器来对码流进行解码。
需要说明的是,所述的空域预测编码装置和解码装置中的各个单元在具体应用时可以有不同的物理实现形式。
实施例7
本发明的第七实施方式涉及一种空域预测编码装置和一种空域预测解码装置。
本实施方式所述的空域预测编码装置与解码装置与实施例3中所述的空域预测编码方法与解码方法相对应。
如图15所示,本实施方式所述的编码装置包含空域预测编码单元和预测滤波器信息熵编码单元。其中空域预测编码单元使用一种或多种空域预测模式进行预测编码;预测滤波器信息熵编码单元将空域预测编码单元中至少一种空域预测模式所使用的至少一个预测滤波器的信息进行熵编码并写入码流。
如图16所示,本实施方式所述的解码装置包含预测滤波器信息熵编码结果获得单元、预测滤波器信息熵解码重建单元和空域预测解码单元。其中预测滤波器信息熵编码结果获得单元从码流中获得空域预测模式所使用的预测滤波器信息的熵编码结果;预测滤波器信息熵解码重建单元对预测滤波器信息熵编码结果获得单元所提供的熵编码结果进行熵解码并重建空域预测模式所使用的预测滤波器;空域预测解码单元根据预测滤波器信息熵解码重建单元重建生成的预测滤波器来对码流进行解码。
需要说明的是,所述的空域预测编码装置和解码装置中的各个单元在具体应用时可以有不同的物理实现形式。
本实发明针对现有自适应帧内预测技术中预测滤波器信息的编码代价过大的问题,针对帧内预测滤波器的特点,综合应用了滤波器系数的预测编码技术和熵编码技术,通过对滤波器信息进行预测,使得预测残差的分布更为尖锐;通过对预测残差进行熵编码,去除了残差中的统计冗余。相比现有技术采用定长编码的方法,本发明的编码方法能大大减少滤波器信息编码的代价,提高自适应帧内预测技术的编码性能增益。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (10)

1.一种空域预测编码方法,其特征在于:
使用一种或多种空域预测模式进行预测编码;
至少一种空域预测模式对当前待编码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
进一步的,还至少包括以下步骤之一:
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行预测,并对预测误差进行编码写入码流;
对其中至少一种空域预测模式所用到的至少一个预测滤波器的信息进行熵编码并写入码流。
2.根据权利要求1所述的空域预测编码方法,其特征在于,所述被编码的预测滤波器信息的预测值至少包含以下特征之一:
预测滤波器信息的预测值是预先定义的;
预测滤波器信息的预测值是根据预测参考点和待预测点的空域位置关系生成的。
3.根据权利要求1所述的空域预测编码方法,其特征在于,在所述熵编码之前,先对预测滤波器的信息进行预测,然后对预测误差进行熵编码并写入码流。
4.一种空域预测解码方法,其特征在于:
解码过程中使用了一种或多种空域预测模式;
至少一种空域预测模式对当前待解码区域的每个像素点分别指定一种使用一个或多个参考像素经过预测滤波器生成像素点预测值的方法;
进一步的,还至少包括以下步骤之一:
从码流中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的预测误差,根据预测滤波器信息的预测值重建预测滤波器,并使用该预测滤波器对待解码区域进行解码;
从码流中获得其中至少一种空域预测模式所用到的至少一个预测滤波器信息的熵编码结果,通过熵解码重建预测滤波器,并使用该预测滤波器对待解码区域进行解码。
5.根据权利要求4所述的空域预测解码方法,其特征在于,重建所述预测滤波器所使用的预测滤波器信息的预测值至少包含以下特征之一:
预测滤波器信息的预测值是预先定义的;
预测滤波器信息的预测值是根据图像的空域对称性和统计特性生成的。
6.根据权利要求4所述的空域预测解码方法,其特征在于,所述熵解码重建后得到的结果是预测滤波器信息的预测误差,将此预测误差加上预测滤波器信息的预测值后得到重建的预测滤波器,并使用该预测滤波器对待解码区域进行解码。
7.一种空域预测编码装置,其特征在于,包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息预测单元,该单元用于生成空域预测编码单元中空域预测模式所用到的预测滤波器的信息的预测值;
预测滤波器信息预测误差生成单元,该单元使用预测滤波器信息预测单元所提供的预测值对相应的预测滤波器信息进行预测并生成预测误差;
预测滤波器信息预测误差编码单元,该单元预测滤波器信息预测误差生成单元所提供的预测误差进行编码并写入码流。
8.一种空域预测解码装置,其特征在于,包含:
预测滤波器信息预测误差获得单元,该单元从码流中获得空域预测模式所使用的预测滤波器信息的预测误差;
预测滤波器信息预测单元,该单元用于生成空域预测模式所使用的预测滤波器信息的预测值;
预测滤波器重建单元,该单元使用预测滤波器信息预测误差获取单元所提供的预测滤波器信息的预测误差和预测滤波器信息预测单元所提供的预测滤波器信息的预测值来重建空域预测模式所使用的预测滤波器。
空域预测解码单元,该单元根据预测滤波器重建单元重建生成的预测滤波器来对码流进行解码。
9.一种空域预测编码装置,其特征在于,包含:
空域预测编码单元,该单元使用一种或多种空域预测模式进行预测编码;
预测滤波器信息熵编码单元,该单元将空域预测编码单元中至少一种空域预测模式所使用的至少一个预测滤波器的信息进行熵编码并写入码流。
10.一种空域预测解码装置,其特征在于,包含:
预测滤波器信息熵编码结果获得单元,该单元从码流中获得空域预测模式所使用的预测滤波器信息的熵编码结果;
预测滤波器信息熵解码重建单元,该单元对预测滤波器信息熵编码结果获得单元所提供的熵编码结果进行熵解码并重建空域预测模式所使用的预测滤波器;
空域预测解码单元,该单元根据预测滤波器信息熵解码重建单元重建生成的预测滤波器来对码流进行解码。
CN 201010185930 2009-10-22 2010-05-28 基于空域预测的视频和图像编解码方法和装置 Active CN101854549B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN 201010185930 CN101854549B (zh) 2010-05-28 2010-05-28 基于空域预测的视频和图像编解码方法和装置
EP10824383.3A EP2493194A4 (en) 2009-10-22 2010-10-22 VIDEO AND PICTURE CODING / DECODING SYSTEM BASED ON THE PREDICTION OF SPATIAL DOMAINS
PCT/CN2010/001661 WO2011047542A1 (zh) 2009-10-22 2010-10-22 基于空域预测的视频和图像编解码系统
US13/502,900 US20120207216A1 (en) 2009-10-22 2010-10-22 Video and image encoding/decoding system based on spatial domain prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010185930 CN101854549B (zh) 2010-05-28 2010-05-28 基于空域预测的视频和图像编解码方法和装置

Publications (2)

Publication Number Publication Date
CN101854549A true CN101854549A (zh) 2010-10-06
CN101854549B CN101854549B (zh) 2012-05-02

Family

ID=42805772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010185930 Active CN101854549B (zh) 2009-10-22 2010-05-28 基于空域预测的视频和图像编解码方法和装置

Country Status (1)

Country Link
CN (1) CN101854549B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047542A1 (zh) * 2009-10-22 2011-04-28 浙江大学 基于空域预测的视频和图像编解码系统
CN106231312A (zh) * 2010-07-31 2016-12-14 M&K控股株式会社 用于对图像进行编码的装置
WO2021022467A1 (zh) * 2019-08-06 2021-02-11 富士通株式会社 图像编码方法、装置以及电子设备
WO2021056216A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
RU2794647C2 (ru) * 2019-09-24 2023-04-24 Гуандун Оппо Мобайл Телекоммьюникейшнс Корп., Лтд. Способы определения значения предсказания, кодер, декодер и компьютерный носитель данных

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN101674475A (zh) * 2009-05-12 2010-03-17 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN101674475A (zh) * 2009-05-12 2010-03-17 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《小型微型计算机系统》 20100131 黄友文 等 AVS解码器帧内预测模块硬件优化设计 全文 1-10 第31卷, 第1期 2 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047542A1 (zh) * 2009-10-22 2011-04-28 浙江大学 基于空域预测的视频和图像编解码系统
CN106231312A (zh) * 2010-07-31 2016-12-14 M&K控股株式会社 用于对图像进行编码的装置
CN106231312B (zh) * 2010-07-31 2019-04-12 M&K控股株式会社 用于对图像进行编码的装置
WO2021022467A1 (zh) * 2019-08-06 2021-02-11 富士通株式会社 图像编码方法、装置以及电子设备
WO2021056216A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
US11202080B2 (en) 2019-09-24 2021-12-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
RU2794647C2 (ru) * 2019-09-24 2023-04-24 Гуандун Оппо Мобайл Телекоммьюникейшнс Корп., Лтд. Способы определения значения предсказания, кодер, декодер и компьютерный носитель данных
US11638014B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11638015B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11638013B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11949886B2 (en) 2019-09-24 2024-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder

Also Published As

Publication number Publication date
CN101854549B (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
Hu et al. Improving deep video compression by resolution-adaptive flow coding
CN105338349B9 (zh) 用于图像解码的方法和装置
CN104918056B (zh) 对帧内预测模式进行解码的方法
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN101273638B (zh) 图像处理装置以及图像处理方法
CN104967850B (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
CN102970526B (zh) 一种获得变换块尺寸的方法和模块
CN102098519B (zh) 视频编码方法、解码方法、编码及解码装置
CN105049850A (zh) 基于感兴趣区域的hevc码率控制方法
CN103460700A (zh) 以帧内预测模式解码图像的方法
CN106101714B (zh) 一种与压缩编码过程紧耦合的h.264视频信息隐藏方法
CN108093260A (zh) 重构块创建方法
US20120207216A1 (en) Video and image encoding/decoding system based on spatial domain prediction
CN100591136C (zh) 一种基于空域分解的视频帧内编码方法
CN102484701A (zh) 用于空间变化残差编码的方法和设备
CN104702959B (zh) 一种视频编码的帧内预测方法及系统
CN101854549B (zh) 基于空域预测的视频和图像编解码方法和装置
CN103581670A (zh) H264自适应帧内模式选择码率估计的率失真优化方法及其装置
CN101790096B (zh) 基于二重预测的编解码方法及装置
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN102065293B (zh) 一种基于空间域预测编码的图像压缩方法
CN103581688A (zh) 一种视频图像的编码和解码方法及装置
CN102780886B (zh) 一种率失真优化方法
CN103299638B (zh) 自适应扫描装置及其扫描方法
CN104168482B (zh) 一种视频编解码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant