CN101568035B - 图像内预测模式估计、通信和组织的方法和系统 - Google Patents
图像内预测模式估计、通信和组织的方法和系统 Download PDFInfo
- Publication number
- CN101568035B CN101568035B CN 200910002860 CN200910002860A CN101568035B CN 101568035 B CN101568035 B CN 101568035B CN 200910002860 CN200910002860 CN 200910002860 CN 200910002860 A CN200910002860 A CN 200910002860A CN 101568035 B CN101568035 B CN 101568035B
- Authority
- CN
- China
- Prior art keywords
- prediction
- predictive mode
- mode
- pattern
- predictive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Abstract
本发明提供图像内预测模式估计、通信和组织的方法和系统。本发明的实施方式,涉及使用在视频编码或者解码过程中,用于估计象素预测模式,在视频编码器和解码器之间传递象素预测模式,以及对象素内预测模式排序的方法和系统。
Description
本申请是下述申请的分案申请:
申请号:03812403.3(PCT/JP2003/006623)
申请日:2003年5月27日
发明名称:图像内预测模式估计、通信和组织的方法和系统
相关参考
本项申请要求享受于2002年5月28日提交的序列号为60/319,272号美国专利申请,以及于2002年7月11日提交的序列号为60/319,390号美国专利申请。
技术领域
本发明的具体实施方式涉及图像的内部预测。
背景技术
数字视频需要大量的数据用以表现非压缩方式下的数字视频序列(例如,帧序列)中的每一帧及全部帧。由于带宽的限制,对于大多数通过计算机网络传输非压缩数字视频的应用并不可行。另外,非压缩的数字视频需要大量的存储空间。数字视频通常按照某种方式编码,以降低对存储空间的要求,并且可以降低对带宽的需求。
一种用于对数字视频进行编码的技术是帧间(interframe)编码。帧间编码利用,视频中的不同帧典型地包括大致与作为x乘x个选择出来的象素相同的区域这一事实。在编码过程中,运动矢量与一帧中的象素块到另一帧中的类似的象素块的运动相互关连。因此,系统就不必对该象素块进行两次编码,而只需要进行一次编码,并且提供一个预测其他象素块的运动矢量。
数字视频编码中的另一项技术是帧内(intraframe)编码。帧内编码对帧或其中的一部分进行编码,不参考其他帧中的象素。典型的帧内编码以块为基础对帧、或者其中一部分进行编码。例如,在MEPG-2中,帧内编码使用象素块的离散余弦变换,然后对转换系数进行编码。还存在其他的帧内编码技术,例如小波(wavelet)编码。
通常,这些技术都使用相当大的数据表用于参考预测模式。这些数据表所占用的内存,对许多低成本的机器来说负担繁重。此外,在处理设备中,为存储数据表提供足够的内存也是一项繁重的负担。而且,由于存在大数据表,最终增加了系统的复杂性。
发明内容
本发明的第一方面提供一种利用象素内预测对图像进行解码的图像解码装置,包括:
内预测部,对于预测目标块的象素值,利用邻接块中与所述预测目标块邻接的象素值进行预测;以及
估计部,对所述预测目标块的预测模式进行估计,
所述内预测部至少使用将与所述预测目标块在上侧邻接的第一块的象素值作为预测值的垂直预测模式、将与所述预测目标块在左侧邻接的第二块的象素值作为预测值的水平预测模式、和将所述第一块的象素值与所述第二块的象素值的平均值作为预测值的DC预测模式,
对于所述预测模式按照垂直预测模式、水平预测模式、及DC预测模式的顺序由小到大地进行模式编号,
所述估计部将所述第一块的预测模式和所述第二块的预测模式中模式编号小的预测模式估计为所述预测目标块的预测模式,
所述内预测部对第一信息和第二信息进行解码,
在为象素预测而编码器确定的实际预测模式与所述估计部估计的预测模式相等时,所述第一信息表示使用所述估计部估计的预测模式,
所述第二信息在所述实际预测模式与所述估计部估计的预测模式不同时被解码,是表示预测中所使用的、所述估计部估计的预测模式以外的其他预测模式的信息。
本发明的第二方面提供一种利用象素内预测对图像进行解码的图像解码装置,包括:
内预测部,对于预测目标块内沿着规定方向的位置上的象素,用与所述预测目标块邻接的多个象素的加权平均作为预测目标块的预测值进行预测;以及
估计部,对所述预测目标块的预测模式进行估计,
所述内预测部至少使用将从水平大致向左下方倾斜45度或大致向 右下方倾斜45度的方向作为所述规定方向的倾斜预测模式,和
将从水平大致向右下方倾斜67.5度、大致向右下方倾斜22.5度、大致向左下方倾斜67.5度、或大致向右上方倾斜22.5度的方向作为所述规定方向的中间角预测模式,
所述预测模式中,中间角预测模式的模式编号大于倾斜预测模式的模式编号,
所述估计部将与所述预测目标块在上侧邻接的第一块的预测模式和与所述预测目标块在左侧邻接的第二块的预测模式中模式编号小的预测模式估计为所述预测目标块的预测模式,
所述内预测部对第一信息和第二信息进行解码,
在为象素预测而编码器确定的实际预测模式与所述估计部估计的预测模式相等时,所述第一信息表示使用所述估计部估计的预测模式,
所述第二信息在所述实际预测模式与所述估计部估计的预测模式不同时被解码,是表示预测中所使用的、所述估计部估计的预测模式以外的其他预测模式的信息。
本发明的第三方面提供一种利用象素内预测对图像进行编码的图像编码装置,包括:
内预测部,对于预测目标块的象素值,利用邻接块中与所述预测目标块邻接的象素值进行预测;以及
估计部,对所述预测目标块的预测模式进行估计,
所述内预测部至少使用将与所述预测目标块在上侧邻接的第一块的象素值作为预测值的垂直预测模式、将与所述预测目标块在左侧邻接的第二块的象素值作为预测值的水平预测模式、和将所述第一块的象素值与所述第二块的象素值的平均值作为预测值的DC预测模式,
对于所述预测模式按照垂直预测模式、水平预测模式、及DC预测模式的顺序由小到大地进行模式编号,
所述估计部将所述第一块的预测模式和所述第二块的预测模式中模式编号小的预测模式估计为所述预测目标块的预测模式,
所述内预测部对第一信息和第二信息进行编码,
在用于象素预测的实际预测模式与所述估计部估计的预测模式相等时,所述第一信息表示使用所述估计部估计的预测模式,
所述第二信息在所述实际预测模式与所述估计部估计的预测模式不同时被编码,是表示预测中所使用的、所述估计部估计的预测模式以外的其他预测模式的信息。
本发明的第四方面提供一种利用象素内预测对图像进行编码的图像编码装置,包括:内预测部,对于预测目标块内沿着规定方向的位置上的象素,用与所述预测目标块邻接的多个象素的加权平均作为预测目标块的预测值进行预测;以及估计部,对所述预测目标块的预测模式进行估计,所述内预测部至少使用将从水平大致向左下方倾斜45度或大致向右下方倾斜45度的方向作为所述规定方向的倾斜预测模式,和
将从水平大致向右下方倾斜67.5度、大致向右下方倾斜22.5度、大致向左下方倾斜67.5度、或大致向右上方倾斜22.5度的方向作为所述规定方向的中间角预测模式,所述预测模式中,中间角预测模式的模式编号大于倾斜预测模式的模式编号,所述估计部将与所述预测目标块在上侧邻接的第一块的预测模式和与所述预测目标块在左侧邻接的第二块的预测模式中模式编号小的预测模式估计为所述预测目标块的预测模式,所述内预测部对第一信息和第二信息进行编码,在用于象素预测的实际预测模式与所述估计部估计的预测模式相等时,所述第一信息表示使用所述估计部估计的预测模式,所述第二信息在所述实际预测模式与所述估计部估计的预测模式不同时被编码,是表示预测中所使用的、所述估计部估计的预测模式以外的其他预测模式的信息。
本发明的第五方面提供一种对数字图像进行编码的图像编码系统,包括:用于对图像分割得到的块进行编码的装置;内部预测装置,用于根据下列多个预测模式中的一个,利用邻接块的象素值预测待编码目标块的象素值,该模式为:垂直预测、水平预测、DC预测,对角线下/左方预测、对角线下/右方预测、垂直右方预测、水平下方预测、垂直左方预测和水平上方预测,其中每种预测模式具有一个模式值,
其中,所述预测模式估计装置基于所述模式值、与所述目标块在上侧邻接的第一块的所述预测模式、以及与所述目标块在左侧邻接的第二块的所述预测模式为所述目标块确定估计的预测模式;
其中,(1)如果所述第一块和第二块都是外部的,则只允许DC预测;(2)如果所述第一块和第二块都不是外部的,则选择具有最低模式值的所述第一块或第二块的所述预测模式作为将要使用的预测模式顺序中的第一预测模式。
本发明的第六方面提供一种对数字图像进行解码的图像解码系统,包 括:用于对图像分割得到的块的每一个进行解码的装置;内部预测装置,用于根据下列多个预测模式中的一个,利用邻接块的象素值预测待解码目标块的象素值,该模式为:垂直预测、水平预测、DC预测、对角线下/左方预测、对角线下/右方预测、垂直右方预测、水平下方预测、垂直左方预测和水平上方预测,其中每种预测模式具有一个模式值,
其中,所述预测模式估计装置基于所述模式值、与所述目标块在上侧邻接的第一块的所述预测模式以及与所述目标块在左侧邻接的第二块的所述预测模式为所述目标块确定估计的预测模式;
其中,(1)如果所述第一块和第二块都是外部的,则只允许DC预测;(2)如果所述第一块和第二块都不是外部的,则选择具有最低模式值的所述第一块或第二块的所述预测模式作为将要使用的预测模式顺序中的第一预测模式。
附图说明
下列的附图中只描述了本发明的典型实施方式,所以并不能被认为限制了其范围,使用附图描述和解释本发明的附加特征和细节。
图1表示一些邻接块的形式。
图2表示象素块和用于预测的邻接象素。
图3表示大体预测模式方向。
图4表示本发明的实施方式中的预测模式的大体方向。
图5表示本发明的实施方式中的预测模式的大体方向。
图6表示本发明的实施方式中的预测模式的大体方向。
图7表示本发明的实施方式中的预测模式的大体方向。
图8表示本发明的实施方式中的预测模式的大体方向。
图9是表示本发明的一些实施方式中的模式估计的框图。
图10是表示在一些实施方式中利用排过序的预测模式集合的模式估计的框图。
图11是表示利用与数值相关联的排过序的集合的模式估计的框图。
图12是表示当无法获得一些邻接块数据时的模式估计选择的框图。
图13是表示本发明的一些实施方式中的模式顺序修改的框图。
图14是表示估计的模式被用于修改模式顺序用法的本发明的实施方式的框图。
图15是表示估计的模式被用于修改使用了特定指定元的模式顺序的 本发明的实施方式的框图。
具体实施方式
本发明的实施方式包括与图像的内部预测相关的方法和系统。由于所有的实施方式都与内部预测相关,术语“内部预测”和“预测”,在涉及内部预测过程时,可以互换使用。
本发明的实施方式使用帧内编码(intraframe coding)或者内编码(intracoding),以使用视频图像中的空间冗余。因为邻接块通常具有类似的属性,通过参考邻接块之间的空间相关性,提高了编码过程的效率。基于邻接块所使用的预测模式,预测目标块可以使用这种相关性。
为了更有效地处理,或者其他原因,可以将一幅数字图像分成多个块。如图1所示,目标块“C”12可能邻接于邻接块“A”14,块“A”14直接位于目标块“C”12的上方。另一个邻接块“B”16,直接位于目标块“C”12的左侧。与目标块“C”12具有共同边界的块,也被认为是块“C”12的邻接块。
在不同的配置中,块可以包括不同数目的象素。例如,块可以包括4×4的象素序列。块还可以包括16×16或者8×8的象素序列。其他的象素配置,包括正方形和矩形序列,都可以构成块。
参考邻接块中象素的相关数据,可以预测目标块中的每个象素。该邻接象素数据或者邻接块数据包括,用于预测那些邻接块或者邻接象素的预测模式。特定邻接象素和目标块中的象素,可以如图2所示使用英文数字索引来参照。图2表示4×4的目标块,例如块“C”12包括16个象素,用小写字母字符22表示。直接位于目标块上方的邻接块中的象素,使用大写字母字符24表示。直接位于目标块左侧的邻接块中的象素,使用大写字母字符26表示。
预测模式包括用于预测目标块中特定象素的指令或算法。这些模式可以参照一个或多个邻接块象素,如下文模式描述中所述。
预测模式
模式0:垂直预测
a,e,i,m可以由A预测;
b,f,j,n可以由B预测;
c,g,k,o可以由C预测;
d,h,l,p可以由D预测。
模式1:水平预测
a,b,c,d可以由I预测;
e,f,g,h可以由J预测;
i,j,k,l可以由K预测;
m,n,o,p可以由L预测。
模式2:DC预测
如果全部采样A、B、C、D、I、J、K、L可用,可以使用(A+B+C+D+I+J+K+L+4)>>3预测所有采样。如果A、B、C、D不可用,而I、J、K和L可用,可以用(I+J+K+L+2)>>2预测所有采样。如果I、J、K、和L不可用,而A、B、C、D可用,可以用(A+B+C+D+2)>>2预测所有采样。如果8个采样都不可用,那么块中的所有亮度采样的预测值为128。始终使用这种模式,对块进行预测。
模式3:对角线下/左方预测
a可以由(A+2B+C+I+2J+K+4)>>3预测;
b,e可以由(B+2C+D+J+2K+L+4)>>3预测;
c,f,i可以由(C+2D+E+K+2L+M+4)>>3预测;
d,g,j,m可以由(D+2E+F+L+2M+N+4)>>3预测;
h,k,n可以由(E+2F+G+M+2N+O+4)>>3预测;
l,o可以由(F+2G+H+N+2O+P+4)>>3预测;
p可以由(G+H+O+P+2)>>2预测;
模式4:对角线下/右方预测
m可以由(J+2K+L+2)>>2预测;
i,n可以由(I+2J+K+2)>>2预测;
e,j,o可以由(Q+2I+J+2)>>2预测;
a,f,k,p可以由(A+2Q+I+2)>>2预测;
b,g,l可以由(Q+2A+B+2)>>2预测;
c,h可以由(A+2B+C+2)>>2预测;
d可以由(B+2C+D+2)>>2预测;
模式5:垂直左方预测
a,j可以由(Q+A+1)>>1预测;
b,k可以由(A+B+1)>>1预测;
c,l可以由(B+C+1)>>1预测;
d可以由(C+D+1)>>1预测;
e,n可以由(I+2Q+A+2)>>2预测;
f,o可以由(Q+2A+B+2)>>2预测;
g,p可以由(A+2B+C+2)>>2预测;
h可以由(B+2C+D+2)>>2预测;
i可以由(Q+2I+J+2)>>2预测;
m可以由(I+2J+K+2)>>2预测;
模式6:水平下方预测
a,g可以由(Q+I+1)>>1预测;
b,h可以由(I+2Q+A+2)>>2预测;
c可以由(Q+2A+B+2)>>2预测;
d可以由(A+2B+C+2)>>2预测;
e,k可以由(I+J+1)>>1预测;
f,l可以由(Q+2I+J+2)>>2预测;
i,o可以由(J+K+1)>>1预测;
j,p可以由(I+2J+K+2)>>2预测;
m可以由(K+L+1)>>1预测;
n可以由(J+2K+L+2)>>2预测;
模式7:垂直右方预测
a可以由(2A+2B+J+2K+L+4)>>3预测;
b,i可以由(B+C+1)>>1预测;
c,j可以由(C+D+1)>>1预测;
d,k可以由(D+E+1)>>1预测;
l可以由(E+F+1)>>1预测;
e可以由(A+2B+C+K+2L+M+4)>>3预测;
f,m可以由(B+2C+D+2)>>2预测;
g,n可以由(C+2D+E+2)>>2预测;
h,o可以由(D+2E+F+2)>>2预测;
p可以由(E+2F+G+2)>>2预测;
模式8:水平上方预测
a可以由(B+2C+D+2I+2J+4)>>3预测;
b可以由(C+2D+E+I+2J+K+4)>>3预测;
c,e可以由(J+K+1)>>1预测;
d,f可以由(J+2K+L+2)>>2预测;
g,i可以由(K+L+1)>>1预测;
h,j可以由(K+2L+M+2)>>2预测;
l,n可以由(L+2M+N+2)>>2预测;
k,m可以由(L+M+1)>>1预测;
o可以由(M+N+1)>>1预测;
p可以由(M+2N+O+2)>>2预测。
排序过程,是以对每种模式产生较少预测错误的可能性为基础的,这提高了编码效率,降低了对内存的需求,并且至少可以部分被数学定义。
每个预测模式可以用上述名称(即,水平上方,垂直和对角线左下方)的各模式中的大体预测方向用文字描述各预测模式。预测模式可以使用角度方向以图形方式描述。这种角度方向,可以通过从中心点向外放射的箭头图表描述,如图3所示。在这种图表中,每个箭头,以及中心点都表示预测模式。预测模式对应的角度,与方向具有一种常规关系,这一方向由从用于预测目标象素的经过加权的邻接象素平均位置到实际目标象素的位置的方向决定。然而,在上文的定义和JVT标准中,对模式的描述有更精确的定义。在图3中,中心点32表示没有方向,所以这个点可以与DC预测模式相关连。水平箭头34可以表示水平预测模式。垂直箭头36可以表示垂直预测模式。从中心点斜着向右下方延伸,与水平线约成45度的箭头38,表示对角线下/右方(DDR)预测模式。从中心点斜着向左下方延伸,与水平线约成45度的箭头40,表示对角线下/左(DDL)预测模式。DDR和DDL预测模式,都被称为对角线预测模式。
从中心点斜着向右上方向延伸,与水平线成约22.5度的箭头42,表示一个水平上方(HU)预测模式。从中心点斜着向右下方向延伸,与水平线成约22.5度的箭头44,表示一个水平下方(HD)预测模式。从中心点斜着向右下方向延伸,与水平线成约67.5度的箭头46,表示一个垂直右方(VR)预测模式。从中心点斜着向左下方向延伸,与水平线成约67.5度的箭头48,表示垂直左方(VL)预测模式。HU、HD、VR和VL几种预测模式,被共同称作中间角度预测模式。
还可以做成许多其他的预测模式,并使用这种角度描述模式进行描述。
预测模式顺序
本发明确定,预测模式应该按照一种方式排序,该方式通常与产生减少了预测错误的可能性一致。利用根据通常产生较少预测错误可能性的顺序排序的预测模式,结果数据本身具有更一致的排序的趋向性。进一步,模式的通信可以利用降低所需的内存和带宽的编码技术。例如,本发明人确定水平预测模式和垂直预测模式,相对于对角线模式通常更具有似然性;而对角线模式比中间角预测模式更具有似然性。另外,DC预测模式(例如当邻接块采用内模式编码时)似然性通常低于水平和竖直预测模式,但是通常比对角线模式具有似然性。
对于不连续边界的块,例如图像边缘或者切割状(swipe/swath)边界,在本发明的一些实施方式中所建立的顺序,使用常规术语可以描述如下:垂直和水平预测模式,与DC预测模式相比,具有产生减少的预测错误的更高似然性;DC预测模式与对角线预测模式相比,具有产生减少的预测错误的更高似然性;而对角线预测模式与中间角预测模式相比,具有产生减少的预测错误的更高似然性。
对于邻近边缘或是边界,或者邻接块或象素预测模式数据不可用的块,本发明的一些实施方式中所建立的顺序,使用常规术语可以描述如下:DC预测模式与垂直和水平预测模式相比,具有产生减少的预测错误的更高似然性;垂直和水平预测模式与对角线预测模式相比,具有产生减少的预测错误的更高似然性;对角线预测模式与中间角预测模式相比,具有产生减少的预测错误的更高似然性。
在如图4中所示的实施方式的第一集合中,可以按照下列方式定义模式顺序:
模式0:垂直预测
模式1:水平预测
模式2:DC预测
模式3:对角线下/左方预测
模式4:对角线下/右方预测
模式5:水平下方预测
模式6:垂直右方预测
模式7:垂直左方预测
模式8:水平上方预测
在如图5中所示的实施方式的第二个集合中,可以按照下列方式定义模式顺序:
模式0:水平预测
模式1:垂直预测
模式2:DC预测
模式3:对角线下/左方预测
模式4:对角线下/右方预测
模式5:水平下方预测
模式6:垂直右方预测
模式7:垂直左方预测
模式8:水平上方预测
在如图6中所示的实施方式的第三个集合中,可以按照下列方式定义模式顺序:
模式0:垂直预测
模式1:水平预测
模式2:DC预测
模式3:对角线下/左方预测
模式4:对角线下/右方预测
模式5:垂直右方预测
模式6:水平下方预测
模式7:垂直左方预测
模式8:水平上方预测
在如图7中所示的实施方式的第四个集合中,可以按照下列方式定义模式顺序:
模式0:水平预测
模式1:垂直预测
模式2:DC预测
模式3:对角线下/左方预测
模式4:对角线下/右方预测
模式5:垂直右方预测
模式6:水平下方预测
模式7:垂直左方预测
模式8:水平上方预测
在如图8中所示的实施方式的第五个集合中,可以按照下列方式定 义模式顺序:
模式0:DC预测
模式1:垂直预测
模式2:水平预测
模式3:对角线下/左方预测
模式4:对角线下/右方预测
模式5:垂直右方预测
模式6:水平下方预测
模式7:垂直左方预测
模式8:水平上方预测
需要注意的是,在本发明的其他实施方式中,模式顺序会与示例中的顺序有所不同。
在本发明的一些实施方式中,水平预测(模式0)和垂直预测(模式1)如果需要可能会颠倒。还要了解,如果希望,对角线下/左方预测模式和水平下方预测模式可以颠倒。另外,还要了解,如果希望,对角线下/右方预测模式(模式5)、垂直右方预测模式(模式6)、垂直左方预测模式(模式7)和水平上方预测模式(模式8)可以重新排序。进一步,DC预测放置在模式0/模式1集合以及模式3/模式4集合之间是合意的;但是如果希望,也可以放置在模式3/模式4集合,以及模式5/模式6/模式7/模式8集合之间,或者放置在其他的位置。此外,如果希望,角模式3-8可以重新编号,对编码的效率不会产生显著影响。
在本发明的实施方式中,对于所有块(例如,那些使用所述预测方案的块),可以以预测为基础,分别对预测模式进行重新排序。另外,并非所有单独的块(例如那些使用所述预测方案的块)都要使用预测基准,例如如果希望,多于50%、75%或者90%。另外,不同块的预测模式的顺序可以相同,也可以不同。进一步,这样以预测为基础的模式的每一个的重排序(例如,按照一种预定的一致性方法),至少对预测模式5、模式6和模式7实施,可以采用任何其他方式对剩余模式排序。另外,预测模式的顺序最佳是,0、1、2、3、4、5、6、7、8。同样可以使用预测模式的其他预定义顺序。
在本发明的一些实施方式中,可以包含一张或者多张数据表,用于组织模式数据。这些模式通常按照一种排序方式组织,在数据表的每个 单元中可以一起使用,以提供更多排序的集合。例如,在数据表中的每一个条目,可以包括数字0、1、2、3、4、5、6、7、8、9的有序集合。另一种选择是,在数据表的每一个条目中,数据表中数字的有序集合包括5、6、7、8或者9的有序数字集合。例如,数据表的条目包括下列条目的数据集合{1,2,3,5,7};{0,1,2,3,4,5,6};{0,1,3,5,6,7,8},其中集合中的每个数字,都是增加的数字值。例如,另一种选择,数据表的条目中包括下列条目的数据集合{1,2,3,5,7};{0,1,2,3,4,5,6};{0,1,3,5,6,7,8},其中每个集合至少被单元的25%,或35%,或50%,或75%,或90%或者更高比例所包括。这样,相对于已知的数据表方法,所述表的预知能力更强,并且所需内存得以降低。
对数据条目集合的排序的预定义方式,应该独立于象素(例如宏块)邻接集合的预测模式。需要理解,数据表实际上可以是“静态”的,或者在数据中需要基础模式时,可以整体或部分地有效地动态生成。因此,可以使用一个数学方程或者运算法则,确定条目,其中可以采用这样的技术创建“表”。因此,其中使用的一个“数据表”不仅仅局限于静态表,而是进一步包括这样确定数值的被用于预测的数值集合。
不幸的是,使用新的模式数字对以前模式的数字进行替换(例如在已知数据表的单元中,对数字进行替换),虽然可能是一种改进,但结果依然是通常未经排序的数据集合。
以邻接块数据为基础,估计象素预测模式
与上述通常未经排序的数据集合相反,即使使用替换,本发明进一步得出认识,应该首先将似然性最高的预测模式排为第一,其次将似然性第二高的预测模式排为第二,如果希望,接着按照预定义方式,处理其余模式。这种预定义的方式应该独立于邻接宏块的预测模式。对剩余模式的首选排序,应该以出现剩余模式的可能性降低的顺序(似然性最高的预测模式,或者,如果希望,似然性第二高的预测模式)。
基于块A和块B的内预测模式,如图1所示,块C的内预测模式顺序可以被按照以下方式确定:
(1)如果块A和块B都是“外部的”(例如不可用),只有DC预测(模式2)是允许的,因此块C的内预测模式顺序是{2}。
(2)如果块A是“外部的”(例如不可用),并且块B不是“外部的”,对于块C,只有DC预测(模式2)和水平预测(模式0)是允许的,因此;
(i)如果块B是2,块C的预测模式顺序是{2,0};
(ii)否则,块C的内预测模式顺序是{0,2};
(3)如果块A不是“外部的”,但是块B是“外部的”,对于块C,只有DC预测(模式2)和垂直预测(模式1)是允许的,因此;
(i)如果块A是2,块C的内预测模式顺序是{2,1};
(ii)否则,块C的内预测模式顺序是{1,2};
(4)如果块A和块B都不是“外部的”,
(i)如果块A的预测模式少于块B的预测模式,那么块C的内预测模式顺序是{内预测块模式A,内预测块模式B,其他模式按升序排序};
(ii)如果块A的预测模式多于块B的预测模式,那么块C的内预测模式顺序是{内预测块模式B,内预测块模式A,其他模式按升序排序};
(iii)如果块A的预测模式等于块B的预测模式,那么块C的内预测模式顺序是{内预测块模式A,其他模式按升序排序}。
例如,如果块A的预测模式是3,并且块B的预测模式是1,那么块C的内预测模式顺序是{1,3,0,2,4,5,6,7,8}。按照全体出现似然性降低(或者增加)排列的模式,这样剩余模式的出现的自动排列将依然被常规排列在适当序列中。按照从高可能性到低可能性的序列排序,可以向前增加恰当预测的似然性。使用熵编码,可以降低结果编码的比特流。还可以同样使用其他的排列方式。
上述选择计划,在概念上是基于以下规则,如果块A的预测是X,且块B的预测是Y,那么块C的预测可能是X或者Y。X和/或Y的预测,位于表的起始位置,并且剩余模式在其后顺序排列。
声明另一种情况,当A和B的预测模式已知(包括这种情况,A或者B或者两者都是所述切片以外的),给出C的最可能模式时,即块A和B使用的模式的最小值。如果块A或者块B中的一个是“外部的”,最可能模式等于预测模式2。因此,指定给块C的预测模式的排序,因此就是最可能的模式,后面跟随按升序排列的剩余模式。
参考图9描述了本发明的实施方式。在这些实施方式中,选择一个目标块用于预测50。为预测第一个邻接块使用的预测模式被确定52,该块与所述目标块直接邻接。为预测第二个邻接块所使用的预测模式被确定54,该块也与所述目标块邻接。然后,这些邻接块预测模式被检测56,以确定哪个产生的预测错误最少的似然性较高。
在本发明的其他实施方式中,如图10所示,按照产生更少预测错误的模式的似然性,对预测模式集合排序58。选择目标块60。确定用于第一个邻接块的预测模式62,并且确定用于第二个邻接块的预测模式64。这两个预测模式之后被检测66,以确定在排序的模式集合中哪个先发生,这样就确定出对应于产生较少预测错误的似然性高的模式。
在本发明的其他实施方式中,如图11所示,按照产生较少预测错误的似然性,对预测模式集合进行排序68。之后,这些排序集合中的模式与数值进行关联70,这样产生较少预测错误的似然性较高的模式,就与较小的数值关联。之后,用于预测第一个邻接块的模式被确定72,用于预测第二个邻接块的模式也被确定74。之后检测这些邻接块模式,以确定哪个模式与较低数值关联。这个模式被指定为目标块预测的评估模式。
在其他的实施方式中,如图12所示,按照产生较少预测错误的似然性,对预测模式集合排序。这些在排序集合中的模式与数值联合80,这样产生较少预测错误似然性较大的模式,与一个较小数值联合。进行一次尝试82,用以确定预测第一个邻接块所使用的模式,进行一次尝试84,以确定预测第二个邻接块所使用的模式。如果预测第一个邻接块所使用的预测模式不可用86,就指定一个默认预测模式(例如DC预测模式)作为所述目标块的评估预测模式90。同样,如果用于预测第二个邻接块的预测模式不可用88,就指定一个默认预测模式(例如DC预测模式)作为所述目标块的评估预测模式90。当邻接块预测模式可用时,可以检测这些邻接块模式,并确定哪个模式与一个较低数值关联。这个模式之后被指定为预测所述目标块的评估模式92。
基于邻接块数据,修改预测模式顺序
在本发明的一些实施方式中,如上所述的独立于邻接块数据确定预测模式排序,可以使用邻接块数据修改。参照邻接块数据确定的预测模 式估计可以被插入预测模式顺序,用以对该顺序进行修改,以反映从邻接块数据所获得的附加信息。
在一些实施方式中,预测模式估计以邻接块数据为基础,可以被直接插入到预测模式顺序集合中。代表性地,预测模式估计将在预测模式顺序前面被插入或被预先考虑,插入的位置在最有可能产生减少预测错误的模式的位置。然而,在一些实施方式中,所述估计可能被插入到模式顺序中的不同位置。
在本发明的一些实施方式中,如图13所示,一个预测模式顺序被选择102,其中预测模式顺序元素可以按照它们产生较少预测错误的似然性的顺序排列。换句话说,顺序中的第一个元素,表示该预测模式最有可能产生较少预测错误,顺序中的下一个元素,表示该预测模式产生较少预测错误的可能性次之,等等,直到顺序中的最后一个预测模式,这表示顺序中的所述预测模式产生较低预测错误的似然性最小。
如上所述,一个预测模式估计被确定104。使用邻接块数据,确定该估计。通常,所述估计是在一个或多个邻接块中使用的预测模式,该邻接块是最有可能产生较低预测错误。然而,还可以采用其他方式确定预测。当足够的邻接块预测模式数据不可用时,例如在图像的边缘或片断的边界,可以在缺乏一个或多个邻接块或者它们的预测模式数据的情况下,估计目标块的预测模式。在很多情况下,当邻接块数据受限或者不可用的时候,估计DC预测模式。
在一些这样的实施方式中,一旦估计了估计预测模式,估计预测模式就被作为最有可能产生较低预测错误的模式,放置到模式顺序中106。在一些实施方式中,这是顺序中的第一个模式,或者是与最低数值相关联的模式。
在其他实施方式中,估计预测模式可以优先于预选择的模式顺序。在一些这样的实施方式中,如图14所示,在编码器和解码器中,预选择的模式顺序被指定110。这个顺序包括预测模式的集合,该集合按照产生较低预测错误的似然性,或者其他顺序排列。基于邻接块数据,一个估计预测模式也被确定112。在编码器和解码器中,按照同样的算法或方法,确定该估计预测模式。编码器还确定实际上最佳的预测模式114,用于基于运动矢量或者其他已知技术,预测象素。然后,编码器比较116所述实际上最佳的预测模式和估计预测模式,以确定它们 是否相同。如果估计预测模式与实际上最佳的预测模式是同样的模式,编码器向解码器发送信号,以使用估计预测模式118。在一些实施方式中,估计预测模式信号可以使用1位指定元来执行,以标识是否使用估计模式。
如果估计预测模式不是实际上最佳的预测模式,编码器向解码器发送信号,以使用其他的模式120。可以通过参考预建立的模式顺序来执行。编码器确定模式顺序中哪个模式是与实际上最佳的预测模式最相等的,并向解码器发送使用该模式的信号。
当使用了经过排序的预测模式集合,一旦获得进一步的数据,集合的顺序就要重新排序。例如当确定了估计预测模式,或者确定了最佳实际预测模式的时候,经过排序的预测模式集合要重新排序。这样,修改模式要被突然插入到经过排序的集合,放置在经过排序集合的前面,或者在某些情况下,被从经过排序的集合中删除。
在本发明的一些实施方式中,模式顺序中的每个模式,按照顺序与数值相关联。在这些实施方式中,与将被使用的模式相关联的数值,向解码器发送信号,以使用该预测模式。在一些这样的实施方式中,如图15所示,选择包括9种预测模式的模式顺序130。以邻接块数据为基础的,是该顺序中的9种模式之一的估计预测模式被确定132。通过运动矢量方法或者其他方法,确定最佳预测模式134。然后,最佳预测模式与估计预测模式进行比较136。如果估计预测模式与最佳预测模式基本相同,解码器就发送1位指定元信号,以使用所述估计预测模式,这1位指定元信号已经在解码器种被标识。如果估计预测模式与最佳预测模式不相等,估计预测模式本质上被从顺序中排除140。该排除是通过对集合重新排序,跳过顺序中的该估计模式或者使用其他方法来实现的。剩余的顺序有效地包括8个模式,可以使用一个3位指定元表现。这个3位的指定元可以被发送到解码器,以指定预测时使用哪种模式。
使用在前述详细说明中的术语和表达式是作为描述性而非限制性使用的,这里并没有使用这样的术语和描述就排除图示说明的特征的等价术语和描述或者其中的一部分的意思,可以确认本发明的范围只被定义和限定在以下权利要求的范围内。
Claims (2)
1.一种对数字图像进行编码的图像编码系统,包括:
用于对图像分割得到的块进行编码的装置;和
内部预测装置,用于根据下列多个预测模式中的一个,利用邻接块的象素值预测待编码目标块的象素值,该模式为:垂直预测、水平预测、DC预测,对角线下/左方预测、对角线下/右方预测、垂直右方预测、水平下方预测、垂直左方预测和水平上方预测,其中每种预测模式具有一个模式值,
其中,
预测模式估计装置基于所述模式值、与所述目标块在上侧邻接的第一块的所述预测模式、以及与所述目标块在左侧邻接的第二块的所述预测模式为所述目标块确定估计的预测模式;
其中,
(1)如果所述第一块和第二块都是外部的,则只允许DC预测;
(2)如果所述第一块和第二块都不是外部的,则选择具有最低模式值的所述第一块或第二块的所述预测模式作为将要使用的预测模式顺序中的第一预测模式。
2.一种对数字图像进行解码的图像解码系统,包括:
用于对图像分割得到的块的每一个进行解码的装置;和
内部预测装置,用于根据下列多个预测模式中的一个,利用邻接块的象素值预测待解码目标块的象素值,该模式为:垂直预测、水平预测、DC预测、对角线下/左方预测、对角线下/右方预测、垂直右方预测、水平下方预测、垂直左方预测和水平上方预测,其中每种预测模式具有一个模式值,
其中,
预测模式估计装置基于所述模式值、与所述目标块在上侧邻接的第一块的所述预测模式以及与所述目标块在左侧邻接的第二块的所述预测模式为所述目标块确定估计的预测模式;
其中,
(1)如果所述第一块和第二块都是外部的,则只允许DC预测;
(2)如果所述第一块和第二块都不是外部的,则选择具有最低模式值的所述第一块或第二块的所述预测模式作为将要使用的预测模式顺序中的第一预测模式。
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31927202P | 2002-05-28 | 2002-05-28 | |
US60/319272 | 2002-05-28 | ||
US31939002P | 2002-07-11 | 2002-07-11 | |
US60/319390 | 2002-07-11 | ||
US10/404298 | 2003-03-31 | ||
US10/404,211 US7289672B2 (en) | 2002-05-28 | 2003-03-31 | Methods and systems for image intra-prediction mode estimation |
US10/404,298 US7386048B2 (en) | 2002-05-28 | 2003-03-31 | Methods and systems for image intra-prediction mode organization |
US10/404293 | 2003-03-31 | ||
US10/404211 | 2003-03-31 | ||
US10/404,293 US7236524B2 (en) | 2002-05-28 | 2003-03-31 | Methods and systems for image intra-prediction mode communication |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB038124033A Division CN100473164C (zh) | 2002-05-28 | 2003-05-27 | 图像内预测模式估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101568035A CN101568035A (zh) | 2009-10-28 |
CN101568035B true CN101568035B (zh) | 2012-02-01 |
Family
ID=40891776
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910002860 Expired - Lifetime CN101568035B (zh) | 2002-05-28 | 2003-05-27 | 图像内预测模式估计、通信和组织的方法和系统 |
CN200910002829.4A Expired - Lifetime CN101489136B (zh) | 2002-05-28 | 2003-05-27 | 图像内预测模式估计、通信和组织的方法和系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910002829.4A Expired - Lifetime CN101489136B (zh) | 2002-05-28 | 2003-05-27 | 图像内预测模式估计、通信和组织的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN101568035B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102300088B (zh) * | 2010-06-25 | 2013-11-06 | 财团法人工业技术研究院 | 画面内预测模式最佳化方法与图像压缩方法以及装置 |
MY186093A (en) * | 2010-07-15 | 2021-06-21 | Velos Media Int Ltd | Image encoding device, and image decoding device |
CN113038132B (zh) * | 2021-03-18 | 2023-01-20 | 北京奇艺世纪科技有限公司 | 一种编码单元cu的预测模式确定方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974184A (en) * | 1997-03-07 | 1999-10-26 | General Instrument Corporation | Intra-macroblock DC and AC coefficient prediction for interlaced digital video |
US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
-
2003
- 2003-05-27 CN CN 200910002860 patent/CN101568035B/zh not_active Expired - Lifetime
- 2003-05-27 CN CN200910002829.4A patent/CN101489136B/zh not_active Expired - Lifetime
Non-Patent Citations (6)
Title |
---|
ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)》.JVT-D025,2002,全文. * |
ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)》.JVT-D027,2002,第1-2页. * |
Marta Karczewicz,Jani Lainema.Analysis and Simplification of Intra Prediction.《Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)》.JVT-D025,2002,全文. |
Marta Karczewicz,Jani Lainema.Analysis and Simplification of Intra Prediction.《Joint Video Team(JVT) of ISO/IEC MPEG & * |
Shijun Sun.Intra-Prediction-Mode Ordering and Coding.《Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)》.JVT-D027,2002,第1-2页. |
Shijun Sun.Intra-Prediction-Mode Ordering and Coding.《Joint Video Team(JVT) of ISO/IEC MPEG & * |
Also Published As
Publication number | Publication date |
---|---|
CN101568035A (zh) | 2009-10-28 |
CN101489136A (zh) | 2009-07-22 |
CN101489136B (zh) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101087423B (zh) | 对数字视频进行编码或解码的估计象素内预测模式的方法和系统 | |
CN104811703B (zh) | 视频的编码方法和装置及视频的解码方法和装置 | |
CN105376576B (zh) | 用于解码合并模式下的运动信息的装置 | |
CN105049855B (zh) | 视频解码的方法 | |
CN104429067B (zh) | 通过预测当前块的划分进行视频编码的方法、解码方法、编码和解码装置及其相应的介质 | |
CN103931197B (zh) | 确定用于变换系数的二进制码字的方法 | |
CN110089113A (zh) | 图像编码/解码方法、设备以及用于存储比特流的记录介质 | |
TR201816011T4 (tr) | Bi̇r görüntünün kodunun çözülmesi̇ne yöneli̇k bi̇r ci̇haz. | |
CN104796720A (zh) | 对视频进行解码的方法和设备 | |
CN101779463B (zh) | 用于处理图像的方法以及相应的电子设备 | |
CN104935941A (zh) | 对帧内预测模式进行解码的方法 | |
CN103299623A (zh) | 支持区块合并和跳过模式的图像编码 | |
CN106101729A (zh) | Hevc视频编码中的逻辑帧内模式命名 | |
KR20110066109A (ko) | 트리 구조를 이용한 부호화/복호화 방법 및 장치 | |
CN103931180A (zh) | 图像解码设备 | |
CN101836455A (zh) | 用于处理视频信号的方法和装置 | |
CN105847811A (zh) | 用于对变换系数进行熵编码/熵解码的方法和设备 | |
CN102714721A (zh) | 编码图像块的方法和重构图像块的方法 | |
CN102084658A (zh) | 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序 | |
CN111602397A (zh) | 使用各种变换技术的视频编码方法和装置 | |
CN101568035B (zh) | 图像内预测模式估计、通信和组织的方法和系统 | |
CN101501998A (zh) | 用于对图片序列进行编码的方法以及执行所述方法的装置 | |
CN100546390C (zh) | 在图象编码过程中实现自适应扫描的方法 | |
CN112995669B (zh) | 一种帧间预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1136430 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20120201 |