CN104471940A - 简化的基于亮度的色度帧内预测方法及装置 - Google Patents

简化的基于亮度的色度帧内预测方法及装置 Download PDF

Info

Publication number
CN104471940A
CN104471940A CN201380019470.6A CN201380019470A CN104471940A CN 104471940 A CN104471940 A CN 104471940A CN 201380019470 A CN201380019470 A CN 201380019470A CN 104471940 A CN104471940 A CN 104471940A
Authority
CN
China
Prior art keywords
chroma
current
divergent
convergent
bitdepth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380019470.6A
Other languages
English (en)
Other versions
CN104471940B (zh
Inventor
朱莉安娜·徐
国玫
郭峋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2012/074118 external-priority patent/WO2013155662A1/en
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Priority to CN201380019470.6A priority Critical patent/CN104471940B/zh
Publication of CN104471940A publication Critical patent/CN104471940A/zh
Application granted granted Critical
Publication of CN104471940B publication Critical patent/CN104471940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种基于重建亮度像素和色度像素的色度帧内预测方法及装置。色度帧内预测基于以缩放因子缩放的当前亮度区块的推导同位当前亮度像素的线性模型。缩放因子包括除因子和缩放的类方差值的乘积项,该缩放的类方差值相应于该当前区块的该多个相邻重建亮度像素及色度像素。该除因子与除以缩放的类方差值的第一数据范围相关,该缩放的类方差值相应于该当前区块的该多个相邻重建亮度像素。根据本发明的一个实施例,缩放的类方差值、第一数据范围或缩放的类方差值与第一数据范围这两者取决于视频编码过程期间处理的色度信号的内部位深度。

Description

简化的基于亮度的色度帧内预测方法及装置
交叉引用
本发明主张于2012年4月16日提交且发明名称为“Improvements ofLuma-based Chroma Intra Prediction”的申请号为PCT/CN2012/074118的PCT专利申请的优先权,在此引用并合并参考该PCT专利申请的全部内容。
技术领域
本发明是有关于视频编码(video coding),更具体地,本发明是有关于简化的基于重建亮度像素(luma pixel)和色度像素(chroma pixel)的色度帧内预测(intra prediction)有关的编码技术。
背景技术
运动补偿性帧间(inter-frame)编码已广泛应用于各种编码标准,如MPEG-1/2/4及H.261/H.263/H.264/AVC。相比于运动补偿性帧间编码可有效减少压缩视频的比特率(bitrate),帧内编码(intra coding)用于压缩具有较大运动(motion)或场景(scene)改变的区域。另外,帧内编码也用于处理起始图像(initial picture),或为随机存取或缓和误差传递(error propagation)而周期性插入I-图像或I-区块。帧内预测使用图片内或图片区域内的空间相关。在实做中,图片或图片区域划分为区块,并在区块基础上执行帧内预测。当前区块的帧内预测依靠已处理的相邻区块的像素。例如,若图像或图像区域中的区块按行处理,先由左至右然后再由上(top)到下(bottom),当前区块的顶部的相邻区块及左侧的相邻区块用于形成对当前区块中的像素的帧内预测。已处理的相邻区块中的任意像素可用于当前区块中的像素的帧内预测,但经常只使用靠近当前区块的顶部边界和左侧边界的相邻区块的像素。
帧内预测量(intra predictor)通常设计为使用图像中的空间特征,如平滑区域(smooth area)(直流DC模式)、垂直线或边缘(vertical line or edge)、水平线或边缘(horizontal line or edge)及对角线或边缘(diagonal line or edge)。此外,相关性经常存在于亮度(Luminance,Luma)分量与色度(Chrominance,Chroma)分量之间。因此,重建亮度像素可用于推导帧内色度预测。在高效视频编码(High Efficiency Video Coding,HEVC)的最新进展中,揭露了一种基于同位(co-located)重建亮度区块的色度帧内预测方法。色度帧内预测的类型定义为LM预测或LM模式。主要的概念是使用重建亮度像素来产生相应的色度像素的预测量。图1为预测操作的示意图。首先,图1A中的同位亮度区块的相邻重建像素及图1B中色度区块的相邻重建像素用于推导两个区块之间的相关参数。然后,使用这些参数及亮度区块的重建像素来产生色度区块的预测像素。在参数推导过程中,使用了当前亮度区块的顶部第一行重建像素和左侧第二列重建像素。使用亮度区块的特定行和列是为了匹配色度分量的4:2:0采样格式。下面的说明基于4:2:0采样格式。用于其他采样格式的LM模式色度帧内预测可以类似地推导。
在测试模式版本5.0(HM-5.0)中,运用LM模式以根据使用同位预测单元(prediction unit,PU)的重建亮度采样的线性模型来预测色度采样。线性模型的参数由斜率(slope)(a>>k)和y轴截距(intercept)(b)组成,其中“>>”对应于由右移位(shift)操作。根据基于最小均方法则(least meansquare criterion)的相邻亮度和色度采样推导参数。预测采样,即在LM模式中待编码的色度采样predSamples[x,y]的推导如下,其中x,y=0…nS-1and nS对应于区块大小。
首先,变量k3和采样阵列pY’推导如下:
k3=Max(0,BitDepthC+Log2(nS)-14),            (1)
其中,BitDepthC表示内部色度位深度(bit depth)(即,在视频编码过程期间处理的色度信号的位深度),以及
pY’[x,-1]=(PLM[2x-1,-1]+2*PLM[2x,-1]+
PLM[2x+1,-1]+2)>>2,(2)
pY’[-1,y]=(PLM[-1,2y]+PLM[-1,2y+1])>>1,(3)
pY’[x,y]=(recSamplesL[2x,2y]+recSamplesL[2x,2y+1])>>1,(4)
其中,x=0…nS-1,PLM[x,y]表示相邻重建亮度采样,且recSamplesL[x,y]表示同位亮度区块的当前重建亮度采样。采样阵列pY’从重建亮度采样中进行推导。相应地,pY’在本揭露书中也称为同位亮度采样。在等式(2)至(4)中,仅在与色度采样共位的位置估计pY’[x,y]。
在HM-5.0中,当前区块的相邻重建亮度采样和相邻重建色度采样用于确定线性模型参数a,k及b以用于LM模式色度帧内预测。当前亮度区块的推导同位亮度像素(derived co-located luma pixels)可从该当前亮度区块的该多个当前重建亮度像素中推导,其中,该当前亮度区块的该多个当前重建亮度像素所在的多个像素位置与该当前色度模块的该多个色度像素同位。。
为以推导同位亮度像素举例说明关于色度帧内预测的线性模型,定义包括L,C,LL,LC和k2的一组变量。变量L,C,LL,LC及k2推导如下。
L = ( Σ y = 0 nS - 1 p Y ′ [ - 1 , y ] + Σ x = 0 nS - 1 p Y ′ [ x , - 1 ] ) > > k 3 - - - ( 5 )
C = ( Σ y = 0 nS - 1 p [ - 1 , y ] + Σ x = 0 nS - 1 p [ x , - 1 ] ) > > k 3 - - - ( 6 )
LL = ( Σ y = 0 nS - 1 p Y ′ [ - 1 , y ] 2 + Σ x = 0 nS - 1 p Y ′ [ x , - 1 ] 2 ) > > k 3 - - - ( 7 )
LC = ( Σ y = 0 nS - 1 p Y ′ [ - 1 , y ] * p [ - 1 , y ] + Σ x = 0 nS - 1 p Y ′ [ x , - 1 ] * p [ x , - 1 ] ) > > k 3 - - - ( 8 )
k2=Log2((2*nS)>>k3)             (9)
如等式(5)至(8)所示,L对应于当前区块的相邻区域中的重建亮度采样的和,C对应于当前区块的相邻区域中的重建色度采样的和,LL对应于当前区块的相邻区域中的重建色度采样的平方和,LC对应于当前区块的相邻区域中的重建亮度采样和当前区块的相邻区域中的重建色度采样的向量积(cross-product)之和。此外,将L,C,LL和LC右移k3位以考虑在视频编码过程期间处理的色度信号的位深度和区块大小(即nS)。
线性模型参数a,b及k推导如下。
a1=(LC<<k2)–L*C,                   (10)
a2=(LL<<k2)–L*L,                      (11)
k1=
Max(0,Log2(abs(a2))-5)–Max(0,Log2(abs(a1))-14)+2,(12)
a1s=a1>>Max(0,Log2(abs(a1))-14),            (13)
a2s=abs(a2>>Max(0,Log2(abs(a2))-5)),        (14)
a3=a2s<1?0:
Clip3(-215,215-1,(a1s*lmDiv+(1<<(k1-1)))>>k1),      (15)
a=a3>>Max(0,Log2(abs(a3))-6),               (16)
k=13–Max(0,Log2(abs(a3))-6),and        (17)
b=(L–((a*C)>>k1)+(1<<(k2-1)))>>k2,         (18)
其中,lmDiv在表格1中规定以用于所有的a2s值。
等式(10)中定义的参数a1对应于相应于当前亮度区块的相邻重建亮度像素和当前色度区块的相邻重建色度像素的类协方差(covariance-like)值。将相应于随机变量X和Y的协方差σ(X,Y)定义为σ(X,Y)=E[XY]–E[X]E[Y],其中,E[.]为其中随机变量的期望值。对于均匀分布的随机变量,期望值等于平均值。将等式(5)至(8)中所示的变量L,C,LL和LC右移k3位,其中,k3与区块大小(即nS)有关。换言之,如果将当前亮度区块的相邻重建亮度像素看做第一均匀分布随机变量(即X),则将当前色度区块的相邻重建色度像素看做第二均匀分布随机变量(即Y),a1具有与用于均匀分布随机变量X和Y的协方差值类似的形式。在等式(10)中,将LC左移k2位以匹配L*C的缩放。相应地,等式(10)中定义的a1具有相应于当前亮度区块的相邻重建亮度像素和当前色度区块的相邻重建色度像素的类协方差形式。可将类协方值缩放至需要的范围,且通过左移位或右移位类协方差值执行缩放。例如,等式(13)中显示HM-5.0中使用的类协方差值的缩放。
类似地,等式(11)中定义的参数a2对应于相应于当前亮度区块的相邻重建亮度像素的类方差(variance-like)值。可将类方差值缩放至需要的范围,且通过左移位或右移位类方差值执行缩放。例如,等式(14)中显示的HM-5.0中使用的类方差值的缩放。通过在第一数据范围附近除以a2s而确定除因子(division factor)lmDiv。在HM-5.0中,使用表格1中所示的查找表实现除以a2s。在HM-5.0中,第一数据范围对应于2^15(即,215)。相应地,lmDiv=(2^15+a2s/2)/a2s。然后,如果a2s≥1,根据a1s*lmDiv确定中间参数(intermediate parameter)a3,其中,将乘积a1s*lmDiv除以2k1,且将结果在-215至215-1之间截断。如果a2s少于1,则将a3设为0。在HM-5.0中,等式(15)中显示a3的推导,其中,通过右移位实现除以2k1。执行等式(15)中的右移以逆向运用于等式(13)和(14)中的a1和a2的移位操作。
然后分别如等式(16)和(17)中所示,根据a3确定用于线性模型的参数a和k。根据等式(18)确定y轴截距b。最后,推导预测样本predSamples[x,y]的值如下:
predSamples[x,y]=Clip1C(((pY’[x,y]*a)>>k)+b),         (19)
其中,x,y=0..nS-1以及
Clip1C(w)=Clip3(0,(1<<BitDepthC)-1,w)
clip3(t,u,v)=((v<t)?t:((v>u)?u:v))
表格1
a2s 1 2 3 4 5 6 7 8
lmDiv 32768 16384 10923 8192 6554 5461 4681 4096
a2s 9 10 11 12 13 14 15 16
lmDiv 3641 3277 2979 2731 2521 2341 2185 2048
a2s 17 18 19 20 21 22 23 24
lmDiv 1928 1820 1725 1638 1560 1489 1425 1365
a2s 25 26 27 28 29 30 31 32
lmDiv 1311 1260 1214 1170 1130 1092 1057 1024
a2s 33 34 35 36 37 38 39 40
lmDiv 993 964 936 910 886 862 840 819
a2s 41 42 43 44 45 46 47 48
lmDiv 799 780 762 745 728 712 697 683
a2s 49 50 51 52 53 54 55 56
lmDiv 669 655 643 630 618 607 596 585
a2s 57 58 59 60 61 62 63 64
lmDiv 575 565 555 546 537 529 520 512
如上所示,对于预测样本predSamples[x,y]的推导计算非常复杂。其不仅涉及大量的计算,也需要缓存来存储表格。此外,一些操作可能需要较高的精度。例如,在等式(15)中,a1s为带符号的15位整数,因此,a1s*lmDiv15位乘法器(multiplier)。这种大型乘法器将引入更高的计算复杂度。因此,需要简化预测采样的推导。
发明内容
本发明提供一种基于重建亮度像素和色度像素的色度帧内预测方法和装置。当前色度区块的色度像素的色度帧内预测基于以缩放因子缩放的当前亮度区块的推导同位当前亮度像素的线性模型。缩放因子包括除因子和缩放的类方差值的乘积项,该缩放的类方差值相应于该当前亮度区块的该多个相邻重建亮度像素及该当前色度区块的该多个相邻重建色度像素。该除因子与除以缩放的类方差值的第一数据范围相关。在包括本发明实施例的系统中,缩放的类方差值、第一数据范围或缩放的类方差值与第一数据范围这两者取决于视频编码过程期间处理的色度信号的内部位深度。在根据本发明的一个实施例中,该缩放的类协方差值a1s根据a1s=a1>>Max(0,Log2(abs(a1))–(BitDepthC–2))推导,其中,a1表示该类协方差值,以及BitDepthC表示视频编码过程期间处理的色度信号的该内部位深度。在本发明的另一个实施例中,第一数据范围对应于2^(BitDepthC+n),其中,n为从-2至+4的整数。可使用具有该缩放的类方差值作为表格输入的查找表来推导该除因子。根据选择的第一数据范围,可忽略一些查找表。此外,通过在编码过程中除以缩放的类方差值计算除因子。
附图说明
图1A为根据HM-5.0的基于用于色度帧内预测的相邻重建亮度像素和当前重建亮度采样的推导亮度采样的示例示意图。
图1B用于当前色度采样的色度帧内预测的相邻重建色度采样的示意图。
图2为根据本发明一个实施例用于色度帧内预测的示例流程图。
具体实施方式
如上所述,现行的LM模式推导相当复杂。一些操作需要更高的算法精度,例如a1s*lmDiv操作。因此,在本发明的一个实施例中,通过在a1s推导中结合在视频编码过程期间处理的色度信号的内部位深度而减少a1s*lmDiv操作的复杂度。例如,结合本发明的一个实施例用于a1s的移位操作变成:
a1s=a1>>Max(0,Log2(abs(a1))–(BitDepthC–2)).        (20)
在等式(20)中,用(BitDepthC–2)替换等式(13)的常量(即14)。相应地,将a1s的位元数量限制至色度信号的位元深度(即,BitDepthC)减一再加上一个符号位。此外,将lmDiv从(2^15+a2s/2)/a2s改变为(2^(BitDepthC-1)+a2s/2)/a2s。因此,当a2s等于1时,lmDiv将小于(2^BitDepthC)。如前所述,根据a2s对lmDiv的推导,即lmDiv=(2^(BitDepthC-1)+a2s/2)/a2s可以查找表实现。表格2显示对于BitDepthC=8的lmDiv的值。表格3显示对于BitDepthC=10的lmDiv的值。
表格2
a2s 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
lmDiv 128 64 43 32 26 21 18 16 14 13 12 11 10 9 9 8
a2s 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
lmDiv 8 7 7 6 6 6 6 5 5 5 5 5 4 4 4 4
a2s 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
lmDiv 4 4 4 4 3 3 3 3 3 3 3 3 3 3 3 3
a2s 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
lmDiv 3 3 3 2 2 2 2 2 2 2 2 2 2 2 2 2
表格3
a2s 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
lmDiv 512 256 171 128 102 85 73 64 57 51 47 43 39 37 34 32
a2s 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
lmDiv 30 28 27 26 24 23 22 21 20 20 19 18 18 17 17 16
a2s 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
lmDiv 16 15 15 14 14 13 13 13 12 12 12 12 11 11 11 11
a2s 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
lmDiv 10 10 10 10 10 9 9 9 9 9 9 9 8 8 8 8
与等式(20)中的新的a1s和上述的lmDiv一起,需要修改的其他变量如:
k1=Max(0,Log2(abs(a2))-5)–Max(0,Log2(abs(a1))–(BitDepthC–2)),
                               (21)
k=BitDepthC–1–Max(0,Log2(abs(a3))-6).          (22)
在另一个实施例中,将lmDiv设置为(2^(BitDepthC-2)+a2s/2)/a2s。因此,当a2s等于1时,lmDiv小于(2^(BitDepthC-1))。表格4显示对于BitDepthC=8的lmDiv的值。表格5显示对于BitDepthC=10的lmDiv的值。
表格4
a2s 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
lmDiv 64 32 21 16 13 11 9 8 7 6 6 5 5 5 4 4
a2s 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
lmDiv 4 4 3 3 3 3 3 3 3 2 2 2 2 2 2 2
a2s 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
lmDiv 2 2 2 2 2 2 2 2 2 2 1 1 1 1 1 1
a2s 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
lmDiv 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
a2s 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
lmDiv 256 128 85 64 51 43 37 32 28 26 23 21 20 18 17 16
a2s 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
lmDiv 15 14 13 13 12 12 11 11 10 10 9 9 9 9 8 8
a2s 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
lmDiv 8 8 7 7 7 7 7 6 6 6 6 6 6 6 5 5
a2s 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
lmDiv 5 5 5 5 5 5 5 5 4 4 4 4 4 4 4 4
对于上述的lmDiv(即,(2^(BitDepthC-2)+a2s/2)/a2s),变量k的定义如下:
k=BitDepthC–2–Max(0,Log2(abs(a3))-6).            (23)
在另一个实施例中,将lmDiv设置为(2^(BitDepthC+2)+a2s/2)/a2s。在此情形中,当a2s>=7时,lmDiv小于2^BitDepthC。相应地,表格6显示对于BitDepthC=8的lmDiv的值。表格7显示对于BitDepthC=10的lmDiv的值。在表格6和7中,由于a2s不为1至6的任何值,因此不存在对应a2s<7的条目。
表格6
a2s 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
lmDiv 146 128 114 102 93 85 79 73 68 64 60 57 54 51 49
a2s 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
lmDiv 47 45 43 41 39 38 37 35 34 33 32 31 30 29 28
a2s 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51
lmDiv 28 27 26 26 25 24 24 23 23 22 22 21 21 20 20
a2s 52 53 54 55 56 57 58 59 60 61 62 63
lmDiv 20 19 19 19 18 18 18 17 17 17 17 16
表格7
对于上述的lmDiv(即,(2^(BitDepthC+2)+a2s/2)/a2s),变量a3和k的定义如下:
a3=a2s<7?0:Clip3(-215,215-1,a1s*lmDiv+(1<<(k1-1))>>k1),(24)
k=BitDepthC+2–Max(0,Log2(abs(a3))-6).        (25)
在另一个实施例中,将lmDiv变为(2^(BitDepthC+1)+a2s/2)/a2s且当a2s>=7时将保证lmDiv<2^(BitDepthC-1)。表格8显示对于BitDepthC=8的lmDiv的值。表格9显示对于BitDepthC=10的lmDiv的值。在表格8和9中,由于a2s不为1至6的任何值,因此不存在对应a2s<7的条目。
表格8
a2s 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
lmDiv 73 64 57 51 47 43 39 37 34 32 30 28 27 26 24
a2s 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
lmDiv 23 22 21 20 20 19 18 18 17 17 16 16 15 15 14
a2s 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51
lmDiv 14 13 13 13 12 12 12 12 11 11 11 11 10 10 10
a2s 52 53 54 55 56 57 58 59 60 61 62 63
lmDiv 10 10 9 9 9 9 9 9 9 8 8 8
表格9
对于上述的lmDiv(即,(2^(BitDepthC+1)+a2s/2)/a2s),变量a3和k的定义如下:
a3=a2s<7?0:Clip3(-215,215-1,a1s*lmDiv+(1<<(k1-1))>>k1),(26)
k=BitDepthC+1–Max(0,Log2(abs(a3))-6).       (27)
在另一个实施例中,将lmDiv设置为(2^(BitDepthC+4)+a2s/2)/a2s且当a2s<32时,将等式(15)中的a3设置为0。在此情形中,当a2s>=32时,lmDiv<2^(BitDepthC)。表格10显示对于BitDepthC=8的lmDiv的值。表格11显示对于BitDepthC=10的lmDiv的值。由于在a2s<32的情形中,将lmDiv设置为0,因此不存在对应a2s<32的条目。
表格10
a2s 32 33 34 35 36 37 38 39 40 41 42
lmDiv 128 124 120 117 114 111 108 105 102 100 98
a2s 43 44 45 46 47 48 49 50 51 52 53
lmDiv 95 93 91 89 87 85 84 82 80 79 77
a2s 54 55 56 57 58 59 60 61 62 63
lmDiv 76 74 73 72 71 69 68 67 66 65
表格11
a2s 32 33 34 35 36 37 38 39 40 41 42
lmDiv 512 496 482 468 455 443 431 420 410 400 390
a2s 43 44 45 46 47 48 49 50 51 52 53
lmDiv 381 372 364 356 349 341 334 328 321 315 309
a2s 54 55 56 57 58 59 60 61 62 63
lmDiv 303 298 293 287 282 278 273 269 264 260
对于上述的lmDiv(即,(2^(BitDepthC+4)+a2s/2)/a2s)和a3,需要修改的其他变量如下:
a3=a2s<32?0:Clip3(-215,215-1,a1s*lmDiv+(1<<(k1-1))>>k1),
                              (28)
k=BitDepthC+4–Max(0,Log2(abs(a3))-6).     (29)
在另一个实施例中,将lmDiv设置为(2^(BitDepthC+4)+a2s/2)/a2s且当a2s<32时,将等式(15)中的a3设置为0。在此情形中,当a2s>=32时,lmDiv将小于2^(BitDepthC-1)。表格12显示对于BitDepthC=8的lmDiv的值。表格13显示对于BitDepthC=10的lmDiv的值。由于在a2s<32的情形中,将lmDiv设置为0,因此不存在对应a2s<32的条目。
表格12
a2s 32 33 34 35 36 37 38 39 40 41 42
lmDiv 64 62 60 59 57 55 54 53 51 50 49
a2s 43 44 45 46 47 48 49 50 51 52 53
lmDiv 48 47 46 45 44 43 42 41 40 39 39
a2s 54 55 56 57 58 59 60 61 62 63
lmDiv 38 37 37 36 35 35 34 34 33 33
表格13
a2s 32 33 34 35 36 37 38 39 40 41 42
lmDiv 256 248 241 234 228 221 216 210 205 200 195
a2s 43 44 45 46 47 48 49 50 51 52 53
lmDiv 191 186 182 178 174 171 167 164 161 158 155
a2s 54 55 56 57 58 59 60 61 62 63
lmDiv 152 149 146 144 141 139 137 134 132 130
对于上述的lmDiv(即,(2^(BitDepthC+3)+a2s/2)/a2s)和a3,需要修改的其他变量如下:
a3=a2s<32?0:Clip3(-215,215-1,a1s*lmDiv+(1<<(k1-1))>>k1),
                         (30)
k=BitDepthC+3–Max(0,Log2(abs(a3))-6).          (31)
上述的基于LM模式的色度帧内预测方法可用于视频编码器中也可用于视频解码器中。图2为根据本发明一个实施例的编码器或解码器的示例流程图。如步骤210中所示,从媒体或处理器中接收当前区块的相邻重建亮度像素和当前重建亮度像素。重建亮度像素可从媒体(例如缓存的计算机存储器(RAM或DRAM))中撷取。重建亮度像素也可从处理器(例如从冗余信号中重建亮度像素的央处理单元或的数字信号处理器)中接收。在视频编码器中,由编码器产生冗余信号。在视频解码器中,从接收的比特流中推导冗余信号。如步骤220中所示,从媒体或处理器接收当前色度区块的相邻重建色度像素,其中,当前色度区块与当前亮度区块同位。可从相同媒体(例如相同的DRAM装置)或各自独立的媒体(例如独立的DRAM装置)中撷取重建亮度采样和色度采样。可从相同处理器或不同处理器(例如用于亮度采样的一个处理器和用于色度采样的另一处理器)中接收重建亮度采样和色度采样。如步骤230中所示,然后根据由缩放因子缩放的当前亮度区块的推导同位当前亮度像素推导当前色度区块的色度像素的色度帧内预测。缩放因子包括除因子和缩放的类协方差值的乘积项,该缩放的类协方差值相应于当前亮度区块的相邻重建亮度像素及当前色度区块的相邻重建色度像素。除因子与除以缩放的类方差值的第一数据范围相关。其中,缩放的类方差值相应于当前亮度区块的相邻重建亮度像素。根据本发明,缩放的类协方差值和第一数据范围中的至少一个取决于视频编码过程期间处理的色度信号的内部位深度。然后如步骤240所示,提供色度帧内预测以用于编码或解码当前色度区块的色度像素。
如上所示流程图目的在于说明结合本发明多个实施例的用于视频编码器和解码器的基于亮度的色度帧内预测方法的示例。本领域技术人员可在不脱离本发明精神的前提下,修改每个步骤,重新安排这些步骤,分解步骤或组合步骤来实施本发明。
上述描述能够使本领域技术人员将所提供的本发明实施用于特定应用及其需求环境。本领域技术人员来清楚上述多个实施例的各种修改,此处多述基本原则可应用于其他实施例。因此,本发明并非用以限定在上述显示及描述的特定实施方式,而是可记录至符合此处所述原则及新特征的最广范围。在上述详细描述中,所示各种特定描述是为了提供对本发明的详细理解。然而,本领域技术人员当可理解本发明可如何实施。
本发明上述实施例可实施为硬件、软件代码或其组合。例如,本发明的实施例可为视频压缩芯片中所集成的电路,或用于执行此处所述处理的视频压缩软件中所集成的程序代码。本发明一实施例也可为用于执行此处所述处理的数字信号处理器(Digital Signal Process,DSP)上所执行的程序代码。本发明也可包含由电脑处理器、数字信号处理器、微处理器或场效可编程门阵列(Field Programmable Gate Array,FPGA)所执行的多个功能。这些处理器可根据本发明配置为通过执行定义了本发明所体现的特定方法的机器可读软件代码或固件代码来执行特定任务。软件代码或固件代码可使用不同的编程语言及不同的格式或类型来开发。软件代码也可符合不同的目标平台。然而,软件代码的不同的代码格式、类型及语言及配置代码以根据本发明执行任务的其他方式,均不脱离本发明的精神及范围。
本发明在不脱离发明精神或重要特征的情况下可体现为其他具体形式。上述实施例仅用于说明目的,并非用以限制。因此本发明的保护范围当视后附的权利要求所界定者为准。任何符合本发明的精神和范围内的所作的均等性改变,均落入本发明保护范围之内。

Claims (21)

1.一种色度帧内预测方法,基于多个重建亮度像素和多个色度像素,该方法包含:
从媒体或处理器中接收当前亮度区块的多个相邻重建亮度像素和多个当前重建亮度像素;
从该媒体或该处理器中接收当前色度区块的多个相邻重建色度像素,其中,该当前色度区块与该当前亮度区块同位;
根据由缩放因子缩放的该当前亮度区块的多个推导同位当前亮度像素而推导该当前色度区块的多个色度像素的色度帧内预测,其中,该缩放因子包括除因子和缩放的类方差值的乘积项,该缩放的类方差值的乘积项相应于该当前亮度区块的该多个相邻重建亮度像素及该当前色度区块的该多个相邻重建色度像素,其中,该除因子与除以缩放的类方差值的第一数据范围相关,该缩放的类方差值相应于该当前亮度区块的该多个相邻重建亮度像素;以及,其中,该缩放的类协方差值和该第一数据范围中的至少一个取决于视频编码过程期间处理的色度信号的内部位深度;以及
提供该色度帧内预测以用于编码或解码该当前色度区块的该多个色度像素。
2.根据权利要求1所述的方法,其特征在于,该多个相邻重建亮度像素包括位于该当前亮度区块的顶部边界之上的该多个重建亮度像素的第一组,与位于该当前亮度区块的左侧边界以左的该多个重建亮度像素的第二组。
3.根据权利要求1所述的方法,其特征在于,从该当前亮度区块的该多个当前重建亮度像素中推导该当前亮度区块的该多个推导同位当前亮度像素,其中,该当前亮度区块的该多个当前重建亮度像素所在的多个像素位置与该当前色度模块的该多个色度像素同位。
4.根据权利要求1所述的方法,其特征在于,该缩放的类协方差值根据相应于该当前亮度区块的该多个相邻重建亮度像素及该当前色度区块的该多个相邻重建色度像素的类协方差值推导,其中,该缩放的类协方差值对应于将该类协方差值右移第一数目位,其中,该第一数目位有关于该类协方差值和在视频编码过程期间处理的色度信号的该内部位深度。
5.根据权利要求4所述的方法,其特征在于,a1s=a1>>Max(0,Log2(abs(a1))–(BitDepthC–2))时,其中,a1s表示该缩放的类协方差值,a1表示该类协方差值,以及BitDepthC表示视频编码过程期间处理的色度信号的该内部位深度。
6.根据权利要求5所述的方法,其特征在于,该第一数据范围对应于2^(BitDepthC–2)或2^(BitDepthC–1)。
7.根据权利要求1所述的方法,其特征在于,根据相应于该当前亮度区块的该多个相邻重建亮度像素的类方差值推导该缩放的类方差值,其中,该缩放的类方差值对应于右移该类方差值第二数目位,其中,该第二数目位有关于该类方差值。
8.根据权利要求7所述的方法,其特征在于,a2s=abs(a2>>Max(0,Log2(abs(a2))-5)),其中,a2s表示该缩放的类方差值,且2表示表示该类方差值。
9.根据权利要求8所述的方法,其特征在于,该除因子对应于(2^(BitDepthC–2)+a2s/2)/a2s、(2^(BitDepthC–1)+a2s/2)/a2s、(2^(BitDepthC+1)+a2s/2)/a2s、(2^(BitDepthC+2)+a2s/2)/a2s、(2^(BitDepthC+3)+a2s/2)/a2s或(2^(BitDepthC+4)+a2s/2)/a2s。
10.根据权利要求9所述的方法,其特征在于,将以该缩放因子缩放的该当前亮度区块的该多个推导同位当前亮度像素以移动因子进行右移,其中,该移动因子有关于用于该当前色度区块的多个色度像素的该推导色度帧内预测期间的该乘积项,其中,该移动因子对应于用于各个除因子的(BitDepthC–2–Max(0,Log2(abs(a3))-6))、(BitDepthC–1–Max(0,Log2(abs(a3))-6)),(BitDepthC+1–Max(0,Log2(abs(a3))-6))、(BitDepthC+2–Max(0,Log2(abs(a3))-6))、(BitDepthC+3–Max(0,Log2(abs(a3))-6))或(BitDepthC+4–Max(0,Log2(abs(a3))-6)),其中,如果该缩放的类方差值等于或大于一,a3表示对应于被右移且截断至(-215,215-1)的乘积项的处理结果,且在其他情况中,a3=0。
11.根据权利要求9所述的方法,以用于色度信号的选择的内部位深度的查找表实现该除因子,该查找表中将该缩放的类方差值作为表格输入。
12.根据权利要求11所述的方法,其特征在于,在该除因子对应于(2^(BitDepthC+1)+a2s/2)/a2s或(2^(BitDepthC+2)+a2s/2)/a2s的情形中,该查找表忽略用于1至6的该缩放类方差值的多个表格条目,且在该除因子对应于(2^(BitDepthC+3)+a2s/2)/a2或(2^(BitDepthC+4)+a2s/2)/a2s的情形中,该查找表忽略用于1至31的该缩放类方差值的多个表格条目。
13.根据权利要求12所述的方法,其特征在于,在该除因子对应于(2^(BitDepthC+1)+a2s/2)/a2s或(2^(BitDepthC+2)+a2s/2)/a2s的情形中,如果a2s小于7,将a3设置为0,且其中,在该除因子对应于(2^(BitDepthC+3)+a2s/2)/a2s或(2^(BitDepthC+4)+a2s/2)/a2s的情形中,如果a2s小于32,将a3设置为0。
14.根据权利要求12所述的方法,其特征在于,在该除因子对应于(2^(BitDepthC+1)+a2s/2)/a2s或(2^(BitDepthC+2)+a2s/2)/a2s的情形中,如果a2s小于7或a2s小于7且大于0,将除因子设置为对应于a2s等于7的该除因子的第一值,且其中,在该除因子对应于(2^(BitDepthC+3)+a2s/2)/a2s或(2^(BitDepthC+4)+a2s/2)/a2s的情形中,如果a2s小于32或a2s小于32且大于0,将a3设置为对应于a2s等于32的该除因子的第二值。
15.一种色度帧内预测装置,基于多个重建亮度像素和多个色度像素,该装置包含:
从媒体或处理器中接收当前亮度区块的多个相邻重建亮度像素和多个当前重建亮度像素的单元;
从该媒体或该处理器中接收当前色度区块的多个相邻重建色度像素的单元,其中,该当前色度区块与该当前亮度区块同位;
根据由缩放因子缩放的该当前亮度区块的多个推导同位当前亮度像素而推导该当前色度区块的多个色度像素的色度帧内预测的单元,其中,该缩放因子包括除因子和缩放的类方差值的乘积项,该缩放的类方差值的乘积项相应于该当前亮度区块的该多个相邻重建亮度像素及该当前色度区块的该多个相邻重建色度像素,其中,该除因子与除以缩放的类方差值的第一数据范围相关,该缩放的类方差值相应于该当前亮度区块的该多个相邻重建亮度像素;以及,其中,该缩放的类协方差值和该第一数据范围中的至少一个取决于视频编码过程期间处理的色度信号的内部位深度;以及
提供该色度帧内预测以用于编码或解码该当前色度区块的该多个色度像素的单元。
16.根据权利要求15所述的装置,其特征在于,该多个相邻重建亮度像素包括位于该当前亮度区块的顶部边界之上的该多个重建亮度像素的第一组,与位于该当前亮度区块的左侧边界以左的该多个重建亮度像素的第二组。
17.根据权利要求15所述的装置,其特征在于,从该当前亮度区块的该多个当前重建亮度像素中推导该当前亮度区块的该多个推导同位当前亮度像素,其中,该当前亮度区块的该多个当前重建亮度像素所在的多个像素位置与该当前色度模块的该多个色度像素同位。。
18.根据权利要求15所述的装置,其特征在于,该缩放的类协方差值根据相应于相应于该当前亮度区块的该多个相邻重建亮度像素及该当前色度区块的该多个相邻重建色度像素的类协方差值推导,其中,该缩放的类协方差值对应于将该类协方差值右移第一数目位,其中,该第一数目位有关于该类协方差值和在视频编码过程期间处理的色度信号的该内部位深度。
19.根据权利要求18所述的装置,其特征在于,a1s=a1>>Max(0,Log2(abs(a1))–(BitDepthC–2))时,其中,a1s表示该缩放的类协方差值,a1表示该类协方差值,以及BitDepthC表示视频编码过程期间处理的色度信号的该内部位深度。
20.根据权利要求19所述的装置,其特征在于,该第一数据范围对应于2^(BitDepthC–2)或2^(BitDepthC–1)。
21.根据权利要求15所述的装置,其特征在于,根据相应于该当前亮度区块的该多个相邻重建亮度像素的类协方差值推导该缩放的类协方差值,其中,该缩放的类协方差值对应于将该类协方差值右移有关于该类协方差值的第二数目位。
CN201380019470.6A 2012-04-16 2013-01-24 色度帧内预测方法及装置 Active CN104471940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201380019470.6A CN104471940B (zh) 2012-04-16 2013-01-24 色度帧内预测方法及装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNPCT/CN2012/074118 2012-04-16
PCT/CN2012/074118 WO2013155662A1 (en) 2012-04-16 2012-04-16 Methods and apparatuses of simplification for intra chroma lm mode
CN201380019470.6A CN104471940B (zh) 2012-04-16 2013-01-24 色度帧内预测方法及装置
PCT/CN2013/070912 WO2013155886A1 (en) 2012-04-16 2013-01-24 Method and apparatus of simplified luma-based chroma intra prediction

Publications (2)

Publication Number Publication Date
CN104471940A true CN104471940A (zh) 2015-03-25
CN104471940B CN104471940B (zh) 2017-12-15

Family

ID=52915489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019470.6A Active CN104471940B (zh) 2012-04-16 2013-01-24 色度帧内预测方法及装置

Country Status (1)

Country Link
CN (1) CN104471940B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451306A (zh) * 2019-01-16 2019-03-08 北京数码视讯软件技术发展有限公司 色度分量的最佳预测模式的选择方法、装置及电子设备
WO2020119449A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 色度块的预测方法和装置
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN113545064A (zh) * 2019-03-04 2021-10-22 阿里巴巴集团控股有限公司 用于处理视频内容的方法和系统
CN113632481A (zh) * 2019-03-15 2021-11-09 联发科技股份有限公司 色度残差缩放的延迟降低方法和装置
CN113692741A (zh) * 2019-04-18 2021-11-23 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
CN113767631A (zh) * 2019-03-24 2021-12-07 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
US11533487B2 (en) 2019-07-07 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US11659164B1 (en) 2019-04-23 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
CN116847096A (zh) * 2018-10-08 2023-10-03 北京达佳互联信息技术有限公司 视频编码方法、计算装置、存储介质和计算机程序产品
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
CN113545064B (zh) * 2019-03-04 2024-05-10 阿里巴巴集团控股有限公司 用于处理视频内容的方法和装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063047A1 (en) * 2006-09-08 2008-03-13 Jiun-In Guo Intra prediction circuit device applied to the H.264 video coding standard
CN102067609A (zh) * 2008-06-12 2011-05-18 汤姆森特许公司 利用降低的比特深度更新模式和降低的色度采样更新模式进行视频编码和解码的方法及装置
US20110255591A1 (en) * 2010-04-09 2011-10-20 Lg Electronics Inc. Method and apparatus for processing video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063047A1 (en) * 2006-09-08 2008-03-13 Jiun-In Guo Intra prediction circuit device applied to the H.264 video coding standard
CN102067609A (zh) * 2008-06-12 2011-05-18 汤姆森特许公司 利用降低的比特深度更新模式和降低的色度采样更新模式进行视频编码和解码的方法及装置
US20110255591A1 (en) * 2010-04-09 2011-10-20 Lg Electronics Inc. Method and apparatus for processing video data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. BROSS ET AL.: "WD5: Working Draft 5 of High-Efficiency Video Coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16》 *
LINGZHI LIU ET AL.: "Non-CE6a: Remove the large multiplier for LM mode calculation", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847096A (zh) * 2018-10-08 2023-10-03 北京达佳互联信息技术有限公司 视频编码方法、计算装置、存储介质和计算机程序产品
US11962789B2 (en) 2018-10-08 2024-04-16 Beijing Dajia Internet Information Technology Co., Ltd. Simplifications of cross-component linear model
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
CN112235577B (zh) * 2018-12-13 2021-08-20 华为技术有限公司 色度块的预测方法和装置
CN112235577A (zh) * 2018-12-13 2021-01-15 华为技术有限公司 色度块的预测方法和装置
WO2020119449A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 色度块的预测方法和装置
US11595669B2 (en) 2018-12-13 2023-02-28 Huawei Technologies Co., Ltd. Chroma block prediction method and apparatus
CN109451306B (zh) * 2019-01-16 2020-08-11 北京数码视讯软件技术发展有限公司 色度分量的最佳预测模式的选择方法、装置及电子设备
CN109451306A (zh) * 2019-01-16 2019-03-08 北京数码视讯软件技术发展有限公司 色度分量的最佳预测模式的选择方法、装置及电子设备
CN113545064A (zh) * 2019-03-04 2021-10-22 阿里巴巴集团控股有限公司 用于处理视频内容的方法和系统
CN113545064B (zh) * 2019-03-04 2024-05-10 阿里巴巴集团控股有限公司 用于处理视频内容的方法和装置及计算机可读存储介质
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
CN113632481A (zh) * 2019-03-15 2021-11-09 联发科技股份有限公司 色度残差缩放的延迟降低方法和装置
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置
CN113767631B (zh) * 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
CN113767631A (zh) * 2019-03-24 2021-12-07 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
US11616965B2 (en) 2019-04-18 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
US11553194B2 (en) 2019-04-18 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
CN113692741B (zh) * 2019-04-18 2022-12-13 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
CN113692741A (zh) * 2019-04-18 2021-11-23 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
US11750799B2 (en) 2019-04-23 2023-09-05 Beijing Bytedance Network Technology Co., Ltd Methods for cross component dependency reduction
US11659164B1 (en) 2019-04-23 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11533487B2 (en) 2019-07-07 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling

Also Published As

Publication number Publication date
CN104471940B (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN104471940A (zh) 简化的基于亮度的色度帧内预测方法及装置
TWI663872B (zh) 用於視訊編解碼的基於雙向光流的運動細化的方法及裝置
US9794557B2 (en) Method and apparatus of simplified luma-based chroma intra prediction
CN103688533B (zh) 可减少行存储器的色度帧内预测方法及装置
US9225984B2 (en) Simplification of LM mode
US9118929B2 (en) Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
CN101854540B (zh) 用于应用h.264视频编码标准的帧内预测方法及装置
WO2016066093A1 (en) Method of improved directional intra prediction for video coding
CN104255033B (zh) 用于lm模式计算的简化查找表
EP2529553B1 (en) Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
CN109845263B (zh) 用于视频编码的设备和方法
CN104205845B (zh) 具有统一位宽乘法器的lm模式
US11102474B2 (en) Devices and methods for intra prediction video coding based on a plurality of reference pixel values
CN110892719A (zh) 影像编码/解码方法及装置
CN103957415B (zh) 基于屏幕内容视频的cu分割方法和装置
CN101207817A (zh) 边界滤波强度的推导过程和使用其的去块滤波方法及装置
CN104380741A (zh) 用于lm帧内预测的参考像素缩减
CN104853192B (zh) 预测模式选择方法及装置
EP2775718B1 (en) Method, device, and program for coding and decoding of images
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
Penny et al. Real-time architecture for HEVC motion compensation sample interpolator for UHD videos
CN105812819B (zh) 执行混成多重假设移动补偿预测的方法以及装置
CN117596393A (zh) 视频解码或编码方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant