发明内容
本发明的实施例提供一种生成上下采样滤波器的方法,使用该方法可以生成滤波性能较好的上采样滤波器和下采样滤波器。
本发明实施例提供一种利用下采样滤波器实现空间可分级视频编码的方法,通过该方法可以提高编码的质量。
本发明实施例提供一种利用上采样滤波器实现空间可分级视频编码的方法,通过该方法可以提高编码的质量。
本发明实施例提供一种利用下采样滤波器实现空间可分级视频编码的装置,通过使用该装置可以提高编码的质量。
本发明实施例提供一种利用上采样滤波器实现空间可分级视频编码的装置,通过使用该装置可以提高编码的质量。
本发明实施例提供一种利用下采样滤波器和上采样滤波器实现空间可分级视频编码的系统,通过使用该系统可以提高编码的质量。
为了达到上述第一个目的,本发明的实施例提供了一种生成上下采样滤波器的方法,该方法包括如下步骤:
对符合马尔科夫模型的视频信号进行下采样和上采样处理,得到重建信号;
将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中,计算所述重建信号的能量;
根据带参数的双正交小波理论和所述重建信号的能量,计算出所述重建信号的能量的最大值所对应的小波滤波器参数,生成上采样滤波器和下采样滤波器,其中,
所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
为了达到上述第二个目的,本发明实施例提供了一种利用下采样滤波器实现空间可分级视频编码的方法,该方法包括如下步骤:
使用下采样滤波器对作为编码输入的视频信号进行下采样处理,得到下采样视频序列;
对所述下采样视频序列进行时域分解,得到内部I帧、预测P帧和双向预测B帧;
对所述I帧进行帧内预测和帧内编码,得到下采样帧内预测编码信号;对所述P帧和B帧进行运动编码,得到运动预测编码信号;
所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的下采样滤波器,其中,
所述重建信号的能量是将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中计算得到的,所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
为了达到上述第三个目的,本发明提供了一种利用上采样滤波器实现空间可分级视频编码的方法,该方法包括如下步骤:
使用上采样滤波器对下采样帧内预测编码信号进行上采样处理,得到上采样视频序列;
对所述上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号;
所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的上采样滤波器,其中,
所述重建信号的能量是将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中计算得到的,所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
为了达到上述第四个发明目的,本发明实施例提供了一种利用下采样滤波器实现空间可分级视频编码的装置,该装置包括:下采样滤波器、时域分解单元、运动编码单元,以及下采样帧内预测和帧内编码单元;
所述下采样滤波器,用于接收作为编码输入的视频信号,对所述视频信号进行下采样处理,得到下采样视频序列,将所述下采样视频序列发送给时域分解单元;
所述时域分解单元,用于接收所述下采样视频序列,将所述下采样视频序列分解成I帧、P帧和B帧,将所述I帧发送给下采样帧内预测和帧内编码单元,将所述P帧和B帧发送给运动编码单元;
所述运动编码单元,用于接收所述P帧和B帧,对所述P帧和B帧进行运动编码得到运动预测编码信号;
所述下采样帧内预测和帧内编码单元,用于接收所述I帧,对所述I帧进行帧内预测和帧内编码,得到下采样帧内预测编码信号;
所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样处理和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的下采样滤波器,其中,
所述重建信号的能量是将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中计算得到的,所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S2)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
为了达到上述第五个发明目的,本发明实施例提供了一种利用上采样滤波器实现空间可分级视频编码的装置,上采样滤波器和上采样帧内预测和帧内编码单元;
所述上采样滤波器,用于接收下采样帧内预测编码信号,并对所述下采样帧内预测编码信号进行上采样处理,得到上采样视频序列,将所述上采样视频序列发送给上采样帧内预测和帧内编码单元;
所述上采样帧内预测和帧内编码单元,用于接收所述上采样视频序列,对所述上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号;
所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的上采样滤波器,其中,
所述重建信号的能量是将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中计算得到的,所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
为了达到上述第六个发明目的,本发明实施例提供了一种利用下采样滤波器和上采样滤波器实现空间可分级视频编码的系统,该系统包括:下采样滤波器、下采样编码单元、上采样滤波器,以及上采样帧内预测和帧内编码单元;
所述下采样滤波器,用于接收作为编码输入的视频信号,对所述视频信号进行下采样处理,得到下采样视频序列,将所述下采样视频序列发送给下采样编码单元;
所述下采样编码单元,用于接收所述下采样视频序列,对所述下采样视频序列进行预测和编码,生成运动预测编码信号和下采样帧内预测编码信号,将所述下采样帧内预测编码信号发送给上采样滤波器;
所述上采样滤波器,用于接收所述下采样帧内预测编码信号,对所述下采样帧内预测编码信号进行上采样处理,得到上采样视频序列,将所述上采样视频序列发送给上采样帧内预测和帧内编码单元;
所述上采样帧内预测和帧内编码单元,用于接收所述上采样视频序列,对所述上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号;
所述下采样滤波器和上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的下采样滤波器和上采样滤波器,其中,
所述重建信号的能量是将所述重建信号代入能量模型E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}中计算得到的,所述E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,所述E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,所述E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
通过本发明实施例的技术方案可以看出,本发明实施例首先对符合马尔科夫模型的视频信号进行下采样处理和上采样处理,得到重建信号,然后根据带参数的双正交小波理论和重建信号的能量,计算出该重建信号的能量最大值所对应的小波滤波器参数,得到上采样滤波器和下采样滤波器,在重建信号的能量最大化时可以保证能量损失的最小化和最大限度的恢复出视频信号。将该方案生成的下采样滤波器和上采样滤波器用于空间可分级编码,可以达到编码能量损失最小化,提高编码的质量和性能。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
在本发明的实施例中,要生成上采样滤波器和下采样滤波器,首先需要对符合马尔科夫模型的视频信号进行下采样和上采样处理,得到重建信号,然后计算出重建信号的能量;再根据带参数的双正交小波理论和所述重建信号的能量,计算出所述重建信号的能量的最大值所对应的小波滤波器参数,生成上采样滤波器和下采样滤波器。
图2为本发明实施例的生成上采样滤波器和下采样滤波器的方法的流程示意图。如图2所示,该方法包括如下步骤:
步骤21:对符合马尔科夫模型的视频信号进行下采样和上采样处理,得到重建信号。
步骤22:计算出重建信号的能量。
步骤23:根据带参数的双正交小波理论和重建信号的能量,计算出重建信号的最大值所对应的小波滤波器参数,生成上采样滤波器和下采样滤波器。
步骤24:对上采样滤波器和下采样滤波器进行整数化处理,得到整数上采样滤波器和整数下采样滤波器。
步骤25:对整数上采样滤波器和整数下采样滤波器进行长度裁减,得到优化整数上采样滤波器和优化整数下采样滤波器。
其中,上述步骤21~步骤25的具体操作为:
在步骤21中,对符合马尔科夫模型的视频信号进行下采样处理和上采样处理,得到重建信号的方法包括:
S={sn}0≤n<M是一个平稳随机视频信号序列,H(1)={h(1) 0,h(1) 1,...,h(1) L-1}和H(2)={h(2) 0,h(2) 1,...,h(2) L-1}是两个有限线性相位脉冲响应(FIR)低通滤波器,且均为因果滤波器。
首先,用H(1)对S={sn}0≤n<M进行滤波处理,再进行下采样处理后得到:
然后,对 信号序列进行上采样处理,并用H(2)对该信号序列进行滤波,得到重建信号: 其中,
在实际应用中,95%的视频信号都是符合马尔科夫模型的视频信号,将上述对视频信号进行下采样处理和上采样处理,得到重建信号的过程用流程示意图的形式表示出来。
图2a为本发明实施例的实现视频信号重建的流程示意图。如图2a所示,
将视频信号S经H(1)的滤波处理后,再经下采样处理得到信号S0,然后对信号S0进行上采样处理和使用H(2)滤波器对经上采样处理的S0进行滤波处理,得到重建信号S1。
在步骤22中,根据重建信号计算得到重建信号的能量的方法为:
首先,选择一个能量模型:E1=max{αE[e(S1)]+βE[e(S2)]+γE[e(S3)]}。其中,E[e(S1)]是进行下采样和上采样处理后的视频信号的能量,E[e(S2)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量,E[e(S3)]是进行下采样处理后的视频信号的能量;所述α和β均为大于零的正整数,γ为大于等于零的正整数。
当α、β和γ取不同值时可以得到不同的能量模型,例如:
当α=1,β=λ,γ=0时,能量模型为:E1=max{E[e(S1)]+λE[e(S2)]};
当α=1/2,β=1,γ=0时,能量模型为:E2=max{E[(1/2)e(S1)]+E[e(S2)]};
当α=1/2,β=λ,γ=0时,能量模型为:E3=max{E[(1/2)e(S1)]+λE[e(S2)]};
当α=1/2,β=λ,γ=θ时,能量模型为:E4=max{E[(1/2)e(S1)]+λE[e(S2)]+θE[e(S3)]}。
在本实施例中,选择的能量模型为:E1=max{E[e(S1)]+λE[e(S2)]}。
进行下采样和上采样处理后的视频信号的能量为:
进行下采样和上采样处理前的视频信号和所述重建信号的相关能量为:
因此得到的重建信号的能量为:
其中,E[e(S1)]和E[e(S2)]可以分别近似为:
在步骤23中,在本实施例中,带单数的双正交小波理论为小波滤波器参数化公式,根据小波滤波器参数化公式和重建信号的能量,计算出重建信号的最大值所对应的小波滤波器参数,生成上采样滤波器和下采样滤波器的方法包括:
由步骤22可知,在本实施例中的重建信号的能量为:
在本实施例中,采用长度为(7,13)的单参数双正交小波参数化公式。
长度为(7,13)的单参数双正交小波参数化公式如下:
需要指出的是,可以采用的小波滤波器参数化公式可以包括但不限于:单参数双正交小波参数化公式,或双参数双正交小波参数化公式,或多参数双正交小波参数化公式,或单参数和多参数双正交小波参数化公式。利用双参数双正交小波参数化公式、多参数双正交小波参数化公式,以及单参数和多参数双正交小波参数化公式求取上采样滤波器和下采样滤波器的方法与利用单参数双正交小波参数化公式求取上采样滤波器和下采样滤波器的方法相同,也在本发明的保护范围之内。
求解重建信号取得最大值时所对应的小波滤波器参数的方法为:
首先,将长度为(7,13)的单参数双正交小波参数化公式代入到 公式中。
其次,对λ=1和λ=0.1分别进行60次迭代计算,计算得出,当h=0.7时,重建信号的能量处于最大值附近。
再次,将h=0.7代入单参数双正交小波参数化公式得到如表1所示的值,表1为小波滤波器参数值。
H7 | H13 |
-.4241747852752234e-1 | -.2864426763622237e-2 |
.3553390593273753e-2 | -.2399583254419701e-3 |
.3959708691207962 | .5084782097542918e-1 |
.7000000000000000 | -.4525099414445236e-1 |
.3959708691207962 | -.1811648336223731 |
.3553390593273753e-2 | .3990443430631642 |
-.4241747852752234e-1 | .9734696600076678 |
| .3990443430631642 |
| -.1811648336223731 |
| -.4525099414445236e-1 |
| .5084782097542918e-1 |
| -.2399583254419701e-3 |
| -.2864426763622237e-2 |
表1
最后,将表1中浮点形式的小波滤波器参数分别写成矩阵的形式,即可生成上采样滤波器和下采样滤波器。
在步骤24中,对步骤23生成的上采样滤波器和下采样滤波器进行整数化处理,生成整数上采样滤波器和整数下采样滤波器的方法为:
对表1中的浮点形式的小波滤波器作二进制乘法,然后对二进制乘法的结果取近似值,可以生成的整数上采样滤波器和整数下采样滤波器分别为:
H7=[-1091690-1]/16和H9=[1-1-49229-4-11]/32,
或者,HH7=[-8172126721-8]/128和HH13=[-1018-16-65144352144-65-16180-1]/512;
或,H7=[-502132210-5]/32和H3=[173017]/64。
在步骤25中,对步骤24生成的整数上采样滤波器和整数下采样滤波器进行长度裁减,生成优化整数上采样滤波器和优化整数下采样滤波器的方法为:
滤波器的长度直接影响到其运算速度和视频信号的重建质量,在对运算速度和视频信号重建性能之间进行权衡地基础上,将整数上采样滤波器和整数下采样滤波器两端影响比较小的值省略,并累加到中心值上,生成优化整数上采样滤波器和优化整数下采样滤波器。
对步骤24中的H7=[-1091690-1]/16和H9=[1-1-49229-4-11]/32进行长度裁减,生成的优化整数上采样滤波器和优化整数下采样滤波器分别为:H7=[-1091690-1]/16;H5=[-49229-4]/32。
需要指出的是,在本实施例中可以利用步骤23中的其它能量模型和小波滤波器参数化公式对视频信号的色度分量或亮度分量的上采样滤波器和下采样滤波器进行设计和优化处理,例如,可以生成另外一组上采样滤波器和下采样滤波器:H7=[-5,0,21,32,21,0,-5]/64和H3=[17,30,17]/64。
执行步骤21~步骤23即可实现本发明的上采样滤波器和下采样滤波器的设计,进一步地执行步骤24可以对步骤23生成的浮点形式的滤波器进行整数化处理,生成整数滤波器,同样进一步地执行步骤25可以对步骤24生成的整数滤波器进行长度优化处理,生成优化整数上采样滤波器和优化整数下采样滤波器。
从本实施例可以看出,本实施例主要介绍了基于H.264的空间可分级编码过程中上采样滤波器和下采样滤波器的设计。与现有技术相比,具有如下优点:
首先,本实施例生成的上采样滤波器和下采样滤波器是对能量模型求解最大化的情况下生成的上下采样滤波器,在保证同等滤波器长度下,本发明的方法所生成的上下采样滤波器在视频信号编码和解码应用中针对能量模型是最优的。将本实施例生成的上采样滤波器和下采样滤波器用于视频信号的编码处理,可以减少图像能量的损耗,提高对视频信号进行编码的质量,达到能量损失的最小化和视频恢复质量的最大化。
其次,将小波理论用于上采样滤波器和下采样滤波器的设计,将生成的上下采样滤波器用于视频信号的编码,可以提高视频信号的重构质量,优化高分辨率下视频信号的重构效果。
最后,可以根据不同的视频信号编码复杂度的要求,可以对生成的整数滤波器进行不同长度的裁剪,生成优化整数滤波器,从而通过在运算速度和视频信号重建性能之间的权衡,生成最符合实际需要的优化整数上采样滤波器和优化整数下采样滤波器。
至此,结束对图2所示实施例的介绍。
图2所示的实施例给出了如何生成上采样滤波器和下采样滤波器的方法,可以将设计生成的上采样滤波器和下采样滤波器用于空间可分级视频编码操作。空间可分级视频信号编码过程分为:利用下采样滤波器进行的编码过程和利用上采样滤波器进行的编码过程。下面分别以具体的实施例予以介绍:
图3为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的方法的流程示意图。如图3所示,该方法包括以下步骤:
步骤31:利用下采样滤波器对作为编码输入的视频信号进行下采样处理,得到下采样视频序列。
在本实施例中,使用的下采样滤波器是步骤24中所生成的下采样滤波器:H9=[1-1-49229-4-11]/32。
步骤32:对视频信号序列进行时域分解,得到内部(I)帧、预测(P)帧和双向预测(B)帧。
步骤33:对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号,对P帧和B帧进行运动编码,得到运动预测编码信号。
上述步骤31~步骤33的具体操作为:
在步骤31中,利用下采样滤波器对作为编码输入的视频信号进行下采样处理,得到下采样视频序列的具体操作为:
将作为编码输入的视频信号中同行或隔行中的各像素与H9=[1-1-49229-4-11]/32进行垂直方向上的卷积计算,得到各像素的像素值,然后将各像素的像素值与H9=[1-1-49229-4-11]/32进行水平方向上的卷积计算,得到下采样视频序列;或者,也可以先进行水平方向上的卷积运算得到各像素的像素值,然后再将各像素的像素值与H9=[1-1-49229-4-11]/32进行垂直方向上的卷积计算,得到下采样视频序。针对上述过程,下面以一个具体的例子予以介绍:
图3a为视频信号一帧中全部像素的结构示意图。图3a中包含了:包括像素E、像素e、像素F、像素f、像素G、像素g、像素H、像素h和像素I的行;包括像素J、像素K、像素L、像素k、像素M和像素N的行;包括像素A、像素a、像素C、像素b、像素G、像素c、像素L、像素d和像素P的列;以及包括像素B、像素D、像素H、像素n、像素M和像素Q的列。
以像素G为例,第一步,将G点的像素值以及垂直方向上的各像素值与H9=[1-1-49229-4-11]/32进行卷积运算,得到像素值G’=(A-a-4*C+9*b+22*G+9*c-4*L-d+P)/32。同样对于像素G同行或隔行中的各像素也按此公式与H9=[1-1-49229-4-11]/32进行卷积运算,分别得到像素值E’、像素值e’、像素值F’、像素值f’、像素值G’、像素值g’、像素值H’、像素值h’和像素值I’等。
第二步,将像素值G’以及水平方向上的各像素值与H9=[1-1-49229-4-11]/32进行卷积运算,得到G”=(E’-e’-4*F’+9*f’+22*G’+9*g’-4*H’-h’+I’)/32,其中等式右侧的各像素值是通过第一步的卷积运算得到的像素值。
将图3a中灰色方格中的像素值单独取出,即可得到下采样视频序列。需要指出的是上述第一步和第二步的操作可以倒换次序,得到的结果相同,即先在水平方向上与下采样滤波器进行卷积运算,然后在垂直方向上与下采样滤波器进行卷积运算。
步骤32中对视频信号序列进行时域分解,得到I帧、P帧和B帧的操作,以及步骤33中对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号,对P帧和B帧进行运动编码,得到运动预测编码信号操作,与现有技术中的相应操作相同,属于本领域普通技术人员公知的技术,这里不作赘述。
至此,结束对图3所示实施例的介绍。
图4为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的方法的流程示意图。如图4所示,该方法包括以下步骤:
步骤41:使用上采样滤波器对下采样帧内预测编码信号进行上采样处理,得到上采样视频序列。
在本步骤中,所使用的上采样滤波器为步骤24中所生成的整数上采样滤波器:H7=[-1091690-1]/16,所涉及的下采样帧内预测编码信号是步骤33中对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号。
步骤42:对上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号。
其中,步骤41~步骤42的具体操作为:
在步骤41中,使用上采样滤波器对下采样帧内预测编码信号进行上采样处理,得到上采样视频序列得具体方法为:使用上采样滤波器对下采样帧内预测编码信号进行层间帧内纹理预测和层间残差预测的2D空域上采样处理,得到上采样视频序列。
仍参见图3a,图3a中灰色方格表示下采样帧内预测编码信号中宏块的像素,所有的方格表示上采样视频序列中宏块的像素。使用上采样滤波器对下采样帧内预测编码信号进行层间帧内纹理预测和层间残差预测的2D空域上采样处理,得到上采样视频序列具体方法为:
对于灰色方格位置的像素:保持其像素值不变。
对于在水平方向上紧邻灰色方格,形如g的像素:将下采样帧内预测编码信号序列隔列补零后按水平方向与H7=[-1091690-1]/16做卷积,得到g的像素值为:g=(-F+9*G+9*H-i)/16。此外,对于其他与g在水平方向上和垂直方向上相差偶数个像素的像素也按同样的方法进行处理。
对于在垂直方向上紧邻灰色方格,形如c的像素:将下采样帧内预测编码信号序列隔行补零后按垂直方向与H7=[-1091690-1]/16做卷积,得到c的像素值为:c=(-C+9*G+9*L-P)/16。此外,对于其他与c在水平方向上和垂直方向上相差偶数个像素的像素也按同样的方法进行处理。
对于与灰色方格处于斜对角,形如i的像素:将下采样帧内预测编码信号序列按垂直方向或水平方向与H7=[-1091690-1]/16做卷积,得到i的像素值i=(-m+9*c+9*n-o)/16或i=(-j+9*g+9*k-1)/16,这两个值是相等的,取其一即可。
在步骤42中,利用步骤41得到的上采样视频序列和原有的纹理信息在增强层进行帧内预测和变换/熵编码,然后将全部编码过程得到的结果进行复用,形成上采样帧内预测编码信号,即比特流。
其中,本步骤的操作与现有技术中的相应操作相同,属于本领域普通技术人员公知的技术,为了简洁,这里就不作赘述。
至此,结束对图4所示实施例的介绍。
使用图2所示方法设计得到的上采样滤波器和下采样滤波器对静态图像进行处理,可以显著提高高分辨率的重建效果。下面以具体的实施例介绍对静态图像进行处理所得到的定量和定性测试结果。
表2示出了对静态图像进行定量测试得到的结果。
| SVC/H.264 | h5/h7 | h7/h9 | H7/H9 | HH7/HH13 |
[0185] Lena | 34.1005 | 35.0790 | 35.1585 | 35.3335 | 35.3607 |
Boat | 29.7339 | 30.6226 | 30.7317 | 30.8211 | 30.8367 |
Flinstones | 26.6710 | 27.8231 | 27.8484 | 28.0931 | 28.1373 |
Mandrill | 22.9414 | 23.5673 | 23.7042 | 23.7433 | 23.7480 |
Airplane | 30.3926 | 31.3651 | 31.4438 | 31.6050 | 31.6207 |
Sailboat | 29.4495 | 30.5303 | 30.5671 | 30.7150 | 30.7276 |
Peppers | 31.6337 | 33.0340 | 32.9955 | 33.1566 | 33.1401 |
Fingerprint | 30.8312 | 31.8285 | 32.1036 | 32.4955 | 32.5579 |
表2
如表2所示,列表示八幅标准静态图像的名称,行表示对静态图像进行测试的滤波器,依次为SVC/H.264、h5/h7、h7/h9、H7/H9和HH7/HH13滤波器,其中前三组滤波器是现有技术中JSVM6.3.1所采用的滤波器,后两组滤波器是根据本发明实施例生成的上下采样滤波器。行与列的交叉值表示测试数据,单位为峰值信噪比(PSNR),其中,PSNR的值越大表示测试结果越为理想。
通过比较图2中的数值,可以明显看出采用后两组滤波器对静态图像进行处理得到的PSNR的值明显大于使用现有的滤波器对静态图像进行处理得到的PSNR的值。因此,可以得出这样的结论:使用本发明方法设计得到的上采样滤波器和下采样滤波器对静态图像进行处理,可以显著提高高分辨率的重建效果。
图5为使用本发明生成的滤波器对静态图像进行处理得到的效果图。从图5中可以直观的看出,经本发明实施例方法生成的上下采样滤波器的处理,可以得到很清晰的视图效果。
至此,结束对静态图像的定量测试结果的介绍。
下面以具体的实施例介绍,使用本发明生成的上下采样滤波器对静态图像进行处理所得到的定性测试结果。
图6a是对运动物体(Mobile)进行层0帧内编码所得的图形。如图6a所示,层0表示核心层,横坐标表示分辨率,取值范围为500bps~3000bps;纵坐标表示PSNR,PSNR越大表示测试结果越为理想。
图6a中示出了4条测试曲线,均是采用下采样滤波器和上采样滤波器对层间帧内纹理预测中亮度分量进行优化处理后得到的曲线,从上到下依次为:使用our_Filter_3_7滤波器组、Default JSVM滤波器组、our_Filter_5_7滤波器组和JVT-U147_Filter_5_7滤波器组进行测试得到的曲线,DefaultJSVM滤波器组和JVT-U147_Filter_5_7滤波器组的曲线用虚线来表示。
our_Filter_3_7滤波器组和our_Filter_5_7滤波器组是使用本发明的方法设计得到的滤波器组,Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组是现有的滤波器组。从图6a中可以看出,在相同的分辨率上,使用our_Filter_3_7滤波器组和our_Filter_5_7滤波器组测试得到的PSNR的值要分别大于使用Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组测试得到的PSNR的值,因此可以得到这样的结论:使用本发明技术方案生成的滤波器较现有的JSVM6.3.1滤波器,在对静态图像进行处理时,可以显著提高高分辨率的重建效果。
图6b是对工头(foreman)进行层0帧内编码所得的图形;
图6c是对足球(football)进行层0帧内编码所得的图形;
图6d是对公共汽车(bus)进行层0帧内编码所得的图形。
图6a1是对Mobile进行层1帧内编码所得到的图形。如图6a1所示的图形与图6a相比,差别仅在于图6a1是对层1进行帧内编码所得到的图形。从上到下依次为:使用our_Filter_3_7滤波器组、Default JSVM滤波器组、our_Filter_5_7滤波器组和JVT-U147_Filter_5_7滤波器组进行测试得到的曲线,Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组的曲线用虚线来表示。
图6b1是对foreman进行层1帧内编码所得的图形;
图6c1是对football进行层1帧内编码所得的图形;
图6d1是对bus进行层1帧内编码所得的图形。
从图6b、图6c、图6d、图6b1、图6c1、图6d1得出的结论与从图6a得出的结论相同,即使用本发明技术方案生成的滤波器较现有的JSVM6.3.1滤波器,在对静态图像进行处理时,可以显著提高高分辨率图像的重建效果。
至此,结束对静态图像的定性测试结果的介绍。
在接下来的实施例中,介绍利用图2所示实施例生成的下采样滤波器和上采样滤波器实现空间可分级视频编码的装置和系统。
图7为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的装置的结构示意图。如图7所示,该装置包括:下采样滤波器、时域分解单元、运动编码单元,以及下采样帧内预测和帧内编码单元。
其中,下采样滤波器,用于接收作为编码输入的视频信号,对该视频信号进行下采样处理,得到下采样视频序列,将该下采样视频序列发送给时域分解单元。
时域分解单元接收下采样滤波器发送的下采样视频序列,将该下采样视频序列分解成I帧、P帧和B帧,将I帧发送给下采样帧内预测和帧内编码单元,将P帧和B帧发送给运动编码单元。
运动编码单元接收时域分解单元发送的P帧和B帧,对P帧和B帧进行运动编码得到运动预测编码信号。
下采样帧内预测和帧内编码单元接收I帧,对该I帧进行帧内预测和帧内编码,得到下采样预测编码信号。
需要指出的是,本实施例中用到的下采样滤波器是对符合马尔科夫模型的视频信号进行下采样处理和上采样处理得到重建信号,然后根据带参数的双正交小波理论和重建信号的能量,计算出重建信号的能量最大值所对应的小波滤波器参数,生成的下采样滤波器,在本实施例中,带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是,生成下采样滤波器所用的符合马尔科夫模型的视频信号和作为编码输入的视频信号可以是相同的信号,也可以是不同的信号。作为编码输入的视频信号可以为所有的视频信号,而所有的这些视频信号中大概有95%是符合马尔科夫模型的视频信号。
至此,结束对图7所示实施例的介绍。
图8为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的装置的结构示意图。如图8所示,该装置包括:上采样滤波器和上采样帧内预测和帧内编码单元。
其中,上采样滤波器,用于接收图7中的下采样帧内预测和帧内编码单元输出的下采样帧内预测编码信号,对接收到的下采样帧内预测编码信号进行上采样处理,得到上采样视频序列,将该上采样视频序列发送给上采样帧内预测和帧内编码单元。
上采样帧内预测和帧内编码单元,用于接收上采样滤波器发送的上采样视频序列,对接收到上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号。
需要指出的是,本实施例中用到的上采样滤波器是对视频信号进行下采样处理和上采样处理得到重建信号,然后根据带参数的双正交小波理论和重建信号的能量,计算出重建信号的能量最大值所对应的小波滤波器参数,生成的上采样滤波器,在本实施例中,带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是,生成上采样滤波器所用的符合马尔科夫模型的视频信号和作为编码输入的视频信号可以是相同的信号,也可以是不同的信号,一般情况下并不相同。
至此,结束对图8所示实施例的介绍。
图9为利用图2所示实施例生成的下采样滤波器和上采样滤波器实现空间可分级视频编码的系统的结构示意图。如图9所示,该系统包括:下采样滤波器、下采样编码单元、上采样滤波器、上采样帧内预测和帧内编码单元、以及复用单元。其中,下采样编码单元包括:时域分解单元、运动编码单元和下采样帧内预测和帧内编码单元。
其中,下采样滤波器,用于接收作为编码输入的视频信号,对该视频信号进行下采样处理,得到下采样视频序列,将该下采样视频序列发送给下采样编码单元的时域分解单元。
时域分解单元,用于接收下采样滤波器发送的下采样视频序列,将接收到的下采样视频序列分解成I帧、P帧和B帧,将I帧发送给下采样帧内预测和帧内编码单元,将P帧和B帧发送给运动编码单元。
运动编码单元,用于接收P帧和B帧,对接收到的P帧和B帧进行运动编码得到运动编码信号,将该运动预测编码信号发送给复用单元。
下采样帧内预的和帧内编码单元,用于接收I帧,对接收到的I帧进行帧内预测和帧内编码,得到下采样帧内预测和编码信号,将该下采样帧内预测编码信号发送给上采样滤波器和复用单元。
上采样滤波器,用于接收下采样帧内预测编码信号,对接收到的下采样帧内预测编码信号进行上采样处理,得到上采样视频序列,并发送给上采样帧内预测和帧内编码单元。
上采样帧内预测和帧内编码单元,用于接收上采样滤波器发送的上采样视频序列,对该上采样视频序列进行帧内预测和帧内编码,得到上采样帧内预测编码信号,并将该上采样帧内预测编码信号发送给复用单元。
复用单元,用于接收下采样帧内预测编码信号、运动预测编码信号和上采样帧内预测编码信号,对接收到的信号进行合成处理,得到视频编码信号。
需要指出的是,本实施中所用到的下采样滤波器和上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号,根据带参数的双正交小波理论和所述重建信号的能量,计算出所述能量的最大值所对应的小波滤波器参数,生成的下采样滤波器和上采样滤波器,在本实施例中,带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是,生成下采样滤波器和上采样滤波器所用的符合马尔科夫模型的视频信号与作为编码输入的视频信号可以是同一信号,也可以是不同的信号,一般情况下是不同的信号。
此外,复用单元的作用主要是对下采样帧内预测编码信号、运动预测编码信号和上采样帧内预测编码信号进行合成处理,得到视频编码信号。如果空间可分级视频编码系统不对这三路信号进行合成处理,在本实施例中也可以不包括复用单元。
至此,结束对图9所示实施例的介绍。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。