CN102137263A - 基于cnm关键帧分类的分布式视频编码及解码方法 - Google Patents

基于cnm关键帧分类的分布式视频编码及解码方法 Download PDF

Info

Publication number
CN102137263A
CN102137263A CN 201110118327 CN201110118327A CN102137263A CN 102137263 A CN102137263 A CN 102137263A CN 201110118327 CN201110118327 CN 201110118327 CN 201110118327 A CN201110118327 A CN 201110118327A CN 102137263 A CN102137263 A CN 102137263A
Authority
CN
China
Prior art keywords
frame
classification
piece
motion
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110118327
Other languages
English (en)
Other versions
CN102137263B (zh
Inventor
黄孝建
雷彬
杨波
门爱东
叶锋
张鑫明
邸金红
韩睿
肖贺
李云鹏
陈晓博
秦雯
郑翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Songri Digital Development (shenzhen) Co Ltd
Beijing University of Posts and Telecommunications
Original Assignee
Songri Digital Development (shenzhen) Co Ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Songri Digital Development (shenzhen) Co Ltd, Beijing University of Posts and Telecommunications filed Critical Songri Digital Development (shenzhen) Co Ltd
Priority to CN 201110118327 priority Critical patent/CN102137263B/zh
Publication of CN102137263A publication Critical patent/CN102137263A/zh
Application granted granted Critical
Publication of CN102137263B publication Critical patent/CN102137263B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于CNM关键帧分类的分布式视频编码及解码方法,编码方法包括如下步骤:(1)计算残差帧;(2)计算帧、块、频带变换系数级的拉普拉斯参数值,并按频带变换系数级的拉普拉斯参数值建立不同频带的相关噪声模型参数表;(3)根据残差帧值和相关噪声模型将编码序列分为高速运动序列块、中速运动序列块和低速运动序列块并分别采用帧内模式编码、反向运动矢量估计模式编码和跳帧模式编码;解码方法包括基于CNM关键帧分类的自适应三维递归搜索方法和自适应重叠块运动补偿方法。本发明可有效提高分布式视频编码边信息的质量,在不增加编码端计算复杂度情况下更有效地解决分布式视频编码中运动矢量估计不准确的问题,同时能够获得更精确的运动矢量。

Description

基于CNM关键帧分类的分布式视频编码及解码方法
技术领域
本发明属于视频压缩技术领域,特别是一种基于CNM关键帧分类的分布式视频编码及解码方法。
背景技术
分布式视频编码是一种全新的视频编码模式,它基于Slepian-Wolf和Wyner-Ziv多信源信息编码理论,采用帧内编码加帧间解码,将计算复杂度从编码端转移到解码端,具有编码器复杂度低、编码端耗电量低、容错性好等特点。使其特别适合于一些计算能力、内存容量、耗电量都受限的无线视频终端(如无线视频监控系统、视频传感器网络等),并随着这些新视频应用的成长在近几年快速发展起来。
通常认为边信息是当前WZ(Wyner-Ziv)帧通过一个虚拟的信道传输所得到的,因此准确地估计WZ帧与辅助边信息(Side information,SI)之间的统计特性,也即对它们之间的虚拟“相关信息”准确设计相关噪声模型(CNM)并估计其参数对于提高编码压缩效率进而准确进行码率控制十分重要。当前,分布式视频编码系统的压缩效率还达不到传统的视频压缩编码H.264/AVC的效率,原因之一是其缺乏有效的编码预测选择模式,只有数量有限的预测编码模式可供选择,另一个重要原因是难以建立准确的相关噪声模型。显然,WZ帧和SI帧之间的相关性越高,在译码器端传送的用来纠正WZ帧和SI帧之间的错误的比特就越少,就能够实现更好的系统性能。由于解码端无法获得原始帧信息,且不同的序列的不同帧的边信息质量是不断变化的,所以这个任务非常复杂。另一方面,当序列中存在高速运动时,WZ帧和SI帧的错误显著增加,相关噪声分布变得更难预测。
实验表明,待编码的WZ帧数据与辅助边信息数据的残差分布和高斯白噪声的概率密度函数相比,更接近于拉普拉斯分布。然而这两种概率模型并不能精确描述所有的视频运动模式。为了得到更准确的CNM,研究人员提出了一种方法按不同定义建立不同精度和类别的相关噪声。Catarina Brites和Femando Pereira提出了一种更现实的WZ视频编码方法,它更接近于执行编码端CN模型参数的在线估计,作为像素和变换域的WZ视频编解码。Aaron、B.Girod等提出了一种WZVC结构,译码端使用复杂的运动内插或者外推技术来构建边信息,来请求译码端的校验比特。当前分布式视频编码中,关键帧编码主要通过帧内编码方式实现,然而,对频繁使用帧内编码显著降低了编码效率,从而导致低效的边信息和WZ帧。
发明内容
本发明的目的在于克服现有技术的不足,提出一种提高分布式视频编解码器的总体率失真性能的基于CNM关键帧分类的分布式视频编码及解码方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于CNM关键帧分类的分布式视频编码方法,包括如下步骤:
(1)按下式计算残差帧:
R ( i , j , t ) = X b ( i + di b , j + dj b , t ) - X f ( i + di f , j + dj f , t ) 2
其中:t表示当前时刻帧编号,Xb和Xf分别代表后向和前向运动补偿帧,(dib,djb)和(dif,djf)是Xb和Xf的运动矢量;
(2)计算帧、块、频带变换系数级的拉普拉斯参数值,并按频带变换系数级的拉普拉斯参数值建立不同频带的相关噪声模型参数表;
(3)根据残差帧值和相关噪声模型将编码序列分为高速运动序列块、中速运动序列块和低速运动序列块并分别采用帧内编码模式、反向运动矢量估计模式编码和跳帧模式编码。
而且,所述的帧级拉普拉斯参数值是通过下式计算得到:
α = 2 / σ 2
σ R 2 = E [ R ( i , j , t ) 2 ] - ( E [ R ( i , j , t ) ] ) 2
其中:
Figure BDA0000060016610000033
为残差帧R的方差;
所述的块级拉普拉斯参数值是通过下式计算得到:
α block = 2 σ 2 ≤ 1 2 σ ^ R k 2 σ 2 > 1
σ ^ R k 2 = E [ R k ( i , j , t ) 2 ] - ( E [ R k ( i , j , t ) ] ) 2
其中:
Figure BDA0000060016610000036
为残差帧R中第k个大小为m×m块的方差
Figure BDA0000060016610000037
所述的频带变换系数级的拉普拉斯参数值是通过对块做DCT变换,定义T(u,v)=DCT(R(i,j,t)),计算t帧第b频带的方差σb,t,获得变换系数级拉普拉斯参数。
而且,所述不同频带的相关噪声模型参数表是由残差帧内的每一个4×4宏块按16个DCT频带和8类按不同阈值Ti离线生成,其中i∈{1...8}。
一种基于相关噪声模型关键帧分类的分布式视频解码方法,包括在解码端进行运动矢量搜索步骤和运动矢量补偿步骤,其中,运动矢量搜索步骤采用基于CNM关键帧分类的自适应三维递归搜索方法,运动矢量补偿步骤采用自适应重叠块运动补偿方法。
而且,基于CNM关键帧分类的自适应三维递归搜索方法包括以下步骤:
(1)判断接收到的块是否为低速运动序列块,是则执行步骤(2),否则执行步骤(3);
(2)将参考帧同一处的运动矢量值简单复制为当前帧的运动矢量;
(3)按照计算初始参考块CSa及其5个邻块与当前预测块的绝对误差和值,将绝对误差和值最小的块做为新的参考块并标为CSa,重复上述迭代过程直到CSa位置不再改变;
(4)对其他5个候选块CSb、CSc、CSd分别重复步骤C直到其位置都不再移动,此时认为6个候选预测分支都已收敛;
(5)在所有的分支都收敛后,6个分支的最小绝对误差和参考块对应的运动矢量为当前预测块对应的运动矢量。
而且,自适应重叠块运动补偿方法包括以下步骤:
(1)在8×8块中搜索到运动矢量后,计算参考块和当前宏块之间的均方误差;
(2)如果一个块得相关均方误差大于阈值TMSE,则将运动矢量指向的块的大小从8×8扩大为12×12,然后进行重叠块运动补偿。
而且,所述的参考块和当前宏块之间的均方误差采用如下公式计算:
MSE ( dx , dy ) = 1 N 2 Σ x = 1 N Σ y = 1 N | F ( x , y ) - G ( x + dx , y + dy ) | 2
其中,N为宏块的宽度,此处定义为8;F(x,y)为当前宏块内像素值;G(x+dx,y+dy)为参考宏块内像素值;(dx,dy)为两宏块相对位移矢量。
而且,所述的重叠块运动补偿方法为:
设MVi(dxi,dyi),对于插入块的不同区域,补偿系数取决于重叠块的数量,当区域为四个块的重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 8 Σ i = 1 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i )
当区域为两个块的重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 4 Σ i = 3 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i )
当区域中没有和任何其他块有重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 2 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i ) .
本发明的优点和积极效果是:
本发明通过在编码端使用基于相关噪声模型(Correlation Noise Model,CNM)的关键帧分类编码方法,通过先离线统计相关噪声模型的不同级别拉普拉斯参数,分不同子频带建立更精确的相关噪声模型表,可有效提高分布式视频编码边信息(Side information,SI)的质量,在不增加编码端计算复杂度情况下更有效地解决分布式视频编码中运动矢量估计不准确的问题。而在解码端使用基于CNM关键帧分类的自适应的三维递归搜索方法(Adaptive 3-D Recursive Search,A3DRS)和自适应重叠块运动补偿方法(Adaptive Overlapped Block Motion Compensation,AOBMC)能够获得更精确的运动矢量。本发明能在保持较低编码复杂度的情况下,实现更有效的提分布式视频编码的性能。
附图说明
图1为本发明所提出的基于CNM关键帧分类的分布式视频编码及解码框架示意图;
图2为本实施例Foreman序列WZ帧与边信息残差统计图;
图3为三维递归算法空间与时间预测块的相对位置示意图;
图4为自适应重叠块运动补偿示意图;
图5为实例前50帧失真性能比较示意图;
图6Foreman和Coastguard QCIF序列的率失真性能比较图。
具体实施方式
以下结合附图对本发明实施例做进一步详述:
一种基于CNM关键帧分类的分布式视频编码及解码方法,包括编码端的基于CNM关键帧分类的分布式视频编码方法和解码端的基于CNM关键帧分类的分布式视频解码方法。编码端的基于CNM关键帧的分布式视频编码方法可用来提高分布式视频编码边信息的质量;解码端的基于CNM关键帧分类的分布式视频解码方法采用自适应的三维递归搜索算法(A3DRS)和自适应重叠块运动补偿算法(AOBMC),用来获得更精确的运动矢量。本发明通过CNM关键帧分类的分布式视频的编码方法和解码方法可有效提高分布式视频编码总体的率失真性能。下面详细说明本发明的方法:
一种基于CNM关键帧分类的分布式视频编码方法,是根据离线生成的CNM对关键帧进行分类编码。CNM在将边信息(像素值或变换系数)转换成Turbo/LDPC解码器的软输入信息(条件比特概率)时扮演者至关重要的角色。另外,其对于重构WZ帧同样起到关键的作用。对于编码端原始帧X和译码端的边信息帧Y而言,每个边信息像素值Y(i,j,t)可以看成由原始帧X(i,j,t)中混入随机噪声:Y(i,j,t)=X(i,j,t)+N(i,j,t),其中i,j表示系数空间坐标,t表示时域坐标。如果要对相关噪声信道进行准确的描述,就必须能够准确地描述N(i,j,t)的概率分布并估计其参数。如图2,可以发现N(i,j,t)的失真近似于拉普拉斯分布,其概率密度函数计算如下:
p ( x ) = α 2 e - α | x - μ | - - - ( 1 )
其中μ是平均值,α是拉普拉斯分布参数。一般令μ=0,通过在编码或解码端估计拉普拉斯参数α。α参数计算如下:
α = 2 σ 2 - - - ( 2 )
σ2是WZ帧和SI帧之间残差帧的方差。为了精确重构WZ帧,需要准确估计拉普拉斯分布参数,因此,基于CNM关键帧分类的分布式视频编码方法的具体步骤如下:
1、按下式计算残差帧:
R ( i , j , t ) = X b ( i + di b , j + dj b , t ) - X f ( i + di f , j + di f , t ) 2 - - - ( 3 )
其中:t表示当前时刻帧编号,Xb和Xf分别代表后向和前向运动补偿帧,(dib,djb)和(dif,djf)是Xb和Xf的运动矢量。
2、计算残差帧R的方差
Figure BDA0000060016610000074
获得帧级拉普拉斯参数
Figure BDA0000060016610000075
σ R 2 = E [ R ( i , j , t ) 2 ] - ( E [ R ( i , j , t ) ] ) 2 - - - ( 4 )
E[]为数学期望的计算公式,
Figure BDA0000060016610000081
用来衡量帧内插的好坏。理想情况下,其应该非常接近原始WZ帧和边信息残差的方差,因此通过将
Figure BDA0000060016610000082
代入可以得到每一个WZ帧的帧级参数估计,记为
3、计算残差帧R中第k个大小为m×m块的方差
Figure BDA0000060016610000085
获得块级拉普拉斯参数αb
σ ^ R k 2 = E [ R k ( i , j , t ) 2 ] - ( E [ R k ( i , j , t ) ] ) 2 - - - ( 5 )
由于在一个块中计算方差时,其值趋近于0的可能性较大,而当σ→0时,为了避免计算机处理时的数值溢出,此处αblock值的计算与前面稍有不同,如式6所示:
α block = 2 σ 2 ≤ 1 2 σ ^ R k 2 σ 2 > 1 - - - ( 6 )
4、对块做DCT变换,定义T(u,v)=DCT(R(i,j,t)),计算t帧第b频带的方差σb,t,获得变换系数级拉普拉斯参数αb,t。为了更精确描述宏块j的低频子带和高频子带各自的相关性特点,残差帧内的每一4×4宏块按16个DCT频带和8类残差值(按不同阈值Ti(i∈{1…8}将残差值分成不同子类集合)离线生成的不同频带相关噪声模型参数表如下,其中fi,j代表频带的位置。
Figure BDA0000060016610000088
Figure BDA0000060016610000091
5、考虑到WZ帧同关键帧之间的相关性,根据离线生成的相关噪声模型参数表对关键帧按上表进行分类,分类到第6、7、8类模型的高速运动序列块,采用帧内编码;分类到第1、2类大都为低速运动序列块,采用跳帧编码;分类处于3-5之间为中速运动序列块,使用反向运动矢量估计(BCAME)的算法编码。
上述算法得到的拉普拉斯参数表用于WZ帧的重构。如图1,LDPCA解码器输出的解码符号流进入图像重构模块,利用其与边信息一起进行位平面的重组及像素重建,最终得到解码帧X′2k。判断对应位置的边信息变换系数值是否在该符号流确定的取值范围内。重构函数具体计算公式如下:
X2k′=E(X2k|q′,Y)=∑xip(X′2k=xi|Y=yi)    (7)
p(X′2k=xi|Y=yi)表示在边信息值Y已知的前提下当前帧X2k的条件概率。由于当前帧与边信息之间的相关噪声服从拉普拉斯分布,它的概率密度函数描述如下:
f ( X 2 k ′ = x i | Y = y i ) = α 2 e - α ( x i - y i ) - - - ( 8 )
其中,参数α为拉普拉斯系数参数,根据当前重构像素所在子带位置和残差分类的不同取不同的值。
这样根据式(7)和式(8)计算得到的重建值就可以根据辅助边信息帧和WZ帧的相关性的强弱、量化间隔的大小与辅助边信息值在一个量化阶的位置而自适应的改变。此重建算法能够有效消除视频帧中的尖锐噪声,从而提高其主观视觉质量。得到某WZ帧重构的全部像素变换系数值后,对其进行反DCT变换从而得到对应WZ帧的重构图像。
解码端的基于CNM关键帧分类的分布式视频解码方法包括运动矢量搜索步骤和运动矢量补偿步骤。其中,运动矢量搜索步骤采用基于CNM关键帧分类的自适应三维递归搜索方法,运动矢量补偿步骤采用自适应重叠块运动补偿方法。本发明采用更为精确的运动估计和运动补偿算法可以有效提高边信息的质量。3DRS算法用于对解码端运动矢量的搜索与补偿,可以获得一个更接近于真实的运动场的运动矢量,其与全搜索运动估计相比更为高效。自适应重叠块运动补偿方法用于消除解码后出现的块效应。下面分别对基于CNM关键帧分类的自适应三维递归搜索方法和自适应重叠块运动补偿方法分别进行说明:
解码端为了减少计算复杂度,运动矢量搜索步骤是在三维递归搜索方法(3DRS)的基础上,提出了基于CNM模型分类的自适应三维递归搜索方法。该方法包括以下步骤:
1、按照相关噪声模型和残差帧值根据给定阈值将要编码的宏块分成二类:如果解码端接收到的块属于低速运动序列块(第1、2类),执行步骤2;否则,解码端接收到的块属于中速运动序列块(第3、4、5类)和高速运动序列块(第6、7、8类)执行步骤3。
2、将参考帧同一处的运动矢量值简单复制为当前帧的的运动矢量(Motion Vector Copy,MVC)方法。
3、在关键帧X2k-1和关键帧X2k+1之间进行前向递归搜索,关键帧X2k+1为当前预测帧,X2k-1为参考帧。CSa和CSb为关键帧X2k-1中的初始参考块,CSc、CSd、CSe和CSf为关键帧X2k+1中的初始参考块。此6个候选预测参考块的位置如图3所示,递归搜索过程如下:
按照计算初始参考块CSa及其4个邻块与当前预测块的绝对误差和(SAD)值,将SAD最小的块做为新的参考块并标为CSa,重复上述迭代过程直到CSa位置不再改变;
Figure BDA0000060016610000111
4、对其他5个候选块CSb,CSc,CSd分别重复步骤C直到其位置都不再移动,此时认为6个候选预测分支都已收敛;
5、在所有的分支都收敛后,6个分支的最小SAD值是块的运动矢量。在这种情况下,编码端只需要计算一个来自译码端的候选运动矢量。拥有最小SAD值的参考块对应运动矢量即为当前预测块的前向运动矢量。
运动矢量补偿步骤是采用基于CNM关键帧分类的自适应重叠块运动补偿方法进行的。通过前面的运动矢量修正后,每个块都有了一个更加精确的运动矢量。然而,在自适应三维递归搜索方法的步骤中,由于采用基于块的运动补偿内插算法而引入了块效应。重叠块运动补偿技术通常被用来消除块效应但会降低没有出现块效应的插值块的图像质量,因此,本发明采用了一种自适应的重叠块运动补偿技术,既去除了块效应严重区域的块效应,又不会使不存在块效应的区域由于重叠块补偿而产生模糊。自适应重叠块运动补偿方法的具体步骤如下所述:
1、8×8的块中进行A3DRS运动搜索找到运动矢量,然后,计算参考块和当前宏块之间的均方误差(MSE):
MSE ( dx , dy ) = 1 N 2 Σ x = 1 N Σ y = 1 N | F ( x , y ) - G ( x + dx , y + dy ) | 2 - - - ( 9 )
其中,N为宏块的宽度,此处定义为8;F(x,y)为当前宏块内像素值;G(x+dx,y+dy)为参考宏块内像素值;(dx,dy)为两宏块相对位移矢量。
2、若此均方误差大于一个特定的阈值,说明此块的运动类型不适合用块匹配算法模型,则对此块采用重叠块运动补偿技术:先将运动矢量指向的块的大小从8×8扩大为12×12,之所以采用12×12的扩大块,是基于准确性和运算复杂度两方面考虑的。如果扩大块超过了12×12,随着计算复杂度的增加,带来的准确性的提高很小。设MVi(dxi,dyi),对于插入块的不同区域,补偿系数取决于重叠块的数量,如图4所示:
区域1为四个块的重叠区域,因此
Y 2 k ( x , y ) = 1 8 Σ i = 1 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i ) ) - - - ( 10 )
区域2为两个块的重叠区域,因此
Y 2 k ( x , y ) = 1 4 Σ i = 3 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i ) ) - - - ( 11 )
对于区域3,由于没有和任何其他块有重叠区域,因此
Y 2 k ( x , y ) = 1 2 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i ) ) - - - ( 12 )
经过有选择的对某些块进行重叠块运动补偿,有效消除了块效应,取得了更好的边信息参考帧图像质量,从而提高了整个系统的率失真性能。
下面以一个仿真实例验证本发明的效果。在仿真实例验证中采用的仿真环境为matlab.R2007b,仿真实验分别选用标准视频序列库中运动剧烈程度较轻的Foreman序列和运动较剧烈细节较丰富的Coastguard序列中的连续100帧进行测试,这两个视频序列都采用QCIF(176*144)格式,速率为30fps,故奇数帧的速率为15fps。采用与变换域WZ视频编码一样的系统设置:奇数帧被编码为I帧而偶数帧为B帧,在解码端,已解码的奇数帧将用来插值生成边信息用于偶数帧的解码,解码端误码门限设定为Pe=10-3
在实验过程中整个率失真(RD:Rate Distortion)曲线只考虑Wyner-Ziv帧亮度分量的平均码率及平均峰值信噪比(PSNR)值,并且为不失一般性,测试结果与H.264帧内编码和帧间编码进行了对比,其中,关键帧统一采用H.264/JVTJM16编码器编码。此处统一采用前面所述的拉普拉斯分布模型作为待编码的WZ帧数据与辅助边信息之间的相关模型。为不失一般性,辅助边信息生成采用含自适应加权运动场滤波的双向运动估计算法。LDPCA用于生成WZ比特流,采用了基于CNM的关键帧分类编码方法,PSNR用于计算帧的亮度分量。解码端采用A3DRS和自适应重叠块运动补偿方法。
图5说明了Foreman的前50帧的边信息失真性能。实验结果显示了前面提到的最新的基于CNM分类器的关键帧编码方法比原有的分布式视频编码中提到的方法增加0.6-1dB的峰值信噪比。
图6显示了Foreman和Coastguard QCIF序列的率失真性能比较图。本发明提出的方案比传统的变换域TDWZ编码方案,总体率失真性能平均增加了2-4dB。相比于H.264帧间编码,本发明在保持较低编码复杂性的条件下,性能差距减小了1-3dB。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (8)

1.一种基于CNM关键帧分类的分布式视频编码方法,其特征在于:包括如下步骤:
(1)按下式计算残差帧:
R ( i , j , t ) = X b ( i + di b , j + dj b , t ) - X f ( i + di f , j + dj f , t ) 2
其中:t表示当前时刻帧编号,Xb和Xf分别代表后向和前向运动补偿帧,(dib,djb)和(dif,djf)是Xb和Xf的运动矢量;
(2)计算帧、块、频带变换系数级的拉普拉斯参数值,并按频带变换系数级的拉普拉斯参数值建立不同频带的相关噪声模型参数表;
(3)根据残差帧值和相关噪声模型将编码序列分为高速运动序列块、中速运动序列块和低速运动序列块并分别采用帧内模式编码、反向运动矢量模式估计编码和跳帧模式编码。
2.根据权利要求1所述的基于相关噪声模型关键帧分类的分布式视频编码方法,其特征在于:
所述的帧级拉普拉斯参数值α是通过下式计算得到:
α = 2 / σ 2
σ R 2 = E [ R ( i , j , t ) 2 ] - ( E [ R ( i , j , t ) ] ) 2
其中:
Figure FDA0000060016600000014
为残差帧R的方差;
所述的块级拉普拉斯参数值αblock是通过下式计算得到:
α block = 2 σ 2 ≤ 1 2 σ ^ R k 2 σ 2 > 1
σ ^ R k 2 = E [ R k ( i , j , t ) 2 ] - ( E [ R k ( i , j , t ) ] ) 2
其中:
Figure FDA0000060016600000021
为残差帧R中第k个大小为m×m块的方差
Figure FDA0000060016600000022
所述的频带变换系数级的拉普拉斯参数值是通过对块做DCT变换,定义T(u,v)=DCT(R(i,j,t)),计算t帧第b频带的方差σb,t,获得变换系数级拉普拉斯参数。
3.一种基于相关噪声模型关键帧分类的分布式视频编码方法,其特征在于:所述不同频带的相关噪声模型参数表是由残差帧内的每一4×4宏块按16个DCT频带和8类按不同阈值Ti离线生成,其中i∈{1...8}。
4.一种基于相关噪声模型关键帧分类的分布式视频解码方法,其特征在于:包括在解码端进行运动矢量搜索步骤和运动矢量补偿步骤,其中,运动矢量搜索步骤采用基于CNM关键帧分类的自适应三维递归搜索方法,运动矢量补偿步骤采用自适应重叠块运动补偿方法。
5.根据权利要求4所述的基于相关噪声模型关键帧分类的分布式视频解码方法,其特征在于:基于CNM关键帧分类的自适应三维递归搜索方法包括以下步骤:
(1)判断接收到的块是否为低速运动序列块,是则执行步骤(2),否则执行步骤(3);
(2)将参考帧同一处的运动矢量值简单复制为当前帧的运动矢量;
(3)按照计算初始参考块CSa及其5个邻块与当前预测块的绝对误差和值,将绝对误差和值最小的块做为新的参考块并标为CSa,重复上述迭代过程直到CSa位置不再改变;
(4)对其他5个候选块CSb、CSc、CSd分别重复步骤(3)直到其位置都不再移动,此时认为6个候选预测分支都已收敛;
(5)在所有的分支都收敛后,6个分支的最小绝对误差和参考块对应的运动矢量为当前预测块对应的运动矢量。
6.根据权利要求4所述的基于相关噪声模型关键帧分类的分布式视频解码方法,其特征在于:自适应重叠块运动补偿方法包括以下步骤:
(1)在8×8块中搜索到运动矢量后,计算参考块和当前宏块之间的均方误差;
(2)如果一个块对应的均方误差大于阈值TMSE,则将运动矢量指向的块的大小从8×8扩大为12×12,然后进行重叠块运动补偿。
7.根据权利要求6所述的基于相关噪声模型关键帧分类的分布式视频解码方法,其特征在于:所述的参考块和当前宏块之间的均方误差采用如下公式计算:
MSE ( dx , dy ) = 1 N 2 Σ x = 1 N Σ y = 1 N | F ( x , y ) - G ( x + dx , y + dy ) | 2
其中,N为宏块的宽度,此处定义为8;F(x,y)为当前宏块内像素值;G(x+dx,y+dy)为参考宏块内像素值;(dx,dy)为两宏块相对位移矢量。
8.根据权利要求6所述的基于相关噪声模型关键帧分类的分布式视频解码方法,其特征在于:所述的重叠块运动补偿方法为:
设MVi(dxi,dyi),对于插入块的不同区域,补偿系数取决于重叠块的数量,当区域为四个块的重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 8 Σ i = 1 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i )
当区域为两个块的重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 4 Σ i = 3 4 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i )
当区域中没有和任何其他块有重叠区域时,补偿系数为:
Y 2 k ( x , y ) = 1 2 ( X 2 k - 1 ( x + dx i , y + dy i ) + X 2 k + 1 ( x - dx i , y - dy i ) .
CN 201110118327 2011-05-09 2011-05-09 基于cnm关键帧分类的分布式视频编码及解码方法 Expired - Fee Related CN102137263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110118327 CN102137263B (zh) 2011-05-09 2011-05-09 基于cnm关键帧分类的分布式视频编码及解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110118327 CN102137263B (zh) 2011-05-09 2011-05-09 基于cnm关键帧分类的分布式视频编码及解码方法

Publications (2)

Publication Number Publication Date
CN102137263A true CN102137263A (zh) 2011-07-27
CN102137263B CN102137263B (zh) 2013-07-03

Family

ID=44296905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110118327 Expired - Fee Related CN102137263B (zh) 2011-05-09 2011-05-09 基于cnm关键帧分类的分布式视频编码及解码方法

Country Status (1)

Country Link
CN (1) CN102137263B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256133A (zh) * 2011-08-26 2011-11-23 北京邮电大学 一种基于边信息精化的分布式视频编码及解码方法
CN102291582A (zh) * 2011-09-21 2011-12-21 北京邮电大学 一种基于运动补偿精化的分布式视频编码方法
CN102946539A (zh) * 2012-11-21 2013-02-27 西安电子科技大学 基于压缩感知的视频图像帧间运动估计方法
CN103475879A (zh) * 2013-09-10 2013-12-25 南京邮电大学 一种分布式视频编码中边信息生成方法
CN103561269A (zh) * 2013-08-14 2014-02-05 广西大学 基于多概率分布的分布式视频编码相关噪声模型构造方法
CN104012091A (zh) * 2011-11-04 2014-08-27 高通股份有限公司 用于视频译码的自适应性中心频带偏移滤波器
WO2015054813A1 (en) * 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
CN106034235A (zh) * 2015-03-11 2016-10-19 杭州海康威视数字技术股份有限公司 计算编码失真度和编码模式控制的方法及其系统
CN103561269B (zh) * 2013-08-14 2016-11-30 广西大学 基于多概率分布的分布式视频编码相关噪声模型构造方法
CN106210744A (zh) * 2016-07-19 2016-12-07 华南农业大学 基于宏块分类的分布式残差视频编译码方法
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10506254B2 (en) 2013-10-14 2019-12-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN111345041A (zh) * 2017-09-28 2020-06-26 Vid拓展公司 重叠块运动补偿的复杂度降低
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
CN114731440A (zh) * 2019-09-23 2022-07-08 阿里巴巴集团控股有限公司 视频数据的无损编码

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640803A (zh) * 2009-09-04 2010-02-03 中国科学技术大学 一种用于多光谱图像的渐进的分布式编解码方法及装置
CN101835044A (zh) * 2010-04-23 2010-09-15 南京邮电大学 一种频率域分布式视频编码中的分类组合方法
CN101835042A (zh) * 2010-03-19 2010-09-15 西安电子科技大学 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640803A (zh) * 2009-09-04 2010-02-03 中国科学技术大学 一种用于多光谱图像的渐进的分布式编解码方法及装置
CN101835042A (zh) * 2010-03-19 2010-09-15 西安电子科技大学 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN101835044A (zh) * 2010-04-23 2010-09-15 南京邮电大学 一种频率域分布式视频编码中的分类组合方法
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《中国科学技术大学硕士学位论文》 20110115 杜保国 对分布式视频编码若干关键技术的研究 全文 1-8 , *
《南京邮电大学学报(自然科学版)》 20101231 胡晓飞等 基于EM算法相关噪声模型估计的Wyner-Ziv分级视频编码 全文 1-8 第30卷, 第6期 *
《数据采集与处理》 20090930 王凤琴等 基于变换域Wyner-Ziv视频编码的相关噪声模型 全文 1-8 第24卷, 第5期 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256133B (zh) * 2011-08-26 2013-11-06 北京邮电大学 一种基于边信息精化的分布式视频编码及解码方法
CN102256133A (zh) * 2011-08-26 2011-11-23 北京邮电大学 一种基于边信息精化的分布式视频编码及解码方法
CN102291582A (zh) * 2011-09-21 2011-12-21 北京邮电大学 一种基于运动补偿精化的分布式视频编码方法
CN102291582B (zh) * 2011-09-21 2014-04-23 北京邮电大学 一种基于运动补偿精化的分布式视频编码方法
US10051289B2 (en) 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
CN104012091A (zh) * 2011-11-04 2014-08-27 高通股份有限公司 用于视频译码的自适应性中心频带偏移滤波器
CN102946539B (zh) * 2012-11-21 2015-07-15 西安电子科技大学 基于压缩感知的视频图像帧间运动估计方法
CN102946539A (zh) * 2012-11-21 2013-02-27 西安电子科技大学 基于压缩感知的视频图像帧间运动估计方法
CN103561269B (zh) * 2013-08-14 2016-11-30 广西大学 基于多概率分布的分布式视频编码相关噪声模型构造方法
CN103561269A (zh) * 2013-08-14 2014-02-05 广西大学 基于多概率分布的分布式视频编码相关噪声模型构造方法
CN103475879B (zh) * 2013-09-10 2016-06-01 南京邮电大学 一种分布式视频编码中边信息生成方法
CN103475879A (zh) * 2013-09-10 2013-12-25 南京邮电大学 一种分布式视频编码中边信息生成方法
US10506254B2 (en) 2013-10-14 2019-12-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015054813A1 (en) * 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
CN106034235B (zh) * 2015-03-11 2020-01-03 杭州海康威视数字技术股份有限公司 计算编码失真度和编码模式控制的方法及其系统
CN106034235A (zh) * 2015-03-11 2016-10-19 杭州海康威视数字技术股份有限公司 计算编码失真度和编码模式控制的方法及其系统
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN106210744B (zh) * 2016-07-19 2019-01-08 华南农业大学 基于宏块分类的分布式残差视频编译码方法
CN106210744A (zh) * 2016-07-19 2016-12-07 华南农业大学 基于宏块分类的分布式残差视频编译码方法
CN111345041A (zh) * 2017-09-28 2020-06-26 Vid拓展公司 重叠块运动补偿的复杂度降低
CN111345041B (zh) * 2017-09-28 2024-01-26 Vid拓展公司 解码、编码视频数据的方法和设备
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN114731440A (zh) * 2019-09-23 2022-07-08 阿里巴巴集团控股有限公司 视频数据的无损编码

Also Published As

Publication number Publication date
CN102137263B (zh) 2013-07-03

Similar Documents

Publication Publication Date Title
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
Cheng et al. Learning image and video compression through spatial-temporal energy compaction
CN101860748B (zh) 基于分布式视频编码的边信息生成系统及方法
CN101268690B (zh) 用于运动对象边界的适应性影响区域滤波器
CN101835044B (zh) 一种频率域分布式视频编码中的分类组合方法
CN101895751B (zh) 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN100469142C (zh) 视频编码和解码方法以及相应的设备
EP2382786A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
KR20070026317A (ko) 비디오 코딩에 사용되는 코딩단/디코딩단의 양방향예측방법
CN102263951B (zh) 一种快速的分形视频压缩与解压缩方法
CN101888546B (zh) 一种运动估计的方法及装置
CN102256133B (zh) 一种基于边信息精化的分布式视频编码及解码方法
CN107846593B (zh) 一种率失真优化方法及装置
CN101014129B (zh) 一种视频数据压缩方法
CN100591136C (zh) 一种基于空域分解的视频帧内编码方法
CN103475879B (zh) 一种分布式视频编码中边信息生成方法
CN102291582A (zh) 一种基于运动补偿精化的分布式视频编码方法
CN102088605B (zh) 可伸缩视频编码快速层间预测选择方法
CN117480778A (zh) 残差编码和视频编码方法、装置、设备和系统
CN102595132A (zh) 一种应用于无线传感器网络的分布式视频编解码方法
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法
US20110206114A1 (en) Motion picture encoding/decoding apparatus, and apparatus and method for adaptive overlapped block motion compensation by variable unit for same
CN103096064A (zh) 编码和重构像素块的方法以及相应设备
CN103139563A (zh) 编码和重构像素块的方法以及相应设备
CN102263954B (zh) 一种基于对象的快速分形视频压缩与解压缩方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130703

Termination date: 20140509