CN105939475A - 一种高质量边信息生成方法 - Google Patents

一种高质量边信息生成方法 Download PDF

Info

Publication number
CN105939475A
CN105939475A CN201610396056.2A CN201610396056A CN105939475A CN 105939475 A CN105939475 A CN 105939475A CN 201610396056 A CN201610396056 A CN 201610396056A CN 105939475 A CN105939475 A CN 105939475A
Authority
CN
China
Prior art keywords
block
frame
motion vector
key frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610396056.2A
Other languages
English (en)
Inventor
程德强
刘洋
姜海龙
寇旗旗
张国鹏
刘海
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201610396056.2A priority Critical patent/CN105939475A/zh
Publication of CN105939475A publication Critical patent/CN105939475A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种高质量边信息生成方法,包括:通过WZ帧与相邻参考关键帧之间的相关性,确定前向运动估计或后向运动估计;其中所述相邻参考关键帧为前向参考关键帧、后向参考关键帧;对于WZ帧的当前块,将当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点,并通过计算每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值,并选择SAD值最小的对应块作为搜索起始点,获取搜索起始点后,然后分别在水平方向和竖直方向确定搜索窗口的大小,在确定了搜索起始点和搜索窗口后就可以进行宏块的匹配搜索获得运动矢量MV;采用大小可变的块进行块匹配以得到更加准确细化的运动矢量MV;基于双向运动估计方法对单向运动估计得到的运动矢量MV进行修正;进行加权重叠块双向运动补偿。

Description

一种高质量边信息生成方法
技术领域
本发明涉及属于图像处理技术领域,特别是指一种高质量边信息生成方法。
背景技术
分布式视频编码框架是一种全新的非对称的视频压缩框架,是在编码端对各视频帧进行独立编码(即帧内编码),并在解码端对各视频帧进行联合解码(即帧间解码)。
其中高质量的边信息对于改善分布式视频编码性能具有非常重要的影响力。边信息主要由与待译码WZ帧(Wyner-Ziv)相邻的参考关键帧产生。边信息与当前帧越相似,生成的边信息就越好,译码过程中出现错误的概率越低,解码端从编码端请求的校验位就会相应变少。此外,边信息还与经过译码器产生的量化值一起重构当前帧,进而可以提高分布式视频编码系统的率失真性能和压缩效率。因此,如何提高边信息的质量成为分布式视频编码研究中的热点之一。
现有技术的边信息生成方法所获得的边信息,会使得所求得的边信息帧中很多块的运动矢量出现偏差,导致边信息的准确度不高,主要表现在以下几处:
(1)运动矢量是通过运动估计所获得的,并不一定符合物体的真实运动方向。这是由于传统视频编码中为保证视频的压缩率,只满足运动预测的残差最小。比如,在图像内容均匀并且运动搜索范围较大的情况下,具有最小SAD值的运动矢量并不能很准确地反映块的真实运动情况。因此序列的真实运动轨迹与采用传统固定的较大搜索窗获取的运动矢量之间还存在一定的差距。
(2)由于实际情况物体不是匀速直线运动的,因此WZ帧与前后相邻帧的相关性肯定不一样,有时候当前解码帧与后向关键帧的相关性大而与前向关键帧的相关性较小,而有时候情况则相反。
(3)传统SAD准则是忽略图像块中相邻像素间的空间相关性,而仅仅对当前图像块和参考图像块中各相应像素的灰度差值进行分析。换句话说,当SAD取最小值时,仅仅表示的是当前块和匹配块的绝对误差和最小,而不是当前块与匹配块的真实结构最相似。此外,由于反射和阴影效应的存在,同一个物体点在运动前后成像亮度可能会发生改变,由此可得恒定亮度的假设有时是不成立的。即当前图像块与参考关键帧中代表着物体实际运动的正确匹配块之间的SAD值可能不是最小值,从而使运动估计得到的矢量并不能描述图像块的实际物理运动轨迹。
(4)现有的块匹配实际上是将一个视频帧图像分成一系列大小相同的图像块,并假设在同一个图像块中所有像素的运动方式是按照同一方向进行平移的,且图像不进行旋转与伸缩。而现实中物体的实际运动一般是不规则的,因此会导致物体边缘通常与块边界不重合的现象。此外,对视频帧进行分块的过程中,并不能确保物体完整的出现在一个块中,当多个不同运动方向的物体在同一个块内时,现有技术中只用同一个运动矢量表示块内所有像素的运动方向显然是不恰当的。因此在进行块匹配时,采用大小相同的块获得的运动矢量与物体的真实运动矢量之间肯定会存在误差。
发明内容
针对现有技术中存在的边信息的准确度不高的问题,本发明要解决的技术问题是提供一种高质量边信息生成方法。
为了解决上述问题,本发明实施例提出了一种高质量边信息生成方法,包括:
步骤1、基于WZ帧与相邻的参考关键帧之间的相关性,确定前向运动估计或后向运动估计;其中所述相邻参考关键帧为前向参考关键帧、后向参考关键帧;
步骤2、对于WZ帧的当前块,将当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点,并通过计算每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值,并选择SAD值最小的对应块作为搜索起始点,获取搜索起始点后,然后分别在水平方向和竖直方向确定搜索窗口的大小,在确定了搜索起始点和搜索窗口后就可以进行宏块的匹配搜索获得运动矢量MV;
步骤3、采用大小可变的块进行块匹配以得到更加准确细化的运动矢量MV;
步骤4、基于双向运动估计方法对步骤3所述的单向运动估计得到的运动矢量MV进行修正;
步骤5、进行加权重叠块双向运动补偿。
其中,所述步骤1具体为:
步骤11、编码端根据WZ帧与相邻的参考关键帧之间的信息,通过以下公式计算WZ帧与相邻的参考关键帧之间的相关性:
SADB F = Σ ( x , y ∈ B ) | X 2 i - 1 ( x , y ) - X 2 i ( x , y ) | SADB B = Σ ( x , y ∈ B ) | X 2 i ( x , y ) - X 2 i + 1 ( x , y ) | R a t i o b b = r o u n d ( SADB F SADB B + SADB F ) R a t i o b f = r o u n d ( SADB B SADB B + SADB F ) - - - ( 1 )
其中,SADBF和SADBB表示WZ帧与前向参考关键帧、后向参考关键帧的块之间的时间相关性,round(·)函数表示取四舍五入,Ratiobb和Ratiobf表示WZ帧与参考关键帧的时间相关系数,其中X2i-1(x,y)表示相邻的前向参考关键帧2i-1中块的像素值,X2i+1(x,y)表示相邻的后向参考关键帧2i+1中块的像素值,(x,y∈B)表示坐标(x,y)在块B中;
其中在进行运动补偿时,Ratiobb和Ratiobf作为参考关键帧与WZ帧的块之间的前向和后向加权系数,其值越小表明该相邻的参考关键帧与WZ帧相关性越强,而进行内插补偿时要求使用较大的权值,否则使用较小的权值;
步骤12、将WZ帧与相邻的参考关键帧的块间的时间相关性SADBF、SADBB,以及WZ帧与参考关键帧的时间相关系数Ratiobb和Ratiobf,通过量化编码后形成相关信息,并将该相关信息传输送到解码端;
步骤13、在解码端,将WZ帧分割成大小相等且互不重叠的块,在根据接收到的编码端的相关信息后,判断搜索方向,然后每个块进行运动搜索;其中,若SADBF≥SADBB,那么表示原始WZ帧的当前块与后向参考关键帧X2i+1的相应块有很强的相关性,从而在运动搜索时则将前向参考关键帧X2i-1作为参考关键帧,即采用前向运动估计;否则,在运动搜索时将后向参考关键帧X2i+1作为参考关键帧,即采用后向运动估计。
其中,所述步骤2具体为:
步骤21、对于WZ帧的当前块,将当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点,并通过计算每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值,并选择SAD值最小的对应块作为搜索起始点;即:
M V = arg min MV i { SAD 1 , SAD 2 , SAD 3 , SAD 4 } - - - ( 2 )
其中,MVi∈{MV1,MV2,MV3,MV4};
步骤22、获取搜索起始点后,然后分别在水平方向和竖直方向确定搜索窗口的大小;
其中在水平方向即X方向确定搜索窗口LX的方法具体为:
LX=max(4,MVpre_X>MVcur_X?MVpre_X:MVcur_X+1)(3)
其中:
M V p r e _ X = Σ k = 1 M B _ n u m ( M V p r e _ x k ) 2 M B _ n u m - - - ( 4 )
其中,MVpre_xk是当前WZ帧的前一已解码WZ帧中第k个块X方向的运动矢量值,MB_num为前一已解码WZ帧总的分割块个数;
MVcur_X=max(max(MVcur_X_up,MVcur_X_left),MVcur_X_upright) (5)
其中,MVcur_X_up=abs(MVcur_x_up-MVcur_x_mean)
MVcur_x_mean=(MVcur_x_up+MVcur_x_left+MVcur_x_upright)/3
MVcur_x_up、MVcur_x_left和MVcur_x_upright分别表示当前块上方、左边、右上方三个块X方向的运动矢量值;
利用上述相同的方法计算MVcur_X_left和MVcur_X_upright;
利用上述LX相同的的计算方法与来计算竖直方向即Y方向确定搜索窗口LY
其中,所述步骤3包括:
步骤31、将前向参考关键帧X2i-1、后向参考关键帧X2i+1的对应像素块B2i-1、B2i+1进行灰度分布误差GDE计算,当GDE值越小时表明两对应块相关性越强;
步骤32、比较灰度分布误差GDE与阈值T;如果若GDE≥T,则认为该像素块的运动剧烈程度较大,将其判定该块为运动块,将该8×8运动块继续划分为4个4×4的子块,并重新计算每个子块B2ik(k=1,2,3,4)的运动矢量MVi(i=1,2,3,4);否则将其判定为保留块,且该保留块的运动矢量即为MV0
步骤33、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块的候选运动矢量,然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配块之间的灰度分布误差值GDE,最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi
其中,所述步骤3还包括:通过以下方法计算基于灰度分布误差的运动估计匹配:
MV=argminFC(dx,dy),dx∈[-M,M],dy∈[-M,M] (10)
F C ( d x , d y ) = Σ ( x , y ) ∈ B C D ^ ( x , y , d x , d y ) - - - ( 11 )
式中,M为搜索范围,当代价函数F(dx,dy)为最小值时,运动矢量(dx,dy)即为GDE准则下的最佳运动矢量MV,这时原图像块与最佳匹配块之间的灰度分布结构相似度最高。
其中,所述步骤4包括:
步骤41、对于每个块进行运动估计后获得的所有运动矢量MV,将其作为欲插值帧中每一个不重叠块的候选,然后如图7所示的在候选矢量中选择离块中心最接近的运动矢量,将此矢量作为该块选择的运动矢量MV;
步骤42、将该运动矢量MV作为初始运动矢量,通过初始运动矢量MV计算候选MV′的残差D(MV′)为:
D ( MV ′ ) = Σ ( x , y ) ∈ B | X 2 i - 1 ( ( x , y ) - MV ′ ) - X 2 i + 1 ( ( x , y ) + MV ′ ) | - - - ( 12 )
其中,MV′∈[MV-T,MV+T]为候选运动矢量,T为搜索范围,X2i-1和X2i+1分别为前后相邻已解码帧的亮度值;
步骤43、以获得双向对称运动估计后的运动矢量MV为:
M V = arg m i n MV ′ D ( MV ′ ) - - - ( 13 ) .
其中,所述步骤5包括:
采用加权中值矢量滤波器对MV进行平滑处理,加权中值矢量滤波器根据运动矢量的局部空间相关性对当前块进行处理以减少错误运动矢量MV的数目,具体包括:
针对当前块B0及其周围相邻8个块的运动矢量MV分别表示为MVi(i=0,1,2,...,8),经过滤波后输出的MV′应满足:
Σ j = 0 8 w j | | MV ′ - MV j | | 2 ≤ Σ j = 0 8 w j | | MV i - MV j | | 2 - - - ( 14 )
式中,MVi表示当前滤波块的候选运动矢量,MV′表示滤波后输出的运动矢量;权值系数wj由每个块的预测均方误差最小均方误差(MSE)得到:
w j = M S E ( MV 0 ) M S E ( MV j ) - - - ( 15 )
若MSE(MVj)较大,说明权值系数wj就较小,则滤波输出的MV′可能性就越小;反之,若MSE(MVj)较小,说明权值系数wj就较大,则滤波输出的MV′可能性就越大。
其中,所述步骤6包括:
步骤61、将当前WZ帧和前后参考关键帧8×8块扩展到12×12大小的块以使相邻块之间出现重叠;
步骤62、当前块与重叠的三个图像块的的运动矢量分别为MV1=(i1,j1)、MV2=(i2,j2)、MV3=(i3,j3)、MV4=(i4,j4);针对块之间不同的重叠数目和根据WZ帧中块与前后关键帧中对应块相关性的不同,从而在插值时分别赋予不同的权重系数进行运动补偿;
对于区域1由于其与4个块均有重叠,因此该块像素值为:
F Y ( x , y ) = Σ m = 1 4 w A m [ R a t i o b f × X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b × X 2 i + 1 ( x - i m , y - j m ) ] - - - ( 16 )
对于区域2由于其与2个块均有重叠,因此该块像素值为:
F Y ( x , y ) = Σ m = 3 4 w B m [ R a t i o b f × X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b × X 2 i + 1 ( x - i m , y - j m ) ] - - - ( 17 )
对于区域3由于其与其它块没有重叠,因此该块像素值为:
FY(x,y)=Ratiobf×X2i-1(x+i4,y+j4)+Ratiobb×X2i+1(x-i4,y-j4) (18)
式中,系数取值如下:wA1=wA2=wA3=1/5、wA4=2/5、wB3=1/3、wB4=2/3,Ratiobf、Ratiobb分别表示在进行运动补偿时相邻块间的前向和后向加权系数,X2i-1(x,y)、X2i+1(x,y)分别表示前一关键帧和后一关键帧的像素值。
其中,所述方法还包括:利用以下方法进行边信息质量评价:
通过以下公式计算解码得到的图像和原图像之间的像素偏差:
P S N R = 10 lg ( 255 2 M S E ) - - - ( 19 )
其中,
式中,fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值,M×N为图像的大小。
本发明的上述技术方案的有益效果如下:上述方案相比较现有的边信息生成方法具有以下优点:
1:充分利用同一帧内相邻宏块运动矢量的空间相关性和相邻帧宏块运动矢量的时间相关性,在进行运动矢量搜索匹配步骤时,能够自适应搜索起始点和搜索窗口大小,从而使边信息的产生速度更快质量更高。
2:在编码端,计算WZ帧与相邻关键帧的时间相关性,并且解码端根据不同的相关性采用不同的权值进行帧内插生成边信息。对相关性大的帧采取较大权重,对相关性小的帧采取较小权重,而不是像传统算法一样直接取1/2,这样补偿后生成的边信息更加接近原始图像。
3:灰度分布误差匹配准则通过挖掘图像中相邻像素间灰度的空间相关性,从而在当前块进行匹配时能够获得最佳匹配块,使得到的运动矢量更加准确。
4:可变块运动估计则根据运动复杂度的不同将图像分成大小不同的宏块,对运动一致性较好的区域(平坦的背景区域和运动物体的内部)釆用较大的块,对运动复杂的边缘区域将大块继续划分成较小的子块,然后分别对这些子块重新匹配做运动估计,因此通过可变块运动估计获得的运动矢量比采用大小相同块得到的运动矢量更加精细,从而提高了生成边信息的质量,增强了图像的主观效果。
附图说明
图1为基于像素域的分布式视频编码系统的工作流程图;
图2为块匹配运动估计的工作原理示意图;
图3为本发明实施例的边信息生成方法流程图;
图4为候选搜索起始点的工作原理图;
图5为块分割的原理示意图;
图6为现有的单向运动估计存在缺陷的工作原理图;
图7为双向运动估计候选运动矢量的原理图;
图8为本发明实施例的双向运动估计的运动矢量修正的工作原理图;
图9为本发明实施例的运动矢量平滑滤波的工作原理图;
图10为本发明实施例的重叠块运动补偿的工作原理图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
如图1所示的,WZ帧的编码过程包括:
1.1首先对WZ帧进行2M量化处理,形成量化符号流q,其中量化值的好坏直接影响边信息重构时的效果;
1.2然后对符号流q按重要性的不同提取位平面,最后采用Turbo编码器对分解后的量化系数进行独立编码;
1.3编码后将校验位缓存在缓存器中,解码端可以通过反馈信道向编码端请求发送这些校验位以辅助生成边信息。
WZ帧的解码过程:
2.1通过WZ帧前后已解码K帧进行运动估计和运动补偿产生边信息;其中边信息与WZ帧的关系可以理解为是WZ帧通过虚拟信道后,形成的一个具有噪声的边信息;
2.2然后Turbo解码器向编码端请求部分校验位进行解码;如果边信息质量越好请求的次数就越少;当解码正确时,即解码过程中的误码率小于某个设定的阈值,解码码流通过位平面重组得到符号流q′;当解码错误时,解码端向编码端发送请求,以获得更多的校验位辅助解码;重复步骤2.2,直到误码率小于设定的阈值;
2.3解码端根据解码的量化符号流和边信息重构WZ帧。
其中,边信息是基于块匹配运动估计的原理生成的,其如图2所示的,将视频帧分成多个规则的块进行运动搜索,并且为每一个子分配一个运动矢量。具体来说就是先将视频帧分为多个尺寸为M×N的块,并认为相邻视频帧中的对应块的像素位移相同。首先在视频帧内找确定一个块,称为当前块;然后在参考关键帧内大小为(M+2d)×(N+2d)的搜索范围内进行运动搜索,并按照一定的匹配准则在参考关键帧中找到最相似的块,则该最相似的块称为匹配块,并计算出匹配块与当前块之间的相对运动位移,这个过程称为“运动估计”。通常运动估计的准确度越高,视频图像补偿的残差就越小,图像的质量也就越高。由此可以看出运动估计对于生成高质量的边信息非常重要。当然,前述的搜索范围取值只是举例,可以根据视频运动的剧烈程度设定搜索范围。
本发明实施例高质量边信息生成方法包括:
1、基于原始图像相关性的前向/后向运动估计选取:
由于WZ帧与相邻的参考关键帧的原始图像具有相关性,而传统搜索方法在选取前向运动估计或后向运动估计时并没有考虑到这一点,因此在插值的时候容易产生比较严重的块效应。为了改善上述缺陷,本发明实施例中需要在运动估计时,利用原始图像相关性信息,自适应选取前向或后向运动估计。具体包括:
步骤11、在编码端,因为已经知道WZ帧和相邻的参考关键帧的信息,所以可以在编码端直接计算出WZ帧与相邻的参考关键帧的相关性。但是分布式视频编码要求编码复杂度较低,所以可以使用简单高效的SAD准则进行图像间相关性的计算。本发明实施例中采用如下的公式计算WZ帧与相邻的参考关键帧之间的相关性:
SADB F = Σ ( x , y ∈ B ) | X 2 i - 1 ( x , y ) - X 2 i ( x , y ) | SADB B = Σ ( x , y ∈ B ) | X 2 i ( x , y ) - X 2 i + 1 ( x , y ) | R a t i o b b = r o u n d ( SADB F SADB B + SADB F ) R a t i o b f = r o u n d ( SADB B SADB B + SADB F ) - - - ( 1 )
其中,SADBF和SADBB表示WZ帧与前向参考关键帧、后向参考关键帧的块之间的时间相关性,round(·)函数表示取四舍五入,Ratiobb和Ratiobf表示WZ帧与参考关键帧的时间相关系数,其中X2i-1(x,y)表示相邻的前向参考关键帧2i-1中块的像素值,X2i+1(x,y)表示相邻的后向参考关键帧2i+1中块的像素值,(x,y∈B)表示坐标(x,y)在块B中;
其中在进行运动补偿时,Ratiobb和Ratiobf作为参考关键帧与WZ帧的块之间的前向和后向加权系数,其值越小表明该相邻的参考关键帧与WZ帧相关性越强,而进行内插补偿时要求使用较大的权值,否则使用较小的权值;
步骤12、将WZ帧与相邻的参考关键帧的块间的时间相关性SADBF、SADBB,以及WZ帧与参考关键帧的时间相关系数Ratiobb和Ratiobf,通过量化编码后形成相关信息,并将该相关信息传输送到解码端。
由于该方法为解码端提供了原始WZ帧的相关信息,从而提高了边信息的质量。
步骤13、在解码端,将WZ帧分割成大小相等且互不重叠的块,在根据接收到的编码端的相关信息后,判断搜索方向,然后每个块进行运动搜索。
其中,若SADBF≥SADBB,那么表示原始WZ帧的当前块与后向参考关键帧X2i+1的相应块有很强的相关性,从而在运动搜索时则将前向参考关键帧X2i-1作为参考关键帧,即采用“前向运动估计”;否则,在运动搜索时将后向参考关键帧X2i+1作为参考关键帧,即采用“后向运动估计”。
2、自适应搜索窗的单向运动估计:
现有的全搜索算法是在搜索范围内对所有像素点进行匹配,以计算得到一个最优的运动矢量。但是对于运动相对平缓的区域,采用现有的全搜索肯定会消耗额外计算量从而使解码端复杂度加大。为了解决上述问题,本发明实施例中充分挖掘视频信号的时间和空间相关性,在进行运动矢量搜索时,利用相关性就能够自适应确定搜索起始点和调整搜索范围大小。具体包括:
步骤21、根据参考关键帧中与WZ帧当前块在时间和空间上具有相关性的块作为搜索起始点候选点,并根据每一参考关键帧的运动矢量确定相应的SAD值,并选择最小SAD值对应的运动矢量作为当前块的最终搜索起始点;
步骤22、确定搜索起始点后,需要确定搜索范围,即该搜索起始点在X方向上的搜索窗LX和在Y方向上的搜索窗LY。在确定了搜索起始点和搜索窗口后就可以进行块的匹配搜索。
步骤21、确定搜索起始点,如图4所示,本发明实施例中选择了当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点,并通过这些候选运动矢量确定的块与当前块的SAD值,并选择将SAD值最小的块作为搜索起始点。
如图4所示的,其中标为0的是当前块,标为1的是时间上的相邻块,左边标为2的、上方标为3的、右上方标为4的都是空间上的相邻块。设图4中1#、2#、3#、4#块对应的运动矢量分别为MV1、MV2、MV3、MV4,通过这些运动矢量确定的块与当前块的SAD值分别为SAD1、SAD2、SAD3、SAD4,则将SAD值最小的块确定为最终的搜索起始点。
具体的,根据公式(2)确定最终的搜索起始点:
M V = arg min MV i { SAD 1 , SAD 2 , SAD 3 , SAD 4 } - - - ( 2 )
其中,MVi∈{MV1,MV2,MV3,MV4}。
步骤22、在确定了搜索起始点后,确定搜索窗口的大小。
通过大量实验表明:视频中块的运动剧烈程度在水平和竖直两个方向上是不同的。一般情况下,水平方向比竖直方向运动剧烈。因此,为了最大幅度地缩小搜索范围,本发明实施例分别在水平和竖直方向上确定搜索窗口的大小。
由于在水平方向(X方向)和竖直方向(Y方向)确定搜索窗口的方法完全相同,在此只以X方向为例来具体说明如何确定搜索窗口:
LX=max(4,MVpre_X>MVcur_X?MVpre_X:MVcur_X+1)(3)
其中:
M V p r e _ X = Σ k = 1 M B _ n u m ( M V p r e _ x k ) 2 M B _ n u m - - - ( 4 )
其中,MVpre_xk是当前WZ帧的前一已解码WZ帧中第k个块X方向的运动矢量值,MB_num为前一已解码WZ帧总的分割块个数;
MVcur_X=max(max(MVcur_X_up,MVcur_X_left),MVcur_X_upright) (5)
其中,MVcur_X_up=abs(MVcur_x_up-MVcur_x_mean)
MVcur_x_mean=(MVcur_x_up+MVcur_x_left+MVcur_x_upright)/3
MVcur_x_up、MVcur_x_left和MVcur_x_upright分别表示当前块上方、左边、右上方三个块X方向的运动矢量值;
利用上述相同的方法计算MVcur_X_left和MVcur_X_upright;
利用上述LX相同的的计算方法与来计算LY
3、灰度分布误差的运动估计匹配搜索准则
为了能够更加准确的用运动估计得到的运动矢量表示物体实际的运动轨迹,需要准确地描述当前块块与参考关键帧的块之间的相似程度。这些块的图像之间的相似程度,除了包含图像块间各对应像素本身灰度值的相似程度之外,还包含块的相邻像素点之间灰度分布结构的相似程度。
本发明实施例还提出了一中基于灰度分布误差的运动估计匹配准则。
假设WZ帧的当前块为BC,相邻的参考关键帧中的候选匹配块为BR,运动矢量为MV=(dx,dy)。对于像素点(x,y)在WZ帧的块BC中的灰度分布情况,用像素点(x,y)与邻域像素之间的灰度差值来表示:
PC(x,y,i,j)=BC(x,y)-BC(x+i,y+j),i,j∈{-1,0,1} (6)
像素点(x,y)的8个邻域像素对应的不同灰度差值分别表示像素点(x,y)处8个不同方向的灰度分布情况。
WZ帧的块BC中像素点(x,y)在相邻的参考关键帧中的候选匹配BR中的对应像素点为(x+dx,y+dy),其各方向的灰度分布情况可表示为:
PR(x+dx,y+dy,i,j)=BR(x+dx,y+dy)-BR(x+dx+i,y+dy+j),i,j∈{-1,0,1}(7)
在像素空间局部区域,当前块BC中像素点(x,y)与候选匹配块为BR中像素点(x+dx,y+dy)之间的平均灰度分布误差表示为:
D ( x , y , d x , d y ) = Σ i = - 1 1 Σ j = - 1 1 | P C ( x , y , i , j ) - P R ( x + d x , y + d y , i , j ) | - - - ( 8 )
通过公式(8)可以看出,当PC(x,y,i,j)越相近PR(x+dx,y+dy,i,j),误差D(x,y,dx,dy)越小,说明当前块BC的像素点(x,y)与候选匹配块为BR的像素点(x+dx,y+dy)所在局部区域的灰度分布结构就越相似。因此,误差D(x,y,dx,dy)能够有效地表示像素(x,y)与像素(x+dx,y+dy)所在局部区域的灰度分布结构的相似程度。
通常当物体发生运动后,物体肯定会发生大小不同的形变。虽然这些形变对灰度分布误差的影响微乎其微,但是对于内容不同的图像块之间的灰度分布误差却不能忽略。所以当物体发生运动后,形变会严重影响到块匹配的准确性,因此非常有必要对其进行修正,修正后的平均灰度分布误差定义为:
D ^ ( x , y , d x , d y ) = 0 , D ( x , y , d x , d y ) < T D ( x , y , d x , d y ) , D ( x , y , d x , d y ) &GreaterEqual; T - - - ( 9 )
T是为阈值,可以根据根据大量不同剧烈程度的视频序列进行测试而得到。
通过上面的介绍可以看出,本发明实施例中可以采用如下方法计算基于灰度分布误差的运动估计匹配,其定义如下:
MV=argminFC(dx,dy),dx∈[-M,M],dy∈[-M,M] (10)
F C ( d x , d y ) = &Sigma; ( x , y ) &Element; B C D ^ ( x , y , d x , d y ) - - - ( 11 )
式中,M为搜索范围,当代价函数F(dx,dy)为最小值时,运动矢量(dx,dy)即为GDE准则下的最佳运动矢量MV,这时原图像块与最佳匹配块之间的灰度分布结构相似度最高。
4、可变块的划分
块匹配法的基本原理为:首先将每一帧图像分割成大小相等且互不重叠的块,然后按照一定的匹配准则对当前帧中的每一个块在参考关键帧中一定范围内寻找到相应的最佳匹配块。但是对于运动复杂的边缘区域和运动细节比较丰富的图像区域,同一个块里可能存在多个不同方向的运动矢量,因此块内所有像素的运动方向显然不能只用同一个运动矢量描述。因此,要想获得更加精确的运动矢量场,可以根据运动剧烈程度的不同将图像分成大小不同的块,对运动一致性较好的区域釆用较大的块,对运动复杂的边缘区域和运动细节比较丰富的图像区域,将大块继续划分成较小的块,然后分别对这些块重新做运动估计。因此本发明实施例中如图5所示,采用基于可变块的运动矢量优化算法,通过判断两个对应块的灰度分布误差值GDE和阈值T将块分为保留块和运动块。
在本发明实施例中,WZ帧中被划分为M×N的块。如图5所示的是采用8×8的块为例进行说明。其中X2i-1、X2i+1分别表示前向参考关键帧和后后参考关键帧,Y2i表示生成的边信息帧。
在块匹配时,为了计算边信息帧Y2i中块B2i的运动矢量,需要先在后向参考关键帧X2i+1中寻找与块B2i位置相同的块B2i+1,然后用该块B2i+1在前向参考关键帧X2i-1中进行运动估计以确定前向参考关键帧的最佳匹配块B2i-1,通过块B2i+1与块B2i-1之间的位移矢量得出前向运动矢量MV0。具体步骤为:
步骤41、将前向参考关键帧X2i-1、后向参考关键帧X2i+1的对应像素块B2i-1、B2i+1进行灰度分布误差GDE计算,当GDE值越小时表明两对应块相关性越强;
步骤42、比较灰度分布误差GDE与阈值T;如果若GDE≥T,则认为该像素块的运动剧烈程度较大,将其判定该块为运动块,将该8×8运动块继续划分为4个4×4的子块,并重新计算每个子块B2ik(k=1,2,3,4)的运动矢量MVi(i=1,2,3,4);否则将其判定为保留块,且该保留块,其运动矢量即为MV0
步骤43、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块的候选运动矢量,然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配块之间的灰度分布误差值GDE,最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi
在经过了步骤41-步骤43后,内插帧运动矢量场已由8×8的块变成4×4的块,从而能够有效提高运动矢量的精度,增强图像的主观视觉效果。
5、双向运动估计
由于单向运动估计存在固有的缺陷,通过单向运动估计得到的内插帧运动矢量不一定能够穿过所有块的正中心位置,因此内插得到的图像容易导致重叠或未覆盖的现象存在,如图6即为内插帧中存在未覆盖现象。
本发明实施例提出了一种双向运动估计方法,进一步的对单向运动估计得到的运动矢量MV进行修正。具体步骤是:
首先进行单向运动估计获得的所有运动矢量MV,并将其作为欲插值帧中每一个不重叠块的候选,然后如图7所示的在候选矢量中选择离块中心最接近的运动矢量,将此矢量作为该块选择的MV。由于选择的运动矢量MV不是直接通过块B2i计算得到,不能准确表示真实的运动矢量,因此需要进一步对其进行修正。
若MV为初始运动矢量,通过公式(10)获得,由于其与真实的运动矢量之间肯定存在误差,因此必须如图8所示在设定的范围内进行双向对称运动估计。
通过初始运动矢量MV计算候选MV′的残差D(MV′)为:
D ( MV &prime; ) = &Sigma; ( x , y ) &Element; B | X 2 i - 1 ( ( x , y ) - MV &prime; ) - X 2 i + 1 ( ( x , y ) + MV &prime; ) | - - - ( 12 )
其中,MV′∈[MV-T,MV+T]为候选运动矢量,T为搜索范围,X2i-1和X2i+1分别为前后相邻已解码帧的亮度值;
从而可以获得双向对称运动估计后的运动矢量MV为:
M V = arg m i n MV &prime; D ( MV &prime; ) - - - ( 13 )
通过上面双向运动估计得到修改的MV后,然后再对每个块进行1/2精度的双向运动估计,即通过1/2精度细搜索可以得到更加准确可靠的运动估计。
6、空间域运动平滑
在做运动估计时,受到图像噪声等因素的影响,容易使得到运动矢量MV陷入局部最优的问题,因此就会导致矢量空间不一致的情况发生,从而使内插图像出现严重的块效应,具体可以如图9所示。为了改善上述缺陷,本发明实施例中采用加权中值矢量滤波器对MV进行平滑处理,加权中值矢量滤波器综合考虑运动矢量的局部空间相关性对当前块进行处理,减少错误MV的数目,从而增加了运动矢量的空间一致性。
如图9所示,设当前的块B0及其周围相邻8个块的MV分别表示为MVi(i=0,1,2,...,8),则经过滤波后输出的MV′应满足:
&Sigma; j = 0 8 w j | | MV &prime; - MV j | | 2 &le; &Sigma; j = 0 8 w j | | MV i - MV j | | 2 - - - ( 14 )
式中,MVi表示当前滤波块的候选运动矢量,MV′表示滤波后输出的运动矢量;权值系数wj由每个块的预测均方误差最小均方误差(MSE)得到:
w j = M S E ( MV 0 ) M S E ( MV j ) - - - ( 15 )
若MSE(MVj)较大,说明权值系数wj就较小,则滤波输出的MV′可能性就越小;反之,若MSE(MVj)较小,说明权值系数wj就较大,则滤波输出的MV′可能性就越大。
7、加权重叠块双向运动补偿
一般情况下,像素的重建是通过前一帧的像素与后一帧对应像素的平均值获得的,这种方法容易产生方块效应。特别是当周围的运动矢量互不相关或者运动矢量不准确时,这种现象变得更加严重。为了改善上述问题,本发明实施例采用加权重叠块双向运动补偿方法,根据WZ帧中块与相邻块重叠数目的不同以及根据WZ帧中块与前后关键帧中对应块相关性的不同,从而在插值时分别赋予不同的权重系数进行运动补偿,具体步骤为:
步骤71、如图10所示,将当前WZ帧和前后参考关键帧8×8块扩展到12×12大小的块,扩展后的块与其相邻块之间必然会出现重叠现象。
步骤71、假设块与重叠的三个图像块的的运动矢量为MV1=(i1,j1)、MV2=(i2,j2)、MV3=(i3,j3)、MV4=(i4,j4);针对块之间不同的重叠数目和根据WZ帧中块与前后关键帧中对应块相关性的不同,从而在插值时分别赋予不同的权重系数进行运动补偿;
对于区域1由于其与4个块均有重叠,因此该块像素值为:
F Y ( x , y ) = &Sigma; m = 1 4 w A m &lsqb; R a t i o b f &times; X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b &times; X 2 i + 1 ( x - i m , y - j m ) &rsqb; - - - ( 16 )
对于区域2由于其与2个块均有重叠,因此该块像素值为:
F Y ( x , y ) = &Sigma; m = 3 4 w B m &lsqb; R a t i o b f &times; X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b &times; X 2 i + 1 ( x - i m , y - j m ) &rsqb; - - - ( 17 )
对于区域3由于其与其它块没有重叠,因此该块像素值为:
FY(x,y)=Ratiobf×X2i-1(x+i4,y+j4)+Ratiobb×X2i+1(x-i4,y-j4) (18)
式中,系数取值如下:wA1=wA2=wA3=1/5、wA4=2/5、wB3=1/3、wB4=2/3,Ratiobf、Ratiobb分别表示在进行运动补偿时相邻块间的前向和后向加权系数,X2i-1(x,y)、X2i+1(x,y)分别表示前一关键帧和后一关键帧的像素值。
8、边信息质量评价
评价边信息质量的含义就是评价生成的视频帧图像的质量。图像质量一般是指待评价图像与原图像之间的差异,即对原图像经过传输或估计之后图像发生的差异,此外还包括原图像包含的信息。
本发明实施例采用客观质量评价,其指利用相应的数学模型对图像进行评价,一般可以得到定量的评价结果。当前客观质量评价方法主要采用峰值信噪比(PSNR),它是通过计算解码得到的图像和原图像之间的像素偏差所得到的。其定义分别为:
P S N R = 10 lg ( 255 2 M S E ) - - - ( 19 )
其中,
式中,fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值,M×N为图像的大小。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种高质量边信息生成方法,其特征在于,包括:
步骤1、基于WZ帧与相邻的参考关键帧之间的相关性,确定前向运动估计或后向运动估计;其中所述相邻的参考关键帧为前向参考关键帧、后向参考关键帧
步骤2、确定WZ帧的当前块,并确定与所述当前块具有时间和/或空间相关性的运动矢量的对应块作为搜索起始点候选点,并通过每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值,并选择将SAD值最小的对应块作为搜索起始点;获取搜索起始点后,然后分别在水平方向和竖直方向确定搜索窗口的大小,在确定了搜索起始点和搜索窗口后就可以进行宏块的匹配搜索获得运动矢量MV;
步骤3、采用大小可变的块进行块匹配以得到更加准确细化的运动矢量MV;
步骤4、基于双向运动估计方法对步骤3所述的单向运动估计得到的运动矢量MV进行修正;
步骤5、进行加权重叠块双向运动补偿。
2.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤1具体为:
步骤11、编码端根据WZ帧与相邻的参考关键帧之间的信息,通过以下公式计算WZ帧与相邻的参考关键帧之间的相关性:
SADB F = &Sigma; ( x , y &Element; B ) | X 2 i - 1 ( x , y ) - X 2 i ( x , y ) | SADB B = &Sigma; ( x , y &Element; B ) | X 2 i ( x , y ) - X 2 i + 1 ( x , y ) | R a t i o b b = r o u n d ( SADB F SADB B + SADB F ) R a t i o b f = r o u n d ( SADB B SADB B + SADB F ) - - - ( 1 )
其中,SADBF和SADBB表示WZ帧与前向参考关键帧、后向参考关键帧的块之间的时间相关性,round(·)函数表示取四舍五入,Ratiobb和Ratiobf表示WZ帧与参考关键帧的时间相关系数,其中X2i-1(x,y)表示相邻的前向参考关键帧2i-1中块的像素值,X2i+1(x,y)表示相邻的后向参考关键帧2i+1中块的像素值,(x,y∈B)表示坐标(x,y)在块B中;
其中在进行运动补偿时,Ratiobb和Ratiobf作为参考关键帧与WZ帧的块之间的前向和后向加权系数,其值越小表明该相邻的参考关键帧与WZ帧相关性越强,而进行内插补偿时要求使用较大的权值,否则使用较小的权值;
步骤12、将WZ帧与相邻的参考关键帧的块间的时间相关性SADBF、SADBB,以及WZ帧与参考关键帧的时间相关系数Ratiobb和Ratiobf,通过量化编码后形成相关信息,并将该相关信息传输送到解码端;
步骤13、在解码端,将WZ帧分割成大小相等且互不重叠的块,在根据接收到的编码端的相关信息后,判断搜索方向,然后对每个块进行运动搜索;其中,若SADBF≥SADBB,那么表示原始WZ帧的当前块与后向参考关键帧X2i+1的相应块有很强的相关性,从而在运动搜索时则将前向参考关键帧X2i-1作为参考关键帧,即采用前向运动估计;否则,在运动搜索时将后向参考关键帧X2i+1作为参考关键帧,即采用后向运动估计。
3.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤2具体为:
步骤21、对于WZ帧的当前块,将当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点,并通过计算每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值,并选择SAD值最小的对应块作为搜索起始点;即:
M V = argmin MV i { SAD 1 , SAD 2 , SAD 3 , SAD 4 } - - - ( 2 )
其中,MVi∈{MV1,MV2,MV3,MV4};
步骤22、获取搜索起始点后,然后分别在水平方向和竖直方向确定搜索窗口的大小;
其中在水平方向即X方向确定搜索窗口LX的方法具体为:
LX=max(4,MVpre_X>MVcur_X?MVpre_X:MVcur_X+1) (3)
其中:
M V p r e _ X = &Sigma; k = 1 M B _ n u m ( M V p r e _ x k ) 2 M B _ n u m - - - ( 4 )
其中,MVpre_xk是当前WZ帧的前一已解码WZ帧中第k个块X方向的运动矢量值,MB_num为前一已解码WZ帧总的分割块个数;
MVcur_X=max(max(MVcur_X_up,MVcur_X_left),MVcur_X_upright) (5)
其中,MVcur_X_up=abs(MVcur_x_up-MVcur_x_mean)
MVcur_x_mean=(MVcur_x_up+MVcur_x_left+MVcur_x_upright)/3
MVcur_x_up、MVcur_x_left和MVcur_x_upright分别表示当前块上方、左边、右上方三个块X方向的运动矢量值;
利用上述相同的方法计算MVcur_X_left和MVcur_X_upright;
利用上述LX相同的的计算方法与来计算竖直方向即Y方向确定搜索窗口LY
4.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤3包括:
步骤31、将前向参考关键帧X2i-1、后向参考关键帧X2i+1的对应像素块B2i-1、B2i+1进行灰度分布误差GDE计算,当GDE值越小时表明两对应块相关性越强;
步骤32、比较灰度分布误差GDE与阈值T;如果若GDE≥T,则认为该像素块的运动剧烈程度较大,将其判定该块为运动块,将该8×8运动块继续划分为4个4×4的子块,并重新计算每个子块B2ik(k=1,2,3,4)的运动矢量MVi(i=1,2,3,4);否则将其判定为保留块,且该保留块的运动矢量即为MV0
步骤33、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块的候选运动矢量,然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配块之间的灰度分布误差值GDE,最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi
5.根据权利要求4所述的高质量边信息生成方法,其特征在于,所述步骤3还包括:通过以下方法计算基于灰度分布误差的运动估计匹配:
MV=arg min FC(dx,dy),dx∈[-M,M],dy∈[-M,M] (10)
F C ( d x , d y ) = &Sigma; ( x , y ) &Element; B C D ^ ( x , y , d x , d y ) - - - ( 11 )
式中,M为搜索范围,当代价函数F(dx,dy)为最小值时,运动矢量(dx,dy)即为GDE准则下的最佳运动矢量MV,这时原图像块与最佳匹配块之间的灰度分布结构相似度最高。
6.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤4包括:
步骤41、对于每个块进行运动估计后获得的所有运动矢量MV,将其作为欲插值帧中每一个不重叠块的候选,然后如图7所示的在候选矢量中选择离块中心最接近的运动矢量,将此矢量作为该块选择的运动矢量MV;
步骤42、将该运动矢量MV作为初始运动矢量,通过初始运动矢量MV计算候选MV′的残差D(MV′)为:
D ( MV &prime; ) = &Sigma; ( x , y ) &Element; B | X 2 i - 1 ( ( x , y ) - MV &prime; ) - X 2 i + 1 ( ( x , y ) + MV &prime; ) | - - - ( 12 )
其中,MV′∈[MV-T,MV+T]为候选运动矢量,T为搜索范围,X2i-1和X2i+1分别为前后相邻已解码帧的亮度值;
步骤43、以获得双向对称运动估计后的运动矢量MV为:
M V = arg m i n MV &prime; D ( MV &prime; ) - - - ( 13 ) .
7.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤5包括:
采用加权中值矢量滤波器对MV进行平滑处理,加权中值矢量滤波器根据运动矢量的局部空间相关性对当前块进行处理以减少错误运动矢量MV的数目,具体包括:
针对当前块B0及其周围相邻8个块的运动矢量MV分别表示为MVi(i=0,1,2,...,8),经过滤波后输出的MV′应满足:
&Sigma; j = 0 8 w j | | MV &prime; - MV j | | 2 &le; &Sigma; j = 0 8 w j | | MV i - MV j | | 2 - - - ( 14 )
式中,MVi表示当前滤波块的候选运动矢量,MV′表示滤波后输出的运动矢量;权值系数wj由每个块的预测均方误差最小均方误差(MSE)得到:
w j = M S E ( MV 0 ) M S E ( MV j ) - - - ( 15 )
若MSE(MVj)较大,说明权值系数wj就较小,则滤波输出的MV′可能性就越小;反之,若MSE(MVj)较小,说明权值系数wj就较大,则滤波输出的MV′可能性就越大。
8.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述步骤6包括:
步骤61、将当前WZ帧和前后参考关键帧8×8块扩展到12×12大小的块以使相邻块之间出现重叠;
步骤62、当前块与重叠的三个图像块的的运动矢量分别为MV1=(i1,j1)、MV2=(i2,j2)、MV3=(i3,j3)、MV4=(i4,j4);针对块之间不同的重叠数目和根据WZ帧中块与前后关键帧中对应块相关性的不同,从而在插值时分别赋予不同的权重系数进行运动补偿;
对于区域1由于其与4个块均有重叠,因此该块像素值为:
F Y ( x , y ) = &Sigma; m = 1 4 w A m &lsqb; R a t i o b f &times; X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b &times; Y 2 i + 1 ( x - i m , y - j m ) &rsqb; - - - ( 16 )
对于区域2由于其与2个块均有重叠,因此该块像素值为:
F Y ( x , y ) = &Sigma; m = 3 4 w B m &lsqb; R a t i o b f &times; X 2 i - 1 ( x + i m , y + j m ) + R a t i o b b &times; X 2 i + 1 ( x - i m , y - j m ) &rsqb; - - - ( 17 )
对于区域3由于其与其它块没有重叠,因此该块像素值为:
FY(x,y)=Ratiobf×X2i-1(x+i4,y+j4)+Ratiobb×X2i+1(x-i4,y-j4) (18)
式中,系数取值如下:wA1=wA2=wA3=1/5、wA4=2/5、wB3=1/3、wB4=2/3,Ratiobf、Ratiobb分别表示在进行运动补偿时相邻块间的前向和后向加权系数,X2i-1(x,y)、X2i+1(x,y)分别表示前一关键帧和后一关键帧的像素值。
9.根据权利要求1所述的高质量边信息生成方法,其特征在于,所述方法还包括:利用以下方法进行边信息质量评价:
通过以下公式计算解码得到的图像和原图像之间的像素偏差:
P S N R = 10 lg ( 255 2 M S E ) - - - ( 19 )
其中,
式中,fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值,M×N为图像的大小。
CN201610396056.2A 2016-06-06 2016-06-06 一种高质量边信息生成方法 Pending CN105939475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610396056.2A CN105939475A (zh) 2016-06-06 2016-06-06 一种高质量边信息生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610396056.2A CN105939475A (zh) 2016-06-06 2016-06-06 一种高质量边信息生成方法

Publications (1)

Publication Number Publication Date
CN105939475A true CN105939475A (zh) 2016-09-14

Family

ID=57152382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610396056.2A Pending CN105939475A (zh) 2016-06-06 2016-06-06 一种高质量边信息生成方法

Country Status (1)

Country Link
CN (1) CN105939475A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991147A (zh) * 2017-03-27 2017-07-28 重庆大学 一种植物识别系统及识别方法
CN107465888A (zh) * 2017-08-01 2017-12-12 山东师范大学 一种物联网下的3d会议视频解码方法、装置及系统
CN107846589A (zh) * 2016-09-19 2018-03-27 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法
CN108134939A (zh) * 2016-12-01 2018-06-08 北京金山云网络技术有限公司 一种运动估计方法及装置
CN108366265A (zh) * 2018-03-08 2018-08-03 南京邮电大学 一种基于时空相关性的分布式视频边信息生成方法
CN108419082A (zh) * 2017-02-10 2018-08-17 北京金山云网络技术有限公司 一种运动估计方法及装置
CN108810317A (zh) * 2017-05-05 2018-11-13 展讯通信(上海)有限公司 真实运动估计方法及装置、计算机可读存储介质、终端
CN108833920A (zh) * 2018-06-04 2018-11-16 四川大学 一种基于光流和块匹配的dvc边信息融合方法
CN109068083A (zh) * 2018-09-10 2018-12-21 河海大学 一种基于正方形的自适应运动矢量场平滑技术
CN109745073A (zh) * 2019-01-10 2019-05-14 武汉中旗生物医疗电子有限公司 弹性成像位移的二维匹配方法及设备
CN110557641A (zh) * 2018-06-04 2019-12-10 华为技术有限公司 获取运动矢量的方法和装置
CN111343464A (zh) * 2018-12-18 2020-06-26 三星电子株式会社 基于减少的候选块执行运动估计的电子电路和电子设备
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
WO2020182043A1 (en) * 2019-03-08 2020-09-17 Huawei Technologies Co., Ltd. Search region for motion vector refinement
CN111698517A (zh) * 2020-06-29 2020-09-22 Oppo广东移动通信有限公司 运动矢量的确定方法、装置、电子设备和可读存储介质
CN112602325A (zh) * 2018-12-27 2021-04-02 Kddi 株式会社 图像解码装置、图像编码装置、程序和图像处理系统
CN112866699A (zh) * 2019-03-11 2021-05-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112954317A (zh) * 2018-12-28 2021-06-11 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
CN115174933A (zh) * 2017-10-09 2022-10-11 华为技术有限公司 用于运动向量修正的受限存储器访问窗口

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190979A1 (en) * 2004-02-27 2005-09-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
US20070291844A1 (en) * 2006-06-16 2007-12-20 International Business Machines Corporation Method and system for non-linear motion estimaftion
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102158703A (zh) * 2011-05-04 2011-08-17 西安电子科技大学 基于分布式视频编码自适应相关噪声模型构造系统及方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN104243991A (zh) * 2014-10-11 2014-12-24 中国矿业大学 一种边信息生成方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190979A1 (en) * 2004-02-27 2005-09-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
US20070291844A1 (en) * 2006-06-16 2007-12-20 International Business Machines Corporation Method and system for non-linear motion estimaftion
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102158703A (zh) * 2011-05-04 2011-08-17 西安电子科技大学 基于分布式视频编码自适应相关噪声模型构造系统及方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN104243991A (zh) * 2014-10-11 2014-12-24 中国矿业大学 一种边信息生成方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
丁瑾庆: "多视点分布式视频编码中边信息生成技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
卿粼波、何小海、吕瑞、曾强宇: "分布式视频编码中边信息的多策略优化", 《四川大学学报( 工程科学版)》 *
张兴绍: "分布式视频编码中边信息生成算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王凤琴、樊养余、张政伟、沈高峰: "一种有效的自适应边信息帧内插算法", 《系统仿真学报》 *
程德强、姜海龙、郑珍、郭政: "基于可变块运动矢量的边信息生成算法", 《电视技术》 *
邸金红: "分布式视颇编码关键枯术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846589B (zh) * 2016-09-19 2020-07-07 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法
CN107846589A (zh) * 2016-09-19 2018-03-27 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法
CN108134939A (zh) * 2016-12-01 2018-06-08 北京金山云网络技术有限公司 一种运动估计方法及装置
CN108419082B (zh) * 2017-02-10 2020-09-11 北京金山云网络技术有限公司 一种运动估计方法及装置
CN108419082A (zh) * 2017-02-10 2018-08-17 北京金山云网络技术有限公司 一种运动估计方法及装置
CN106991147A (zh) * 2017-03-27 2017-07-28 重庆大学 一种植物识别系统及识别方法
CN108810317A (zh) * 2017-05-05 2018-11-13 展讯通信(上海)有限公司 真实运动估计方法及装置、计算机可读存储介质、终端
CN108810317B (zh) * 2017-05-05 2021-03-09 展讯通信(上海)有限公司 真实运动估计方法及装置、计算机可读存储介质、终端
CN107465888A (zh) * 2017-08-01 2017-12-12 山东师范大学 一种物联网下的3d会议视频解码方法、装置及系统
CN115174933A (zh) * 2017-10-09 2022-10-11 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
US11805270B2 (en) 2017-10-09 2023-10-31 Huawei Technologies Co., Ltd. Limited memory access window for motion vector refinement
CN115243050A (zh) * 2017-10-09 2022-10-25 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115174932B (zh) * 2017-10-09 2024-01-02 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115174932A (zh) * 2017-10-09 2022-10-11 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115243050B (zh) * 2017-10-09 2023-12-15 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115174933B (zh) * 2017-10-09 2023-12-15 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115243051A (zh) * 2017-10-09 2022-10-25 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN115243051B (zh) * 2017-10-09 2023-12-15 华为技术有限公司 用于运动向量修正的受限存储器访问窗口
CN108366265B (zh) * 2018-03-08 2021-12-31 南京邮电大学 一种基于时空相关性的分布式视频边信息生成方法
CN108366265A (zh) * 2018-03-08 2018-08-03 南京邮电大学 一种基于时空相关性的分布式视频边信息生成方法
CN112040243B (zh) * 2018-06-04 2021-06-29 华为技术有限公司 获取运动矢量的方法和装置
KR20210015931A (ko) * 2018-06-04 2021-02-10 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 획득 방법 및 장치
KR102600071B1 (ko) * 2018-06-04 2023-11-07 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 획득 방법 및 장치
US11812050B2 (en) 2018-06-04 2023-11-07 Huawei Technologies Co., Ltd. Motion vector obtaining method and apparatus
CN112040243A (zh) * 2018-06-04 2020-12-04 华为技术有限公司 获取运动矢量的方法和装置
WO2019233423A1 (zh) * 2018-06-04 2019-12-12 华为技术有限公司 获取运动矢量的方法和装置
CN115550664B (zh) * 2018-06-04 2023-08-22 华为技术有限公司 获取运动矢量的方法和装置
CN110557641A (zh) * 2018-06-04 2019-12-10 华为技术有限公司 获取运动矢量的方法和装置
CN115550664A (zh) * 2018-06-04 2022-12-30 华为技术有限公司 获取运动矢量的方法和装置
CN110557641B (zh) * 2018-06-04 2024-01-16 华为技术有限公司 获取运动矢量的方法和装置
US11463721B2 (en) 2018-06-04 2022-10-04 Huawei Technologies Co., Ltd. Motion vector obtaining method and apparatus
CN108833920A (zh) * 2018-06-04 2018-11-16 四川大学 一种基于光流和块匹配的dvc边信息融合方法
CN109068083A (zh) * 2018-09-10 2018-12-21 河海大学 一种基于正方形的自适应运动矢量场平滑技术
CN111343464A (zh) * 2018-12-18 2020-06-26 三星电子株式会社 基于减少的候选块执行运动估计的电子电路和电子设备
CN112602325A (zh) * 2018-12-27 2021-04-02 Kddi 株式会社 图像解码装置、图像编码装置、程序和图像处理系统
CN112954317B (zh) * 2018-12-28 2022-02-11 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
US11558606B2 (en) 2018-12-28 2023-01-17 Godo Kaisha Ip Bridge 1 Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program
CN112954317A (zh) * 2018-12-28 2021-06-11 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
CN109745073B (zh) * 2019-01-10 2021-08-06 武汉中旗生物医疗电子有限公司 弹性成像位移的二维匹配方法及设备
CN109745073A (zh) * 2019-01-10 2019-05-14 武汉中旗生物医疗电子有限公司 弹性成像位移的二维匹配方法及设备
WO2020182043A1 (en) * 2019-03-08 2020-09-17 Huawei Technologies Co., Ltd. Search region for motion vector refinement
US11902563B2 (en) 2019-03-11 2024-02-13 Hangzhou Hikvision Digital Technology Co., Ltd. Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
CN113709472A (zh) * 2019-03-11 2021-11-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112866699A (zh) * 2019-03-11 2021-05-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111598919B (zh) * 2020-04-22 2023-06-30 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111698517A (zh) * 2020-06-29 2020-09-22 Oppo广东移动通信有限公司 运动矢量的确定方法、装置、电子设备和可读存储介质
CN111698517B (zh) * 2020-06-29 2022-07-12 Oppo广东移动通信有限公司 运动矢量的确定方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN105939475A (zh) 一种高质量边信息生成方法
CN101860748B (zh) 基于分布式视频编码的边信息生成系统及方法
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
JP3847827B2 (ja) 動きベクトル検出方法
CN101621693B (zh) 一种结合目标分割和不规则块补偿的帧频提升方法
CN103702128B (zh) 一种应用于视频帧速率上转换的插值帧生成方法
CN103475879B (zh) 一种分布式视频编码中边信息生成方法
CN103402098B (zh) 一种基于图像插值的视频插帧方法
US20030202596A1 (en) Video coding system
CN101378504A (zh) 用于h.264编码的块匹配运动估计方法
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN101420617A (zh) 一种十字六边形运动估计搜索方法
US7697611B2 (en) Method for processing motion information
CN110392258B (zh) 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
WO2000034920A1 (en) Motion vector estimation
CN104243991B (zh) 一种边信息生成方法及装置
CN101600105A (zh) 帧频提升方法
Patel et al. Review and comparative study of Motion estimation techniques to reduce complexity in video compression
CN106303340B (zh) 一种双向运动估计去隔行方法
CN112055202B (zh) 一种帧间预测方法、视频编码方法及电子设备和存储介质
CN105611299A (zh) 一种基于hevc的运动估计方法
CN101291433A (zh) 视频编码技术中的模块运动矢量匹配评估方法
CN103124344A (zh) 运动估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160914