CN107682705A - 基于mv‑hevc框架的立体视频b帧错误隐藏方法 - Google Patents
基于mv‑hevc框架的立体视频b帧错误隐藏方法 Download PDFInfo
- Publication number
- CN107682705A CN107682705A CN201710881865.7A CN201710881865A CN107682705A CN 107682705 A CN107682705 A CN 107682705A CN 201710881865 A CN201710881865 A CN 201710881865A CN 107682705 A CN107682705 A CN 107682705A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msubsup
- block
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000011084 recovery Methods 0.000 claims abstract description 19
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 122
- 230000002093 peripheral effect Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 10
- VCBRBUKGTWLJOB-UHFFFAOYSA-N Chloranocryl Chemical compound CC(=C)C(=O)NC1=CC=C(Cl)C(Cl)=C1 VCBRBUKGTWLJOB-UHFFFAOYSA-N 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Abstract
本发明涉及一种基于MV‑HEVC框架的立体视频B帧错误隐藏方法。传统的错误隐藏技术对于新标准MV‑HEVC并不能很好的适应。本发明方法首先对立体视频中的丢失块类型进行划分,将丢失块划分为静止块和运动块,然后对不同的丢失块类型采用不同的恢复方式,静止块选择直接拷贝的方式,对运动块选择运动或视差补偿的恢复方式。本发明方法结合了新标准的特性并改进了已有错误隐藏方法,能解决在HEVC立体视频扩展标准MV‑HEVC下没有相应的立体视频错误隐藏恢复技术,以及先前H.264标准下的错误隐藏技术不能直接使用在HEVC标准中的不足,对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。
Description
技术领域
本发明属于视频编解码技术领域,具体涉及一种基于MV-HEVC框架的立体视频B帧错误隐藏方法。
背景技术
错误隐藏是针对视频在网络传输过程中,由于网络环境恶劣,或者网络中断传输等导致丢包现象,不用通过网络重传机制,在视频流解码端通过视频画面在时域和空域之间的相关性直接恢复丢包导致的丢失块信息。
目前在错误隐藏的研究主要有:1)根据时域相关性,由于视频帧的时域相关性,所以运动矢量在相邻帧是近似的,通过运动矢量来恢复丢失块;2)根据空域相关性,利用一帧画面在空间上满足像素阶变性,通过相邻的像素进行恢复;3)根据时域和空域想结合的技术,对丢失块进行分类,然后通过分类后,在采用相应的时域/空域的技术进行恢复。
传统的错误隐藏技术主要面向基于H.264标准的平面视频错误隐藏,然而对于新标准HEVC(High Efficiency Video Coding),以及扩展的多视点的新标准MV-HEVC并不能很好的适应。
发明内容
本发明的目的就是提出了一种基于MV-HEVC框架的立体视频B帧错误隐藏方法。
本发明方法首先对立体视频中的丢失块类型进行划分,将丢失块划分为静止块和运动块,然后对不同的丢失块类型采用不同的恢复方式,静止块选择直接拷贝的方式,对运动块选择运动或视差补偿的恢复方式。
立体视频中的丢失块类型进行划分的具体步骤是:
1、根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2;
2、取两个同位块的绝对差值的均值与阈值比较,具体如下:
其中,(x,y)表示丢失块的左上角坐标位置,(i,j)表示丢失块中像素点相对于坐标(x,y)的坐标偏移量,B1(x+i,y+j,t-n)代表(t-n)时刻的参考帧中的同位块中一个像素点的像素值,B2(x+i,y+j,t+n)代表(t+n)时刻的参考帧中的同位块中一个像素点的像素值,(t-n)时刻的参考帧即为前向参考帧、(t+n)时刻的参考帧即为后向参考帧;M代表丢失块的尺寸大小,M=64,n为帧时间间隔,n=1、2、3、4、5、6,T为静止块与运动块划分阈值,T=8~15。
3、如果判断丢失块的类型为静止块,采用直接拷贝的方式恢复丢失块,就是将前向参考帧中的同位块B1或后向参考帧中的同位块B2填补图像中的当前丢失块位置;
如果判断丢失块的类型为运动块,采用矢量补偿的方法进行错误隐藏,即对丢失块进行填补;矢量包括运动矢量和视差矢量。
矢量补偿的具体方法是:
步骤(1)将丢失块划分成2n个编码单元:
a.确定一个丢失块中的各个编码单元深度值,具体是:
将一个正方形的丢失块划分为四个正方形的基本处理单元,丢失块的大小为64×64,则一个基本处理单元的大小为32×32;
一个丢失块的周围为八个大小是64×64的正方形的编码块,记为周围块;将每个周围块划分为四个正方形的子编码块,每个子编码块的大小为32×32;
每个基本处理单元的周围为另外三个基本处理单元,以及三个编码块中的五个子编码块;选择相接的三个子编码块作为该基本处理单元的相邻块,三个相邻块分别属于三个编码块;
建立每个基本处理单元的深度信息集:
{depth_max1,depth_min1;depth_max2,depth_min2;depth_max3,depth_min3};
其中depth_maxi,depth_mini为一个相邻块的最大深度值和最小深度值。
每个深度信息集中选择的最大深度值depthmax和最小深度值depthmin,计算深度差值D=depthmax-depthmin;如果D=0,将depthmin作为当前基本处理单元的深度值;如果D=1,将depthmax作为当前基本处理单元的深度值;如果D≥1,将(depthmin+1)作为当前基本处理单元的深度值。
b.根据当前基本处理单元的深度值大小划分该基本处理单元的编码单元的个数及尺寸大小:
深度值为1时,编码单元为该基本处理单元,大小为32×32;
深度值为2时,该基本处理单元为四个正方形的编码单元,每个编码单元的大小为16×16;
深度值为3时,该基本处理单元为十六个正方形的编码单元,每个编码单元的大小为8×8。
步骤(2)建立候选运动/视差矢量集:
c.将每个编码单元左上、上、右上、左、左下的5个矢量块的运动矢量/视差矢量加入候选矢量集;其中左上、上为两个相邻的矢量块,左、左下两个相邻的矢量块;每个矢量块大小为4×4;
d.将零运动矢量加入候选矢量集,零运动矢量选择的参考帧为前向参考帧和后向参考帧;
e.将全局视差矢量gdv加入候选矢量集,形成候选运动/视差矢量集;其中全局视差矢量计算如下:
其中,C为前向参考帧中属于运动块,且该运动块的参考帧为视点间参考帧的8×8块的个数,dvi为该块的视差矢量;
步骤(3)根据重建块与周边块的纹理连续性Dtexture和像素连续性Dvbs-bma计算匹配度DCMA:
DCMA=wbDvbs-bma+wtDtexture;
其中,Dvbs-bma为重建块与周边块的像素连续性,Dtexture为重建块与周边块的纹理连续性,wb、wt为权重因子,其中wb+wt=1,wb取值范围在[0.35~0.5];
所述的重建块为编码单元的编码块根据运动/视差矢量偏移后的编码块;
所述的周边块为与编码单元大小相同的,且分别与编码单元四边相接的编码块。
Dvbs-bma计算方法如下:
其中,分别代表周边块和重建块沿着上,下,左,右四个边界的绝对差值,vk为候选运动/视差矢量集中第k个运动/视差矢量;其中wi为权重因子,i={T,B,L,R},各分量的计算公式如下:
其中,N为编码单元的大小,fc(·,·,t)为当前帧t、空间坐标位置为(·,·)的像素值,fr(·,·,t±l)为时域参考帧(t±l)、空间坐标位置为(·,·)的像素值。
Dtexture计算方法如下:
其中,分别为重建块与上、下、左和右周边块四个边界的像素方差;定义如下:
其中,N为编码单元的大小,μi表示周边块的像素平均值,μi′表示重建块的像素平均值,i={T,B,L,R}。(u,v)和(u′,v′)分别代表周围块和重建块在左上点的坐标,W和H代表块的宽和高;对于上方和下方的周边块:W=N,H=2;对于左方和右方的周边块:W=2,H=N。
步骤(4)利用匹配度DCMA选择最优运动矢量/视差矢量,对编码单元进行恢复。
对每个编码单元的候选运动/视差矢量集中每个运动/视差矢量计算DCMA,并将最小的DCMA-min与阈值T1进行比较:DCMA-min≤T1时,使用DCMA-min对应的运动/视差矢量对丢失块进行重建,即将运动/视差矢量对应的重建块填充丢失块位置;DCMA-min>T1时,T1=2~3,使用运动矢量插值方法获取的运动矢量vI进行恢复,即将运动矢量vI对应的重建块填充丢失块位置;运动矢量插值方法如下:
其中,i为T,B,L,R,分别代表上,下,左,右四个周边块,vi表示编号为i的周边块的运动/视差矢量,flagi编号为i的周边块是否为零运动矢量块,如果是,flagi=0,否则为1;s为flagi=1的个数,d1,d2,d3,d4分别表示上方,右方,下方,左方到丢失块之间的4×4的个数。
本发明方法结合了新标准的特性并改进了已有错误隐藏方法,能解决在新的HEVC立体视频扩展标准MV-HEVC下没有相应的立体视频错误隐藏恢复技术,以及先前H.264标准下的错误隐藏技术不能直接使用在HEVC标准中的不足,对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。
附图说明
图1是本发明方法的流程示意图。
图2是本发明划分编码单元深度值的示意图。
图3-1是PozananStreet视频的第4帧原始帧。
图3-2是PozananStreet视频的第4帧偶数行丢包图。
图3-3是PozananStreet视频的第4帧偶数行丢包恢复图。
图3-4是PozananStreet视频的第4帧棋盘式丢包图。
图3-5是PozananStreet视频的第4帧棋盘式丢包恢复图。
具体实施方式
结合以下具体实施例和附图,对本发明进一步的详细说明。
本发明的目的就是提出了一种基于MV-HEVC框架的立体视频B帧错误隐藏方法。
如图1所示,本发明方法首先对立体视频中的丢失块类型进行划分,将丢失块划分为静止块和运动块,然后对不同的丢失块类型采用不同的恢复方式,静止块选择直接拷贝的方式,对运动块选择运动或视差补偿的恢复方式。
以下将以图3-1为实例,对于该帧从丢失块到丢失块的恢复的每一个步骤及具体实施过程作进一步说明。
立体视频中的丢失块类型进行划分的具体步骤是:
1)根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2;图像丢失块如图3-2和图3-4中黑色的块。
2)然后取两个同位块的绝对差值的均值与阈值比较,具体如下:
其中,(x,y)表示丢失块的左上角坐标位置,(i,j)表示丢失块中像素点相对于坐标(x,y)的坐标偏移量,B1(x+i,y+j,t-n)代表(t-n)时刻的参考帧中的同位块中一个像素点的像素值,B2(x+i,y+j,t+n)代表(t+n)时刻的参考帧中的同位块中一个像素点的像素值,(t-n)时刻的参考帧即为前向参考帧、(t+n)时刻的参考帧即为后向参考帧;M代表丢失块的尺寸大小,M=64,n为帧时间间隔,n=1、2、3、4、5、6,T为静止块与运动块划分阈值,T=8~15。
如果判断丢失块的类型为静止块,采用直接拷贝的方式恢复丢失块,就是将前向参考帧中的同位块B1或后向参考帧中的同位块B2填补图像中的当前丢失块位置。
如果判断丢失块的类型为运动块,采用矢量补偿的方法进行错误隐藏,即对丢失块进行填补。矢量包括运动矢量和视差矢量。
矢量补偿的具体方法是:
步骤(1)将丢失块划分成2n个编码单元:
1)确定一个丢失块中的各个编码单元深度值,具体是:
将一个正方形的丢失块划分为四个正方形的基本处理单元,丢失块的大小为64×64,则一个基本处理单元的大小为32×32;基本处理单元如图2中B1,B2,B3,B4所示。
一个丢失块的周围为八个大小是64×64的正方形的编码块,记为周围块;将每个周围块划分为四个正方形的子编码块,每个子编码块的大小为32×32;
每个基本处理单元的周围为另外三个基本处理单元,以及三个编码块中的五个子编码块;选择相接的三个子编码块作为该基本处理单元的相邻块,三个相邻块分别属于三个编码块;子编码块如图2中B11,B12,B13所示。
建立每个基本处理单元的深度信息集:
{depth_max1,depth_min1;depth_max2,depth_min2;depth_max3,depth_min3};
其中depth_maxi,depth_mini为一个相邻块的最大深度值和最小深度值。
每个深度信息集中选择的最大深度值depthmax和最小深度值depthmin,计算深度差值D=depthmax-depthmin;如果D=0,将depthmin作为当前基本处理单元的深度值;如果D=1,将depthmax作为当前基本处理单元的深度值;如果D≥1,将(depthmin+1)作为当前基本处理单元的深度值。
2)根据当前基本处理单元的深度值大小划分该基本处理单元的编码单元的个数及尺寸大小:
深度值为1时,编码单元为该基本处理单元,大小为32×32;
深度值为2时,该基本处理单元为四个正方形的编码单元,每个编码单元的大小为16×16;
深度值为3时,该基本处理单元为十六个正方形的编码单元,每个编码单元的大小为8×8。
步骤(2)建立候选运动/视差矢量集:
a)将每个编码单元左上、上、右上、左、左下的5个矢量块的运动矢量/视差矢量加入候选矢量集;其中左上、上为两个相邻的矢量块,左、左下两个相邻的矢量块;每个矢量块大小为4×4;
b)将零运动矢量加入候选矢量集,零运动矢量选择的参考帧为前向参考帧和后向参考帧;
c)将全局视差矢量gdv加入候选矢量集,形成候选运动/视差矢量集;其中全局视差矢量计算如下:
其中,C为前向参考帧中属于运动块,且该运动块的参考帧为视点间参考帧的8×8块的个数,dvi为该块的视差矢量;
步骤(3)根据重建块与周边块的纹理连续性Dtexture和像素连续性Dvbs-bma计算匹配度DCMA:
DCMA=wbDvbs-bma+wtDtexture;
其中,Dvbs-bma为重建块与周边块的像素连续性,Dtexture为重建块与周边块的纹理连续性,wb、wt为权重因子,其中wb+wt=1,wb取值范围在[0.35~0.5];
所述的重建块为编码单元的编码块根据运动/视差矢量偏移后的编码块;
所述的周边块为与编码单元大小相同的,且分别与编码单元四边相接的编码块。
Dvbs-bma计算方法如下:
其中,分别代表周边块和重建块沿着上,下,左,右四个边界的绝对差值,vk为候选运动/视差矢量集中第k个运动/视差矢量;其中wi为权重因子,i={T,B,L,R},各分量的计算公式如下:
其中,N为编码单元的大小,fc(·,·,t)为当前帧t、空间坐标位置为(·,·)的像素值,fr(·,·,t±l)为时域参考帧(t±l)、空间坐标位置为(·,·)的像素值。
Dtexture计算方法如下:
其中,分别为重建块与上、下、左和右周边块四个边界的像素方差;定义如下:
其中,N为编码单元的大小,μi表示周边块的像素平均值,μ′i表示重建块的像素平均值,i={T,B,L,R}。(u,v)和(u′,v′)分别代表周围块和重建块在左上点的坐标,W和H代表块的宽和高;对于上方和下方的周边块:W=N,H=2;对于左方和右方的周边块:W=2,H=N。
步骤(4)利用匹配度DCMA选择最优运动矢量/视差矢量,对编码单元进行恢复。
对每个编码单元的候选运动/视差矢量集中每个运动/视差矢量计算DCMA,并将最小的DCMA-min与阈值T1进行比较:DCMA-min≤T1时,使用DCMA-min对应的运动/视差矢量对丢失块进行重建,即将运动/视差矢量对应的重建块填充丢失块位置;DCMA-min>T1时,T1=2~3,使用运动矢量插值方法获取的运动矢量vI进行恢复,即将运动矢量vI对应的重建块填充丢失块位置;运动矢量插值方法如下:
其中,i为T,B,L,R,分别代表上,下,左,右四个周边块,vi表示编号为i的周边块的运动/视差矢量,flagi编号为i的周边块是否为零运动矢量块,如果是,flagi=0,否则为1;s为flagi=1的个数,d1,d2,d3,d4分别表示上方,右方,下方,左方到丢失块之间的4×4的个数。
由于考虑到丢包方式对本发明的影响,实例中选取了两种丢包方式情况,对这类情况使用本发明的错误隐藏方法进行恢复,恢复的结果如图3-3、3-5,实验结果验证了本发明错误隐藏算法的适用性。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
Claims (4)
1.基于MV-HEVC框架的立体视频B帧错误隐藏方法,其特征在于:该方法首先对立体视频中的丢失块类型进行划分,将丢失块划分为静止块和运动块,然后对不同的丢失块类型采用不同的恢复方式,静止块选择直接拷贝的方式,对运动块选择运动或视差补偿的恢复方式;具体步骤是:
步骤1、根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2;
步骤2、取两个同位块的绝对差值的均值与阈值比较,具体如下:
<mrow>
<mi>&Delta;</mi>
<mi>B</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<mi>M</mi>
</mrow>
</mfrac>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>B</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>B</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>|</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<mi>M</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<msub>
<mi>B</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
<mo>-</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>B</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中,(x,y)表示丢失块的左上角坐标位置,(i,j)表示丢失块中像素点相对于坐标(x,y)的坐标偏移量,B1(x+i,y+j,t-n)代表(t-n)时刻的参考帧中的同位块中一个像素点的像素值,B2(x+i,y+j,t+n)代表(t+n)时刻的参考帧中的同位块中一个像素点的像素值,(t-n)时刻的参考帧即为前向参考帧、(t+n)时刻的参考帧即为后向参考帧;M代表丢失块的尺寸大小,M=64,n为帧时间间隔,n=1、2、3、4、5、6,T为静止块与运动块划分阈值,T=8~15;
步骤3、如果判断丢失块的类型为静止块,采用直接拷贝的方式恢复丢失块,就是将前向参考帧中的同位块B1或后向参考帧中的同位块B2填补图像中的当前丢失块位置;
如果判断丢失块的类型为运动块,采用矢量补偿的方法进行错误隐藏,即对丢失块进行填补;所述的矢量包括运动矢量和视差矢量。
2.如权利要求1所述的基于MV-HEVC框架的立体视频B帧错误隐藏方法,其特征在于:所述的矢量补偿的具体方法是:
步骤(1)将丢失块划分成2n个编码单元:
a.确定一个丢失块中的各个编码单元深度值,具体是:
将一个正方形的丢失块划分为四个正方形的基本处理单元,丢失块的大小为64×64,则一个基本处理单元的大小为32×32;
一个丢失块的周围为八个大小是64×64的正方形的编码块,记为周围块;将每个周围块划分为四个正方形的子编码块,每个子编码块的大小为32×32;
每个基本处理单元的周围为另外三个基本处理单元,以及三个编码块中的五个子编码块;选择相接的三个子编码块作为该基本处理单元的相邻块,三个相邻块分别属于三个编码块;
建立每个基本处理单元的深度信息集:
{depth_max1,depth_min1;depth_max2,depth_min2;depth_max3,depth_min3};
其中depth_maxi,depth_mini为一个相邻块的最大深度值和最小深度值;
每个深度信息集中选择的最大深度值depthmax和最小深度值depthmin,计算深度差值D=depthmax-depthmin;如果D=0,将depthmin作为当前基本处理单元的深度值;如果D=1,将depthmax作为当前基本处理单元的深度值;如果D≥1,将(depthmin+1)作为当前基本处理单元的深度值;
b.根据当前基本处理单元的深度值大小划分该基本处理单元的编码单元的个数及尺寸大小:
深度值为1时,编码单元为该基本处理单元,大小为32×32;
深度值为2时,该基本处理单元为四个正方形的编码单元,每个编码单元的大小为16×16;
深度值为3时,该基本处理单元为十六个正方形的编码单元,每个编码单元的大小为8×8;
步骤(2)建立候选运动/视差矢量集:
c.将每个编码单元左上、上、右上、左、左下的5个矢量块的运动矢量/视差矢量加入候选矢量集;其中左上、上为两个相邻的矢量块,左、左下两个相邻的矢量块;每个矢量块大小为4×4;
d.将零运动矢量加入候选矢量集,零运动矢量选择的参考帧为前向参考帧和后向参考帧;
e.将全局视差矢量gdv加入候选矢量集,形成候选运动/视差矢量集;其中全局视差矢量计算如下:
<mrow>
<mi>g</mi>
<mi>d</mi>
<mi>v</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>C</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>C</mi>
</munderover>
<msub>
<mi>dv</mi>
<mi>i</mi>
</msub>
<mo>;</mo>
</mrow>
其中,C为前向参考帧中属于运动块,且该运动块的参考帧为视点间参考帧的8×8块的个数,dvi为该块的视差矢量;
步骤(3)根据重建块与周边块的纹理连续性Dtexture和像素连续性Dvbs-bma计算匹配度DCMA:
DCMA=wbDvbs-bma+wtDtexture;
其中,Dvbs-bma为重建块与周边块的像素连续性,Dtexture为重建块与周边块的纹理连续性,wb、wt为权重因子,其中wb+wt=1,wb取值范围在[0.35~0.5];
所述的重建块为编码单元的编码块根据运动/视差矢量偏移后的编码块;
所述的周边块为与编码单元大小相同的,且分别与编码单元四边相接的编码块;
步骤(4)利用匹配度DCMA选择最优运动矢量/视差矢量,对编码单元进行恢复;
对每个编码单元的候选运动/视差矢量集中每个运动/视差矢量计算DCMA,并将最小的DCMA-min与阈值T1进行比较:DCMA-min≤T1时,使用DCMA-min对应的运动/视差矢量对丢失块进行重建,即将运动/视差矢量对应的重建块填充丢失块位置;DCMA-min>T1时,T1=2~3,使用运动矢量插值方法获取的运动矢量vI进行恢复,即将运动矢量vI对应的重建块填充丢失块位置;运动矢量插值方法如下:
<mrow>
<msub>
<mi>v</mi>
<mi>I</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>flag</mi>
<mn>1</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mi>B</mi>
</msub>
<mo>+</mo>
<msub>
<mi>flag</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mi>L</mi>
</msub>
<mo>+</mo>
<msub>
<mi>flag</mi>
<mn>3</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>d</mi>
<mn>3</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mi>T</mi>
</msub>
<mo>+</mo>
<msub>
<mi>flag</mi>
<mn>4</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>d</mi>
<mn>4</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mi>R</mi>
</msub>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>s</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中,i为T,B,L,R,分别代表上,下,左,右四个周边块,vi表示编号为i的周边块的运动/视差矢量,flagi编号为i的周边块是否为零运动矢量块,如果是,flagi=0,否则为1;s为flagi=1的个数,d1,d2,d3,d4分别表示上方,右方,下方,左方到丢失块之间的4×4的个数。
3.如权利要求2所述的基于MV-HEVC框架的立体视频B帧错误隐藏方法,其特征在于:所述的重建块与周边块的纹理连续性Dtexture计算方法如下:
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>x</mi>
<mi>t</mi>
<mi>u</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>w</mi>
<mi>T</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>T</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>B</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>B</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>L</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>L</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>R</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>R</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>T</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>B</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>L</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>R</mi>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中,分别为重建块与上、下、左和右周边块四个边界的像素方差,定义如下:
<mrow>
<msubsup>
<mi>D</mi>
<mi>T</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>T</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>T</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mo>|</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>B</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>N</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>-</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>B</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mo>|</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>L</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>-</mo>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>L</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>L</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mo>|</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>R</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>N</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>R</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>-</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>R</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中,N为编码单元的大小,μi表示周边块的像素平均值,μ′i表示重建块的像素平均值,i={T,B,L,R};(u,v)和(u′,v′)分别代表周围块和重建块在左上点的坐标,W和H代表块的宽和高;对于上方和下方的周边块:W=N,H=2;对于左方和右方的周边块:W=2,H=N。
4.如权利要求2所述的基于MV-HEVC框架的立体视频B帧错误隐藏方法,其特征在于:所述的重建块与周边块的像素连续性Dvbs-bma计算方法如下:
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>v</mi>
<mi>b</mi>
<mi>s</mi>
<mo>-</mo>
<mi>b</mi>
<mi>m</mi>
<mi>a</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>w</mi>
<mi>T</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>T</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>B</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>B</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>L</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>L</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>R</mi>
</msub>
<msubsup>
<mi>D</mi>
<mi>R</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>T</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>B</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>L</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>R</mi>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中,分别代表周边块和重建块沿着上,下,左,右四个边界的绝对差值,vk为候选运动/视差矢量集中第k个运动/视差矢量;其中wi为权重因子,i={T,B,L,R},各分量的计算公式如下:
<mrow>
<msubsup>
<mi>D</mi>
<mi>T</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>B</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>N</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>L</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
</mrow>
<mrow>
<msubsup>
<mi>D</mi>
<mi>R</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>v</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>N</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mi>t</mi>
<mo>&PlusMinus;</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
</mrow>
其中,N为编码单元的大小,fc(·,·,t)为当前帧t、空间坐标位置为(·,·)的像素值,fr(·,·,t±l)为时域参考帧(t±l)、空间坐标位置为(·,·)的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710881865.7A CN107682705B (zh) | 2017-09-26 | 2017-09-26 | 基于mv-hevc框架的立体视频b帧错误隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710881865.7A CN107682705B (zh) | 2017-09-26 | 2017-09-26 | 基于mv-hevc框架的立体视频b帧错误隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107682705A true CN107682705A (zh) | 2018-02-09 |
CN107682705B CN107682705B (zh) | 2020-05-12 |
Family
ID=61138060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710881865.7A Active CN107682705B (zh) | 2017-09-26 | 2017-09-26 | 基于mv-hevc框架的立体视频b帧错误隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107682705B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108668135A (zh) * | 2018-04-12 | 2018-10-16 | 杭州电子科技大学 | 一种基于人眼感知的立体视频b帧错误隐藏方法 |
CN108924568A (zh) * | 2018-06-01 | 2018-11-30 | 杭州电子科技大学 | 一种基于3d-hevc框架的深度视频错误隐藏方法 |
CN110062219A (zh) * | 2019-03-12 | 2019-07-26 | 杭州电子科技大学 | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 |
WO2019192141A1 (zh) * | 2018-04-02 | 2019-10-10 | 深圳市大疆创新科技有限公司 | 用于图像运动补偿的方法和装置 |
CN111083502A (zh) * | 2019-11-04 | 2020-04-28 | 杭州电子科技大学 | 一种基于块编码特性的3d视频错误隐藏方法 |
WO2021119982A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳市大疆创新科技有限公司 | 图像传输系统及方法、控制装置、可移动平台 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020159525A1 (en) * | 2001-03-15 | 2002-10-31 | Lg Electronics Inc. | Effective error recovery method using packet loss rate of networks in realtime video transfer system |
CN103220533A (zh) * | 2013-03-29 | 2013-07-24 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
CN103475884A (zh) * | 2013-09-12 | 2013-12-25 | 宁波大学 | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 |
CN104581185A (zh) * | 2015-01-20 | 2015-04-29 | 宁波大学 | 一种应用于立体视频切换帧的自适应错误隐藏方法 |
CN104602028A (zh) * | 2015-01-19 | 2015-05-06 | 宁波大学 | 一种立体视频b帧整帧丢失错误隐藏方法 |
CN103237226B (zh) * | 2013-04-07 | 2016-08-03 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
-
2017
- 2017-09-26 CN CN201710881865.7A patent/CN107682705B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020159525A1 (en) * | 2001-03-15 | 2002-10-31 | Lg Electronics Inc. | Effective error recovery method using packet loss rate of networks in realtime video transfer system |
CN103220533A (zh) * | 2013-03-29 | 2013-07-24 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
CN103237226B (zh) * | 2013-04-07 | 2016-08-03 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
CN103475884A (zh) * | 2013-09-12 | 2013-12-25 | 宁波大学 | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 |
CN104602028A (zh) * | 2015-01-19 | 2015-05-06 | 宁波大学 | 一种立体视频b帧整帧丢失错误隐藏方法 |
CN104581185A (zh) * | 2015-01-20 | 2015-04-29 | 宁波大学 | 一种应用于立体视频切换帧的自适应错误隐藏方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11368714B2 (en) | 2018-04-02 | 2022-06-21 | SZ DJI Technology Co., Ltd. | Method and device for video image processing |
US11381839B2 (en) | 2018-04-02 | 2022-07-05 | SZ DJI Technology Co., Ltd. | Method and device for image motion compensation |
US11323742B2 (en) | 2018-04-02 | 2022-05-03 | SZ DJI Technology Co., Ltd. | Method and device for obtaining motion vector of video image |
WO2019192141A1 (zh) * | 2018-04-02 | 2019-10-10 | 深圳市大疆创新科技有限公司 | 用于图像运动补偿的方法和装置 |
US11330294B2 (en) | 2018-04-02 | 2022-05-10 | SZ DJI Technology Co., Ltd. | Method and device for image motion compensation |
US11949911B2 (en) | 2018-04-02 | 2024-04-02 | SZ DJI Technology Co., Ltd. | Method and device for obtaining motion vector of video image |
US11949912B2 (en) | 2018-04-02 | 2024-04-02 | SZ DJI Technology Co., Ltd. | Method and device for video image processing |
US11871032B2 (en) | 2018-04-02 | 2024-01-09 | SZ DJI Technology Co., Ltd. | Method and device for image motion compensation |
US11159821B2 (en) | 2018-04-02 | 2021-10-26 | SZ DJI Technology Co., Ltd. | Method and device for video image processing |
US11343534B2 (en) | 2018-04-02 | 2022-05-24 | SZ DJI Technology Co., Ltd. | Method and device for obtaining motion vector of video image |
US11490120B2 (en) | 2018-04-02 | 2022-11-01 | SZ DJI Technology Co., Ltd. | Method and device for image motion compensation |
US11997312B2 (en) | 2018-04-02 | 2024-05-28 | SZ DJI Technology Co., Ltd. | Method and device for video image processing |
US11190798B2 (en) | 2018-04-02 | 2021-11-30 | SZ DJI Technology Co., Ltd. | Method and device for video image processing |
US11350124B2 (en) | 2018-04-02 | 2022-05-31 | SZ DJI Technology Co., Ltd. | Image processing method and image processing device |
US11363294B2 (en) | 2018-04-02 | 2022-06-14 | SZ DJI Technology Co., Ltd. | Image processing method and image processing device |
US11490118B2 (en) | 2018-04-02 | 2022-11-01 | SZ DJI Technology Co., Ltd. | Method and device for image motion compensation |
CN108668135A (zh) * | 2018-04-12 | 2018-10-16 | 杭州电子科技大学 | 一种基于人眼感知的立体视频b帧错误隐藏方法 |
CN108668135B (zh) * | 2018-04-12 | 2020-08-25 | 杭州电子科技大学 | 一种基于人眼感知的立体视频b帧错误隐藏方法 |
CN108924568A (zh) * | 2018-06-01 | 2018-11-30 | 杭州电子科技大学 | 一种基于3d-hevc框架的深度视频错误隐藏方法 |
CN110062219A (zh) * | 2019-03-12 | 2019-07-26 | 杭州电子科技大学 | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 |
CN110062219B (zh) * | 2019-03-12 | 2020-11-06 | 杭州电子科技大学 | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 |
CN111083502A (zh) * | 2019-11-04 | 2020-04-28 | 杭州电子科技大学 | 一种基于块编码特性的3d视频错误隐藏方法 |
WO2021119982A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳市大疆创新科技有限公司 | 图像传输系统及方法、控制装置、可移动平台 |
Also Published As
Publication number | Publication date |
---|---|
CN107682705B (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107682705B (zh) | 基于mv-hevc框架的立体视频b帧错误隐藏方法 | |
CN102510500B (zh) | 一种基于深度信息的多视点立体视频错误隐藏方法 | |
CN108924568B (zh) | 一种基于3d-hevc框架的深度视频错误隐藏方法 | |
CN102307304B (zh) | 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法 | |
CN102158712B (zh) | 一种基于视觉的多视点视频信号编码方法 | |
CN102595145B (zh) | 一种立体视频整帧丢失错误隐藏方法 | |
Yang et al. | Depth-assisted temporal error concealment for intra frame slices in 3-D video | |
Ma et al. | Low complexity adaptive view synthesis optimization in HEVC based 3D video coding | |
CN103024402B (zh) | 一种自由视点视频整帧丢失错误隐藏方法 | |
Chung et al. | Frame loss concealment for stereoscopic video plus depth sequences | |
CN103475884B (zh) | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 | |
Song et al. | Error concealment of multi-view video sequences using inter-view and intra-view correlations | |
Khattak et al. | Temporal and inter-view consistent error concealment technique for multiview plus depth video | |
CN108668135B (zh) | 一种基于人眼感知的立体视频b帧错误隐藏方法 | |
CN104506871B (zh) | 一种基于hevc的3d视频快速编码方法 | |
CN108259917A (zh) | 基于深度时域下采样的三维视频编解码方法及系统 | |
CN110062219B (zh) | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 | |
Chung et al. | Multi-view video coding with view interpolation prediction for 2D camera arrays | |
CN109819230B (zh) | 一种基于hevc标准的立体三维视频错误隐藏方法 | |
KR20160147448A (ko) | 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법 | |
Xiang et al. | Auto-regressive model based error concealment scheme for stereoscopic video coding | |
Iyer et al. | Multiview video coding using depth based 3D warping | |
CN103856782A (zh) | 基于多视点视频整帧丢失的自适应错误掩盖方法 | |
CN103220533A (zh) | 一种立体视频宏块丢失错误隐藏方法 | |
CN109922349B (zh) | 基于视差矢量外推的立体视频右视点b帧错误隐藏方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |