CN111083502B - 一种基于块编码特性的3d视频错误隐藏方法 - Google Patents

一种基于块编码特性的3d视频错误隐藏方法 Download PDF

Info

Publication number
CN111083502B
CN111083502B CN201911065748.9A CN201911065748A CN111083502B CN 111083502 B CN111083502 B CN 111083502B CN 201911065748 A CN201911065748 A CN 201911065748A CN 111083502 B CN111083502 B CN 111083502B
Authority
CN
China
Prior art keywords
block
lost
coding
blocks
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911065748.9A
Other languages
English (en)
Other versions
CN111083502A (zh
Inventor
周洋
周辉
谢菲
尉婉丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911065748.9A priority Critical patent/CN111083502B/zh
Publication of CN111083502A publication Critical patent/CN111083502A/zh
Application granted granted Critical
Publication of CN111083502B publication Critical patent/CN111083502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于块编码特性的3D视频错误隐藏方法。本发明方法首先区分丢失块所属的区域类型。属于背景区域的丢失块采用加权平均前后向帧中同位块像素的方法恢复。对属于前景区域的丢失块,利用丢失块的周围可用块的信息来估计当前丢失块的编码预测方式,将丢失块分类成帧内编码块、帧间编码块和视间编码块。针对帧内编码,采用加权融合运动补偿块和视间补偿块恢复;针对帧间编码块,采用线性双向预测或单向搜索预测恢复;针对视间编码块,利用灰度共生矩阵改进传统边界匹配准则恢复。本方法根据不同编码特性的丢失块采用不同的恢复方法对3D视频流传输中右视点出错帧,有较好的重建效果。

Description

一种基于块编码特性的3D视频错误隐藏方法
技术领域
本发明属于通信技术领域,具体是视频编解码技术领域,涉及一种基于块编码特性的3D视频错误隐藏方法。
背景技术
3D视频在给观众带来逼真体验感的同时,也存在视频数据量远高于2D视频的问题。基于MV-HEVC编码标准压缩的立体视频流压缩效率高,传输冗余信息低,但是对无线传输信道敏感。当信道中发生阻塞或延时等干扰因素时,3D视频流极易发生丢包,导致重建的视频画面出错,而差错会迅速传播,影响到后续将要解码的视频画面的质量。为了有效改善视频数据流在传输过程中的错误,可以在编码器中利用抗误码技术,增加额外的信息减少误差。考虑到这种技术会增加编码器的负担和传输带宽,解码端的错误隐藏技术应运而生。
发明内容
本发明的目的就是在新标准HEVC的扩展平台MV-HEVC中,提供一种面向3D视频的错误隐藏方法。
本发明方法是基于MV-HEVC编码平台,利用丢失块的周围可用块的编码预测信息来预估当前丢失块的编码预测方式,对具有不同编码预测方式的丢失块采用不同的错误隐藏方法。本发明方法首先确定3D视频流中右视点的丢失块的所属区域类型,属于背景区域的丢失块对前向帧、后向帧中同位块的像素值进行加权平均填充恢复;属于前景区域的丢失块,根据估计出的编码预测方式采用不同的恢复方法。
具体方法包括:
(1).恢复背景区域丢失块:
通过将前向帧和后向帧中对应丢失块的同位块的像素的平均差值
Figure GDA0002986029410000011
和像素差值的平均方差
Figure GDA0002986029410000012
对丢失块进行分类处理,具体判断准则为:
Figure GDA0002986029410000013
下标D表示丢失块的深度,D=0,1,2,分别对应尺寸为64×64、32×32、16×16的处理单元;ThD是随D变化的阈值,分别为15、8、4;λ是固定阈值12;
Figure GDA0002986029410000014
Figure GDA0002986029410000015
定义如下:
Figure GDA0002986029410000021
Figure GDA0002986029410000022
其中,(x,y)是丢失块的左上角像素坐标,(i,j)是相对于左上角像素位置的偏移,p(x+i,y+j)是像素亮度值,p(·,·,n-k)表示前向帧的像素亮度值,p(·,·,n+k)表示后向帧的像素亮度值,SD是深度D对应的处理单元大小;
首先从最大尺寸64×64的丢失块开始处理:如果该丢失块满足背景块的条件,则加权平均前后向帧中同位块像素的方法恢复丢失块中的像素值;若不满足,将丢失块划分为32×32的子丢失块,重复之前的操作;当处理到16×16的子块时,背景块恢复操作停止,剩下未修复的丢失子块尺寸均为16×16,标记为前景块。
(2).恢复前景区域丢失块,具体如下:
(2-1).前景区域丢失块的编码预测方式估计:
获取丢失块的周围有效块的编码预测信息,根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter-view,周围有效块的编码预测方式分为三种情况,分别处理:
(i)NIntra>0且NInter=0且NInter-view=0,表示周围有效块的编码预测方式均为帧内编码,判定当前丢失块的编码预测方式为帧内编码;
(ii))NInter>NInter-view,表示周围有效块的帧间编码块数量多于视间编码块,判定当前丢失块的编码预测方式为帧间编码;
(iii)NInter≤NInter-view,NInter>0,表示周围有效块的视间编码块的数量多于或等于帧间编码块,判定当前丢失块的编码预测方式为视间编码。
(2-2).恢复帧内编码块:
首先构建两个有效块集合L0和L1,L0中存放参考列表List0中视频帧的邻域块,L1存放参考列表List1中视频帧的邻域块;
构建候选预测补偿块,将提取的邻域块的参考帧和预测矢量赋予当前丢失块,丢失块通过参考帧和预测矢量获得对应的预测补偿块;L0和L1更新为候选预测补偿块的集合,其中L0加入零运动矢量和全局视差矢量GDV的预测补偿块。
最佳候选预测补偿块具体如下:
a.当L1为空集合,根据加权边界匹配准则选取L0中的最佳候选预测补偿块中的像素填补当前丢失块;加权边界匹配准则定义为:
Figure GDA0002986029410000031
其中,(x0,y0)是丢失块的像素坐标,fn和f'n分别代表当前帧和参考帧,V0是L0中的预测候选补偿块的矢量,ωΔ,Δ=u,d,l,r,是丢失块上、下、左、右边界的权重,ωΔ=0,边界相邻块为丢失块;ωΔ=0.5,边界相邻块为算法恢复块;ωΔ=1,边界相邻块为正确解码块;Sd是丢失块边界的像素的行数或列数;SAD(V0)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和;L0中的最佳候选预测补偿块是V0使得SAD(V0)最小的补偿块
Figure GDA0002986029410000032
b.当L1为非空集合时,L0或L1中均有最佳候选预测补偿块
Figure GDA0002986029410000033
Figure GDA0002986029410000034
且有对应的SAD(V0)和SAD(V1);将D=|SAD(V0)-SAD(V1)|与设定的阈值T1进行比较,T1=2~3:
如果D≤T1,此时丢失块MB恢复如下:
Figure GDA0002986029410000035
如果D>T1,丢失块MB由对应min{SAD0(V0),SAD1(V1)}中的预测补偿块来恢复。
(2-3).恢复帧间编码块:
假设物体在视频序列中是线性运动的,则丢失块MB采用线性双向预测的运动补偿,即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块;
为丢失块构建候选运动矢量集MVcol,通过最小化前向预测补偿块B0和后向预测补偿块B1的平均像素差值Δdiff来选择最优运动矢量;
如果Δdiff>T2,则表明前面的假设不成立,T2为设定的阈值,T2=4~6,此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作:
Step1.B0相对于MB的位移矢量
Figure GDA0002986029410000036
计算B0内所有像素亮度值的和SOL0
Step2.连接B0和MB的中心点并延长到Ref1上得到B1,计算B1内所有像素亮度值的和SOL1,此时B1相对于MB的位移矢量
Figure GDA0002986029410000041
Step3.如果B0与B1之间的平均绝对差值
Figure GDA0002986029410000042
小于T2,则由B0和B1加权平均恢复MB;当ΔDs≥T2时,以当前运动矢量MV0为基础,在±16范围内搜索运动矢量,跳转到Step1;
Step4.当ΔDs≥T2一直成立时,改变双向预测补偿的策略,执行单向预测搜索恢复,即以MVcol为基础,在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB。
(2-4).恢复视间编码块:
选取熵、能量、对比度三个统计特征值来分析纹理,且计算四个方向上的特征值后以平均值减轻方向因素的影响,构成特征向量G:G=(Fent,Fene,Fcon);Fent、Fene、Fcon分别为熵值、能量值和对比度值,具体表示如下:
Figure GDA0002986029410000043
Figure GDA0002986029410000044
Figure GDA0002986029410000045
其中,K表示灰度共生矩阵的行数或列数,取值为8;(a,b)表示灰度共生矩阵的坐标;d表示方向上的距离,取值为1;θ表示方向0°,45°,90°,135°;g(a,b)表示对应(a,b)位置上的灰度共生矩阵值;当分别提取丢失块和候选块的边界的特征向量GR、GQ后,利用欧氏距离计算二者的相似度Ts=|GR-GQ|,最终的灰度共生加权边界匹配准则为:
Figure GDA0002986029410000046
GSAD表示融合灰度共生矩阵后,即丢失块与参考块匹配度,N是丢失块边界的像素的行数或列数,α是常数0.7。
本发明方法针对3D视频数据流较大,且易在不可靠信道中传输出现右视点视频流丢包现象,首先在统计分析3D视频序列编码块的编码预测方式的基础上,利用丢失块的周围可用块的信息来估计当前丢失块的编码预测方式,将丢失块分类成帧内编码块、帧间编码块和视间编码块。针对帧内编码,采用加权融合运动补偿块和视间补偿块恢复;针对帧间编码块,采用双向预测加权平均或单向搜索预测恢复;针对视间编码块,利用灰度共生矩阵(Gray-level co-occurrence matrix,GLCM)改进传统边界匹配准则恢复。相比较用单一的方法掩盖所有的丢失块,本发明方法重建的视频质量更好。
附图说明
图1为本发明方法整体流程图;
图2为本发明方法中当前帧的前向帧和后向帧示意图;
图3为对丢失块编码方式预测的正确率示意图;
图4为帧内丢失块参考的邻域块分布示意图;
图5为帧间丢失块的邻域块分布图和线性双向预测补偿图;
图6为实施例中实验仿真的出错视频帧;
图7为实施例重建视频帧后的效果图。
具体实施方式
结合以下具体实施例和附图,对本发明进一步的详细说明。
如图1,一种基于块编码特性的3D视频错误隐藏方法,首先确定3D视频流中右视点的丢失块的所属区域类型,属于背景区域的丢失块直接加权平均前向、后向帧中同位块的像素值填充;属于前景区域的丢失块,根据估计出的编码预测方式采用不同的恢复方法。具体包括:
(1).恢复背景区域丢失块:
如图2所示,Tn为当前帧(B帧),Tn-k为低时间层已编码帧(前向帧),Tn+k为高时间层已编码帧(后向帧)。通过将Tn-k和Tn+k中的对应丢失块的同位块的像素的平均差值
Figure GDA0002986029410000051
与阈值ThD进行比较,判断当前帧中丢失块所属的区域类型。实验中发现当出错帧的Tn-k和Tn+k距离较远时,Tn-k和Tn+k中的内容变化较大,仅利用
Figure GDA0002986029410000052
判断丢失块的类型出错率会增加。为了能够有效的区分前景块和背景块,结合
Figure GDA0002986029410000053
和像素差值的平均方差
Figure GDA0002986029410000054
对丢失块进行分类处理。具体判断准则为:
Figure GDA0002986029410000055
下标D是丢失块的深度,D=0,1,2,分别对应尺寸为64×64、32×32、16×16的处理单元;ThD是随D变化的阈值,分别为15、8、4;λ是固定阈值12;
Figure GDA0002986029410000056
Figure GDA0002986029410000057
定义如下:
Figure GDA0002986029410000058
Figure GDA0002986029410000059
其中,(x,y)是丢失块的左上角像素坐标,(i,j)是相对于左上角像素位置的偏移,p(x+i,y+j)是像素亮度值,p(·,·,n-k)表示前向帧的像素亮度值,p(·,·,n+k)表示后向帧的像素亮度值,SD是深度D对应的处理单元大小。
首先从最大尺寸64×64的丢失块开始处理:如果该丢失块满足背景块的条件,则加权平均前后向帧中同位块像素的方法恢复丢失块中的像素值;若不满足,将丢失块划分为32×32的子丢失块,重复之前的操作;考虑到复杂度以及恢复精度,当处理到16×16的子块时,背景块恢复操作停止,即不再划分深度D=2的丢失子块,此时剩下未修复的丢失子块尺寸均为16×16,标记为前景块;
(2).恢复前景区域丢失块,具体如下:
(2-1).前景区域丢失块的编码预测方式估计:
获取丢失块的周围有效块的编码预测信息,根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter-view,周围有效块的编码预测方式分为三种情况,分别处理:
(i)NIntra>0且NInter=0且NInter-view=0,表示周围有效块的编码预测方式均为帧内编码,判定当前丢失块的编码预测方式为帧内编码;
(ii))NInter>NInter-view,表示周围有效块的帧间编码块数量多于视间编码块,判定当前丢失块的编码预测方式为帧间编码;
(iii)NInter≤NInter-view,NInter>0,表示周围有效块的视间编码块的数量多于或等于帧间编码块,判定当前丢失块的编码预测方式为视间编码;
为了验证上述方法估计丢失块的编码预测方式的正确性,在3D视频序列中用上述方式预测的结果与真实的编码预测方式进行比较,图3为丢失块的编码方式预测的正确率,其集中在85%~90%,证明预测的有效性。
(2-2).恢复帧内编码块:
在帧间编码和视间编码均导致较大率失真代价时且帧内编码效果较好时,编码器会选择某种帧内模式进行编码。因此,单一的帧间预测或视间预测均不能够有效的恢复帧内编码块。本发明方法获取与丢失块的相关性较强的邻域块(不包括帧内编码块)信息,为当前丢失块构建候选预测补偿块集合,过程如下:
首先构建两个有效块集合L0和L1,L0中存放参考列表List0中视频帧的邻域块,L1存放参考列表List1中视频帧的邻域块。如图4所示,候选预测补偿块的构建主要将提取的邻域块4×4的邻域块Ai,i=0,...,4的参考帧、预测矢量和64×64的邻域块Bi,i=0,...,4的视点参考帧、平均视差矢量,丢失块可通过该信息获得对应的预测补偿块。通过此操作L0和L1更新为候选预测补偿块的集合,其中L0加入零运动矢量(消除前背景块的误判)和全局视差矢量GDV的预测补偿块。
构建候选预测补偿块,将提取的邻域块的参考帧和预测矢量赋予当前丢失块,丢失块通过参考帧和预测矢量获得对应的预测补偿块;L0和L1更新为候选预测补偿块的集合,其中L0加入零运动矢量(消除前背景块的误判)和全局视差矢量GDV的预测补偿块;
最佳候选预测补偿块具体如下:
a.当L1为空集合,根据加权边界匹配准则(Weighted Boundary MatchingAlgorithm,WBMA)选取L0中的最佳候选预测补偿块中的像素填补当前丢失块;加权边界匹配准则定义为:
Figure GDA0002986029410000071
其中,(x0,y0)是丢失块的像素坐标,fn和f'n分别代表当前帧和参考帧,V0是L0中的预测候选补偿块的矢量,ωΔ,Δ=u,d,l,r,是丢失块上、下、左、右边界的权重,ωΔ=0,边界相邻块为丢失块;ωΔ=0.5,边界相邻块为算法恢复块;ωΔ=1,边界相邻块为正确解码块;Sd是丢失块边界的像素的行数或列数;SAD(V0)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和;L0中的最佳候选预测补偿块是V0使得SAD(V0)最小的补偿块
Figure GDA0002986029410000072
b.当L1为非空集合时,L0或L1中均有最佳候选预测补偿块
Figure GDA0002986029410000073
Figure GDA0002986029410000074
且有对应的SAD(V0)和SAD(V1);SAD(V0)/SAD(V1)越大则表明该预测补偿块越不可靠,为了选择最佳预测补偿块,D=|SAD(V0)-SAD(V1)|与设定的阈值T1进行比较,T1=2~3,本实施例中T1=3:
如果D≤T1,此时丢失块MB恢复如下:
Figure GDA0002986029410000075
如果D>T1,丢失块MB由对应min{SAD0(V0),SAD1(V1)}中的预测补偿块来恢复。
(2-3).恢复帧间编码块:
帧间编码块占据比例最大,包括背景块和运动程度较缓慢的图像块。如图5(b)所示,假设物体在视频序列中是线性运动的,则丢失块MB采用线性双向预测的运动补偿,即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块B0和B1。本发明方法参考图5(a)中的邻域块为丢失块构建候选运动矢量集MVcol,通过最小化B0和B1的平均像素差值Δdiff来选择最优运动矢量。如果Δdiff超过设定的阈值T2,则表明前面的假设不成立,T2=4~6,本实施例中T2=5。此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作:
Step1.B0相对于MB的位移矢量
Figure GDA0002986029410000081
计算B0内所有像素亮度值的和SOL0
Step2.连接B0和MB的中心点并延长到Ref1上得到B1,计算B1内所有像素亮度值的和SOL1,此时B1相对于MB的位移矢量
Figure GDA0002986029410000082
Step3.如果B0与B1之间的平均绝对差值
Figure GDA0002986029410000083
小于T2,则由B0和B1加权平均恢复MB;当ΔDs≥T2时,以当前运动矢量MV0为基础,在±16范围内搜索运动矢量,跳转到Step1;
Step4.当ΔDs≥T2一直成立时,改变双向预测补偿的策略,执行单向预测搜索恢复,即以MVcol为基础,在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB;
(2-4).恢复视间编码块:
视间编码块的主要特征为运动剧烈且复杂,此类型的编码单元一般较多利用视差矢量预测补偿进行编码。对于视间编码的丢失块,首先充分获取周围有效块的视差矢量来恢复,其次考虑到部分丢失块由于运动非常剧烈且复杂导致无法与周围块保持运动的一致性,对其中重建效果不佳的丢失块的恢复不再局限于周围有效块的视差矢量,改用恢复帧内编码丢失块的方法。
判断丢失块的恢复效果是采用边界匹配准则,利用灰度共生矩阵(Gray-levelco-occurrence matrix,GLCM)提取块边界特征参数并融合到加权边界匹配准则(WBMA)中来检验丢失块的恢复效果。考虑到计算复杂度,选取熵(Entropy)、能量(Energy)、对比度(Contrast)三个统计特征值来分析纹理,且计算四个方向上的特征值后取平均值,以消除方向因素的影响,最终构成特征向量G:G=(Fent,Fene,Fcon);Fent、Fene、Fcon分别为熵值、能量值和对比度值,具体表示如下:
Figure GDA0002986029410000091
Figure GDA0002986029410000092
Figure GDA0002986029410000093
其中,K表示灰度共生矩阵的行数或列数,取值为8;(a,b)表示灰度共生矩阵的坐标;d表示方向上的距离,取值为1;θ表示方向0°,45°,90°,135°;g(a,b)表示对应(a,b)位置上的灰度共生矩阵值。当分别提取丢失块和候选块的边界的特征向量GR、GQ后,利用欧氏距离计算二者的相似度Ts=|GR-GQ|,最终的灰度共生加权边界匹配准则(GLCM_WBMA)为:
Figure GDA0002986029410000094
其中,N是丢失块边界的像素的行数或列数,α是常数0.7。GSAD表示融合灰度共生矩阵后,即丢失块与参考块匹配度。
为了验证本发明对于立体视频传输丢包后的视频失真重建性能,实例中进行仿真实验得到图6的出错视频帧以及图7的重建效果图。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

Claims (5)

1.一种基于块编码特性的3D视频错误隐藏方法,其特征在于具体方法包括:
(1).恢复背景区域丢失块:
通过将前向帧和后向帧中对应丢失块的同位块的像素的平均差值
Figure FDA0002986029400000011
和像素差值的平均方差
Figure FDA0002986029400000012
对丢失块进行分类处理,具体判断准则为:
Figure FDA0002986029400000013
下标D表示丢失块的深度,D=0,1,2,分别对应尺寸为64×64、32×32、16×16的处理单元;ThD是随D变化的阈值,分别为15、8、4;λ是固定阈值12;
Figure FDA0002986029400000014
Figure FDA0002986029400000015
定义如下:
Figure FDA0002986029400000016
Figure FDA0002986029400000017
其中,(x,y)是丢失块的左上角像素坐标,(i,j)是相对于左上角像素位置的偏移,p(x+i,y+j)是像素亮度值,p(·,·,n-k)表示前向帧的像素亮度值,p(·,·,n+k)表示后向帧的像素亮度值,SD是深度D对应的处理单元大小;
首先从最大尺寸64×64的丢失块开始处理:如果该丢失块满足背景块的条件,则将前后向帧中同位块的像素值进行加权平均得到丢失块中的像素值;若不满足,将丢失块划分为32×32的子丢失块,重复之前的操作;当处理到16×16的子块时,背景块恢复操作停止,剩下未修复的丢失子块尺寸均为16×16,标记为前景块;
(2).恢复前景区域丢失块,具体如下:
(2-1).前景区域丢失块的编码预测方式估计:
获取丢失块的周围有效块的编码预测信息,根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter-view,周围有效块的编码预测方式分为三种情况,分别处理:
(i)NIntra>0且NInter=0且NInter-view=0,表示周围有效块的编码预测方式均为帧内编码,判定当前丢失块的编码预测方式为帧内编码;
(ii))NInter>NInter-view,表示周围有效块的帧间编码块数量多于视间编码块,判定当前丢失块的编码预测方式为帧间编码;
(iii)NInter≤NInter-view,NInter>0,表示周围有效块的视间编码块的数量多于或等于帧间编码块,判定当前丢失块的编码预测方式为视间编码;
(2-2).恢复帧内编码块:
首先构建两个有效块集合L0和L1,L0中存放参考列表List0中视频帧的邻域块,L1存放参考列表List1中视频帧的邻域块;
构建候选预测补偿块,将提取的邻域块的参考帧和预测矢量赋予当前丢失块,丢失块通过参考帧和预测矢量获得对应的预测补偿块;L0和L1更新为候选预测补偿块的集合,其中L0加入零运动矢量和全局视差矢量GDV的预测补偿块;
最佳候选预测补偿块具体如下:
a.当L1为空集合,根据加权边界匹配准则选取L0中的最佳候选预测补偿块中的像素填补当前丢失块;加权边界匹配准则定义为:
Figure FDA0002986029400000021
其中,(x0,y0)是丢失块的像素坐标,fn和f′n分别代表当前帧和参考帧,V0是L0中的预测候选补偿块的矢量,ωΔ,Δ=u,d,l,r,是丢失块上、下、左、右边界的权重,ωΔ=0,边界相邻块为丢失块;ωΔ=0.5,边界相邻块为算法恢复块;ωΔ=1,边界相邻块为正确解码块;Sd是丢失块边界的像素的行数或列数;SAD(V0)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和;L0中的最佳候选预测补偿块是V0使得SAD(V0)最小的补偿块
Figure FDA0002986029400000022
b.当L1为非空集合时,L0或L1中均有最佳候选预测补偿块
Figure FDA0002986029400000023
Figure FDA0002986029400000024
且有对应的SAD(V0)和SAD(V1);将D=|SAD(V0)-SAD(V1)|与设定的阈值T1进行比较:
如果D≤T1,此时丢失块MB恢复如下:
Figure FDA0002986029400000025
如果D>T1,丢失块MB由对应min{SAD0(V0),SAD1(V1)}中的预测补偿块来恢复;
(2-3).恢复帧间编码块:
假设物体在视频序列中是线性运动的,则丢失块MB采用线性双向预测的运动补偿,即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块;
为丢失块构建候选运动矢量集MVcol,通过最小化前向预测补偿块B0和后向预测补偿块B1的平均像素差值Δdiff来选择最优运动矢量;
如果Δdiff>T2,则表明前面的假设不成立,T2为设定的阈值,此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作:
Step1.B0相对于MB的位移矢量
Figure FDA0002986029400000031
计算B0内所有像素亮度值的和SOL0
Step2.连接B0和MB的中心点并延长到Ref1上得到B1,计算B1内所有像素亮度值的和SOL1,此时B1相对于MB的位移矢量
Figure FDA0002986029400000032
Step3.如果B0与B1之间的平均绝对差值
Figure FDA0002986029400000033
小于T2,则由B0和B1加权平均恢复MB;当ΔDs≥T2时,以当前运动矢量MV0为基础,在±16范围内搜索运动矢量,跳转到Step1;
Step4.当ΔDs≥T2一直成立时,改变双向预测补偿的策略,执行单向预测搜索恢复,即以MVcol为基础,在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB;
(2-4).恢复视间编码块:
选取熵、能量、对比度三个统计特征值来分析纹理,且计算四个方向上的特征值后取平均值,构成特征向量G:G=(Fent,Fene,Fcon);Fent、Fene、Fcon分别为熵值、能量值和对比度值,具体表示如下:
Figure FDA0002986029400000034
Figure FDA0002986029400000035
Figure FDA0002986029400000036
其中,K表示灰度共生矩阵的行数或列数;(a,b)表示灰度共生矩阵的坐标;d表示方向上的距离;θ表示方向0°,45°,90°,135°;g(a,b)表示对应(a,b)位置上的灰度共生矩阵值;当分别提取丢失块和候选块的边界的特征向量GR、GQ后,利用欧氏距离计算二者的相似度Ts=|GR-GQ|,最终的灰度共生加权边界匹配准则为:
Figure FDA0002986029400000041
GSAD表示融合灰度共生矩阵后,即丢失块与参考块匹配度,N是丢失块边界的像素的行数或列数,α为常数0.7。
2.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的设定的阈值T1=2~3。
3.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的设定的阈值T2=4~6。
4.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的灰度共生矩阵的行数或列数K=8。
5.如权利要求1所述的一种基于块编码特性的3D视频错误隐藏方法,其特征在于:所述的方向上的距离d=1。
CN201911065748.9A 2019-11-04 2019-11-04 一种基于块编码特性的3d视频错误隐藏方法 Active CN111083502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911065748.9A CN111083502B (zh) 2019-11-04 2019-11-04 一种基于块编码特性的3d视频错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065748.9A CN111083502B (zh) 2019-11-04 2019-11-04 一种基于块编码特性的3d视频错误隐藏方法

Publications (2)

Publication Number Publication Date
CN111083502A CN111083502A (zh) 2020-04-28
CN111083502B true CN111083502B (zh) 2021-06-08

Family

ID=70310761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065748.9A Active CN111083502B (zh) 2019-11-04 2019-11-04 一种基于块编码特性的3d视频错误隐藏方法

Country Status (1)

Country Link
CN (1) CN111083502B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711204B1 (ko) * 2006-06-26 2007-04-24 한국전자통신연구원 선택적 에러 은닉 장치 및 방법
CN102307304B (zh) * 2011-09-16 2013-04-03 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN103475884B (zh) * 2013-09-12 2016-08-24 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
CN109819230B (zh) * 2019-01-28 2020-08-25 杭州电子科技大学 一种基于hevc标准的立体三维视频错误隐藏方法

Also Published As

Publication number Publication date
CN111083502A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
El-Shafai et al. Encoder-independent decoder-dependent depth-assisted error concealment algorithm for wireless 3D video communication
Zhou et al. Frame loss concealment for multiview video transmission over wireless multimedia sensor networks
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
JP5970609B2 (ja) 3dビデオ符号化における統一された視差ベクトル導出の方法と装置
El-Shafai et al. Enhancement of wireless 3d video communication using color-plus-depth error restoration algorithms and Bayesian Kalman filtering
CN107682705B (zh) 基于mv-hevc框架的立体视频b帧错误隐藏方法
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
Li et al. Pixel-based inter prediction in coded texture assisted depth coding
CN110493603B (zh) 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法
Zhu et al. Spatial error concealment for stereoscopic video coding based on pixel matching
CN102572446B (zh) 一种多视点视频整帧丢失错误隐藏方法
El‐Shafai et al. Performance evaluation of enhanced error correction algorithms for efficient wireless 3D video communication systems
El‐Shafai et al. Proposed adaptive joint error‐resilience concealment algorithms for efficient colour‐plus‐depth 3D video transmission
Xiang et al. A novel error concealment method for stereoscopic video coding
CN108668135B (zh) 一种基于人眼感知的立体视频b帧错误隐藏方法
CN111010583B (zh) 一种基于残差分块的自适应多视点视频错误隐藏方法
CN111083502B (zh) 一种基于块编码特性的3d视频错误隐藏方法
CN109819230B (zh) 一种基于hevc标准的立体三维视频错误隐藏方法
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
CN103856782A (zh) 基于多视点视频整帧丢失的自适应错误掩盖方法
CN109922349B (zh) 基于视差矢量外推的立体视频右视点b帧错误隐藏方法
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding
CN104581185B (zh) 一种应用于立体视频切换帧的自适应错误隐藏方法
Lie et al. Error concealment for the transmission of H. 264/AVC-compressed 3D video in color plus depth format
El-Shafai et al. Effective multi-stage error control algorithms for robust 3D video transmission over wireless networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant