CN109819230B - 一种基于hevc标准的立体三维视频错误隐藏方法 - Google Patents

一种基于hevc标准的立体三维视频错误隐藏方法 Download PDF

Info

Publication number
CN109819230B
CN109819230B CN201910081049.7A CN201910081049A CN109819230B CN 109819230 B CN109819230 B CN 109819230B CN 201910081049 A CN201910081049 A CN 201910081049A CN 109819230 B CN109819230 B CN 109819230B
Authority
CN
China
Prior art keywords
block
pixel
value
reference frame
jnd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910081049.7A
Other languages
English (en)
Other versions
CN109819230A (zh
Inventor
周洋
周辉
谢菲
尉婉丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910081049.7A priority Critical patent/CN109819230B/zh
Publication of CN109819230A publication Critical patent/CN109819230A/zh
Application granted granted Critical
Publication of CN109819230B publication Critical patent/CN109819230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种基于HEVC标准的立体三维视频错误隐藏方法。传统错误隐藏技术不适应新标准HEVC的扩展平台MV‑HEVC。本发明方法首先确定立体视频流中右视点丢失块所属区域类型,根据区域类型不同,分别采用不同的恢复方法。获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块,将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值,如果平均值小于等于阈值,则判断为背景区域,采用加权平均前后向帧中同位置的像素值来填补丢失块;如果平均值大于阈值,则判断为前景区域,采用构建候选矢量集对丢失块进行矢量位移补偿恢复。利用本发明方法方法,使得匹配精度提升,对立体视频流传输丢包有很好的恢复效果。

Description

一种基于HEVC标准的立体三维视频错误隐藏方法
技术领域
本发明属于视频编解码技术领域,具体涉及一种基于HEVC标准的立体三维视频错误隐藏方法。
背景技术
错误隐藏是针对视频流传输丢包而在解码端应用的技术。由于立体视频数据量大,其在传输前进行了有效的压缩编码来消除时域、空域以及视点间的冗余。立体视频流在传输过程中一旦遇到不可靠的信道会出现丢包现象,会影响当前帧及后续帧的解码质量,导致出现黑块、马赛克等出错画面。为了解决立体视频流在传输中的差错,应用解码端错误隐藏技术来恢复视频流中丢失的信息。传统的立体错误隐藏技术主要面向H.264标准的编码视频,因此对于新标准HVEC及其扩展的多视点框架MV-HEVC的适应性较差。
发明内容
本发明的目的是针对传统的H.264标准下错误隐藏技术在新标准HEVC的扩展平台MV-HEVC下适应性较差的情况,提供一种基于HEVC标准的立体三维视频错误隐藏方法。
本发明方法基于MV-HEVC框架,利用外边界匹配准则初步恢复丢失块并结合LBP算子提升恢复性能的立体视频错误隐藏方法。
本发明方法首先确定立体视频流中右视点的丢失块的所属区域类型,根据丢失块的所属区域类型的不同,分别采用不同的恢复方法。
丢失块的所属区域类型判断方法如下:
分别获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块,将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值ΔD:
Figure BDA0001960394090000011
其中,(x0,y0)是丢失块左上角的像素坐标,(i,j)是相对于左上角像素坐标的偏移值,t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧,p(x0+i,y0+j,t-1)表示前向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,p(x0+i,y0+j,t+1)表示后向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,S为丢失块未经划分处理的尺寸,S=64。
将ΔD与设定的阈值T1进行比较:如果ΔD小于等于阈值T1,在阈值范围内将丢失块标记为0,则该丢失块的所属区域类型是背景区域,采用加权平均前后向帧中同位置的像素值来填补丢失块;如果ΔD大于阈值T1,则判断该丢失块的所属区域类型是前景区域,标记为1,采用构建候选矢量集对丢失块进行矢量位移补偿恢复。
构建候选矢量集对丢失块进行矢量位移补偿恢复的方法如下:
(1).计算像素域的空域恰可察觉失真JND(Just Noticeable Distortion)阈值:
JND阈值根据由背景亮度自适应效应得到的阈值JNDL(x,y),和由空间对比度掩蔽效应得到的阈值JNDT(x,y)得到:
Figure BDA0001960394090000021
其中,(x,y)为像素坐标,bg(x,y)为坐标(x,y)上像素的背景亮度;
Figure BDA0001960394090000022
p(x,y)是坐标为(x,y)的像素的亮度值,B(a,b),a,b=1,...,5为加权低通滤波器算子,a和b表示B的行和列;
JNDT(x,y)=mg(x,y)×α(bg(x,y))+β(bg(x,y));
α(bg(x,y))=bg(x,y)×0.0001+0.115;
β(bg(x,y))=λ-bg(x,y)×0.01;
α(bg(x,y))和β(bg(x,y))都是背景亮度的函数,β(bg(x,y))中的参数λ取
Figure BDA0001960394090000023
mg(x,y)是对应像素四个方向亮度边缘梯度gradk(x,y)的绝对值的最大值,
Figure BDA0001960394090000024
亮度边缘梯度gradk(x,y)由像素的四个方向的加权平均亮度变化计算:
Figure BDA0001960394090000025
Gk(r,s)为用来计算的四个加权算子。k表示方向,r、s为Gk的行和列。
计算出左视点最终的像素域的JND阈值:
JND(x,y)=max{JNDL(x,y),JNDT(x,y)}。
(2).划分右视点中丢失块的尺寸:
建立公式:
Figure BDA0001960394090000031
其中,W和H分别为图像的高度和宽度,JNDr(x,y)和JNDl(x,y)分别表示右、左视点的匹配的JND阈值。
假设右视点出错,根据全局视差和以上理论计算丢失块的JND阈值,以JND阈值的方差来划分当前丢失块:如果当前丢失块的JND阈值的方差大于设定的阈值T2(设置T2=4),则将丢失块划分为4个相等尺寸的子块,之后循环计算子块的JND阈值方差,如果依然大于设定的阈值T2继续对子块划分,其中约束条件为子块的深度depth<4。
(3).构建候选矢量集初步恢复丢失块:
候选矢量集选取的是每个丢失块周围相关性较大的邻块的矢量,它们分别是当前子块的左上、上、右上、左、左下的4×4块和上、下、左、右、左下的64×64块;如果这些块可用,则获取4×4块的运动/视差矢量MV/DV、64×64块的局部视差矢量,局部视差矢量即为64×64块中所有视差矢量的平均值,由于可能存在将属于背景区域的丢失块判断为属于前景区域的情况,这里将零运动矢量加入候选矢量集;
丢失块的候选参考块通过构建的矢量集分别从前向参考帧、后向参考帧、视点参考帧来寻找;首先利用外边界匹配准则(Outer Boundary Matching Algorithm,OBMA)从丢失块的候选矢量集中选取某一MV/DV使得前向参考帧、后向参考帧、视点参考帧中参考块的DSAD(V)的值最小,DSAD(V)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和;
Figure BDA0001960394090000032
其中,V=(vx,vy)是候选矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数,ωΔ,Δ={u,d,l,r}是边界的权重因子,定义为:ωΔ=0,为丢失块;ωΔ=0.5,为恢复块;ωΔ=1,为正确接收块。
比较前向参考帧中的DSAD1、后向参考帧中的DSAD2、视点间参考帧中的DSAD3的值:如果DSAD3>max{DSAD1,DSAD2},且|DSAD1-DSAD2|≤T3,设置T3=16>>Depth,Depth为当前子块的深度值,将前向参考帧中参考块的像素值和后向参考帧中参考块的像素值加权平均来填充丢失块;否则,选取min{DSAD1,DSAD2,DSAD3}中MV/DV恢复丢失块。
(4).质量提升阶段:
计算当前初步恢复块的外边界像素和对应候选块的外边界像素的LBP(LocalBinary Patterns,局部二进制模式)值:
Figure BDA0001960394090000041
Figure BDA0001960394090000042
其中,(x,y)是像素坐标,ic是当前外边界像素,ip是ic的3×3邻域内的像素,P=0,1,2,3,…,7;
计算初步恢复块的外边界像素的LBP值和参考块的外边界像素的LBP值后,将两个LBP值的二进制进行异或运算得到像素的相似度,计算丢失块与参考块的纹理相似度TS:
Figure BDA0001960394090000043
其中,LBPc(n)是当前丢失块的外边界像素的LBP二进制值,LBPr(n)是候选参考块的外边界像素的LBP二进制值,N表示边界一行或一列的像素个数。ωΔ是边界权重因子。
当外边界纹理相似度TS小于等于设定的阈值T4时,利用在相邻视点中搜索最佳视差矢量的方法恢复丢失块,设置T4=6。在进行视点间搜索最佳视差矢量时,对外边界像素计算绝对差值的和TDSAD(V)时扩展边界像素到3像素宽度:
Figure BDA0001960394090000044
V=(vx,vy)是候选运动矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数;视点间视差矢量搜索的范围为Vsearch=(vx±32,vy);选择使得TDSAD(Vsearch)值最小的对应最佳Vsearch作为视差矢量来恢复丢失块。
本发明方法方法针对基于MV-HEVC框架对立体视频在传输过程中右视点发生的丢包而导致的解码画面失真,将外边界匹配准则与LBP算子结合应用在丢失块的边界匹配上,同时考虑了匹配时的边界像素差异和纹理差异,使得匹配精度提升。仿真实验表明该方法对立体视频流传输丢包有很好的恢复效果。
附图说明
图1是本发明立体视频错误隐藏方法的主要流程图;
图2是加权低通滤波器算子;
图3是计算对应像素四个方向亮度边缘梯度的加权算子;
图4是参考块类型和矢量构建图;
图5是参考块和候选块匹配图;
图6是视点间搜索最佳视差矢量图;
图7是PozanStreet序列的丢包图;
图8是PozanStreet序列丢包后的恢复图。
具体实施方式
结合以下具体实施例和附图,对本发明进一步的详细说明。
如图1,一种基于HEVC标准的立体三维视频错误隐藏方法,首先确定立体视频流中右视点的丢失块的所属区域类型,根据丢失块的所属区域类型的不同,分别采用不同的恢复方法。丢失块的所属区域类型判断方法如下:
分别获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块,将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值ΔD:
Figure BDA0001960394090000051
其中,(x0,y0)是丢失块左上角的像素坐标,(i,j)是相对于左上角像素坐标的偏移值,t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧,p(x0+i,y0+j,t-1)表示前向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,p(x0+i,y0+j,t+1)表示后向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,S为丢失块未经划分处理的尺寸,S=64;
将ΔD与设定的阈值T1(T1=15)进行比较:
Figure BDA0001960394090000061
如果ΔD小于等于阈值T1,在阈值范围内将丢失块标记为0,则该丢失块的所属区域类型是背景区域,采用加权平均前后向帧中同位置的像素值来填补丢失块;如果ΔD大于阈值T1,则判断该丢失块的所属区域类型是前景区域,标记为1,采用构建候选矢量集对丢失块进行矢量位移补偿恢复。
构建候选矢量集对丢失块进行矢量位移补偿恢复的方法如下:
(1).计算像素域的空域恰可察觉失真JND(Just Noticeable Distortion)阈值:
JND阈值根据由背景亮度自适应效应得到的阈值JNDL(x,y),和由空间对比度掩蔽效应得到的阈值JNDT(x,y)得到:
Figure BDA0001960394090000062
其中,(x,y)为像素坐标,bg(x,y)为坐标(x,y)上像素的背景亮度;
Figure BDA0001960394090000063
p(x,y)是坐标为(x,y)的像素的亮度值,如图2所示,B(a,b),a,b=1,...,5为加权低通滤波器算子,a和b表示B的行和列;
JNDT(x,y)=mg(x,y)×α(bg(x,y))+β(bg(x,y));
α(bg(x,y))=bg(x,y)×0.0001+0.115;
β(bg(x,y))=λ-bg(x,y)×0.01;
α(bg(x,y))和β(bg(x,y))都是背景亮度的函数,β(bg(x,y))中的参数λ取
Figure BDA0001960394090000064
mg(x,y)是对应像素四个方向亮度边缘梯度gradk(x,y)的绝对值的最大值,
Figure BDA0001960394090000065
亮度边缘梯度gradk(x,y)由像素的四个方向的加权平均亮度变化计算:
Figure BDA0001960394090000066
如图3所示,Gk(r,s)为用来计算的四个加权算子。k表示方向,r、s为Gk的行和列。
JND阈值是混合背景亮度自适应效应和空间对比度掩蔽效应这两这种影响因素的复杂函数,假设由占主导的因素来决定,计算出左视点最终的像素域的JND阈值:
JND(x,y)=max{JNDL(x,y),JNDT(x,y)}。
(2).划分右视点中丢失块的尺寸:
根据Wang提出的当左视点图像PSNR超过32dB,右视点图像低于左视点图像2dB,人没有主观感知差异的理论,建立如下公式:
Figure BDA0001960394090000071
其中,W和H分别为图像的高度和宽度,JNDr(x,y)和JNDl(x,y)分别表示右、左视点的匹配的JND阈值。
假设右视点出错,根据全局视差和以上理论计算丢失块的JND阈值,以JND阈值的方差来划分当前丢失块:如果当前丢失块的JND阈值的方差大于设定的阈值T2(设置T2=4),则将丢失块划分为4个相等尺寸的子块,之后循环计算子块的JND阈值方差,如果依然大于设定的阈值T2继续对子块划分,其中约束条件为子块的深度depth<4。
(3).构建候选矢量集初步恢复丢失块:
候选矢量集选取的是每个丢失块周围相关性较大的邻块的矢量,它们分别是当前子块的左上、上、右上、左、左下的4×4块和上、下、左、右、左下的64×64块。具体在图4表示为A0、A1、A2、A3、A4和B0、B1、B2、B3、B4。如果这些块可用,则获取4×4块的运动/视差矢量MV/DV、64×64块的局部视差矢量,局部视差矢量即为64×64块中所有视差矢量的平均值,由于可能存在将属于背景区域的丢失块判断为属于前景区域的情况,这里将零运动矢量加入候选矢量集。
丢失块的参考类型如图4所示。丢失块的候选参考块通过构建的矢量集分别从前向参考帧、后向参考帧、视点参考帧来寻找;首先利用外边界匹配准则(Outer BoundaryMatching Algorithm,OBMA)从丢失块的候选矢量集中选取某一MV/DV使得前向参考帧、后向参考帧、视点参考帧中参考块的DSAD(V)的值最小。
Figure BDA0001960394090000081
如图5所示,DSAD(V)是丢失块CB的外边界像素与参考块RB的外边界像素的绝对差值之和。V=(vx,vy)是候选矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数,ωΔ,Δ={u,d,l,r}是边界的权重因子,定义为:ωΔ=0,为丢失块;ωΔ=0.5,为恢复块;ωΔ=1,为正确接收块;
比较前向参考帧中的DSAD1、后向参考帧中的DSAD2、视点间参考帧中的DSAD3的值:如果DSAD3>max{DSAD1,DSAD2},且|DSAD1-DSAD2|≤T3,设置T3=16>>Depth,Depth为当前子块的深度值,将前向参考帧中参考块的像素值和后向参考帧中参考块的像素值加权平均来填充丢失块;否则,选取min{DSAD1,DSAD2,DSAD3}中MV/DV恢复丢失块。
(4).质量提升阶段:
传统外边界匹配准则以边界像素亮度差异大小来判断匹配精度。在质量提升阶段应用LBP算子检测边界纹理匹配相似度。类似于计算边界像素亮度差异的做法,计算当前初步恢复块的外边界像素和对应候选块的外边界像素的LBP(Local Binary Patterns,局部二进制模式)值:
Figure BDA0001960394090000082
Figure BDA0001960394090000083
其中,(x,y)是像素坐标,ic是当前外边界像素,ip是ic的3×3邻域内的像素,P=0,1,2,3,…,7;
计算初步恢复块的外边界像素的LBP值和参考块的外边界像素的LBP值后,将两个LBP值的二进制进行异或运算得到像素的相似度,计算丢失块与参考块的纹理相似度TS:
Figure BDA0001960394090000084
其中,LBPc(n)是当前丢失块的外边界像素的LBP二进制值,LBPr(n)是候选参考块的外边界像素的LBP二进制值,N表示边界一行或一列的像素个数。ωΔ是边界权重因子。
当外边界纹理相似度TS小于等于设定的阈值T4时,利用在相邻视点中搜索最佳视差矢量的方法恢复丢失块,设置T4=6。如图6所示,在进行视点间搜索最佳视差矢量时,对外边界像素计算绝对差值的和TDSAD(V)时扩展边界像素到3像素宽度:
Figure BDA0001960394090000091
其中,V=(vx,vy)是候选运动矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数;视点间视差矢量搜索的范围为Vsearch=(vx±32,vy);选择使得TDSAD(Vsearch)值最小的对应最佳Vsearch作为视差矢量来恢复丢失块。
为了验证本发明对于立体视频传输丢包后的视频失真重建性能,实例中进行仿真实验得到图7的丢包图以及图8的恢复效果图。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

Claims (5)

1.一种基于HEVC标准的立体三维视频错误隐藏方法,该方法首先确定立体视频流中右视点的丢失块的所属区域类型,根据丢失块的所属区域类型的不同,分别采用不同的恢复方法;其特征在于:丢失块的所属区域类型判断方法如下:
分别获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块,将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值ΔD:
Figure FDA0002521825520000011
其中,(x0,y0)是丢失块左上角的像素坐标,(i,j)是相对于左上角像素坐标的偏移值,t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧,p(x0+i,y0+j,t-1)表示前向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,p(x0+i,y0+j,t+1)表示后向参考帧中丢失块对应(x0+i,y0+j)位置的像素值,S为丢失块未经划分处理的尺寸;
将ΔD与设定的阈值T1进行比较:如果ΔD小于等于阈值T1,在阈值范围内将丢失块标记为0,则该丢失块的所属区域类型是背景区域,采用加权平均前后向帧中同位置的像素值来填补丢失块;如果ΔD大于阈值T1,则判断该丢失块的所属区域类型是前景区域,标记为1,采用构建候选矢量集对丢失块进行矢量位移补偿恢复,方法如下:
(1).计算像素域的空域恰可察觉失真JND阈值:
JND阈值根据由背景亮度自适应效应得到的阈值JNDL(x,y),和由空间对比度掩蔽效应得到的阈值JNDT(x,y)得到:
Figure FDA0002521825520000012
其中,(x,y)为像素坐标,bg(x,y)为坐标(x,y)上像素的背景亮度;
Figure FDA0002521825520000013
p(x,y)是坐标为(x,y)的像素的亮度值,B(a,b),a,b=1,...,5为加权低通滤波器算子,a和b表示B的行和列;
JNDT(x,y)=mg(x,y)×α(bg(x,y))+β(bg(x,y));
α(bg(x,y))=bg(x,y)×0.0001+0.115;
β(bg(x,y))=λ-bg(x,y)×0.01;
α(bg(x,y))和β(bg(x,y))都是背景亮度的函数,β(bg(x,y))中的参数λ取
Figure FDA0002521825520000021
mg(x,y)是对应像素四个方向亮度边缘梯度gradk(x,y)的绝对值的最大值,
Figure FDA0002521825520000022
亮度边缘梯度gradk(x,y)由像素的四个方向的加权平均亮度变化计算:
Figure FDA0002521825520000023
Gk(r,s)为用来计算的四个加权算子,k表示方向,r、s为Gk的行和列;
计算出左视点最终的像素域的JND阈值:JNDl(x,y)=max{JNDL(x,y),JNDT(x,y)};
(2).划分右视点中丢失块的尺寸:
建立如下公式:
Figure FDA0002521825520000024
其中,W和H分别为图像的高度和宽度,JNDr(x,y)表示右视点的匹配的JND阈值;
假设右视点出错,根据全局视差和以上理论计算丢失块的JND阈值,以JND阈值的方差来划分当前丢失块:如果当前丢失块的JND阈值的方差大于设定的阈值T2,则将丢失块划分为4个相等尺寸的子块,之后循环计算子块的JND阈值方差,如果依然大于设定的阈值T2继续对子块划分,其中约束条件为子块的深度depth<4;
(3).构建候选矢量集,初步恢复丢失块:
候选矢量集选取的是每个丢失块周围相关性较大的邻块的矢量,它们分别是当前子块的左上、上、右上、左、左下的4×4块和上、下、左、右、左下的64×64块;如果这些块可用,则获取4×4块的运动/视差矢量MV/DV、64×64块的局部视差矢量,局部视差矢量即为64×64块中所有视差矢量的平均值,将零运动矢量加入候选矢量集;
丢失块的候选参考块通过构建的矢量集分别从前向参考帧、后向参考帧、视点参考帧来寻找;首先利用外边界匹配准则从丢失块的候选矢量集中选取某一MV/DV使得前向参考帧、后向参考帧、视点参考帧中参考块的DSAD(V)的值最小,DSAD(V)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和;
Figure FDA0002521825520000031
其中,V=(vx,vy)是候选矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数,ωΔ,Δ={u,d,l,r}是边界的权重因子,定义为:ωΔ=0,为丢失块;ωΔ=0.5,为恢复块;ωΔ=1,为正确接收块;
比较前向参考帧中的DSAD1、后向参考帧中的DSAD2、视点间参考帧中的DSAD3的值:如果DSAD3>max{DSAD1,DSAD2},且|DSAD1-DSAD2|≤T3,设置T3=16>>Depth,Depth为当前子块的深度值,将前向参考帧中参考块的像素值和后向参考帧中参考块的像素值加权平均来填充丢失块;否则,选取min{DSAD1,DSAD2,DSAD3}中MV/DV恢复丢失块;
(4).质量提升阶段:
计算当前初步恢复块的外边界像素和对应候选块的外边界像素的局部二进制模式值LBP:
Figure FDA0002521825520000032
Figure FDA0002521825520000033
其中,(x,y)是像素坐标,ic是当前外边界像素,ip是ic的3×3邻域内的像素,P=0,1,2,3,…,7;
计算初步恢复块的外边界像素的LBP值和参考块的外边界像素的LBP值后,将两个LBP值的二进制进行异或运算得到像素的相似度,计算丢失块与参考块的纹理相似度TS:
Figure FDA0002521825520000034
其中,LBPc(n)是当前丢失块的外边界像素的LBP二进制值,LBPr(n)是候选参考块的外边界像素的LBP二进制值,N表示边界一行或一列的像素个数;ωΔ是边界权重因子;
当外边界纹理相似度TS小于等于设定的阈值T4时,利用在相邻视点中搜索最佳视差矢量的方法恢复丢失块;在进行视点间搜索最佳视差矢量时,对外边界像素计算绝对差值和TDSAD(V)时扩展边界像素到3像素宽度:
Figure FDA0002521825520000041
其中,(x0,y0)为丢失宏块左上角像素的坐标位置,V=(vx,vy)是候选运动矢量,fn和fn-1分别为当前帧和前一参考帧,N表示边界一行或一列的像素个数;候选运动矢量V对应的SAD值为TDSAD(V);视点间视差矢量搜索的范围为Vsearch=(vx±32,vy);选择使得TDSAD(Vsearch)值最小的对应最佳Vsearch作为视差矢量来恢复丢失块。
2.如权利要求1所述的一种基于HEVC标准的立体三维视频错误隐藏方法,其特征在于:S=64。
3.如权利要求1所述的一种基于HEVC标准的立体三维视频错误隐藏方法,其特征在于:T1=15。
4.如权利要求2所述的一种基于HEVC标准的立体三维视频错误隐藏方法,其特征在于:T2=4。
5.如权利要求2所述的一种基于HEVC标准的立体三维视频错误隐藏方法,其特征在于:T4=6。
CN201910081049.7A 2019-01-28 2019-01-28 一种基于hevc标准的立体三维视频错误隐藏方法 Active CN109819230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910081049.7A CN109819230B (zh) 2019-01-28 2019-01-28 一种基于hevc标准的立体三维视频错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910081049.7A CN109819230B (zh) 2019-01-28 2019-01-28 一种基于hevc标准的立体三维视频错误隐藏方法

Publications (2)

Publication Number Publication Date
CN109819230A CN109819230A (zh) 2019-05-28
CN109819230B true CN109819230B (zh) 2020-08-25

Family

ID=66605397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910081049.7A Active CN109819230B (zh) 2019-01-28 2019-01-28 一种基于hevc标准的立体三维视频错误隐藏方法

Country Status (1)

Country Link
CN (1) CN109819230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083502B (zh) * 2019-11-04 2021-06-08 杭州电子科技大学 一种基于块编码特性的3d视频错误隐藏方法
CN111225217B (zh) * 2019-12-16 2022-05-10 功智域控科技(苏州)有限公司 一种基于虚拟视点绘制的3d-hevc错误隐藏方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119844A (ja) * 2010-11-30 2012-06-21 Mitsubishi Electric Corp エラーコンシールメント装置
CN103237226A (zh) * 2013-04-07 2013-08-07 宁波大学 一种立体视频宏块丢失错误隐藏方法
CN108668135A (zh) * 2018-04-12 2018-10-16 杭州电子科技大学 一种基于人眼感知的立体视频b帧错误隐藏方法
CN108924568A (zh) * 2018-06-01 2018-11-30 杭州电子科技大学 一种基于3d-hevc框架的深度视频错误隐藏方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119844A (ja) * 2010-11-30 2012-06-21 Mitsubishi Electric Corp エラーコンシールメント装置
CN103237226A (zh) * 2013-04-07 2013-08-07 宁波大学 一种立体视频宏块丢失错误隐藏方法
CN108668135A (zh) * 2018-04-12 2018-10-16 杭州电子科技大学 一种基于人眼感知的立体视频b帧错误隐藏方法
CN108924568A (zh) * 2018-06-01 2018-11-30 杭州电子科技大学 一种基于3d-hevc框架的深度视频错误隐藏方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Motion Compensated Error Concealment for HEVC Based on Block-Merging and Residual Energy》;Yueh-Lun Chang,Yuriy A. Reznik;《2013 20th International Packet Video Workshop》;20131231;全文 *
《感知视频编码及其错误隐藏技术研究》;李承欣;《中国优秀硕士学位论文全文数据库-信息科技辑》;20180831;全文 *
《面向立体视频传输的右视点图像错误隐藏》;周洋,郁梅;《光 电 子 · 激 光》;20110430;第22卷(第4期);全文 *

Also Published As

Publication number Publication date
CN109819230A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN104602028B (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN107682705B (zh) 基于mv-hevc框架的立体视频b帧错误隐藏方法
Yang et al. Depth-assisted temporal error concealment for intra frame slices in 3-D video
TWI511530B (zh) Distributed video coding system and decoder for distributed video coding system
US9451233B2 (en) Methods and arrangements for 3D scene representation
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
WO2011053255A1 (en) Methods, devices, and computer readable mediums for processing a digital picture
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
US6317460B1 (en) Motion vector generation by temporal interpolation
CN109819230B (zh) 一种基于hevc标准的立体三维视频错误隐藏方法
CN102510500A (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
Pourazad et al. Generating the depth map from the motion information of H. 264-encoded 2D video sequence
Zhu et al. Spatial error concealment for stereoscopic video coding based on pixel matching
CN108668135B (zh) 一种基于人眼感知的立体视频b帧错误隐藏方法
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
KR101544158B1 (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
CN111010583B (zh) 一种基于残差分块的自适应多视点视频错误隐藏方法
CN103856782A (zh) 基于多视点视频整帧丢失的自适应错误掩盖方法
Shih et al. Spiral-like pixel reconstruction algorithm for spatiotemporal video error concealment
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
CN109922349B (zh) 基于视差矢量外推的立体视频右视点b帧错误隐藏方法
CN104581185B (zh) 一种应用于立体视频切换帧的自适应错误隐藏方法
Lie et al. Error concealment for the transmission of H. 264/AVC-compressed 3D video in color plus depth format
CN111225217B (zh) 一种基于虚拟视点绘制的3d-hevc错误隐藏方法
Marcelino et al. Lost block reconstruction in depth maps using color image contours

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant