CN108924568B - 一种基于3d-hevc框架的深度视频错误隐藏方法 - Google Patents

Abstract

本发明涉及一种基于3D‑HEVC框架的深度视频错误隐藏方法。目前还缺乏在错误发生在深度图的情况下，通过错误隐藏方法改进图像最终质量的有效方法。本发明方法先把深度图中各64×64大小的编码单元块进行分类，划分成静止块和运动块，然后对静止块采用从参考帧直接拷贝同位块进行错误隐藏，对运动块采用矢量补偿的方法进行错误隐藏，最后对错误隐藏后性能不佳的错误修复块进行进一步性能优化。矢量补偿方法具体是：首先构建运动共享矢量、空域矢量集，然后计算全局视差矢量集，重建丢失块，最后计算外边界匹配度。本发明方法结合了新标准的特性并改进了已有错误隐藏方法，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

Description

一种基于3D-HEVC框架的深度视频错误隐藏方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于3D-HEVC的面向深度图传输出错的错误隐藏方法。

背景技术

错误隐藏是针对视频在网络传输过程中进行开展的。由于传输环境恶劣或是网络传输中断等传输不良因素导致，在传输过程中有可能发生传输信息丢包。错误隐藏是在发生传输信息丢包情况下不进行网络重传机制时运用到的技术。

MVD格式视频中，不仅要考虑到纹理图发生的传输错误，还要考虑到深度图发生传输错误，深度图在MVD格式进行虚拟视点合成时有着重要的作用，不准确的深度图会使虚拟视点的绘制效果出现模糊重影等失真，进而影响整个3D视频的体验。为了有更好的3D视频体验，我们要将纹理图与深度图视为同等重要的因素。

发明内容

本发明的目的是研究在错误发生在深度图的情况下，如何利用有效的错误隐藏方法改进图像最终质量，提供一种基于3D-HEVC框架下深度图视频序列的错误隐藏方法。

本发明方法的具体步骤如下：

步骤(1).根据图像丢失块像素点的坐标，获取前向参考帧中的同位块B₁和后向参考帧中的同位块B₂，同位块大小为64×64。

步骤(2).取两个同位块B₁和B₂像素均值的差值绝对值,当平均像素差Th大于阈值1，即判断当前丢失块为运动块，反之则判断为静止块。

如果判断丢失块的类型为静止块，采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复；

如果判断丢失块的类型为运动块，采用基于矢量补偿的方法进行恢复；再对最终恢复性能较差的丢失块进行质量再提升。

基于矢量补偿的方法恢复的具体步骤是：

步骤(a).构建运动共享矢量：

将纹理图中同位块的可用运动矢量缩放后，加入待选矢量集；

若对应的同位块为帧内编码块，则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量；

缩放计算方法：

MV_texture为最终优化后的运动矢量，MV_t为纹理图中直接获取到的运动矢量，R为缩放比例。

步骤(b).构建空域矢量集：

选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集，其对应位移矢量集为{SV₀,SV₁,SV₂,SV₃,SV₄,SV₅}；如果上述待选块中发生丢失，则放弃该块的运动矢量信息。

步骤(c).全局视差矢量：

全局视差矢量值DV_g计算方法：

其中N是大小为8×8且存在视差矢量的块的数量，DV_i是第i个为8×8块的视差矢量值；

由上述运动共享矢量、5个空域矢量，一个全局矢量构成了待选矢量集。

步骤(d).重建丢失块：

从待选矢量集中选择某候选运动/视差矢量，利用运动/视差矢量补偿的方法，填充丢失块中像素位置的空洞；

若当前帧F中丢失块像素点p的位置为(x,y)，待选矢量集的候选位移矢量为SV＝(sv_i,sv_j)，通过偏移补偿计算得到参考帧F_r中对应像素点p′的位置(x′,y′)，其中：

用F_r中像素点p′的像素值作为重建像素填充当前帧F中的空洞。

步骤(e).计算外边界匹配度：

由加权外边界匹配算法(DOBMA)计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度D_obma，计算公式如下：

其中，w_otop为图像块上外边界分配的权重值、w_oleft为图像块左外边界分配的权重值、w_obottom为图像块下外边界分配的权重值、w_oright为图像块右外边界分配的权重值；k，j分别表示图像块边界像素横、纵坐标的变化值；M是编码单元CU块的边长；p₁(x+k,y+1)、p₂(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值；p₁(x-1,y+j)、p₂(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值；p₁(x+k,y+M)、p₂(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值；p₁(x+M,y+j)、p₂(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值；

根据加权外边界匹配算法计算深度图外边界匹配度

和纹理图外边界匹配度

的绝对差值，具体公式为：

MAD为计算出的绝对差值；

表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块，二者之间的加权外边界匹配度；

表示与当前深度图对应的纹理图中的同位块，与此同位块通过纹理图位移矢量找到的补偿块，二者之间的加权外边界像匹配度；选择位移矢量补偿中MAD值最小的重建块作为最终的填充块。

质量再提升具体方法是：

步骤(f).质量提升重建算法公式：

通过运动/视差补偿在参考帧中获取候选块作为重建块；若丢失块是双向参考，则在前后参考帧中进行运动/视差补偿，分别在这两个参考帧中获取候选块，然后将两个候选块的像素值取平均值作为最后的重建块；

丢失块像素值重建的计算公式是：

F_t(x,y)＝w₁F_t1(x₁',y₁')+w₂F_t2(x₂',y₂')；

其中F_t(x,y)为丢失块像素点(x,y)坐标处的像素值，F_t1(x₁',y₁')，F_t2(x₂',y₂')分别为两个参考帧中候选块对应位置(x₁',y₁')、(x₂',y₂')处的像素值，w₁和w₂分别为加权值；单向参考时w₁或w₂的值为1，同时另一者的值为0；双向参考时，w₁＝w₂＝0.5；

步骤(g).利用参考帧重组合进行丢失块质量提升：

根据丢失块周围正确接收块的位移矢量，在当前丢失块位置运用矢量补偿，获取每个参考帧中的重建参考块，判断重建参考块位置是否发生遮挡，剔除不可用的参考帧。

Step1：选择遮挡判断块：

选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块A_l，l＝1～8，分别为丢失块上预测单元A₁、A₂，丢失块下预测单元A₃、A₄，丢失块左预测单元A₅、A₆，丢失块右预测单元A₇、A₈；接着由矢量补偿方法找到参考块，选取参考块四周相同位置的8个PU块A_l′作为遮挡判断参考块。

Step2：判断参考补偿块是否被遮挡：

由矢量补偿方法找到参考块，通过遮挡判断块的像素值是否存在显著增大进行判断，计算像素归一化值δ是否大于判断阈值Th2，

其中,h、g分别为横纵坐标偏移量，A_l'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值，A_l(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值；当周边判断块中有一个块的δ值大于阈值Th2时，则判断参考补偿块发生了遮挡；若参考补偿块判断为被遮挡块，则表明此参考补偿块的来源帧不适合作为参考帧，并去除掉这部分遮挡导致的参考帧。

然后，从各可用参考帧中获取到的重建参考块进行两两组合，可得到新的重建参考块用其进行受损块重建；选择质量最好的重建块作为最后的质量提升后的重建块。

本发明方法结合了新标准的特性并改进了已有错误隐藏方法，能改进在新的HEVC立体视频扩展标准3D-HEVC下相应的立体视频错误隐藏恢复技术，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

附图说明

图1为本发明方法的流程图。

具体实施方式

以下结合具体实施例和附图，对本发明进一步的详细说明。

一种基于3D-HEVC框架的深度视频错误隐藏方法，该方法先把深度图中各64×64大小的编码单元块进行分类，划分成静止块和运动块。接着，对静止块采用从参考帧直接拷贝同位块进行错误隐藏，对运动块采用矢量补偿的方法进行错误隐藏。然后，对错误隐藏后性能不佳的错误修复块进行进一步性能优化。

如图1所示，该方法的具体步骤如下：

步骤(1).根据图像丢失块像素点的坐标，获取前向参考帧中的同位块B₁和后向参考帧中的同位块B₂，同位块大小为64×64。

步骤(2).取两个同位块B₁和B₂像素均值的差值绝对值,当平均像素差Th大于阈值1，即判断当前丢失块为运动块，反之则判断为静止块。

如果判断丢失块的类型为静止块，采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复。

如果判断丢失块的类型为运动块，采用基于矢量补偿的方法进行恢复；再对最终恢复性能较差的丢失块进行质量再提升。

基于矢量补偿的方法恢复的具体步骤是：

步骤(a).构建运动共享矢量：

纹理图与深度图由于编解码运动矢量的精度不同，将纹理图中同位块的可用运动矢量缩放后，加入待选矢量集；若对应的同位块为帧内编码块，则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量；缩放计算如下：

MV_texture为最终优化后的运动矢量，MV_t为纹理图中直接获取到的运动矢量，R为缩放比例。

步骤(b).构建空域矢量集：

选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集，其对应位移矢量集为{SV₀,SV₁,SV₂,SV₃,SV₄,SV₅}；如果上述待选块中某些块发生丢失，则放弃该块的运动矢量信息。

步骤(c).全局视差矢量：

全局视差矢量值DV_g计算如下：

其中N是大小为8×8且存在视差矢量的块的数量，DV_i是第i个为8×8块的视差矢量值。

由上述运动共享矢量、5个空域矢量，1个全局矢量构成了待选矢量集。

步骤(d).重建丢失块：

从待选矢量集中选择某候选运动/视差矢量，利用运动/视差矢量补偿的方法，填充丢失块中像素位置的空洞；

若当前帧F中丢失块像素点p的位置为(x,y)，待选矢量集的候选位移矢量为SV＝(sv_i,sv_j)，通过偏移补偿计算得到参考帧F_r中对应像素点p′的位置(x′,y′)，其中：

用F_r中像素点p′的像素值作为重建像素填充当前帧F中的空洞。

步骤(e).计算外边界匹配度：

由加权外边界匹配算法(DOBMA)计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度，计算公式如下：

其中，w_otop为图像块上外边界分配的权重值、w_oleft为图像块左外边界分配的权重值、w_obottom为图像块下外边界分配的权重值、w_oright为图像块右外边界分配的权重值；k,j分别表示图像块边界像素横、纵坐标的变化值；M是编码单元CU块的边长；p₁(x+k,y+1)、p₂(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值；p₁(x-1,y+j)、p₂(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值；p₁(x+k,y+M)、p₂(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值；p₁(x+M,y+j)、p₂(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值；

根据加权外边界匹配算法(DOBMA)计算深度图外边界匹配度和纹理图外边界匹配度的绝对差值，具体公式如下：

MAD为计算出的绝对差值；

表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块，二者之间的加权外边界匹配度；

表示与当前深度图对应的纹理图中的同位块，与此同位块通过纹理图位移矢量找到的补偿块，二者之间的加权外边界像匹配度。当MAD值越小，表明受损块的重建质量越好。选择位移矢量补偿中MAD值最小的重建块作为最终的填充块。

质量再提升具体方法是：

步骤(f).质量提升重建算法公式：

通过运动/视差补偿在参考帧中获取候选块作为重建块；若丢失块是双向参考，则在前后参考帧中进行运动/视差补偿，分别在这两个参考帧中获取候选块，然后将两个候选块的像素值取平均值作为最后的重建块；

丢失块像素值重建的计算公式是：

F_t(x,y)＝w₁F_t1(x₁',y₁')+w₂F_t2(x₂',y₂')；

其中F_t(x,y)为丢失块像素点(x,y)坐标处的像素值，F_t1(x₁',y₁')，F_t2(x₂',y₂')分别为两个候选块对应位置(x₁',y₁')、(x₂',y₂')处的像素值，w₁和w₂分别为加权值。单向参考时w₁或w₂的值为1，同时另一者的值为0；双向参考时，w₁＝w₂＝0.5。

步骤(g).利用参考帧重组合进行丢失块质量提升：

在3D-HEVC编码结构中，如某帧图像有2个参考列表L0、L1，每个参考列表分别包含有V个参考帧，即L0{R0,R1,R2,…,RV}，L1{R′0,R′1,R′2,…,R′V}，......；若不考虑重复，这帧图像中的丢失块在重建时参考块的来源至多有2V个帧。根据丢失块周围正确接收块的位移矢量，在当前丢失块位置运用矢量补偿，获取每个参考帧中的重建参考块。

判断重建参考块位置是否发生遮挡，剔除不可用的参考帧。

Step1：选择遮挡判断块：

选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块A_l，l＝1～8，分别为丢失块上预测单元A₁、A₂，丢失块下预测单元A₃、A₄，丢失块左预测单元A₅、A₆，丢失块右预测单元A₇、A₈。接着由矢量补偿方法找到参考块，选取参考块四周相同位置的8个PU块A_l′作为遮挡判断参考块。

Step2：判断参考补偿块是否被遮挡：

深度图的像素值是根据物体与深度相机的距离决定的，距离深度相机越近的物体，在深度图中对应的像素值越大。像素块亮度值小的块，即离深度相机远的块，在运动过程中可能会被像素块亮度值大的块，即离深度相机近的块所遮挡。所以在发生块遮挡的情况时，前景块的像素值会替代被遮挡块的像素值。此时被遮挡块的像素值会显著增大。由矢量补偿方法找到参考块，通过遮挡判断块的像素值是否存在显著增大进行判断，通过公式计算像素归一化值δ是否大于判断阈值Th2，

其中,h、g分别为横纵坐标偏移量，A_l'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值，A_l(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值。当周边判断块中有一个块的δ值大于阈值Th2(Th2＝20)时，则判断参考补偿块发生了遮挡。若参考补偿块判断为被遮挡块，则表明此参考补偿块的来源帧不适合作为参考帧，并去除掉这部分遮挡导致的“不可用”参考帧。

从各可用参考帧中获取到的重建参考块进行两两组合，可得到新的重建参考块用其进行受损块重建；选择质量最好的重建块作为最后的质量提升后的重建块。

由于考虑到不同视频测试序列对本发明的影响，通过选取两种视频测试序列的丢包，对这类情况使用本发明的错误隐藏方法进行恢复，实验结果验证了该错误隐藏算法的适用性。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于3D-HEVC框架的深度视频错误隐藏方法，其特征在于该方法的具体步骤是：

步骤(1).根据图像丢失块像素点的坐标，获取前向参考帧中的同位块B₁和后向参考帧中的同位块B₂，同位块大小为64×64；

步骤(2).取两个同位块B₁和B₂像素均值的差值绝对值,当平均像素差Th大于阈值1，即判断当前丢失块为运动块，反之则判断为静止块；

如果判断丢失块的类型为静止块，采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复；

如果判断丢失块的类型为运动块，采用基于矢量补偿的方法进行恢复；再对最终恢复性能较差的丢失块进行质量再提升；

基于矢量补偿的方法恢复的具体步骤是：

步骤(a).构建运动共享矢量：

将纹理图中同位块的可用运动矢量缩放后，加入待选矢量集；

若对应的同位块为帧内编码块，则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量；

缩放计算方法：

MV_texture为最终优化后的运动矢量，MV_t为纹理图中直接获取到的运动矢量，R为缩放比例；

步骤(b).构建空域矢量集：

选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集，其对应位移矢量集为{SV₀,SV₁,SV₂,SV₃,SV₄,SV₅}；如果上述待选块中发生丢失，则放弃该块的运动矢量信息；

步骤(c).全局视差矢量：

全局视差矢量值DV_g计算方法：

其中N是大小为8×8且存在视差矢量的块的数量，DV_i是第i个为8×8块的视差矢量值；

由上述运动共享矢量、5个空域矢量，一个全局矢量构成了待选矢量集；

步骤(d).重建丢失块：

从待选矢量集中选择某候选运动/视差矢量，利用运动/视差矢量补偿的方法，填充丢失块中像素位置的空洞；

若当前帧F中丢失块像素点p的位置为(x,y)，待选矢量集的候选位移矢量为SV＝(sv_i,sv_j)，通过偏移补偿计算得到参考帧F_r中对应像素点p′的位置(x′,y′)，其中：

用F_r中像素点p′的像素值作为重建像素填充当前帧F中的空洞；

步骤(e).计算外边界匹配度：

由加权外边界匹配算法计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度：

其中，w_otop为图像块上外边界分配的权重值、w_oleft为图像块左外边界分配的权重值、w_obottom为图像块下外边界分配的权重值、w_oright为图像块右外边界分配的权重值；k，j分别表示图像块边界像素横、纵坐标的变化值；M是编码单元CU块的边长；p₁(x+k,y+1)、p₂(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值；p₁(x-1,y+j)、p₂(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值；p₁(x+k,y+M)、p₂(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值；p₁(x+M,y+j)、p₂(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值；

根据加权外边界匹配算法计算深度图外边界匹配度

和纹理图外边界匹配度

的绝对差值，具体公式为：

MAD为计算出的绝对差值；

表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块，二者之间的加权外边界匹配度；

表示与当前深度图对应的纹理图中的同位块，与此同位块通过纹理图位移矢量找到的补偿块，二者之间的加权外边界像匹配度；选择位移矢量补偿中MAD值最小的重建块作为最终的填充块；

质量再提升具体方法是：

步骤(f).质量提升重建算法公式：

通过运动/视差补偿在参考帧中获取候选块作为重建块；若丢失块是双向参考，则在前后参考帧中进行运动/视差补偿，分别在这两个参考帧中获取候选块，然后将两个候选块的像素值取平均值作为最后的重建块；

丢失块像素值重建的计算公式是：

F_t(x,y)＝w₁F_t1(x₁',y₁')+w₂F_t2(x₂',y₂')；

其中F_t(x,y)为丢失块像素点(x,y)坐标处的像素值，F_t1(x₁',y₁')，F_t2(x₂',y₂')分别为两个参考帧中候选块对应位置(x₁',y₁')、(x₂',y₂')处的像素值，w₁和w₂分别为加权值；单向参考时w₁或w₂的值为1，同时另一者的值为0；双向参考时，w₁＝w₂＝0.5；

步骤(g).利用参考帧重组合进行丢失块质量提升：

根据丢失块周围正确接收块的位移矢量，在当前丢失块位置运用矢量补偿，获取每个参考帧中的重建参考块，判断重建参考块位置是否发生遮挡，剔除不可用的参考帧；

Step1：选择遮挡判断块：

选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块A_l，l＝1～8，分别为丢失块上预测单元A₁、A₂，丢失块下预测单元A₃、A₄，丢失块左预测单元A₅、A₆，丢失块右预测单元A₇、A₈；接着由矢量补偿方法找到参考块，选取参考块四周相同位置的8个PU块A′_l作为遮挡判断参考块；

Step2：判断参考补偿块是否被遮挡：

由矢量补偿方法找到参考块，通过遮挡判断块的像素值是否存在显著增大进行判断，计算像素归一化值δ是否大于判断阈值Th2，

其中,h、g分别为横纵坐标偏移量，A_l'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值，A_l(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值；当周边判断块中有一个块的δ值大于阈值Th 2时，则判断参考补偿块发生了遮挡；若参考补偿块判断为被遮挡块，则表明此参考补偿块的来源帧不适合作为参考帧，并去除掉这部分遮挡导致的参考帧；

然后，从各可用参考帧中获取到的重建参考块进行两两组合，可得到新的重建参考块用其进行受损块重建；选择质量最好的重建块作为最后的质量提升后的重建块。

Images