CN108668135B - 一种基于人眼感知的立体视频b帧错误隐藏方法 - Google Patents

一种基于人眼感知的立体视频b帧错误隐藏方法 Download PDF

Info

Publication number
CN108668135B
CN108668135B CN201810326867.4A CN201810326867A CN108668135B CN 108668135 B CN108668135 B CN 108668135B CN 201810326867 A CN201810326867 A CN 201810326867A CN 108668135 B CN108668135 B CN 108668135B
Authority
CN
China
Prior art keywords
block
bjnd
blocks
motion
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810326867.4A
Other languages
English (en)
Other versions
CN108668135A (zh
Inventor
周洋
吴佳忆
周辉
谢菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810326867.4A priority Critical patent/CN108668135B/zh
Publication of CN108668135A publication Critical patent/CN108668135A/zh
Application granted granted Critical
Publication of CN108668135B publication Critical patent/CN108668135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明一种基于人眼感知的立体视频B帧错误隐藏方法。传统的错误隐藏技术对于新标准HEVC，以及扩展的多视点的新标准MV‑HEVC不能很好适应。本发明方法首先对立体视频中的丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式；对运动块使用基于双目恰可察觉失真模型的立体视频错误隐藏算法进行恢复，具体是：首先自适应尺寸划分，然后建立候选运动/视差矢量集，计算基于BJND模型匹配准则值，最后选择最优运动矢量恢复。本发明方法除了结合了新标准的特性并改进了已有错误隐藏方法之外，还考虑了人眼对于视频画面的失真度特性，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

Description

一种基于人眼感知的立体视频B帧错误隐藏方法
技术领域
本发明属于视频编解码技术领域，具体涉及一种基于人眼感知的立体视频B帧错误隐藏方法。
背景技术
错误隐藏是针对视频在网络传输过程中，由于网络环境恶劣，或者网络中断传输等导致视频流数据包丢失现象，不用通过网络重传机制，在视频流解码端通过视频画面在时域和空域之间的相关性直接恢复丢失块信息。
目前在错误隐藏的研究主要有：1)根据时域相关性，由于视频帧的时域相关性，所以运动矢量在相邻帧是近似的，通过运动矢量来恢复丢失块；2)根据空域相关性，利用一帧画面在空间上满足像素阶变性，通过相邻的像素进行恢复；3)根据时域和空域想结合的技术，对丢失块进行分类，然后通过分类后，在采用相应的时域/空域的技术进行恢复。
传统的错误隐藏技术主要面向基于H.264标准的平面视频错误隐藏，然而对于新标准HEVC，以及扩展的多视点的新标准MV-HEVC并不能很好的适应。
发明内容
本发明的目的就是提出了一种基于人眼感知的立体视频B帧错误隐藏方法。本发明方法除了结合了新标准的特性并改进了已有错误隐藏方法之外，还考虑了人眼对于视频画面的失真度特性。
本发明方法首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用基于双目恰可察觉失真模型(Binocular Just Noticeable Difference,BJND)的立体视频错误隐藏算法进行恢复。其中BJND模型是Zhao等提出的成熟技术。
1、对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：
(1)首先获取前向参考帧中的同位块B1；
(2)然后获取后向参考帧中的同位块B2；
(3)计算两个块的绝对差值ΔB：
Figure BDA0001626858770000011
其中，B1(x+i,y+j,t-n)表示前向参考帧中的同位块，B2(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；
(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：
Figure BDA0001626858770000021
2、对不同的丢失块类型采用不同的恢复方式，就是对所述静止块和运动块采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复；其中：
对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B1/B2的块直接拷贝填充到当前丢失块；
对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，实现步骤如下：
1)自适应尺寸划分：
a.计算逐像素点BJND值，计算公式如下：
Figure BDA0001626858770000022
其中，d是在坐标(i,j)的水平视差值，BJNDl是左视点图像坐标为(i,j)的像素的BJND值，BJNDl值依赖于右视点图像帧在对应像素点位置的背景亮度水平bgr，边缘梯度值ehr，噪声幅值nr；TC为刚可察觉失真可见性阈值，0≤nr≤TC；λ为拟合参数，λ＝1.25。视差d的求取方法采用全局视差求取方法，该方法是成熟的技术。需要注意的是，如果右视点没有噪声，nr＝0,等式右边第二项值为1，则BJNDl值等于TC值，定义如下所示：
BJNDl(i,j,d)＝TC(bg,eh)＝Tlimit(bg)+K(bg)×eh；
其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下所示：
Figure BDA0001626858770000023
Figure BDA0001626858770000024
Figure BDA0001626858770000031
其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，GH、GV分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；EH和EV分别表示水平和垂直梯度值。Tlimit(bg)，K(bg)分别定义如下所示：
Figure BDA0001626858770000032
K(bg)＝-10-6×(0.7×bg2+32×bg)+0.07；
b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：
Figure BDA0001626858770000033
Figure BDA0001626858770000034
其中，BJNDavg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJNDvar表示8×8块的BJND标准差。根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，通过实验测试，选用T＝3～5；
c.判断边界点运动矢量：
S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；
S2.对矩阵B沿边界进行判断并融和区域标记号。以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，则判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，则判断为不同运动特性的区域，保留区域标记号；
S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；
d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准(MV-HEVC)中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；
2)建立候选运动/视差矢量集：
将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；
该候选运动/视差矢量集在恢复子块过程中会进行更新。如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；
3)计算基于BJND模型匹配准则值DBJND：
DBJND＝max(DVBS-BMA-BJNDaverage,0)；
其中，BJNDaverage为重建子块的BJND平均值，子块大小由32×32到4×4；DVBS-BMA为变尺寸块边界匹配算法(VBS-BMA)的计算值，它考虑了重建块内边界与丢失块外边界的匹配度，其计算式为：
Figure BDA0001626858770000041
其中，
Figure BDA0001626858770000042
分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量vk补偿后的重建块；wl为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即wT为上边界权重因子，wB为下边界权重因子，wL为左边界权重因子，wR为右边界权重因子，各分量的计算公式如下：
Figure BDA0001626858770000043
Figure BDA0001626858770000044
Figure BDA0001626858770000045
Figure BDA0001626858770000046
Figure BDA0001626858770000047
其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，vk为运动/视差矢量集中第k个运动/视差矢量，
Figure BDA0001626858770000051
fc(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；fr(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值。
4)选择最优运动矢量恢复：
通过步骤3)对运动矢量集中的每个运动/视差矢量计算DBJND，并将最小的DBJND与0比较，如果存在最小的DBJND≤0，则认为当前使得DBJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的DBJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：
Figure BDA0001626858770000052
Figure BDA0001626858770000053
其中，(DVx,DVy)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HGl，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SADl为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p1(i,j)表示为受损块的某外边界块的像素值，p2(i+dvx,j+dvy)表示为视点间匹配块对应外边界块的像素值；(dvx,dvy)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ωl,l＝{T,B,L,R}，其值具体设置如下：
Figure BDA0001626858770000054
选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DVx,DVy)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。
本发明提出一种基于人眼感知的立体视频B帧错误隐藏方法，能解决在新的立体视频扩展标准MV-HEVC下没有相应的立体视频错误隐藏恢复技术，以及先前H.264标准下的错误隐藏技术不能直接应用在HEVC标准中的不足。该方法结合了人眼感知特性，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。
附图说明
图1是本发明基于人眼感知的立体视频B帧错误隐藏方法流程图。
图2是本发明中自适应尺寸划分流程图。
具体实施方式
结合以下具体实施例和附图，对本发明进一步的详细说明。
如图1和2，一种基于人眼感知的立体视频B帧错误隐藏方法，首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复。
1、对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：
(1)首先获取前向参考帧中的同位块B1；
(2)然后获取后向参考帧中的同位块B2；
(3)计算两个块的绝对差值ΔB：
Figure BDA0001626858770000061
其中，B1(x+i,y+j,t-n)表示前向参考帧中的同位块，B2(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；
(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：
Figure BDA0001626858770000062
2、对不同的丢失块类型采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复。
对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B1/B2的块直接拷贝填充到当前丢失块；
对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，步骤如下：
1)自适应尺寸划分：
a.计算逐像素点BJND值，计算公式如下：
Figure BDA0001626858770000063
其中，d是在坐标(i,j)的水平视差值，BJNDl是左视点图像坐标为(i,j)的像素的BJND值，BJNDl值依赖于右视点图像帧在对应像素点位置的背景亮度水平bgr，边缘梯度值ehr，噪声幅值nr；TC为刚可察觉失真可见性阈值，0≤nr≤TC；λ为拟合参数，λ＝1.25。视差d的求取方法采用全局视差求取方法，该方法是成熟的技术。需要注意的是，如果右视点没有噪声，nr＝0,等式右边第二项值为1，则BJNDl值等于TC值，定义如下所示：
BJNDl(i,j,d)＝TC(bg,eh)＝Tlimit(bg)+K(bg)×eh；
其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下所示：
Figure BDA0001626858770000071
Figure BDA0001626858770000072
Figure BDA0001626858770000073
其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，GH、GV分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；EH和EV分别表示水平和垂直梯度值。Tlimit(bg)，K(bg)分别定义如下所示：
Figure BDA0001626858770000074
K(bg)＝-10-6×(0.7×bg2+32×bg)+0.07；
b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：
Figure BDA0001626858770000075
Figure BDA0001626858770000076
其中，BJNDavg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJNDvar表示8×8块的BJND标准差。根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，通过实验测试，选用T＝3～5；
c.判断边界点运动矢量：
S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；
S2.对矩阵B沿边界进行判断并融和区域标记号。以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，则判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，则判断为不同运动特性的区域，保留区域标记号；
S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；
d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准(MV-HEVC)中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；
2)建立候选运动/视差矢量集：
将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；
该候选运动/视差矢量集在恢复子块过程中会进行更新。如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；
3)计算基于BJND模型匹配准则值DBJND：
DBJND＝max(DVBS-BMA-BJNDaverage,0)；
其中，BJNDaverage为重建子块的BJND平均值，子块大小由32×32到4×4；DVBS-BMA为变尺寸块边界匹配算法(VBS-BMA)的计算值，它考虑了重建块内边界与丢失块外边界的匹配度，其计算式为：
Figure BDA0001626858770000081
其中，
Figure BDA0001626858770000082
分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量vk补偿后的重建块；wl为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即wT为上边界权重因子，wB为下边界权重因子，wL为左边界权重因子，wR为右边界权重因子，各分量的计算公式如下：
Figure BDA0001626858770000091
Figure BDA0001626858770000092
Figure BDA0001626858770000093
Figure BDA0001626858770000094
Figure BDA0001626858770000095
其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，vk为运动/视差矢量集中第k个运动/视差矢量，
Figure BDA0001626858770000096
fc(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；fr(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值。
4)选择最优运动矢量恢复：
通过步骤3)对运动矢量集中的每个运动/视差矢量计算DBJND，并将最小的DBJND与0比较，如果存在最小的DBJND≤0，则认为当前使得DBJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的DBJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：
Figure BDA0001626858770000097
Figure BDA0001626858770000098
其中，(DVx,DVy)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HGl，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SADl为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p1(i,j)表示为受损块的某外边界块的像素值，p2(i+dvx,j+dvy)表示为视点间匹配块对应外边界块的像素值；(dvx,dvy)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ωl,l＝{T,B,L,R}，其值具体设置如下：
Figure BDA0001626858770000101
选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DVx,DVy)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于人眼感知的立体视频B帧错误隐藏方法，其特征在于发明方法首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用BJND模型的立体视频错误隐藏算法进行恢复；所述的BJND模型为基于双目恰可察觉失真模型；具体是：
A.对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：
(1)首先获取前向参考帧中的同位块B1；
(2)然后获取后向参考帧中的同位块B2；
(3)计算两个块的绝对差值ΔB：
Figure FDA0002469663000000011
其中，B1(x+i,y+j,t-n)表示前向参考帧中的同位块，B2(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；
(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：
Figure FDA0002469663000000012
B.对不同的丢失块类型采用不同的恢复方式，就是对所述静止块和运动块采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复；其中：
对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B1/B2的块直接拷贝填充到当前丢失块；
对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，实现步骤如下：
1)自适应尺寸划分：
a.计算逐像素点BJND值，计算公式如下：
Figure FDA0002469663000000021
其中，d是在坐标(i,j)的水平视差值，BJNDl(i,j,d)是左视点图像坐标为(i,j)的像素的BJND值，BJNDl(i,j,d)依赖于右视点图像帧在对应像素点位置的背景亮度水平值bgr(i+d,j)、边缘梯度值ehr(i+d,j)、噪声幅值nr(i+d,j)；
λ为拟合参数，λ＝1.25；TC(bgr(i+d,j),ehr(i+d,j))为刚可察觉失真可见性值，0≤nr(i+d,j)≤TC(bgr(i+d,j),ehr(i+d,j))；
如果右视点没有噪声，nr(i+d,j)＝0，等式右边第二项值为1，则BJNDl(i,j,d)等于TC(bgr(i+d,j),ehr(i+d,j))；
定义TC(bgr(i+d,j),ehr(i+d,j))＝TC(bg,eh)＝Tlimit(bg)+K(bg)×eh；
其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下：
Figure FDA0002469663000000022
Figure FDA0002469663000000023
Figure FDA0002469663000000024
其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，GH、GV分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；EH和EV分别表示水平和垂直梯度值；Tlimit(bg)，K(bg)分别定义如下所示：
Figure FDA0002469663000000025
K(bg)＝-10-6×(0.7×bg2+32×bg)+0.07；
b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：
Figure FDA0002469663000000031
Figure FDA0002469663000000032
其中，BJNDavg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJNDvar表示8×8块的BJND标准差；根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，T＝3～5；
c.判断边界点运动矢量：
S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；
S2.对矩阵B沿边界进行判断并融和区域标记号；以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，判断为不同运动特性的区域，保留区域标记号；
S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；
d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；
2)建立候选运动/视差矢量集：
将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；
该候选运动/视差矢量集在恢复子块过程中会进行更新；如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；
3)计算基于BJND模型匹配准则值DBJND：
DBJND＝max(DVBS-BMA-BJNDaverage,0)；
其中，BJNDaverage为重建子块的BJND平均值，子块大小由32×32到4×4；DVBS-BMA为变尺寸块边界匹配算法的计算值，计算式为：
Figure FDA0002469663000000041
其中，
Figure FDA0002469663000000042
分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量vk补偿后的重建块；wl为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即wT为上边界权重因子，wB为下边界权重因子，wL为左边界权重因子，wR为右边界权重因子，各分量的计算公式如下：
Figure FDA0002469663000000043
Figure FDA0002469663000000044
Figure FDA0002469663000000045
Figure FDA0002469663000000046
Figure FDA0002469663000000047
其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，vk为运动/视差矢量集中第k个运动/视差矢量，
Figure FDA0002469663000000048
fc(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；fr(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值；
4)选择最优运动矢量恢复：
通过步骤3)对运动矢量集中的每个运动/视差矢量计算DBJND，并将最小的DBJND与0比较，如果存在最小的DBJND≤0，则认为当前使得DBJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的DBJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：
Figure FDA0002469663000000051
Figure FDA0002469663000000052
其中，(DVx,DVy)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HGl，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SADl为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p1(i,j)表示为受损块的某外边界块的像素值，p2(i+dvx,j+dvy)表示为视点间匹配块对应外边界块的像素值；(dvx,dvy)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ωl,l＝{T,B,L,R}，其值具体设置如下：
Figure FDA0002469663000000053
选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DVx,DVy)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。
CN201810326867.4A 2018-04-12 2018-04-12 一种基于人眼感知的立体视频b帧错误隐藏方法 Active CN108668135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810326867.4A CN108668135B (zh) 2018-04-12 2018-04-12 一种基于人眼感知的立体视频b帧错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810326867.4A CN108668135B (zh) 2018-04-12 2018-04-12 一种基于人眼感知的立体视频b帧错误隐藏方法

Publications (2)

Publication Number Publication Date
CN108668135A CN108668135A (zh) 2018-10-16
CN108668135B true CN108668135B (zh) 2020-08-25

Family

ID=63782275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810326867.4A Active CN108668135B (zh) 2018-04-12 2018-04-12 一种基于人眼感知的立体视频b帧错误隐藏方法

Country Status (1)

Country Link
CN (1) CN108668135B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819230B (zh) * 2019-01-28 2020-08-25 杭州电子科技大学 一种基于hevc标准的立体三维视频错误隐藏方法
CN110062219B (zh) * 2019-03-12 2020-11-06 杭州电子科技大学 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法
CN111010583B (zh) * 2019-11-29 2021-09-07 杭州电子科技大学 一种基于残差分块的自适应多视点视频错误隐藏方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621708A (zh) * 2009-07-29 2010-01-06 武汉大学 基于dct域的彩色图像可觉察失真度计算方法
CN103167291A (zh) * 2013-03-08 2013-06-19 宁波大学 一种基于结构相似度的立体视频整帧丢失错误隐藏方法
CN107682705A (zh) * 2017-09-26 2018-02-09 杭州电子科技大学 基于mv‑hevc框架的立体视频b帧错误隐藏方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255589A1 (en) * 2009-08-03 2011-10-20 Droplet Technology, Inc. Methods of compressing data and methods of assessing the same
CN101729911B (zh) * 2009-12-23 2011-10-05 宁波大学 一种基于视觉感知的多视点图像颜色校正方法
KR101937673B1 (ko) * 2012-09-21 2019-01-14 삼성전자주식회사 3ｄ 디스플레이에 대한 ｊｎｄｄ 모델을 생성, 상기 ｊｎｄｄ 모델을 이용하여 깊이 영상을 개선하는 방법 및 시스템
US10455215B2 (en) * 2016-06-22 2019-10-22 International Business Machines Corporation System, method, and recording medium for a closed-loop immersive viewing technology coupled to drones

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621708A (zh) * 2009-07-29 2010-01-06 武汉大学 基于dct域的彩色图像可觉察失真度计算方法
CN103167291A (zh) * 2013-03-08 2013-06-19 宁波大学 一种基于结构相似度的立体视频整帧丢失错误隐藏方法
CN107682705A (zh) * 2017-09-26 2018-02-09 杭州电子科技大学 基于mv‑hevc框架的立体视频b帧错误隐藏方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
面向HBP 编码格式的立体视频B 帧整帧丢失分层错误隐藏算法;周 洋 蒋刚毅 郁 梅 胡方宁 王海泉;《电 子 与 信 息 学 报》;20140228;全文 *
面向立体视频传输的右视点图像错误隐藏;周 洋，郁梅，蒋刚毅，刘蔚悦，蒋志迪，李福翠;《光电子· 激光》;20110430;全文 *

Also Published As

Publication number Publication date
CN108668135A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN107682705B (zh) 基于mv-hevc框架的立体视频b帧错误隐藏方法
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
CN108668135B (zh) 一种基于人眼感知的立体视频b帧错误隐藏方法
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
El-Shafai et al. Encoder-independent decoder-dependent depth-assisted error concealment algorithm for wireless 3D video communication
CN104602028B (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN102595145B (zh) 一种立体视频整帧丢失错误隐藏方法
Yang et al. Depth-assisted temporal error concealment for intra frame slices in 3-D video
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
Zhu et al. Spatial error concealment for stereoscopic video coding based on pixel matching
CN110660131A (zh) 一种基于深度背景建模的虚拟视点空洞填补方法
Fu et al. Temporal consistency enhancement on depth sequences
WO2016078162A1 (zh) 一种基于hevc的3d视频快速编码方法
CN109819230B (zh) 一种基于hevc标准的立体三维视频错误隐藏方法
CN103856782B (zh) 基于多视点视频整帧丢失的自适应错误掩盖方法
CN110062219B (zh) 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法
Amado Assuncao et al. Spatial error concealment for intra-coded depth maps in multiview video-plus-depth
Tai et al. An effiicient full frame algorithm for object-based error concealment in 3D depth-based video
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding
CN109922349B (zh) 基于视差矢量外推的立体视频右视点b帧错误隐藏方法
CN107509074A (zh) 基于压缩感知的自适应3d视频编解码方法
Doan et al. Efficient view synthesis based error concealment method for multiview video plus depth
Li et al. Fast frame-rate up-conversion of depth video via video coding
CN111770346B (zh) 一种基于显著性的立体三维视频错误隐藏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant