CN110072113A - 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 - Google Patents

一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 Download PDF

Info

Publication number
CN110072113A
CN110072113A CN201910414604.3A CN201910414604A CN110072113A CN 110072113 A CN110072113 A CN 110072113A CN 201910414604 A CN201910414604 A CN 201910414604A CN 110072113 A CN110072113 A CN 110072113A
Authority
CN
China
Prior art keywords
model
dis
skip
mode
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910414604.3A
Other languages
English (en)
Other versions
CN110072113B (zh
Inventor
陈婧
粘春湄
曾焕强
朱建清
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910414604.3A priority Critical patent/CN110072113B/zh
Publication of CN110072113A publication Critical patent/CN110072113A/zh
Application granted granted Critical
Publication of CN110072113B publication Critical patent/CN110072113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法，属于视频编码领域，本方法包括CU尺寸判决和模式快速选择。首先，提取当前CU划分或者不划分时，遍历完DIS模式的RDcost作为特征，通过离线训练高斯模型，并且计算损失函数，将后验概率与损失函数作比较，判断当前CU是否为最佳尺寸；其次，提取最优模式是否是SKIP或者DIS时，遍历完SKIP或者DIS的RDcost作为特征，引入全零块，通过最小错误贝叶斯判决，判断当前最优模式是否是SKIP或者DIS。本发明一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法能够减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

Description

一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法
技术领域
本发明涉及视频编解码领域，特别是指一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法。
背景技术
近年来，3D视频应用广泛，但视频的数据量过大和传输带宽有限等也阻碍了3D视频技术的发展。为了解决这一问题，2013年由MPEG和ITU-T联合成立的致力于3D视频扩展发展专家组(JCT-3V)，提出了基于新一代高效视频编码标准HEVC的扩展3D-HEVC，它可以在保持3D视频重建质量基本不变的情况，减少视频存储量，降低传输带宽的压力。
3D-HEVC引入多视点加深度(Multiview Video Coding，MVD)的编码格式，仅编码三个基础视点的纹理图和深度图，然后在解码端使用基于深度图合成(Depth Image BasedRendering，DIBR)技术，生成虚拟视点用于合成3D视频。但是由于视点的增加和深度图的引入，导致了编码复杂程度大大提高，这严重影响了3D-HEVC的实用性。
于是，针对3D-HEVC的编码复杂程度高、时间代价高的问题，提出快速算法，在保持编码性能基本不变的情况下，降低编码复杂度和时间开销，具有一定的研究意义和实用价值。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，针对3D-HEVC标准计算复杂度高的问题，在保持编码性能基本不变的情况下，降低编码时间开销。
本发明采用如下技术方案：
一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：
训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值；将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数；将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数；
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分；模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块，且计算完DIS模式的参数后是全零块，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式。
所述CU尺寸判决特征值为当前CU中的DIS模式的RDcost即CUcost。
所述模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值Thr_risk比较，具体为：若满足则终止CU划分，若否则继续划分。
所述离线训练高斯模型为：
X是为特征值，Q为状态；σ是标准差，u是标准差的平均值。
所述贝叶斯后验概率计算公式如下：
其中，Q与是互为相反的状态，P(Q)状态为Q时的概率，表示状态为时的概率，两者相加为1。
将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式；具体为：将得到的贝叶斯后验概率进行如下判断
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明提取RDcost作为特征，针对深度图CU划分提出最小风险贝叶斯决策方法，有利于CU尺寸的快速判决。
2、本发明提出同时判决SKIP或者DIS为最佳模式，在不同视点和不同帧类型的情况下，设置不同的阈值，可以区分不同情况的特性。
附图说明
图1为本发明方法的训练流程图；
图2为本发明方法的测试流程图；
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，包括
参照图1，训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值。该CU尺寸判决特征值为计算当前CU中的DIS模式的RDcost即CUcost。模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
具体的，以两个1024x768的视频序列和两个1920x1088的视频序列的前25帧的编码结果作为训练集，在独立视点和非独立式视点，四种量化参数(parameterquantization,QP):34,39,42,45,不同帧类型：I帧，P帧和B帧，以及三种深度等级的CU：0，1，2的情况下提取特征值。
离线训练高斯模型，公式如下：
其中，X是指特征值，Q是指状态(例如CU有划分(S)和不划分(NS)两种状态)，σ是标准差，u是其平均值。
将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数，DIS模型的参数包括P(DIScost|DIS)，P(DIScost|nonDIS)，P(DIS)，P(nonDIS)，SKIP模型的参数包括P(SKIPcost|SKIP)，P(SKIPcost|nonSKIP)，P(SKIP)，P(nonSKIP)，nonDIS表示非DIS模型，nonSKIP表示非SKIP模型。P(DIS)和P(nonDIS)分别表示最佳模式为DIS模型的概率及最佳模式为非DIS模型的概率，二者相加为1。P(SKIP)和P(nonSKIP)分别表示最佳模式为SKIP模型的概率以及最佳模式不是SKIP模型的概率，二者相加为1。
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分。具体的，对于计算的后验概率，使用最小风险贝叶斯决策。设定一个损失因子λ(k)，k指NS与S两种情况。其计算公式如下：
计算损失函数，其计算公式如下：
R(NS|CUcost)＝λ(NS)P(CUcost|NS)P(NS)
R(S|CUcost)＝λ(S)P(CUcost|S)P(S)
当R(NS|CUcost)＜R(S|CUcost)时，即可提前终止当前CU继续划分，其风险贝叶斯决策的判决如下：
其中Thr_risk即为设定的阈值，若P(CUcost|NS)/P(CUcost|S)大于Thr_risk则终止CU划分，反之CU继续划分。
参照图2，模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块记SAZB(SKIP-All-Zero-Block)＝1，且计算完DIS模式的参数后是全零块记DAZB(DIS-All-Zero-Block)＝1，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式。具体如下：
贝叶斯后验概率计算公式如下：
其中，Q与是互为相反的状态，P(Q)状态为Q时的概率，表示状态为时的概率，两者相加为1。
将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式；具体为：将得到的贝叶斯后验概率进行如下判断
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：
训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值；将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数；将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数；
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分；模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块，且计算完DIS模式的参数后是全零块，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式。
2.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述CU尺寸判决特征值为当前CU中的DIS模式的RDcost即CUcost。
3.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
4.如权利要求2所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
5.如权利要求4所述的一种一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值Thr_risk比较，具体为：若满足则终止CU划分，若否则继续划分。
6.如权利要求1所述的一种一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述离线训练高斯模型为：
X是为特征值，Q为状态；σ是标准差，u是标准差的平均值。
7.如权利要求6所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述贝叶斯后验概率计算公式如下：
其中，Q与是互为相反的状态，P(Q)状态为Q时的概率，表示状态为时的概率，两者相加为1。
8.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式；具体为：将得到的贝叶斯后验概率进行如下判断
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
CN201910414604.3A 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 Active CN110072113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414604.3A CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414604.3A CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Publications (2)

Publication Number Publication Date
CN110072113A true CN110072113A (zh) 2019-07-30
CN110072113B CN110072113B (zh) 2023-03-10

Family

ID=67371065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414604.3A Active CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Country Status (1)

Country Link
CN (1) CN110072113B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601992A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于贝叶斯最小风险决策的skip模式快速选择方法
WO2017080420A1 (en) * 2015-11-09 2017-05-18 Versitech Limited Auxiliary data for artifacts –aware view synthesis
CN107710763A (zh) * 2015-06-29 2018-02-16 必卡姆公司 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601992A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于贝叶斯最小风险决策的skip模式快速选择方法
CN107710763A (zh) * 2015-06-29 2018-02-16 必卡姆公司 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序
WO2017080420A1 (en) * 2015-11-09 2017-05-18 Versitech Limited Auxiliary data for artifacts –aware view synthesis
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUNMEI NIAN等: "A fast intra depth map algorithm based on sum-of-gradient and segment-wise direct component coding", 《2017 INTERNATIONAL SYMPOSIUM ON INTELLIGENT SIGNAL PROCESSING AND COMMUNICATION SYSTEMS (ISPACS)》 *
魏丽莎等: "基于3D-HEVC的编码单元快速划分算法研究", 《万方数据》 *

Also Published As

Publication number Publication date
CN110072113B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
Zhao et al. Depth no-synthesis-error model for view synthesis in 3-D video
US10349058B2 (en) Method for predicting depth map coding distortion of two-dimensional free viewpoint video
CN109040764B (zh) 一种基于决策树的hevc屏幕内容帧内快速编码算法
CN103179405A (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN104506872B (zh) 一种平面视频转立体视频的方法及装置
CN111464814B (zh) 一种基于视差引导融合的虚拟参考帧生成方法
CN105430415A (zh) 一种3d-hevc深度视频帧内快速编码方法
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN101621683A (zh) 一种基于avs的快速立体视频编码方法
CN109756719B (zh) 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
CN103067705B (zh) 一种多视点深度视频预处理方法
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN101404766A (zh) 一种多视点视频信号的编码方法
JP2004242318A (ja) 映像ブロック分割方法及びその装置
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
CN111385585B (zh) 一种基于机器学习的3d-hevc深度图编码单元划分方法
CN110072113A (zh) 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法
CN108259917A (zh) 基于深度时域下采样的三维视频编解码方法及系统
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
JP4707093B2 (ja) 自由視点映像生成システム
CN110062219A (zh) 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法
CN105704497B (zh) 面向3d-hevc的编码单元尺寸快速选择算法
Naemura et al. Fractal coding of a multi-view 3-D image
CN107105297A (zh) 一种针对3d‑hevc深度图帧内预测编码的快速优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant