CN110072113B - 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 - Google Patents

一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 Download PDF

Info

Publication number
CN110072113B
CN110072113B CN201910414604.3A CN201910414604A CN110072113B CN 110072113 B CN110072113 B CN 110072113B CN 201910414604 A CN201910414604 A CN 201910414604A CN 110072113 B CN110072113 B CN 110072113B
Authority
CN
China
Prior art keywords
dis
mode
skip
model
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910414604.3A
Other languages
English (en)
Other versions
CN110072113A (zh
Inventor
陈婧
粘春湄
曾焕强
朱建清
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910414604.3A priority Critical patent/CN110072113B/zh
Publication of CN110072113A publication Critical patent/CN110072113A/zh
Application granted granted Critical
Publication of CN110072113B publication Critical patent/CN110072113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法，属于视频编码领域，本方法包括CU尺寸判决和模式快速选择。首先，提取当前CU划分或者不划分时，遍历完DIS模式的RDcost作为特征，通过离线训练高斯模型，并且计算损失函数，将后验概率与损失函数作比较，判断当前CU是否为最佳尺寸；其次，提取最优模式是否是SKIP或者DIS时，遍历完SKIP或者DIS的RDcost作为特征，引入全零块，通过最小错误贝叶斯判决，判断当前最优模式是否是SKIP或者DIS。本发明一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法能够减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

Description

一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法
技术领域
本发明涉及视频编解码领域，特别是指一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法。
背景技术
近年来，3D视频应用广泛，但视频的数据量过大和传输带宽有限等也阻碍了3D视频技术的发展。为了解决这一问题，2013年由MPEG和ITU-T联合成立的致力于3D视频扩展发展专家组(JCT-3V)，提出了基于新一代高效视频编码标准HEVC的扩展3D-HEVC，它可以在保持3D视频重建质量基本不变的情况，减少视频存储量，降低传输带宽的压力。
3D-HEVC引入多视点加深度(Multiview Video Coding，MVD)的编码格式，仅编码三个基础视点的纹理图和深度图，然后在解码端使用基于深度图合成(Depth Image BasedRendering，DIBR)技术，生成虚拟视点用于合成3D视频。但是由于视点的增加和深度图的引入，导致了编码复杂程度大大提高，这严重影响了3D-HEVC的实用性。
于是，针对3D-HEVC的编码复杂程度高、时间代价高的问题，提出快速算法，在保持编码性能基本不变的情况下，降低编码复杂度和时间开销，具有一定的研究意义和实用价值。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，针对3D-HEVC标准计算复杂度高的问题，在保持编码性能基本不变的情况下，降低编码时间开销。
本发明采用如下技术方案：
一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：
训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值；将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数；将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数；
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分；模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块，且计算完DIS模式的参数后是全零块，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式。
所述CU尺寸判决特征值为当前CU中的DIS模式的RDcost即CUcost。
所述模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值Thr_risk比较，具体为：
Figure BDA0002063940500000021
若满足则终止CU划分，若否则继续划分。
所述离线训练高斯模型为：
Figure BDA0002063940500000031
X是为特征值，Q为状态；σ是标准差，u是标准差的平均值。
所述贝叶斯后验概率计算公式如下：
Figure BDA0002063940500000032
其中，Q与
Figure BDA0002063940500000033
是互为相反的状态，P(Q)状态为Q时的概率，
Figure BDA0002063940500000034
表示状态为
Figure BDA0002063940500000035
时的概率，两者相加为1。
将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式；具体为：将得到的贝叶斯后验概率进行如下判断
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明提取RDcost作为特征，针对深度图CU划分提出最小风险贝叶斯决策方法，有利于CU尺寸的快速判决。
2、本发明提出同时判决SKIP或者DIS为最佳模式，在不同视点和不同帧类型的情况下，设置不同的阈值，可以区分不同情况的特性。
附图说明
图1为本发明方法的训练流程图；
图2为本发明方法的测试流程图；
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，包括
参照图1，训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值。该CU尺寸判决特征值为计算当前CU中的DIS模式的RDcost即CUcost。模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
具体的，以两个1024x768的视频序列和两个1920x1088的视频序列的前25帧的编码结果作为训练集，在独立视点和非独立式视点，四种量化参数(parameterquantization,QP):34,39,42,45,不同帧类型：I帧，P帧和B帧，以及三种深度等级的CU：0，1，2的情况下提取特征值。
离线训练高斯模型，公式如下：
Figure BDA0002063940500000041
其中，X是指特征值，Q是指状态(例如CU有划分(S)和不划分(NS)两种状态)，σ是标准差，u是其平均值。
将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数，DIS模型的参数包括P(DIScost|DIS)，P(DIScost|nonDIS)，P(DIS)，P(nonDIS)，SKIP模型的参数包括P(SKIPcost|SKIP)，P(SKIPcost|nonSKIP)，P(SKIP)，P(nonSKIP)，nonDIS表示非DIS模型，nonSKIP表示非SKIP模型。P(DIS)和P(nonDIS)分别表示最佳模式为DIS模型的概率及最佳模式为非DIS模型的概率，二者相加为1。P(SKIP)和P(nonSKIP)分别表示最佳模式为SKIP模型的概率以及最佳模式不是SKIP模型的概率，二者相加为1。
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分。具体的，对于计算的后验概率，使用最小风险贝叶斯决策。设定一个损失因子λ(k)，k指NS与S两种情况。其计算公式如下：
Figure BDA0002063940500000051
计算损失函数，其计算公式如下：
R(NS|CUcost)＝λ(NS)P(CUcost|NS)P(NS)
R(S|CUcost)＝λ(S)P(CUcost|S)P(S)
当R(NS|CUcost)＜R(S|CUcost)时，即可提前终止当前CU继续划分，其风险贝叶斯决策的判决如下：
Figure BDA0002063940500000052
其中Thr_risk即为设定的阈值，若P(CUcost|NS)/P(CUcost|S)大于Thr_risk则终止CU划分，反之CU继续划分。
参照图2，模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块记SAZB(SKIP-All-Zero-Block)＝1，且计算完DIS模式的参数后是全零块记DAZB(DIS-All-Zero-Block)＝1，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式。具体如下：
贝叶斯后验概率计算公式如下：
Figure BDA0002063940500000061
其中，Q与
Figure BDA0002063940500000062
是互为相反的状态，P(Q)状态为Q时的概率，
Figure BDA0002063940500000063
表示状态为
Figure BDA0002063940500000064
时的概率，两者相加为1。
将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式；具体为：将得到的贝叶斯后验概率进行如下判断
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (7)

1.一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：
训练时，提取视频序列的前25帧的特征值，包括CU尺寸判决特征值和模式快速选择特征值；将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数；将模式快速选择特征输入离线训练高斯模型得到SKIP模型的参数和DIS模型的参数；
测试时，CU尺寸判决时，将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值比较，判断当前CU是否继续划分；模式选择时，根据SKIP模型的参数和DIS模型的参数分别计算SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率；若训练时计算完SKIP模式的参数后是全零块，且计算完DIS模式的参数后是全零块，将得到的贝叶斯后验概率与根据不同帧类型、独立视点和非独立视点设置的阈值比较，确定最优模式是否为SKIP模式或DIS模式，具体为：将得到的贝叶斯后验概率进行如下判断：
I帧：P(DIS|DIScost)>0.99；
P帧：P(SKIP|SKIPcost)>0.95||P(DIS|DIScost)>0.95；
B帧的独立视点：P(SKIP|SKIPcost)>0.85||P(DIS|DIScost)>0.85；
B帧的非独立视点：P(SKIP|SKIPcost)>0.95；
其中P(SKIP|SKIPcost)和P(DIS|DIScost)分别为SKIP模型的贝叶斯后验概率和DIS模型的贝叶斯后验概率，当满足以上条件之一，则判断最优模式为SKIP或DIS，并跳过其它模式的计算。
2.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述CU尺寸判决特征值为当前CU中的DIS模式的RDcost即CU cost。
3.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述模式快速选择特征值包括模式为DIS的RDcost即DIScost和模式为SKIPD的RDcost即SKIPcost。
4.如权利要求2所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：将CU尺寸判决特征值输入离线训练高斯模型得到CU尺寸判决模型的参数包括P(CUcost|NS)、P(CUcost|S)，NS表述状态为不划分，S表述状态为划分。
5.如权利要求4所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：将CU尺寸判决模型的参数结合最小风险贝叶斯决策得到后验概率，将其与预设阈值Thr_risk比较，具体为：
Figure FDA0004031095290000021
若满足则终止CU划分，若否则继续划分。
6.如权利要求1所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述离线训练高斯模型为：
Figure FDA0004031095290000022
X是为特征值，Q为状态；σ是标准差，u是标准差的平均值。
7.如权利要求6所述的一种基于贝叶斯决策的3D-HEVC深度图帧间快速算法，其特征在于：所述贝叶斯后验概率计算公式如下：
Figure FDA0004031095290000023
其中，Q与
Figure FDA0004031095290000024
是互为相反的状态，P(Q)状态为Q时的概率，
Figure FDA0004031095290000025
表示状态为
Figure FDA0004031095290000026
时的概率，两者相加为1。
CN201910414604.3A 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法 Active CN110072113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414604.3A CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414604.3A CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Publications (2)

Publication Number Publication Date
CN110072113A CN110072113A (zh) 2019-07-30
CN110072113B true CN110072113B (zh) 2023-03-10

Family

ID=67371065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414604.3A Active CN110072113B (zh) 2019-05-17 2019-05-17 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法

Country Status (1)

Country Link
CN (1) CN110072113B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601992A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于贝叶斯最小风险决策的skip模式快速选择方法
WO2017080420A1 (en) * 2015-11-09 2017-05-18 Versitech Limited Auxiliary data for artifacts –aware view synthesis
CN107710763A (zh) * 2015-06-29 2018-02-16 必卡姆公司 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601992A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于贝叶斯最小风险决策的skip模式快速选择方法
CN107710763A (zh) * 2015-06-29 2018-02-16 必卡姆公司 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序
WO2017080420A1 (en) * 2015-11-09 2017-05-18 Versitech Limited Auxiliary data for artifacts –aware view synthesis
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A fast intra depth map algorithm based on sum-of-gradient and segment-wise direct component coding;Chunmei Nian等;《2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS)》;20180122;全文 *
基于3D-HEVC的编码单元快速划分算法研究;魏丽莎等;《万方数据》;20170726;全文 *

Also Published As

Publication number Publication date
CN110072113A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN103248893B (zh) 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN109756719B (zh) 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
CN104378643B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
Shen et al. Selective disparity estimation and variable size motion estimation based on motion homogeneity for multi-view coding
CN108347605B (zh) 3d视频深度图像四叉树编码结构划分的快速决策方法
CN103338370B (zh) 一种多视点深度视频快速编码方法
US6317460B1 (en) Motion vector generation by temporal interpolation
CN103327327B (zh) 用于高性能视频编码hevc的帧间预测编码单元选择方法
CN105430415A (zh) 一种3d-hevc深度视频帧内快速编码方法
CN103813178A (zh) 一种基于编码单元深度时空相关性的快速hevc编码方法
Zhang et al. Efficient depth intra mode decision by reference pixels classification in 3D-HEVC
CN110072113B (zh) 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法
Yan et al. CTU layer rate control algorithm in scene change video for free-viewpoint video
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
Ma et al. Reducing Wedgelet lookup table size with down-sampling for depth map coding in 3D-HEVC
CN108833920B (zh) 一种基于光流和块匹配的dvc边信息融合方法
CN109040756B (zh) 一种基于hevc图像内容复杂度的快速运动估计方法
Gu et al. Simplified depth intra mode selection for 3D video compression
Dou et al. View synthesis optimization based on texture smoothness for 3D-HEVC
CN111031303A (zh) 基于贝叶斯决策定理的3d-hevc快速深度编码方法
CN107071479B (zh) 基于视点相关性的3d视频深度图像预测模式选择方法
CN108337523B (zh) 基于dis遗传性的3d视频深度图像帧内快速编码方法
CN110460842B (zh) 一种集成成像快速编码方法
CN113099224A (zh) 一种基于图像主纹理强度的单元划分和预测模型选择的视频编码方法
CN105847838A (zh) 一种hevc帧内预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant