CN108347605B - 3d视频深度图像四叉树编码结构划分的快速决策方法 - Google Patents

3d视频深度图像四叉树编码结构划分的快速决策方法 Download PDF

Info

Publication number
CN108347605B
CN108347605B CN201810096108.3A CN201810096108A CN108347605B CN 108347605 B CN108347605 B CN 108347605B CN 201810096108 A CN201810096108 A CN 201810096108A CN 108347605 B CN108347605 B CN 108347605B
Authority
CN
China
Prior art keywords
coding
current
coding block
block
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810096108.3A
Other languages
English (en)
Other versions
CN108347605A (zh
Inventor
伏长虹
陈浩
高梽强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810096108.3A priority Critical patent/CN108347605B/zh
Publication of CN108347605A publication Critical patent/CN108347605A/zh
Application granted granted Critical
Publication of CN108347605B publication Critical patent/CN108347605B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明公开了一种3D视频深度图像四叉树编码结构划分的快速决策方法。该方法为：首先经由传统编码方法得到当前编码块以及其第一个小的附属编码块的最优预测模式，以及对应的率失真值；然后判断第一个小的附属编码块的最优模式是否是Skip模式，若是，则进一步判断当前编码块的率失真值是否小于或等于第一个小的附属编码块率失真值的4倍，若是，则提前终止当前编码块得四叉树编码结构划分。本发明降低了深度图像帧内预测编码的复杂度，减少了预测所需的编码时间，并保证了最终解码端合成视角的视频质量。

Description

3D视频深度图像四叉树编码结构划分的快速决策方法
技术领域
本发明属于视频编解码技术领域，特别是一种3D视频深度图像四叉树编码结构划分的快速决策方法。
背景技术
新兴的多视点加深度图的视频格式是下一代3D视频系统的最主要的格式。它采用少量视点的纹理图信息和附加的相应视点的深度图信息来表示一个3D视频场景，而更多的视点信息可由基于深度图像的3D渲染技术来合成出来。由于在当前的3D视频系统中，深度图对于提供视差信息并引导合成过程起着关键性的作用，所以深度图编码的研究有其重要的实用意义。
3D-HEVC中的深度图像编码允许编码单元进行如图1所示的递归四叉树结构划分，其中编码单元中心的序号指的是编码块的编码顺序。这种编码结构划分方式为编码带来了极大的复杂度，特别是考虑到每一层划分深度上的每一个编码块的率失真优化过程都将遍历所有的预测模式。目前，学术界已有很多针对深度图预测模式选择过程简化的研究。文献1(H.B.Zhang,C.H.Fu,Y.L.Chan,S.H.Tsang,and W.C.Siu,“Probability-based DepthIntra Mode Skipping Strategy and Novel VSO Metric for DMM Decision in 3D-HEVC,”IEEE Trans.on Circuits and Syst.for Video Tech.,Vol.PP,No.99,pp.1-1,2017)中提出了一种简化DMM模式搜索过程中的率失真计算的方法。文献2(E.G.Mora,J.Jung,M.Cagnazzo and B.Pesquet,“Initialization,limitation,and predictivecoding of the depth and texture quadtree in 3D-HEVC,”IEEE Trans.on Circuitsand Syst.for Video Tech.,Vol.24,No.9,pp.1554-1565,Sept.2014)中提出了一种用于基于对应纹理视图的四叉树结构来限制当前深度视图四叉树结构的方法。而在文献3(Miok,K.,Nam,L.,and Li,S.:‘Fast single depth intra mode decision for depthmap coding in 3D-HEVC’,Int.Conf.on ICMEW,Turin,Italian,June 2015,pp.1-6)中，Mirk M等人设计了一种通过考虑方差和估计失真来提前确定四叉树结构的快速方法。
然而，现有的快速深度图像编码技术并没有充分考虑到Skip模式的特点。通过对真实编码比特流结果的研究，我们发现Skip模式，包括帧间Skip模式以及帧内DIS模式，在不同的四叉树划分深度中都仅占有极小的率失真值。这种Skip模式的小率失真值的特性，可以极大地帮助我们确定率失真优化决策不等式的临界值。当估计临界值满足一定的条件时，我们可以选择性地提前终止当前编码块的进一步四叉树结构划分。
总而言之，现有的深度图快速编码技术并没有充分考虑到Skip模式在不同划分深度中被选为最优模式时体现出的极小率失真值的特性，且现有的深度图模式选择算法的复杂度依然有待降低。
发明内容
本发明的目的在于提供一种3D视频深度图像四叉树编码结构划分的快速决策方法，在保证合成视角中视频质量的前提下，简化深度图像预测模式选择的计算过程。
实现本发明目的的技术解决方案为：一种3D视频深度图像四叉树编码结构划分的快速决策方法，包括如下步骤：
步骤1：经由传统编码方法，得到当前编码块的最优预测模式，以及当前编码块及对应的率失真值；
步骤2：判断当前编码块是否为最小编码单元：若是，跳至步骤8；否则，进行步骤3；
步骤3：对当前编码块进行四叉树结构划分，并对得到的每一个附属编码块重复步骤4～7；
步骤4：对当前附属编码块进行传统编码方法，计算该附属编码块的最优预测模式，以及该附属编码块相应的率失真值；
步骤5：若当前附属编码块是第一个，且该附属编码块的最优预测模式是Skip模式，则进行步骤6，否则，跳至步骤7；
步骤6：判断所得小的附属编码块的率失真值的4倍是否大于或等于当前编码块的率失真值，若是，则提前终止四叉树的继续划分，并跳至步骤8，否则，进行步骤7；
步骤7：判断是否是最后一个附属编码块，若是，则进行步骤8，否则，跳至步骤4进行下一个附属编码块的处理；
步骤8：结束当前编码块的编码。
进一步地，步骤1以及步骤4中所述传统编码方法指的是3D-HEVC中的深度图像编码方法。
进一步地，步骤5中所述Skip模式，具体指：若当前编码帧不是I帧时，包括帧间Skip模式以及帧内DIS模式；若当前编码帧是I帧时，则仅包括帧内DIS模式。
进一步地，步骤6中所述提前终止当前编码块的四叉树结构继续划分，具体是指：当前编码区域在最后的编码比特流中不再会出现比当前划分深度更深层的编码单元。
本发明与现有技术相比，其显著优点在于：(1)利用Skip模式在不同划分深度中被选为最优模式时体现出极小的率失真的特性，以4倍Skip附属小编码块的率失真值来确定四叉树结构率失真优化决策的临界值，并以此来提前终止当前编码块的进一步四叉树结构划分，大大降低了编码复杂度，并扩展了深度图编码领域的研究方向；(2)降低了深度图像帧内预测编码的复杂度，减少了预测所需的编码时间，并保证了最终解码端合成视角的视频质量。
附图说明
图1为传统编码方法中的四叉树划分结构的编码顺序示意图。
图2是本发明3D视频深度图像四叉树编码结构划分的快速决策方法的流程图。
具体实施方式
本发明鉴于Skip模式的极小率失真表现的发现，通过确定四个小的附属编码块的率失真和的临界值，选择性地提前终止当前编码块的进一步四叉树结构划分。
结合图2，3D视频深度图像四叉树编码结构划分的快速决策方法，具体包括如下步骤：
步骤1：经由传统编码方法，得到当前编码块的最优预测模式，以及当前编码块及对应的率失真值；
步骤2：判断当前编码块是否为最小编码单元：若是，跳至步骤8；否则，进行步骤3；
步骤3：对当前编码块进行四叉树结构划分，并对得到的每一个附属编码块重复步骤4～7；
步骤4：对当前附属编码块进行传统编码方法，计算该附属编码块的最优预测模式，以及该附属编码块相应的率失真值；
步骤5：若当前附属编码块是第一个，且该附属编码块的最优预测模式是Skip模式，则进行步骤6，否则，跳至步骤7；
步骤6：判断所得小的附属编码块的率失真值的4倍是否大于或等于当前编码块的率失真值，若是，则提前终止四叉树的继续划分，并跳至步骤8，否则，进行步骤7；
步骤7：判断是否是最后一个附属编码块，若是，则进行步骤8，否则，跳至步骤4进行下一个附属编码块的处理；
步骤8：结束当前编码块的编码。
进一步地，步骤1以及步骤4中所述传统编码方法指的是3D-HEVC中的深度图像编码方法。
进一步地，步骤5中所述Skip模式，具体指：若当前编码帧不是I帧时，包括帧间Skip模式以及帧内DIS模式；若当前编码帧是I帧时，则仅包括帧内DIS模式。
进一步地，步骤6中所述提前终止当前编码块的四叉树结构继续划分，具体是指：当前编码区域在最后的编码比特流中不再会出现比当前划分深度更深层的编码单元。
下面通过实施例，对本发明的技术方案作进一步具体的说明。
实施例
本实施例展示的是一种3D视频深度图像四叉树编码结构划分的快速决策方法，其流程如图2所示，其步骤包括：
步骤1：经由传统编码方法，得到当前编码块的最优预测模式，以及当前编码块及对应的率失真值；
步骤2：判断当前编码块是否为最小编码单元：若是，跳至步骤8；否则，进行步骤3；
步骤3：对当前编码块进行四叉树结构划分，并对得到的每一个附属编码块重复步骤4～7；
步骤4：对当前附属编码块进行传统编码方法，计算该附属编码块的最优预测模式，以及该附属编码块相应的率失真值；
步骤5：若当前附属编码块是第一个，且该附属编码块的最优预测模式是Skip模式，则进行步骤6，否则，跳至步骤7；
步骤6：判断所得小的附属编码块的率失真值的4倍是否大于或等于当前编码块的率失真值，若是，则提前终止四叉树的继续划分，并跳至步骤8，否则，进行步骤7；
步骤7：判断是否是最后一个附属编码块，若是，则进行步骤8，否则，跳至步骤4进行下一个附属编码块的处理；
步骤8：结束当前编码块的编码。
上述深度图编码快速方法被集成到3D-HEVC测试模型(HTM 16.1)编码器中，并与原始的HTM 16.1模型进行性能比较。测试序列和参数都参考文献”K.Muller,and A.Vetro,“Common test conditions of 3DV core experiments,”ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11JCT3V-G1100,January 2014”中提出的标准。文献”H.B.Zhang,C.H.Fu,Y.L.Chan,S.H.Tsang,and W.C.Siu,“Probability-based Depth Intra Mode SkippingStrategy and Novel VSO Metric for DMM Decision in 3D-HEVC,”IEEE Trans.onCircuits and Syst.for Video Tech.,Vol.PP,No.99,pp.1-1,2017”，以及文献”E.G.Mora,J.Jung,M.Cagnazzo and B.Pesquet,“Initialization,limitation,andpredictive coding of the depth and texture quadtree in 3D-HEVC,”IEEE Trans.onCircuits and Syst.for Video Tech.,Vol.24,No.9,pp.1554-1565,Sept.2014”中提出的快速编码方法也将被移植到深度图编码中，并与本发明方法在同样的平台上进行性能的比较。
表1本发明方法和Zhang，Mora的算法的编码结果对比
Figure BDA0001565051820000051
表1给出了鉴于编码时间和BDBR的编码性能比较。其中，BDBR表示同等客观视频质量的条件下，相较原始HTM方法比特率的节省情况。BDBR的计算基于总的比特率和合成视点的客观质量PSNR。编码时间比较的是相对于原始HTM16.1方法编码时间的节省情况。
从表1中可知，本发明的编码方法相较于目前最先进的方法(集成在HTM 16.1中)可以节省平均45.10％的时间，同时仅仅增加了0.09％的BDBR。这表明，本发明的编码方法降低了编码复杂度，并且同时保证了编码视频的质量。而Zhang的编码方法尽管BDBR保持得较好，但是编码时间并没有得到显著的减少。此外，Mora的方法虽然节省极大幅度的编码时间，但是BDBR的增幅表明该方法并不能保持一个相对可以接受的编码视图质量。综上，本发明的快速方法无疑最为优越。

Claims (4)

1.一种3D视频深度图像四叉树编码结构划分的快速决策方法，其特征在于，包括如下步骤：
步骤1：经由传统编码方法，得到当前编码块的最优预测模式，以及当前编码块和当前编码块对应的率失真值；
步骤2：判断当前编码块是否为最小编码单元：若是，跳至步骤8；否则，进行步骤3；
步骤3：对当前编码块进行四叉树结构划分，并对得到的四个附属编码块进行步骤4~7；
步骤4：对当前附属编码块进行传统编码方法，计算该附属编码块的最优预测模式，以及该附属编码块相应的率失真值；
步骤5：若当前附属编码块是第一个，且该附属编码块的最优预测模式是Skip模式，则进行步骤6，否则，跳至步骤7；
步骤6：判断当前附属编码块的率失真值的4倍是否大于或等于当前编码块的率失真值，若是，则提前终止当前编码块四叉树的继续划分，并跳至步骤8，否则，进行步骤7；
步骤7：判断是否是最后一个附属编码块，若是，则进行步骤8，否则，跳至步骤4进行下一个附属编码块的处理；
步骤8：结束当前编码块的编码。
2.根据权利要求1所述的3D视频深度图像四叉树编码结构划分的快速决策方法，其特征在于，步骤1以及步骤4中所述传统编码方法指的是3D-HEVC中的深度图像编码方法。
3.根据权利要求1所述的3D视频深度图像四叉树编码结构划分的快速决策方法，其特征在于，步骤5中所述Skip模式，具体指：若当前编码帧不是I帧时，包括帧间Skip模式以及帧内DIS模式；若当前编码帧是I帧时，则仅包括帧内DIS模式。
4.根据权利要求1所述的3D视频深度图像四叉树编码结构划分的快速决策方法，其特征在于，步骤6中所述提前终止当前编码块四叉树的继续划分，具体是指：当前编码区域在最后的编码比特流中不再会出现比当前划分深度更深层的编码单元。
CN201810096108.3A 2018-01-31 2018-01-31 3d视频深度图像四叉树编码结构划分的快速决策方法 Expired - Fee Related CN108347605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810096108.3A CN108347605B (zh) 2018-01-31 2018-01-31 3d视频深度图像四叉树编码结构划分的快速决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810096108.3A CN108347605B (zh) 2018-01-31 2018-01-31 3d视频深度图像四叉树编码结构划分的快速决策方法

Publications (2)

Publication Number Publication Date
CN108347605A CN108347605A (zh) 2018-07-31
CN108347605B true CN108347605B (zh) 2021-09-17

Family

ID=62961004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810096108.3A Expired - Fee Related CN108347605B (zh) 2018-01-31 2018-01-31 3d视频深度图像四叉树编码结构划分的快速决策方法

Country Status (1)

Country Link
CN (1) CN108347605B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446036B (zh) * 2019-07-29 2021-11-16 中南大学 一种基于多用途编码中帧内编码的编码单元快速划分方法
CN110446052B (zh) * 2019-09-03 2021-02-12 南华大学 一种3d-hevc帧内深度图快速cu深度选择方法
CN111131827A (zh) * 2019-12-16 2020-05-08 南京理工大学 一种3d-hevc帧间预测块快速划分方法及系统
CN113347415A (zh) * 2020-03-02 2021-09-03 阿里巴巴集团控股有限公司 编码模式确定方法和装置
CN112770120B (zh) * 2020-12-29 2022-05-20 南京理工大学 基于深度神经网络的3d视频深度图帧内快速编码方法
CN113794882B (zh) * 2021-08-31 2023-12-29 绍兴市北大信息技术科创中心 一种帧内快速编码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023233A (zh) * 2014-06-24 2014-09-03 华侨大学 一种hevc快速帧间预测方法
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN105704497A (zh) * 2016-01-30 2016-06-22 上海大学 面向3d-hevc的编码单元尺寸快速选择算法
CN105721865A (zh) * 2016-02-01 2016-06-29 同济大学 一种hevc帧间编码单元划分的快速决策算法
US9609358B2 (en) * 2013-07-23 2017-03-28 Ati Technologies Ulc Performing video encoding mode decisions based on down-scaled macroblock texture complexity
CN107396121A (zh) * 2017-08-22 2017-11-24 中南大学 一种基于分层b帧结构的编码单元深度预测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609358B2 (en) * 2013-07-23 2017-03-28 Ati Technologies Ulc Performing video encoding mode decisions based on down-scaled macroblock texture complexity
CN104023233A (zh) * 2014-06-24 2014-09-03 华侨大学 一种hevc快速帧间预测方法
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN105704497A (zh) * 2016-01-30 2016-06-22 上海大学 面向3d-hevc的编码单元尺寸快速选择算法
CN105721865A (zh) * 2016-02-01 2016-06-29 同济大学 一种hevc帧间编码单元划分的快速决策算法
CN107396121A (zh) * 2017-08-22 2017-11-24 中南大学 一种基于分层b帧结构的编码单元深度预测方法及装置

Also Published As

Publication number Publication date
CN108347605A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108347605B (zh) 3d视频深度图像四叉树编码结构划分的快速决策方法
CN103248893B (zh) 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN104125469B (zh) 一种用于hevc的快速编码方法
CN104378643B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN107087200B (zh) 针对高效率视频编码标准的跳过编码模式提前判决方法
KR20150109282A (ko) 다시점 비디오 신호 처리 방법 및 장치
CN103338370B (zh) 一种多视点深度视频快速编码方法
CN101933329A (zh) 视频编码和解码中用于隐性块分割的方法与设备
CN103873861A (zh) 一种用于hevc的编码模式选择方法
CN105409215A (zh) 深度预测模式选择方法及装置
CN110557646B (zh) 一种智能视点间的编码方法
KR20150110357A (ko) 다시점 비디오 신호 처리 방법 및 장치
CN104798375A (zh) 在3d视频编码中约束视差向量推导的方法及装置
CN103546758A (zh) 一种快速深度图序列帧间模式选择分形编码方法
CN110351552B (zh) 视频编码中一种快速编码方法
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
Li et al. Fast depth intra coding based on spatial correlation and rate distortion cost in 3D-HEVC
KR100947447B1 (ko) 다시점 동영상 부호화에서 고속 모드 결정 방법 및 장치
Chiang et al. Fast intra mode decision and fast CU size decision for depth video coding in 3D-HEVC
CN101557519B (zh) 一种多视点视频编码方法
KR20140056599A (ko) Ｈｅｖｃ 예측 모드 결정 방법 및 장치
CN108337523B (zh) 基于dis遗传性的3d视频深度图像帧内快速编码方法
KR20160004946A (ko) 다시점 비디오 신호 처리 방법 및 장치
Li et al. A fast inter frame prediction algorithm for multi-view video coding
Zhang et al. Adaptive fast intra mode decision of depth map coding by low complexity RD-cost in 3D-HEVC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210917

CF01 Termination of patent right due to non-payment of annual fee