CN105704497B - 面向3d-hevc的编码单元尺寸快速选择算法 - Google Patents

面向3d-hevc的编码单元尺寸快速选择算法 Download PDF

Info

Publication number
CN105704497B
CN105704497B CN201610068485.7A CN201610068485A CN105704497B CN 105704497 B CN105704497 B CN 105704497B CN 201610068485 A CN201610068485 A CN 201610068485A CN 105704497 B CN105704497 B CN 105704497B
Authority
CN
China
Prior art keywords
depth
complexity
viewpoint
division
col
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610068485.7A
Other languages
English (en)
Other versions
CN105704497A (zh
Inventor
王永芳
王宇兵
石亚文
张兆杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610068485.7A priority Critical patent/CN105704497B/zh
Publication of CN105704497A publication Critical patent/CN105704497A/zh
Application granted granted Critical
Publication of CN105704497B publication Critical patent/CN105704497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种面向3D‑HEVC的编码单元尺寸快速选择算法，包括划分复杂度的计算、时域与视点间相关程度的量化、预测当前编码块划分复杂度、相关划分复杂度的计算、根据相关划分复杂度和预测的划分复杂度来估计当前编码块的深度范围以及提前终止CU划分步骤。本发明针对3D‑HEVC的编码结构，充分利用了视点间、时空域相关性，并挖掘它们之间的联系，并利用提前终止条件来跳过和提前终止不必要的CU划分，加速CU深度选择的过程，在不影响质量的情况下，大大降低了3D视频编码的复杂度。

Description

面向3D-HEVC的编码单元尺寸快速选择算法
技术领域
本发明属于视频编码技术领域，具体地说是涉及一种面向3D-HEVC的编码单元尺寸快速选择算法。
背景技术
随着多媒体技术的迅猛发展，相比于文字、语音、图像等多媒体，视频信息的直观性、确切性、高效性使得数字视频的应用越来越广泛。然而，传统的二维视频已经不能满足人们的需求，3D视频越来越受到人们的欢迎。众所周知，视频信息的数据量巨大，对数字视频的传输、存储以及播放提出了更高的要求，而3D视频是用多个相机来拍摄同一场景，多视点视频的传输处理又使信息量增加了许多。为了提高高清视频的编码效率，JCT-VC(JointCollaborative Team on Video Coding)的第一次会议确定了新一代视频编码标准HEVC(High Efficiency Video Coding)。为了更好的支持立体3D视频的应用，ISO/IEC和ITU-T两组织又制定了基于HEVC的新3D视频压缩标准3D-HEVC，同时提供了3D-HEVC的参考软件(HEVC-Based Test Model，HTM)。
在HEVC中，编码时器会为对每个编码单元检测所有的编码模式(超过20种不同的模式)，并且计算每个模式的率失真代价值，以得到最佳的编码模式。3D-HEVC的编码结构是对HEVC的扩展，每个视点的纹理及深度图编码的主框架继承HEVC的编码框架，只是增加了一些新的编码技术，使其更有利于多视点视频的编码，其编码过程是：会首先对独立视点纹理图编码，紧跟着是该视点的深度图，其次编码的是其他视点视频图像和深度图。在编码非独立视点时，利用了已编码的独立视点的信息来预测当前编码视点的信息，从而降低视点间的冗余，提高编码效率。3D-HEVC仍然采用四叉树的形式对最大编码单元(Large CodingUnit,LCU)进行划分，即每个LCU都会遍历0至3的深度并通过率失真优化来获取最优的编码单元(Coding Unit，CU)尺寸，这种全遍历的递归方式无疑大大增加了3D-HEVC的编码复杂度。另外在HEVC中存在的编码工具的基础上，3D-HEVC还需检测另外增加的编码工具的率失真性能，比如视差补偿预测、视点间运动预测、视点间残差预测等，这也使得编码器的计算复杂度大幅度增加，是阻碍其进一步发展的重要原因。为了减少视频的编码复杂度，快速算法一直是视频编码研究的热点。之前针对3D视频的快速算法，都仅仅利用了3D视频的深度图信息、独立视点编码单元划分的深度信息或者时空域相关性，因此它们都是单纯地利用某一种相关性来预测当前编码块的深度范围，这样就不能尽可能地降低3D视频的复杂度。
该发明针对3D视频编码的特点，综合利时空域以及视点间相关性提出一种自适应权值的CU深度选择算法，并结合提前终止CU划分算法来进一步降低复杂度。虽然对于纹理简单运动程度不高的视频会有较大可能选择深度0作为最优深度层，而对于纹理复杂运动剧烈的视频选择深度0作为最优深度层的概率相对小一点，但是总的来说，对于高分辨率的视频，选择深度0和深度1作为最优深度层的概率是较高的，所以选择合适的CU深度范围以及提前终止较大深度的划分对于降低视频编码的复杂度具有很大的作用。当前，国内外对固定权重快速算法的研究已经取得了不错的效果，但是其不能很好地适应具有不同特征的序列，因而本发明提出的自适应权值算法无疑具有重要意义。
发明内容
本发明的目的在于克服当前最优编码单元深度选择过程时间复杂度高的缺点，提供一种面向3D-HEVC的编码单元尺寸快速选择算法，该方法在保证视频质量的同时，极大地降低了3D视频的编码时间，使其更能够满足实时应用的需求。
为达到上述目的，本发明所采用的技术方案是：
一种面向3D-HEVC的编码单元尺寸快速选择算法，包括以下步骤：
步骤1：深度范围选择算法：根据相关预测条件有选择地跳过某些CU深度的划分，具体步骤为：
步骤11：划分复杂度，SC的计算：
(1)式中dj表示LCU中4x4单元中相应的深度值，depthmax表示当中最大深度值，下标j表示一个LCU中256个4x4单元的序号，下标i表示的是相关LCU的类型，比如SC_Col即表示视点间相关LCU的划分复杂度，Cur,Left,Up为当前非独立视点的当前编码块及其左、上相邻块，t,l,u为时域相关块及其左、上相关块，Col,U,D,L,R为视点间相关块及其上下左右相关块；
步骤12：时域与视点间相关程度的量化计算：时域划分复杂度差异TSCE和视点间空间划分复杂度差异ISCE：
步骤13：当前编码块预测划分复杂度SC_pre的计算：
SC_pre＝wcol·SC_col+wl·SC_Left+wu·SC_Up+wt·SC_t (3)
(3)式中SC_Left,SC_Up,SC_t为当前LCU左、上以及时域相关LCU的划分复杂度，wcol,wl,wu,wt为加权系数，其计算方法为：
(4)式中Wcol,Wl,Wu,和Wt的计算方法为：
Wcol＝1.2
Wt＝1+0.2·TSCE
步骤14：相关划分复杂度CSC的计算：
CSC＝max{SC_col,SC_L,SC_U,SC_R,SC_D} (6)
步骤15：根据CSC和SC_pre预测当前编码块的深度范围
如果CSC<Th,则预测DR为[0,1],否则执行以下操作
(1)当SC_pre≤th1,预测DR为[0,1]；
(2)当th1<SC_pre≤th2,预测DR为[0,2]；
(3)当th2<SC_pre≤th3,预测DR为[1,3]；
(4)当SC_pre>th3,预测DR为[2,3]；
上面的Th,th1,th2,th3为阈值；
步骤2：CU提前终止算法：在预测范围内进行CU提前终止的检测，如果满足提前终止条件，则终止CU的划分，否则进行下一深度的划分：
如果当同时满足下面两个条件(a)(b)时，提前终止CU的划分，否则进行下一深度的划分
(b)当前编码块的最优编码模式为SKIP模式
Cur为当前编码CU，对于空间相邻区域，参考黑色区域的划分深度，记其中最大的深度为Depth_neighbour，Depth_col为视点间相关视点的深度，Depth_t0和Depth_t1分别为前后参考帧相关块的划分深度，Depth_max取所有深度值的最大值，uidepth为当前CU的编码深度层。
本发明的有益效果：
采用本发明提出的面向3D-HEVC的编码单元尺寸快速选择算法，在不影响视频质量的情况下，大大节省了深度划分的复杂度，从而减少了整个3D视频编码的复杂度。当前，3D视频正处于起步应用阶段，较高的复杂度是制约3D视频普及以及实际应用的主要原因之一。因此，本发明提出的方法对3D视频的发展和普及无疑具有重大意义。
附图说明
图1是视点间、时域、空域相关CU。
图2是空间相邻小尺寸参考CU。
图3是该发明中面向3D-HEVC的编码单元尺寸快速选择算法流程图。
图4是PoznanHall2序列主观质量对比：(a)原图；(b)该发明算法解码图像。
具体实施方式
以下结合附图例对本发明的实施例作进一步的详细说明。
本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，如图3所示，面向3D-HEVC的编码单元尺寸快速选择算法的操作步骤为：
1)深度范围选择算法：根据相关预测条件有选择地跳过某些CU深度的划分。具体步骤为：
(1)划分复杂度(SC，Split Complexity)的计算。
(1)式中dj表示LCU中4x4单元中相应的深度值，depthmax表示当中最大深度值，下标j表示一个LCU中256个4x4单元的序号，下标i表示的是相关LCU的类型，比如SC_Col即表示视点间相关LCU的划分复杂度，其中相关LCU的类型如图1所示，Cur,Left,Up为当前非独立视点的当前编码块及其左、上相邻块，t,l,u为时域相关块及其左、上相关块，Col,U,D,L,R为视点间相关块及其上下左右相关块。
(2)时域与视点间相关程度的量化计算：时域划分复杂度差异(Temporal SplitComplexity Error，TSCE)和视点间空间划分复杂度差异(Inter-view Spatial SplitComplexity Error，ISCE)。
(3)当前编码块预测划分复杂度(Predicted SC of Current Coding Block，SC_pre)的计算。
SC_pre＝wcol·SC_col+wl·SC_Left+wu·SC_Up+wt·SC_t (9)
(3)式中SC_Left,SC_Up,SC_t为当前LCU左、上以及时域相关LCU的划分复杂度，wcol,wl,wu,wt为加权系数，其计算方法为：
(4)式中Wcol,Wl,Wu,和Wt的计算方法为：
Wcol＝1.2
Wt＝1+0.2·TSCE
(4)相关划分复杂度(Correlated Split Complexity，CSC)的计算。
CSC＝max{SC_col,SC_L,SC_U,SC_R,SC_D} (12)
(5)根据CSC和SC_pre预测当前编码块的深度范围
如果CSC<Th,则预测DR为[0,1],否则执行以下操作
(1)当SC_pre≤th1,预测DR为[0,1]；
(2)当th1<SC_pre≤th2,预测DR为[0,2]；
(3)当th2<SC_pre≤th3,预测DR为[1,3]；
(4)当SC_pre>th3,预测DR为[2,3]；
上面的Th,th1,th2,th3为阈值，通过实验我们取经验值，分别为3.5,1.0,2.0,5.5，可以取得较好的效果。
2)CU提前终止算法：在预测范围内进行CU提前终止的检测，如果满足提前终止条件，则终止CU的划分，否则进行下一深度的划分。
如果当同时满足下面两个条件(a)(b)时，我们就提前终止CU的划分，否则进行下一深度的划分
(b)当前编码块的最优编码模式为SKIP模式
如图2所示，Cur为当前编码CU，对于空间相邻区域，我们参考黑色区域的划分深度，记其中最大的深度为Depth_neighbour，Depth_col为视点间相关视点的深度，Depth_t0和Depth_t1分别为前后参考帧相关块的划分深度，Depth_max取所有深度值的最大值，uidepth为当前CU的编码深度层。
下面进行仿真实验来评估本文所提出的面向3D-HEVC的编码单元尺寸快速选择算法的性能。
为了测试本文提出算法的的有效性，以HTM 15.0为测试平台，在CPU酷睿-3双核，主频3.3GHZ，内存8GB，操作系统Windows 7环境下实现。测试序列为Balloons，Kendo，Newspaper，GhostTownFly，Poznan_Hall2，Poznan_Street和Undo_Dancer。其中前三个序列分辨率为1024x768，后四个序列分辨率为1920x1088。所有序列同时编码三个视点，每个视点都有相应的纹理图和深度图，依次编码视点0、视点1和视点2，在编码每个视点时会先编码纹理图再编码深度图。
采用BD-rate和ΔEncT来衡量算法性能。BD-rate表示同样的PSNR下码率的变化情况，即正负分布表示码率增加和减少，其值越小代表该算法的性能越好。ΔEncT表示两种不同算法的编码时间差值。
表1为该发明与HTM15.0的性能比较结果
从表中可以看出，我们提出的算法可以平均减少56％的时间，同时两个非独立纹理视点的BD-rate分别增加了0.52％and 0.57％，因此跟原始HTM算法相比，本文算法在保证很小的RD性能减少的情况下，可以极大地降低编码时间。
图4给出了PoznanHall2序列主观质量对比图，从图中可以看出，在大幅度降低编码时间的情况下，本文算法仍然可以保持主观质量不改变，进一步验证了本文算法的有效性。
结合以上各图可以看出，实验结果符合预期，将本文算法应用到非独立纹理视点可以减少大部分编码时间，然而只有少量的BD-rate的增加，并且主观质量相比于原始图像几乎没有改变。

Claims (2)

1.一种面向3D-HEVC的编码单元尺寸快速选择算法，其特征在于：包括以下步骤：
步骤1：深度范围选择算法：根据相关预测条件有选择地跳过某些CU深度的划分，具体步骤为：
步骤11：划分复杂度，SC的计算：
(1)式中dj表示LCU中4x4单元中相应的深度值，depthmax表示当中最大深度值，下标j表示一个LCU中256个4x4单元的序号，下标i表示的是相关LCU的类型，比如SC_Col即表示视点间相关LCU的划分复杂度，Cur,Left,Up为当前非独立视点的当前编码块及其左、上相邻块，t,l,u为时域相关块及其左、上相关块，Col,U,D,L,R为视点间相关块及其上下左右相关块；
步骤12：时域与视点间相关程度的量化计算：时域划分复杂度差异TSCE和视点间空间划分复杂度差异ISCE：
步骤13：当前编码块预测划分复杂度SC_pre的计算：
SC_pre＝wcol·SC_col+wl·SC_Left+wu·SC_Up+wt·SC_t (3)
(3)式中SC_Left,SC_Up,SC_t为当前LCU左、上以及时域相关LCU的划分复杂度，wcol,wl,wu,wt为加权系数，其计算方法为：
(4)式中Wcol,Wl,Wu,和Wt的计算方法为：
步骤14：相关划分复杂度CSC的计算：
CSC＝max{SC_col,SC_L,SC_U,SC_R,SC_D} (6)
步骤15：根据CSC和SC_pre预测当前编码块的深度范围
如果CSC<Th,则预测DR为[0,1],否则执行以下操作
(1)当SC_pre≤th1,预测DR为[0,1]；
(2)当th1<SC_pre≤th2,预测DR为[0,2]；
(3)当th2<SC_pre≤th3,预测DR为[1,3]；
(4)当SC_pre>th3,预测DR为[2,3]；
上面的Th,th1,th2,th3为阈值；
步骤2：CU提前终止算法：在预测范围内进行CU提前终止的检测，如果满足提前终止条件，则终止CU的划分，否则进行下一深度的划分：
如果当同时满足下面两个条件(a)(b)时，提前终止CU的划分，否则进行下一深度的划分
(a)
(b)当前编码块的最优编码模式为SKIP模式
Cur为当前编码CU，对于空间相邻区域，参考黑色区域的划分深度，记其中最大的深度为Depth_neighbour，Depth_col为视点间相关视点的深度，Depth_t0和Depth_t1分别为前后参考帧相关块的划分深度，Depth_max取所有深度值的最大值，uidepth为当前CU的编码深度层。
2.根据权利要求1所述的面向3D-HEVC的编码单元尺寸快速选择算法，其特征在于：所述步骤15中Th,th1,th2,th3为阈值，通过实验取经验值，分别为3.5,1.0,2.0,5.5。
CN201610068485.7A 2016-01-30 2016-01-30 面向3d-hevc的编码单元尺寸快速选择算法 Active CN105704497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610068485.7A CN105704497B (zh) 2016-01-30 2016-01-30 面向3d-hevc的编码单元尺寸快速选择算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610068485.7A CN105704497B (zh) 2016-01-30 2016-01-30 面向3d-hevc的编码单元尺寸快速选择算法

Publications (2)

Publication Number Publication Date
CN105704497A CN105704497A (zh) 2016-06-22
CN105704497B true CN105704497B (zh) 2018-08-17

Family

ID=56230003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610068485.7A Active CN105704497B (zh) 2016-01-30 2016-01-30 面向3d-hevc的编码单元尺寸快速选择算法

Country Status (1)

Country Link
CN (1) CN105704497B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899850B (zh) * 2017-03-02 2020-08-14 北方工业大学 基于satd的hevc帧内预测的方法和装置
CN108347605B (zh) * 2018-01-31 2021-09-17 南京理工大学 3d视频深度图像四叉树编码结构划分的快速决策方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801996A (zh) * 2012-07-11 2012-11-28 上海大学 基于jndd模型的快速深度图编码模式选择方法
CN103124347A (zh) * 2012-10-22 2013-05-29 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9641853B2 (en) * 2013-04-15 2017-05-02 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801996A (zh) * 2012-07-11 2012-11-28 上海大学 基于jndd模型的快速深度图编码模式选择方法
CN103124347A (zh) * 2012-10-22 2013-05-29 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAST ENCODING OF 3D COLOR-PLUS-DEPTH VIDEO BASED ON 3D-HEVC;Wen-Nung Lie等;《Image Processing (ICIP), 2015 IEEE International Conference on》;20150930;全文 *
HEVC帧内编码单元快速划分算法;金智鹏等;《南京邮电大学学报( 自然科学版)》;20150430;第35卷(第2期);全文 *
Selective CU depth range decision algorithm for HEVC Encoder;Dong-Hyeok Kim;《Consumer Electronics (ISCE 2014), The 18th IEEE International Symposium on》;20140828;全文 *

Also Published As

Publication number Publication date
CN105704497A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN106134191B (zh) 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法
CN102223540B (zh) 一种面向h.264/avc视频的信息隐藏方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN104539962A (zh) 一种融合视觉感知特征的可分层视频编码方法
CN104125469B (zh) 一种用于hevc的快速编码方法
CN104243997B (zh) 一种质量可分级hevc视频编码方法
CN101404766B (zh) 一种多视点视频信号的编码方法
CN103533355B (zh) 一种hevc快速编码方法
US20130301730A1 (en) Spatial domain prediction encoding method, decoding method, apparatus, and system
CN101621683A (zh) 一种基于avs的快速立体视频编码方法
Shen et al. Low complexity depth coding assisted by coding information from color video
Shen et al. Inter mode selection for depth map coding in 3D video
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN102291582A (zh) 一种基于运动补偿精化的分布式视频编码方法
CN105120290A (zh) 一种深度视频快速编码方法
CN104469336A (zh) 多视点深度视频信号的编码方法
Li et al. A bit allocation method based on inter-view dependency and spatio-temporal correlation for multi-view texture video coding
CN110446052A (zh) 一种3d-hevc帧内深度图快速cu深度选择方法
CN106412611A (zh) 一种高效视频编码的复杂度控制方法
CN109819260A (zh) 基于多嵌入域融合的视频隐写方法和装置
CN103051894A (zh) 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN105704497B (zh) 面向3d-hevc的编码单元尺寸快速选择算法
CN101980536B (zh) 一种基于对象和分形的多目立体视频压缩编解码方法
El‐Shafai et al. Proposed adaptive joint error‐resilience concealment algorithms for efficient colour‐plus‐depth 3D video transmission
Xiang et al. A novel error concealment method for stereoscopic video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant