CN106063262A - 3d视频译码中的增量dc残差译码的简化 - Google Patents

3d视频译码中的增量dc残差译码的简化 Download PDF

Info

Publication number
CN106063262A
CN106063262A CN201380081909.8A CN201380081909A CN106063262A CN 106063262 A CN106063262 A CN 106063262A CN 201380081909 A CN201380081909 A CN 201380081909A CN 106063262 A CN106063262 A CN 106063262A
Authority
CN
China
Prior art keywords
binary bit
decoding
value
institute
syntax elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380081909.8A
Other languages
English (en)
Inventor
刘鸿彬
陈颖
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106063262A publication Critical patent/CN106063262A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明描述用于简化例如3D‑HEVC等3D视频译码过程中的增量DC残差译码的技术。在一些实例中,所述技术可修改二进制化和/或上下文建模过程,以降低用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性。

Description

3D视频译码中的增量DC残差译码的简化
技术领域
本发明涉及视频译码,且更明确地说,涉及三维(3D)视频译码过程中的增量DC残差译码。
背景技术
数字视频能力可并入到各种各样的装置中,包含数字电视机、数字直播系统、无线广播系统、平板计算机、智能电话、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置、机顶盒装置等。数字视频装置实施视频压缩技术,例如描述于以下各项中的那些技术:MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC)标准,以及此些标准的扩展。视频装置可更高效地发射、接收和存储数字视频信息。
编码器-解码器(编解码器)应用视频压缩技术来执行空间(图片内)预测和/或时间(图片间)预测,以减少或去除视频序列中固有的冗余。对于基于块的视频译码,可将视频切片分割成视频块,视频块还可被称作经译码树块(CTB)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片替代地可被称为帧。
空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩,可将残差数据从空间域变换到变换域,从而产生残差变换系数,接着可量化残差变换系数。可扫描一开始按二维阵列排列的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码来实现更多压缩。
可例如从多个视角编码视图来产生多视图译码位流。多视图译码可允许解码器选择不同视图,或可能渲染多个视图。另外,已经开发或正在开发的一些三维(3D)视频技术和标准利用多视图译码方面。举例来说,在一些3D视频译码过程中,不同视图可用以发射左眼和右眼视图以支持3D视频。其它3D视频译码过程可使用多视图加深度译码。在多视图加深度译码过程中,例如由HEVC的3D-HEVC扩展定义的过程,3D视频位流可含有不仅包含纹理视图分量而且包含深度视图分量的多个视图。举例来说,给定视图可包括纹理视图分量和深度视图分量。纹理视图和深度视图分量可用以构造3D视频数据。
发明内容
一般来说,本发明描述用于简化3D视频译码过程(例如3D-HEVC)中的增量DC残差译码的技术。所述技术可包含使用经修改的二进制化和/或上下文建模过程来降低用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性。增量DC残差值可表示在3D视频译码过程中产生的经帧内和/或帧间预测的深度块的残差数据。在一些实例中,所述技术可减少使用语法元素的上下文模型译码的二进位的数目。减少使用上下文模型译码的二进位的数目可促进熵编码器/解码器中增加的通过量。
在一个实例中,本发明描述一种视频解码方法,所述方法包括:接收经编码视频位流;从所述位流解码用于表示深度译码单元(CU)的预测单元(PU)的增量DC残差值的语法元素的二进位,其中解码包括使用一或多个上下文模型来解码所述语法元素的不超过N个前导二进位,其中N小于用于所述语法元素的二进位的最大可能数目;以及旁路解码用于所述语法元素的未使用一或多个上下文模型解码的任何其余二进位;基于经解码二进位产生语法元素;以及至少部分地基于由所述语法元素表示的增量DC残差值来重构所述PU。
在另一实例中,本发明描述一种用于视频编码的方法,所述方法包括:产生表示深度译码单元(CU)的预测单元(PU)的增量DC残差值的语法元素;使所述语法元素二进制化;使用一或多个上下文模型来编码经所述二进制化的语法元素的不超过N个前导二进位,其中N小于所述经二进制化的语法元素的二进位的最大可能数目,旁路编码经二进制化的语法元素的未使用一或多个上下文模型编码的任何其余二进位;以及在经编码位流中发信号通知对应于所述经编码二进位的位。
在另一实例中,本发明描述一种视频译码装置,其包括:存储器,其存储经译码视频位流,其中所述位流译码表示深度译码单元(CU)的预测单元(PU)的增量DC残差值的语法元素;以及一或多个处理器,其经配置以使用一或多个上下文模型来译码所述语法元素的不超过N个前导二进位,其中N小于所述二进位的最大可能数目,且旁路译码所述语法元素的未使用一或多个上下文模型解码的任何其余二进位。
在附图和以下描述中陈述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述和图式且从所附权利要求书中显而易见。
附图说明
图1是说明在高效视频译码(HEVC)中使用的帧内预测模式的图。
图2是说明可利用本发明的技术的实例视频译码系统的框图。
图3是说明用于对像素样本的8x8块进行译码的一个楔波分区模式的实例的图。
图4是说明用于对像素样本的8x8块进行译码的一个轮廓分区模式的实例的图。
图5是说明可实施本发明的技术的实例视频编码器的框图。
图6是说明可实施本发明的技术的实例视频解码器的框图。
图7是说明用于编码表示增量DC残差值的语法元素的方法的流程图。
图8是说明用于解码表示增量DC残差值的语法元素的方法的流程图。
具体实施方式
本发明描述用于简化3D视频译码过程(例如3D-HEVC)中的深度译码的DC残差译码的技术。DC残差译码还可被称为增量DC译码或增量DC残差译码。在一些实例中,本发明中描述的技术可改进与增量DC译码有关的二进制化和/或上下文建模过程。明确地说,所述技术可修改二进制化和/或上下文建模过程,以降低用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性。在本发明中,术语“译码”可指如(例如)由编码器或解码器执行的编码或解码。因此,为了降低熵译码的复杂性,本发明中描述的技术可应用于熵编码过程和对应的熵解码过程中。
增量DC残差值可表示(例如)经帧内和/或帧间预测的深度块的残差数据。可(例如)通过3D视频译码过程(例如3D-HEVC)中的逐段DC译码(SDC)或深度图建模(DMM)模式来产生增量DC残差值。DC残差值可被称为增量DC值。深度译码单元(CU)可具有一或多个预测单元(PU),且每一PU可分割成一或多个分区。可例如使用HEVC帧内模式、HEVC帧间模式,或深度图建模(DMM)模式来对PU进行帧间译码或帧内译码。
在SDC或DMM中,例如增量DC值可表示深度CU的PU的一或多个分区中的一分区的像素值的平均值与经帧间或帧内预测的分区(即,为PU分区帧间或帧内预测的分区)的经预测样本的值的平均值之间的差。PU可具有单个分区或两个或两个以上分区,取决于模式。当使用SDC时,每一PU或分区具有既未变换也未量化的单个增量DC值,且不存在残差变换树。可将SDC应用于HEVC帧内和帧间预测模式,且应用于DMM。为了重构以SDC模式译码的PU或分区,将PU或PU分区的单个增量DC值添加到所述PU或分区的经预测像素中的每一者。
DMM预测模式还可使用增量DC译码,且可与SDC一起或在SDC的情况下使用。当DMM与SDC一起使用时,仅DC残差值用于每一PU或PU分区,且不产生残差变换树。当在无SDC的情况下使用DMM时,除为所述PU产生的常规残差变换树之外,还为每一PU或PU分区产生增量DC值。为了重构以DMM译码的PU或分区,但无SDC,执行以下程序。首先,针对所述PU或分区产生预测样本。接下来,对于每一分区,将所述分区的增量DC值添加到所述分区的预测样本。接着,将从残差变换树导出的残差值添加到那些预测样本,以重构所述PU。如果SDC结合DMM使用,那么仅将增量DC残差值添加到预测样本。
在一些实例中,本发明的技术可减少通过将上下文模型用于表示增量DC残差值的语法元素来译码的二进位的数目。减少使用上下文模型译码的二进位的数目可促进熵编码器/解码器中增加的通过量。
在此部分中,回顾与本发明有关的视频译码标准和HEVC技术。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-TH.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码(Advanced video coding for generic audiovisualservices)”(ITU-T建议H.264)中。
此外,存在一种新即将来临的视频译码标准,即高效视频译码(HEVC),其由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC标准的最近草案JCTVC-L1003(本杰明·布洛斯(本杰明Bross)、韩吴京(Woo-Jin Han)、基恩斯·拉尼尔·欧姆(Jens-Ranier Ohm)、加里·沙利文(GarySullivan)、王叶奎(Ye-Kui Wang)、托马斯·韦甘德(Thomas Wiegand))“高效视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)(High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call))”(ITU-T SG 16WP 3和ISO/IECJTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC),瑞士日内瓦第12次会议,2013年1月14-23日(“HEVC WD 10”))以全文引用的方式并入本文中且从以下链接可用:
http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/ wg11/JCTVC-L1003-v34.zip
图1是说明在HEVC中使用的帧内预测模式的图。图1大体上说明与可用于HEVC中的帧内译码的各种定向帧内预测模式相关联的预测方向。在当前HEVC中,例如如HEVC WD 10中所描述,对于每一预测单元(PU)的明度分量,结合33种定向(角度)预测模式(从2到34编索引)、DC模式(以1)编索引和平面模式(以0编索引)利用帧内预测方法,如图1中所示。
在平面模式中(以0编索引),使用所谓的“平面”功能来执行预测以确定视频数据块(例如,PU)内的像素中的每一者的预测符值。根据DC模式(以1编索引),使用所述块内的像素值的平均化来执行预测,以确定所述块内的像素中的每一者的预测符值。根据定向预测模式,基于相邻块的沿着特定方向(如由模式指示)的经重构像素而执行预测。一般来说,图1中所示的箭头的尾端表示从其检索值的相邻像素中的相对一者,而所述箭头的头部表示所检索值沿着其传播以形成预测性块的方向。
对于HEVC帧内预测模式,视频编码器和/或视频解码器例如通过使用用于模式2到34的PU的相邻样本,使用上文所论述的各种模式来产生PU中的每一像素的像素特定预测符值。视频编码器基于块的像素的实际深度值与预测符值之间的差来确定视频块的残差值,且将所述残差值提供到视频解码器。根据HEVC WD10,视频编码器20变换所述残差值且量化变换系数,且还可对经量化变换系数进行熵编码。视频解码器(例如,在熵解码、逆量化和逆变换之后)通过将残差值添加到预测符值来确定块的像素的经重构值。HEVC WD 10中指定关于HEVC帧内预测模式的进一步细节。
现将描述用于HEVC中的熵译码过程,包含用于HEVC中的上下文自适应二进制算术译码(CABAC)剖析过程。本发明描述可修改用于与增量DC残差值译码有关的语法元素的CABAC熵译码中的二进制化和/或上下文建模过程的技术。一般来说,向CABAC剖析过程的输入是来自经译码位流的剩余位、对语法元素的值的请求,以及先前解码的语法元素的值,而此过程的输出是一个特定语法元素的值。
用于译码过程的主要步骤包含:
1.二进制化
2.上下文建模
3.二进制算术译码
为了二进制化,CABAC熵译码器将具有非二进制值的语法元素映射到二进制序列,被称作二进位串。如果所述语法元素已经具有二进制值,那么二进制化是不必要的且可略过。二进位串中的每一二进位表示二进制决策。CABAC熵译码器接着使用CABAC译码器的常规译码引擎(其中上下文模型是选定的),或CABAC译码器的旁路译码引擎(其中不需要上下文模型选择)来译码二进位串中的每一二进位。
在常规(即,上下文自适应)译码模式中,CABAC熵译码器包含上下文建模器,其在针对每一二进位的算术译码过程之前,执行上下文建模。CABAC熵译码器的常规译码引擎执行上下文建模,藉此为每一二进位选择概率模型。可在CABAC熵译码器中选择概率模型,使得上下文选择取决于语法元素的先前经译码二进制语法元素或二进位。在上下文模型选择之后,CABAC熵译码器的常规译码引擎接收所述二进位以及为所述二进位选择的概率模型。CABAC常规译码引擎接着将二进制算术译码应用于使用上下文模型的相关二进位,且随后更新所述上下文模型。明确地说,可将二进位值反馈回到上下文建模器,以更新上下文模型。
或者,熵译码器选择旁路译码模式来对选定二进位进行熵译码。CABAC熵译码器的旁路译码引擎使用简化的算术译码器,而不使用明确指派的上下文模型来译码二进位。旁路译码引擎不是上下文自适应的。就是说,在旁路译码引擎中,不使用从上下文模型获得的所估计概率来对二进位进行上下文译码。实情为,可用固定概率模型来译码经旁路译码的二进位。举例来说,旁路译码引擎可采用相等概率0.5,且并不需要为译码选择上下文。因此,可结合上下文模型(即,在常规译码引擎中译码的上下文)的使用,使用常规二进制算术译码引擎来译码一些二进位,而可使用旁路译码来译码其它二进位,而不使用上下文模型(即,在旁路译码引擎中旁路译码)。
在适用时,CABAC熵编码器的常规译码引擎或旁路译码引擎对语法元素的二进位进行算术译码,以产生形成位流的经译码位。在适用时,CABAC熵解码器的常规译码引擎或旁路译码引擎解码位流中的位以产生二进位,且解码一或多个二进位以产生语法元素。在一些实例中,旁路译码可提供增加的通过量,且可允许在同一循环中译码多个二进位。因此,CABAC旁路译码引擎的使用对于增加的计算通过量可为合意的,而CABAC常规译码引擎的使用对于高译码效率可为合意的。
现将描述可用于CABAC熵译码器(例如HEVC CABAC译码器)中的多种二进制化方法。在HEVC中,基本二进制化方法包含:
1.FL(固定长度)二进制化过程。FL二进制化过程使用语法元素值的fixedLength位不带正负号整数二进位串,其中fixedLength=Ceil(Log2(cMax+1)),且cMax是所述语法元素值的最大值。
2.k阶指数哥伦布(“指数-哥伦布”或“EGk”)二进制化过程。在EGk过程使用中,二进位串末尾的二进制值X可如下确定:
下文在表1中展示EG0二进制化过程的实例,即其中k=0:
表1-EG0二进制化的二进位串
3.TR(截断莱斯(truncated Rice))二进制化过程。在TR二进制化过程中,TR二进位串是前缀二进位串与(当存在时)后缀二进位串的级联。关于TR二进制化过程的详细信息可在例如HEVC WD 10中的HEVC规范中的子条款9.3.3.2中找到。
4.为某些语法元素,例如part_mode、intra_chroma_pred_mode、inter_pred_idc、cu_qp_delta_abs和coeff_abs_level_remaining指定其它二进制化方法。
此处,出于实例的目的,更详细地描述cu_qp_delta_abs的二进制化方法。语法元素cu_qp_delta_abs的二进制化是前缀二进位(具有TR)串与(当存在时)后缀二进位串(具有EGk)的级联。对于前缀二进位串的导出,以下适用:
-cu_qp_delta_abs的前缀值prefixVal如下导出:
prefixVal=Min(cu_qp_delta_abs,5)
-通过为prefixVal调用TR二进制化过程来指定前缀二进位串其中cMax=5,且cRiceParam=0。
当prefixVal大于4时,存在后缀二进位串,且其如下导出:
-cu_qp_delta_abs的后缀值suffixVal如下导出:
suffixVal=cu_qp_delta_abs-5
-通过调用EG0二进制化过程来指定后缀二进位串。
下文参照表2论述对HEVC译码单元的语法译码的最差情况分析。表2展示HEVC译码单元的语法译码。变量ctxInc由表2中的对应条目指定,且当表2中为binIdx列出一个以上值时,在上下文建模过程中进一步指定用于所述binIdx的ctxInc的指派过程。从表2看到,last_sig_coeff_x_prefix和last_sig_coeff_y_prefix是具有最长上下文经译码二进位的语法元素。明确地说,last_sig_coeff_x_prefix和last_sig_coeff_y_prefix的上下文经译码二进位的数目为9。
表2-将ctxInc指派给具有经上下文译码的二进位的语法元素
在以上表2中,参考子条款是指HEVC WD 10中的对应子条款。
在JCT-3V中,正开发两个HEVC扩展:多视图扩展(MV-HEVC)和3D视频扩展(3D-HEVC)。用于3D-HEVC的参考软件“3D-HTM版本9.0”的最近版本以全文引用的方式并入本文中,且可从以下链接下载:
[3D-HTM version 9.0]:https://hevc.hhi.fraunhofer.de/svn/svn_ 3DVCSoftware/tags/HTM-9.0/
3D-HEVC的最近草案在以下文献中呈现:JCTVC-F1001-v2,杰哈德.泰什(GerhardTech)、克日什托夫.韦格纳(Krzysztof Wegner)、陈英(Ying Chen)、姚世勋(Sehoon Yea),“3D-HEVC草案文本2(3D-HEVC Draft Text 2)”,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC29/WG 11的3D视频译码扩展开发联合合作小组,第6次会议:瑞士日内瓦,2013年10月25日到11月1日(下文称为“F1001”或“3D-HEVC WD”),其以全文引用的方式并入本文中,且可从以下链接获得:
http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/ wg11/JCT3V-F1001-v2.zip
在3D-HEVC中,如上文参考的3D-HEVC WD中所定义,每一存取单元含有多个图片,且每一视图中的图片中的每一者具有唯一视图识别(id)或视图次序索引。然而,同一视图的深度图片和纹理图片可具有不同层id。
现将描述3D视频译码中的深度译码。3D视频数据是使用多视图视频加深度格式来表示,其中捕获的视图(纹理)与对应深度图相关联。在3D视频译码中,译码纹理和深度图,并将其多路复用到3D视频位流中。将深度图译码为灰度视频,其中明度样本表示深度值,且可将常规的帧内和帧间译码方法应用于深度图译码。
深度图可由锐缘和恒定区域表征。由于深度图样本的不同统计数据,基于2D视频编解码器为深度图设计不同译码方案。在多视图加深度译码过程中,视图可包含纹理分量和深度分量。可对深度分量中的深度译码单元(CU)进行帧间译码或帧内译码。可将深度CU分成一或多个PU,且可将PU分成一或多个分区。
如在本发明中更进一步详细描述,可对所述分区进行帧内预测或帧间预测,且在一些实例中,可使用逐段DC残差译码(SDC)模式或DMM译码模式来译码深度残差。在SDC或DMM中,可将表示经译码PU分区与经框内或经帧间译码的PU分区之间的差异的残差译码为DC残差值。明确地说,在SDC中,DC残差值针对整个PU分区可为单个值。DMM可结合或不结合SDC一起使用。当结合SDC使用DMM时,DC残差值针对整个PU分区可为单个值。当不结合SDC使用DMM时,除常规残差变换树之外,还可译码DC残差值。在任一情况下,增量DC值可表示经译码PU分区的像素值的平均值与经帧间或帧内预测的分区的经预测样本的平均值之间的差。
图2是说明可经配置以利用本发明的各种技术的实例视频编码和解码系统10的框图,例如使用经修改的二进制化和/或上下文建模过程来降低3D译码过程(例如3D-HEVC)中对用以表示增量DC残差值的一或多个语法元素进行熵译码的复杂性。在一些实例中,系统10的视频编码器20和/或视频解码器30可经配置以用使用上下文模型译码的减小数目的二进位来执行此类语法元素的熵译码。在一些情况下,减少使用上下文模型译码的二进位的数目可促进熵编码器/解码器中的增加的通过量。
在一些实例中,视频编码器20和视频解码器30可经配置以使用一或多个上下文模型来译码表示增量DC残差值的语法元素的不超过N个前导二进位,其中N小于用于经二进制化的语法元素的二进位的最大可能数目,且旁路译码用于所述语法元素的未使用一或多个上下文模型来解码的其余二进位(如果存在的话)。举例来说,视频编码器20和视频解码器30可经配置以使用CABAC熵译码器的常规译码引擎来编码增量DC语法元素的不超过N个前导二进位,并使用CABAC熵译码器的旁路译码引擎来编码增量DC语法元素的任何其余二进位。
如图2中所示,系统10包含源装置12,所述源装置提供将在稍后时间由目的地装置14解码的经编码视频数据。明确地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者,包含桌上型计算机、笔记本型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下,可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体,例如发射信道,以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。
可根据通信标准(例如,无线通信协议)调制经编码的视频数据,并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于分组的网络(例如,局域网、广域网或全球网络,例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,经编码数据可从输出接口22输出到计算机可读存储媒体,例如非暂时性计算机可读存储媒体,即数据存储装置。类似地,经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器,或任何其它用于存储经编码的视频数据的合适数字存储媒体。在另一实例中,存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。
目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接式存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),,或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可能是流式传输发射、下载发射或其组合。
本发明的技术可应用于视频译码以支持多种有线或无线多媒体应用中的任一者,例如空中电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如经由HTTP的动态自适应流式传输(DASH))、编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频传输,以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图2的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以将用于增量DC译码的技术应用于3D视频译码过程(例如3D-HEVC)中的深度译码。在其它实例中,源装置和目的地装置可包括其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而非包含集成式显示装置。
图2的所说明的系统10只是一个实例。本发明中描述的技术可由数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码器20和/或视频解码器30来执行,但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)来执行。此外,本发明的技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的所述译码装置的实例。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频流式发射、视频重放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或直播视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18是摄像机,那么源装置12和目的地装置14可形成所谓的智能电话、平板计算机或视频电话。然而,如上文所提到,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,捕获、预捕获或电脑产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到电脑可读媒体16上。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或数据存储媒体(即,非暂时性存储媒体)。在一些实例中,网络服务器(未图示)可从源装置12接收经编码视频数据,并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据,且生产含有经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
本发明可总体上参考视频编码器20向另一装置(例如,视频解码器30)“发信号通知”某些信息。但是,应理解,视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联来发信号通知信息。就是说,视频编码器20可通过将某些语法元素存储到视频数据的各种经编码部分的标头或有效负载中而“发信号通知”数据。在一些情况下,此些语法元素可在被视频解码器30接收和解码之前被编码和存储(例如,存储到计算机可读媒体16)。因而,术语“发信号通知”可大体上指代用于解码经压缩的视频数据的语法或其它数据的通信,不论所述通信是实时或近乎实时发生还是在一段时间中发生,例如可能在编码时将语法元素存储到媒体上的时候发生,接着可在存储到此媒体之后的任何时间由解码装置检索。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息,所述语法信息还供视频解码器30使用,所述语法信息包含描述块和其它经译码单元(例如,GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码的视频数据,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、投影装置或另一类型的显示装置。
尽管图2中未图示,在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当的多路复用器-多路分用器单元或其它硬件和软件,以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用的话,作为一个实例,多路复用器-多路分用器单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器或解码器电路中的任一者(适用时),例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如,蜂窝式电话)。
视频编码器20和视频解码器30可根据视频译码标准来操作,例如HEVC标准,且更明确地说,HEVC标准的3D-HEVC扩展,如在本发明中例如通过文献F1001或3D-HEVC WD提到。HEVC假定视频译码装置相对于经配置以根据其它过程(例如ITU-T H.264/AVC)执行译码的装置的若干额外能力。举例来说,虽然H.264提供了九种帧内预测编码模式,但是HM可以提供多达三十五种帧内预测编码模式。
现在论述HEVC的一些基本方面。一般来说,HEVC指定视频图片(或“帧”)可分成被称作译码树单元(CTU)的最大译码单元的序列。CTU包含对应的明度和彩度分量,被称作经译码树块(CTB),例如明度CTB和彩度CTB,分别包含明度和彩度样本。位流内的语法数据可定义CTU(就像素数目来说的最大译码单元)的大小。切片可为图片的经译码部分,且可包含若干在译码次序中连续的CTB。图片可以分割成一或多个切片。每一CTB可根据四叉树分区结构拆分成若干译码单元(CU)。一般来说,四叉树数据结构包含每个CU一个节点,其中根节点对应于CTB。如果一CU分裂成四个子CU,那么对应于CU的节点包含四个叶节点,其中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,其指示对应于所述节点的CU是否分裂成子CU。用于CU的语法元素可递归地来定义,且可取决于CU是否分裂成数个子CU。如果CU不进一步分裂,那么将其称为叶CU。叶CU的四个子CU也可被称为叶CU,即使不存在原始叶CU的显式分裂时也是如此。举例来说,如果16x16大小的CU不进一步分裂,那么这四个8x8子CU将也被称作叶CU,虽然16x16CU从未分裂。
HEVC中的CU具有与H.264标准的宏块类似的目的,除了CU不具有大小区别。举例来说,可将CTB拆分成四个子节点(还被称作子CU),且每一子节点又可为父节点,且拆分成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点,还被称作叶CU。与经译码位流相关联的语法数据可定义CTB可分裂的最大次数,被称作最大CU深度,且还可定义译码节点的最小大小。因此,在一些实例中,位流还可定义最小译码单元。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。本发明可使用术语“块”来指代HEVC的上下文中的CU、预测单元(PU)、变换单元(TU)或其分区或其它标准的上下文中的类似数据结构中的任一者。CU的大小对应于译码块的大小。CU的大小范围可从8×8像素至多达具有最大64×64个像素或更大的CTB的大小。每一CU可含有一或多个PU和一或多个TU。举例来说,与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。在如本发明中所描述的深度译码的情况下,可将PU分割为非正方形形状,或包含非矩形形状的分区。举例来说,与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。ATU可为正方形或非正方形(例如,矩形)形状。
HEVC标准允许根据TU的变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割的CTB定义的给定CU内的PU的大小来设定,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,可使用被称为“残差四叉树”(RQT)的四叉树结构将对应于CU的残差样本细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。
叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于对应CU的全部或一部分的空间区域,且可包含用于检索PU的参考样本的数据。参考样本可为来自参考块的像素。在一些实例中,参考样本可从参考块获得或例如通过内插或其它技术而产生。PU还包含与预测有关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可包含在残差四叉树(RQT)中,残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。
作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片,和/或运动向量的参考图片列表(例如RefPicList 0、RefPicList 1)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定,如上文所论述。举例来说,分裂旗标可指示叶CU是否分裂成四个变换单元。接着,每一变换单元可进一步分裂成更多个子TU。当TU未进一步分裂时,其可被称作叶TU。总体上,对于帧内译码,所有属于一叶CU的叶TU共享相同的帧内预测模式。也就是说,通常应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可使用帧内预测模式将每一叶TU的残差值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可与同一CU的对应叶TU并置。在一些实例中,叶TU的最大大小可对应于对应叶CU的大小。
此外,叶CU的TU还可与相应的四叉树数据结构(被称作残差四叉树(RQT))相关联。就是说,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU,而CU四叉树的根节点通常对应于CTB。未经分裂的RQT的TU被称作叶TU。一般来说,除非以其它方式提到,否则本发明分别使用术语CU和TU来指叶CU和叶TU。
视频序列通常包含一系列图片。如本文所描述,术语“图片”与“帧”可互换使用。就是说,含有视频数据的图片可被称为视频帧或简称为“帧”。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、所述图片中的一或多个的标头或其它地方中的语法数据,其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小,且根据指定译码标准可在大小上有所不同。
举例来说,HEVC支持各种PU大小的预测。假设特定CU的大小是2Nx2N,那么HEVC支持2Nx2N或NxN的PU大小的帧内预测,以及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。具有2Nx2N的大小的PU表示未划分的CU,因为其与其驻留的CU为相同大小。换句话说,2Nx2N PU与其CU大小相同。HEVC支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,但是将另一方向分割成25%和75%。CU的对应于25%分区的部分由“n”、后面接续“上”、“下”、“左”或“右”的指示来指示。因此,举例来说,“2N×nU”是指经水平地分割的2N×2N CU,其中顶部是2N×0.5N PU,而底部是2N×1.5N PU。对于深度译码,3D-HEVC WD进一步支持根据深度建模模式(DMM)对PU进行分割,包含非矩形分区,如将描述。
在本发明中,“N×N”与“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸,例如,16×16个像素或16乘16个像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,NxN块一般在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可布置成行和列。此外,块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说,块可包括NxM个像素,其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后,视频编码器20可计算CU的TU的残差数据。PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据,并且TU可包括在对残余视频数据应用变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后变换域中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残差数据的TU,并且接着变换TU以产生用于CU的变换系数。
在任何用于产生变换系数的变换之后,视频编码器20可执行变换系数的量化。量化大体上指代对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,可在量化期间将n位值向下舍入到m位值,其中n大于m。对于深度译码,3D-HEVC WD进一步支持残差数据的逐段DC译码以及DMM译码,其中增量DC值表示PU分区的残差值。不同于常规HEVC残差值,增量DC残差值可不经变换或量化。
在量化之后,视频编码器20可扫描经量化变换系数,从包括经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面,并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。
在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数,以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可对一维向量进行熵编码,例如根据如HEVC中所使用的上下文自适应二进制算术译码(CABAC)。其它熵译码过程的实例包含上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)以及概率间隔分割熵(PIPE)译码。并且,在HEVC中,使用CABAC。视频编码器20还可熵编码与经编码视频数据相关联的语法元素,以供视频解码器30在解码视频数据时使用。
视频编码器20可例如在图片标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于图片的语法数据以及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的多个图片,且图片语法数据可指示用于编码对应图片的编码/预测模式。
视频编码器20和/或视频解码器30可执行深度数据的图片内预测译码和深度数据的帧间预测译码。另外,根据本发明的实例,视频编码器20和/或视频解码器30可例如根据多种实例中的任一者使用SDC对从视频数据的深度帧内预测译码和/或视频数据的深度帧间预测译码产生的残余数据进行译码,如将描述。在一些实例中,视频编码器20和/或视频解码器30可使用DMM(结合或不结合SDC)来产生因深度帧内预测而产生的残差数据。使用SDC或DMM产生的残差数据可包含增量DC残差值。
在HEVC中,假定译码单元(CU)的大小是2Nx2N,视频编码器20和视频解码器30可支持用于帧内预测的2Nx2N或NxN的各种预测单元(PU)大小,以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称PU大小。视频编码器和视频解码器还可支持用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。对于如3D-HEVC中提供的深度译码,视频编码器和视频解码器可经配置以支持针对帧内预测和/或帧间预测的多种不同深度译码模式,包含各种深度建模模式(DMM),如本发明中所描述。
使用3D视频译码技术译码的视频数据可经渲染并显示以产生三维效果。作为一个实例,不同视图的两个图像((即,对应于具有稍微不同水平位置的两个相机视角)可大体上同时显示以使得一个图像由观察者的左眼看见,且另一图像由观察者的右眼看见。
3D效果可使用(例如)立体显示器或自动立体显示器实现。立体显示器可结合相应地对所述两个图像进行过滤的护目镜而使用。举例来说,无源眼镜可使用偏光透镜或不同有色透镜或其它光学滤波技术对图像进行滤波,以确保恰当的眼睛看见恰当的图像。作为另一实例,有源眼镜可与立体显示器协调地快速遮挡交替的镜片,所述立体显示器可在显示左眼图像与右眼图像之间交替。自动立体显示器以不需要眼镜的方式显示所述两个图像。举例来说,自动立体显示器可包含经配置以致使每一图像投影到观察者的适当眼睛中的镜或棱镜。
本发明的技术涉及用于通过对深度数据进行译码以支持3D视频来对3D视频数据进行译码的技术。一般来说,使用术语“纹理”来描述图像的亮度(即,光亮度或“明度”)值和图像的色度(即,色彩或“彩度”)值。在一些实例中,纹理图像可包含一组亮度数据(Y)和用于蓝色调(Cb)和红色调(Cr)的两组色度数据。在例如4:2:2或4:2:0的某些彩度格式中,相对于明度数据对彩度数据下取样。就是说,色度像素的空间分辨率可低于对应亮度像素的空间分辨率,例如为亮度分辨率的二分之一或四分之一。
深度数据一般描述对应纹理数据的深度值。举例来说,深度图像可包含各自描述(例如视图的纹理分量中的)对应纹理数据例如在视图的深度分量中的深度的一组深度像素(或深度值)。每一像素可具有一或多个纹理值(例如,亮度和色度),且还可具有一或多个深度值。纹理图片和深度图可以(但不需要)具有相同空间分辨率。举例来说,深度图可包含比对应纹理图片多或少的像素。深度数据可用以确定对应纹理数据的水平视差,且在一些情况下,也可使用垂直视差。
接收纹理和深度数据的装置可显示一个视图(例如,左眼视图)的第一纹理图像,且通过使第一图像的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图像以产生另一视图(例如,右眼视图)的第二纹理图像。一般来说,水平视差(或简称“视差”)描述第一视图中的像素与右视图中的对应像素的水平空间偏移,其中两个像素对应于如在两个视图中所表示的相同对象的相同部分。
在又一些实例中,可针对垂直于图像平面的z维度中的像素定义深度数据,使得与给定像素相关联的深度是相对于针对所述图像所定义的零视差平面而定义。此深度可用以产生用于显示像素的水平视差,使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可针对视频序列的不同部分改变,且也可改变相对于零视差平面的深度量。
可针对左眼与右眼类似地定义位于零视差平面内的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如,具有水平视差),以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以轻微地感觉到深度,或可对于左眼与右眼显示于不同位置中(例如,具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用于传达或定义图像的深度数据。
二维视频数据大体上译码为离散图片序列,所述离散图片中的每一者对应于特定时间实例。也就是说,每一图片具有相对于所述序列中的其它图像的重放时间的相关联重放时间。这些图片可被视为纹理图片或纹理图像。在基于深度的3D视频译码中,序列中的每一纹理图片还可对应于深度图。也就是说,对应于纹理图片的深度图描述对应纹理图片的深度数据。多视图视频数据可包含各种不同视图的数据,其中每一视图可包含纹理分量和对应深度分量的相应序列。
图片大体上对应于特定时间实例。视频数据可使用存取单元序列来表示,其中每一存取单元包含对应于特定时间例项的所有数据。因此,举例来说,对于多视图视频数据加深度译码,来自用于共同时间例项的每一视图的纹理图像加所述纹理图像中的每一者的深度图可全部包含在特定存取单元内。因此,存取单元可包含多个视图,其中每一视图可包含对应于纹理图像的纹理分量的数据以及对应于深度图的深度分量的数据。
每一存取单元可含有多个视图分量或图片。特定视图的视图分量与唯一视图id或视图次序索引相关联,使得不同视图的视图分量与不同视图id或视图次序索引相关联。视图分量可包含纹理视图分量以及深度视图分量。同一视图中的纹理和深度视图分量可具有不同层id。可将纹理视图分量译码为一或多个纹理切片,而可将深度视图分量译码为一或多个深度切片。多视图加深度产生多种译码可能性,例如图片内、图片间、视图内、视图间、运动预测等。
以此方式,3D视频数据可使用多视图视频加深度格式来表示,其中捕获或产生的视图包含与对应深度图相关联的纹理分量。此外,在3D视频译码中,可译码纹理和深度图并将其多路复用到3D视频位流中。可将深度图译码为灰度级图像,其中深度图的“明度”样本(即,像素)表示深度值。
一般来说,深度数据块(深度图的样本块,例如对应于像素)可被称为深度块。深度值可被称为与深度样本相关联的明度值。就是说,深度图可大体上被视为单色纹理图片,即,包含亮度值且不包含色度值的纹理图片。在任何情况下,常规帧内和帧间译码方法可应用于深度图译码。
在3D-HEVC中,利用与HEVC中相同的帧内预测模式的定义。就是说,在3D-HEVC中使用的帧内模式包含HEVC的帧内模式。并且,在3D-HEVC中,连同HEVC帧内预测模式一起引入深度建模模式(DMM)以译码深度切片的帧内预测单元。
为了深度图中的锐边缘的较好表示,当前HTM(3D-HTM版本9.0)应用DMM方法来进行深度图的帧内译码。将深度块分割成通过DMM模式指定的两个区,其中每一区由恒定值表示。DMM模式可明确发信号通知(DMM模式1),或通过位于同一地点的纹理块预测(DMM模式4)。
存在在DMM中定义的两种类型的分割模型,包含楔波分割和轮廓分割。图3是说明用于对像素样本块进行译码的楔波分区模式的实例的图。图4是说明用于对像素样本块进行译码的轮廓分区模式的实例的图。对于楔波分区,如图3中所展示,通过直线将深度块分割成两个区,其中所述两个区用P0和P1来标记。对于轮廓分割,如图4中所示,可将深度块分割成两个不规则区。
轮廓分割比楔形波分割灵活,但难以明确地发信号通知。在DMM模式4中,在3D-HEVC的情况下,轮廓分割模式是使用处于相同位置的纹理块的经重构明度样本隐含地得出。
作为一个实例,图3提供用于8x8块40的楔波模式的说明。对于楔波分区,深度块(例如,PU)由直线46分割成两个区42、44,其中开始点48位于(Xs,Ys)且结束点50位于(Xe,Ye),如图3中所说明,其中两个区42、44也分别标记有P0和P1。块40中的每一模式由大小uB×vB二进制数位的阵列组成,所述数位标记对应样本是属于区P0还是P1,其中uB和vB分别表示当前PU的水平和垂直大小。区P0和P1在图3中分别由白色和阴影样本表示。在编码和解码两者的开始,初始化楔波模式。
如图4的实例中所示,例如深度块60的深度块可使用轮廓分割分割成三个不规则形状的区62、64A和64B,其中分别将区62标记为P0,且将两个区64A和64B共同标记为P1。尽管区64A中的像素不紧邻区64B中的像素,但区64A和64B经界定从而形成一个单一区,以用于预测深度块60的PU的目的。
参考图3和4,N×N深度块40和60内的每一个别正方形分别表示深度块40和60的相应个别像素。正方形内的数值表示对应像素是属于区42(图3的实例中的值“0”)还是区44(图3的实例中的值“1”)。图3中还使用阴影来指示像素是属于区42(白色正方形)还是区44(灰色阴影正方形)。
如上文所论述,每一模式(即,楔波和轮廓)可由大小uB×vB二进制数位的阵列界定,所述数位标记对应样本(即,像素)是属于区P0还是P1(其中P0对应于图3中的区42和图4中的区62,且P1对应于图3中的区44和图4中的区64A、64B),其中uB和vB分别表示当前PU的水平和垂直大小。在图3和图4的实例中,PU分别对应于块40和60。
对于HEVC帧内预测模式,通过如HEVC WD 10中的子条款8.4.2中指定使用PU的相邻样本针对PU中的每一像素产生像素特定帧内预测符值。
对于其它深度帧内模式,通过使用PU的多达两个相邻样本针对所述PU内的每一分区计算分区特定的DC预测符。令bPattern[x][y]为PU的分区模式,其中x=0..N-1,y=0..N-1,且N是PU的宽度。bPattern[x][y]指示特定像素(x,y)属于哪一分区,且bPattern[x][y]可等于0或1。令BitDepth为深度样本的位深度,且令RecSample[x][y]为PU的经重构相邻样本,其中x=-1且y=0..N-1(对应于PU的左相邻像素)或y=-1,x=0..N-1(对应于PU的上相邻像素)。随后,如下导出分区X的DC预测符,即DCPred[X],其中X=0或1:
●设定bT=(bPattern[0][0]!=bPattern[N-1][0])?1:0
●设定bL=(bPattern[0][0]!=bPattern[0][N-1])?1:0
●如果bT等于bL
-DCPred[X]=(RecSample[-1][0]+RecSample[0][-1])>>1
-DCPred[1-X]=bL?(RecSample[-1][N-1]+RecSample[N-1][-1])>>1:2BitDepth-1
●否则
-DCPred[X]=bL?RecSample[(N-1)>>1][-1]:RecSample[-1][(N-1)>>1]
-DCPred[1-X]=bL?RecSample[-1][N-1]:RecSample[N-1][-1]
深度查找表(DLT)将深度标引映射到深度值。可通过在对全视频序列进行编码之前分析第一帧内周期内的帧来建构DLT。在3D-HEVC的当前设计中,按升序分拣所有的有效深度值,且以递增的索引插入到DLT。
DLT是任选的译码工具。在当前HTM(3D-HTM版本9.0)中,如果在分析步骤从0到MAX_DEPTH_VALUE(例如,对于8位深度样本,为255)的超过二分之一的值在原始深度图中出现,那么视频编码器20将不使用DLT。否则,将在序列参数集(SPS)和/或视频参数集(VPS)中对DLT进行译码。为了使编码器20对DLT进行译码,首先以指数-哥伦布码对有效深度值的数目进行译码。接着,也以指数-哥伦布码对每一有效深度值进行译码。
视频编码器20从待译码的输入视频序列读取预定义数目的帧,且扫描所有样本来寻找可用深度图值。在此过程期间,视频编码器20基于原始的未经压缩的深度图产生将深度值映射到有效深度值的映射表。
编码器20和/或解码器30使用分析深度图Dt的以下算法导出深度查找表Idx2Depth(.)、索引查找表Depth2Idx(.)、深度映射表M(.)和有效深度值dvalid的数目:
1.初始化
●布尔型向量B(d)=假,对于所有深度值d
●索引计数i=0
2.针对多个时间实例t,处理Dt中的每一像素位置p:
●设定(B(Dt(p))=真以标记有效的深度值
3.B(d)中的真值的计数数目→dvalid
4.对于每一d,其中B(d)==真:
●设定Idx2Depth(i)=d
●设定M(d)=d
●设定Depth2Idx(d)=i
●i=i+1
5.对于每一d,其中B(d)==假:
●寻找d'=arg min|d-d'|且B(d')==真
●设定M(d)=d'
●设定Depth2Idx(d)=Depth2Idx(d')。
从索引Idx映射回到深度值D如下:d=Idx2Depth[Idx]。从深度值d映射到索引Idx如下:Idx=Depth2Idx[d]。
在3D-HEVC中已与HEVC帧内预测模式、DMM模式和链译码模式一起引入了帧内SDC模式(即,帧内逐段DC译码,其还可被称为帧内简化深度译码),以译码深度切片的帧内PU。在当前3D-HEVC中,SDC可仅应用于2Nx2N PU分区大小。并非对经量化变换系数进行译码,SDC模式表示具有以下两个类型的信息的深度块:
1.当前深度块的分区类型,包含:
a.DMM模式1(2个分区)
b.平面(1个分区)
2.对于每一分区,在位流中发信号通知残差值(像素域中)。
在SDC中定义两个子模式,包含SDC模式1和SDC模式2,其分别对应于平面和DMM模式1的分区类型。可将DC残差值表示为增量DC值,其指示深度PU分区的DC值与深度PU分区的经预测分区的值的差。并且,DC值可为深度PU分区中的深度像素样本的平均像素值。
在SDC中使用简化的残差译码。在简化的残差译码中,如上文所描述,针对PU的每一分区发信号通知一个DC残差值,且不应用变换或量化。如上文所论述,为了发信号通知表示每一分区的DC残差值的信息,可应用两种方法:
1.直接对通过从当前PU中的当前分区的DC值(即,平均值,由Aver表示)减去通过相邻样本产生的由Pred表示的预测符而计算的每一分区的DC残差值进行译码。
2.当发射DLT时,并非对DC残差值进行译码,对从索引查找表映射的Aver和Pred的索引差进行译码。通过从Aver的索引减去Pred的索引来计算所述索引差。在解码器侧,基于DLT将经解码的索引差和Pred的索引的总和映射回到深度值。
还提出了用于3D-HEVC中的帧间预测的逐段DC译码(SDC)。明确地说,将SDC的基本理念扩展到帧间预测模式深度译码。在帧间SDC中,仅为帧间预测模式中译码的深度PU编码一个DC残差值,即增量DC。跳过变换和量化,且不需要如变换树等额外残差来用于译码单元(CU)。因此SDC提供一种替代的残差译码方法,借此编码器20在帧内模式或帧间模式下仅编码和/或视频解码器30仅解码深度PU的一个DC残差值。
图5是说明实例视频编码器20的框图,所述视频编码器可经配置以实施本发明的技术,例如使用经修改的二进制化和/或上下文建模过程来降低3D译码过程(例如3D-HEVC)中用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性。在一些实例中,视频编码器20可经配置以执行表示增量DC残差值的语法元素的熵编码,其中使用上下文模型来译码减小数目的二进位。减少使用上下文模型译码的二进位的数目可促进视频编码器20的熵译码器中的增加的通过量。
本发明在HEVC译码(且更明确地说,3D-HEVC译码,例如如3D-HEVC中所描述,且如本发明所描述经进一步修改)的上下文中描述视频编码器20。然而,本发明的技术可适用于其它译码标准或方法。因此,图5是出于解释的目的而提供,且不应被视为将技术限制为本发明中所大致示范和描述者。
在图5的实例中,视频编码器20包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计(ME)单元122和运动补偿(MC)单元124。
将预测处理单元100的组件描述为执行纹理编码和深度编码两者。在一些实例中,纹理和深度编码可由预测处理单元100的相同组件或预测处理单元100内的不同组件执行。举例来说,在一些实施方案中可提供单独的纹理和深度编码器。并且,可提供多个纹理和深度编码器以对多个视图进行编码,例如用于多视图加深度译码。
在任一情况下,预测处理单元100可经配置以对纹理数据和深度数据进行帧内或帧间编码,作为例如3D-HEVC过程的3D译码过程的部分。明确地说,在一些模式下,预测处理单元100可使用非SDC残差译码或SDC译码。在SDC或DMM译码的情况下,预测处理单元100可产生竟帧内或经帧间译码的深度PU的增量DC残差值,其中增量DC残差值表示PU或经译码PU的分区中的像素的平均值与经帧内或经帧间预测的PU分区中的经预测样本的平均值之间的差。PU可具有单个分区或多个分区,取决于译码模式。可使用HEVC帧内、HEVC帧间模式、DMM或其它模式来译码PU。
在一些实例中,预测处理单元100可大体上根据3D-HEVC来操作,例如如描述于3D-HEVC WD中,经受本发明中所描述的修改和/或添加,例如那些与使用额外译码模式有关的修改和添加,或例如那些与经修改的二进制化和/或上下文建模过程有关的修改和添加,以降低用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性,例如当使用SDC或DMM时。在一些实例中,视频编码器20可包含比图5中所示的功能组件多、少或与不同的功能组件。预测处理单元100可将语法信息提供到熵编码单元118。在帧间预测的情况下,语法信息可指示(例如)使用哪些预测模式以及与此类模式有关的信息,例如运动向量、预测方向和参考图片索引。
视频编码器20接收待编码的视频数据。视频编码器20可编码所述视频数据的图片的切片中的多个译码树单元(CTU)中的每一者。CTU中的每一者可与图片的大小相等的明度译码树块(CTB)和对应色度CTB相关联。作为对CTU进行编码的一部分,预测处理单元100可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。所述更小的块可是CU的译码块。举例来说,预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块,将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可编码CTB的CU,以产生CU(即,经译码CU)的经编码表示。作为对CU进行编码的部分,预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此,每一PU可与明度预测块和对应的色度预测块相关联。
视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示,CU的大小可指CU的明度译码块的大小,且PU的大小可指PU的明度预测块的大小。假定特定CU的大小是2Nx2N,那么视频编码器20和视频解码器30可支持用于帧内预测的2Nx2N或NxN的PU大小,以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20和视频解码器30还可支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的不对称分割。根据本发明的方面,视频编码器20和视频解码器30还支持用于深度帧间译码的PU的非矩形分区。
帧间预测处理单元120可通过对CU的每个PU执行帧间预测来产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性样本块以及用于PU的运动信息。帧间预测处理单元120可依据PU是在I切片、P切片还是B切片中对CU的PU执行不同操作。在I切片中,所有PU均经帧内预测。因此,如果PU是在I切片中,那么帧间预测处理单元120并不对PU执行帧间预测。因此,对于在I模式下编码的块,使用空间预测从同一帧内经先前编码的相邻块的形成经预测的块。
如果PU在P切片中,那么运动估计(ME)单元122可搜索参考图片列表(例如,“RefPicList0”)中的参考图片以寻找PU的参考区。参考图片可存储在经解码图片缓冲器116中。PU的参考区可为参考图片内含有与所述PU的样本块最紧密对应的样本块的区。运动估计(ME)单元122可产生指示含有PU的参考区的参考图片在RefPicList0中的位置的参考索引。
另外,对于帧间译码,运动估计(ME)单元122可产生运动向量(MV),其指示PU的译码块和与参考区相关联的参考位置之间的空间位移。举例来说,MV可为提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计(ME)单元122可输出参考索引和MV作为PU的运动信息。基于由PU的运动向量指示的参考位置处的实际样本或经内插样本,运动补偿(MC)单元124可产生PU的预测性样本块。
如果PU是在B切片中,那么运动估计单元122可对PU执行单向预测或双向预测。为了对PU执行单向预测,运动估计单元122可搜索RefPicList0的参考图片,或用于PU的参考区的第二参考图片列表(“RefPicList1”)。运动估计(ME)单元122可输出以下各项作为PU的运动信息:指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置的参考索引,指示PU的样本块和与参考区相关联的参考位置之间的空间位移的MV,以及指示参考图片是在RefPicList0中还是RefPicList1中的一或多个预测方向指示符。运动补偿(MC)单元124可至少部分地基于由PU的运动向量指示的参考区域处的实际样本或经内插样本来产生PU的预测性样本块。
为了对PU执行双向帧间预测,运动估计单元122可搜索RefPicList0中的参考图片以寻找用于PU的参考区,且还可搜索RefPicList1中的参考图片以寻找用于PU的另一参考区。运动估计(ME)单元122可产生指示含有参考区的参考图片在RefPicList0和RefPicList1中的位置的参考图片索引。另外,运动估计(ME)单元122可产生指示与参考区相关联的参考位置与PU的样本块之间的空间位移的MV。PU的运动信息可包含PU的参考索引和MV。运动补偿(MC)单元124可至少部分地基于由PU的运动向量指示的参考区处的实际样本或经内插样本来产生PU的预测性样本块。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。用于PU的帧内预测性数据可包含用于PU的预测性样本块以及各种语法元素。帧内预测处理单元126可对I切片、P切片和B切片中的PU执行帧内预测。为了对PU执行帧内预测,帧内预测处理单元126可使用多种帧内预测模式以产生PU的多组预测性数据,且随后例如使用速率失真优化技术来选择帧内预测模式中产生可接受或最佳译码性能的一者。
为了使用帧内预测模式来产生用于PU的一组预测性数据,帧内预测处理单元126可在与帧内预测模式相关联的方向上将样本从空间上相邻PU的样本块延伸跨越PU的样本块。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序,相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目个帧内预测模式,例如33种定向帧内预测模式,如图1中所示。在一些实例中,帧内预测模式的数目可取决于与PU相关联的区的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择CU的PU的预测性数据。在一些实例中,预测处理单元100基于所述组预测性数据的速率/失真量度来选择CU的PU的预测性数据。选定预测性数据的预测性样本块在本文中可被称为选定预测性样本块。
残差产生单元102可基于CU的明度、Cb和Cr译码块以及CU的PU的选定帧间或帧内预测性明度、Cb和Cr块,产生CU的明度、Cb和Cr残差块。举例来说,残差产生单元102可产生CU的残差块,使得残差块中的每一样本具有等于CU的译码块中的样本与对应样本(即,在亮度或色度像素值中,在适用时,在CU的PU的对应选定预测性样本块中)之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此,TU可与明度变换块以及两个色度变换块相关联。CU的TU的亮度变换块以及色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与所述区中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说,变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中,变换处理单元104并不将变换应用于变换块。在此类实例中,可将变换块处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说,n位变换系数可在量化期间下舍入到m位变换系数,其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。量化可能使得信息丢失,因此经量化的变换系数可具有比原始变换系数低的精度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块,以从所述系数块重构残差块。重构单元112可将经重构的残差块添加到来自由预测处理单元100产生的一个或一个以上预测性样本块的对应样本,以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块,视频编码器20可重构CU的译码块。
对于HEVC帧内模式、HEVC帧间模式和其它模式,例如DMM模式,可使用增量DC译码来产生经预测PU或PU分区的增量DC残差值,还被称作DC残差值。对于SDC或对于结合SDC的DMM,残差产生单元102可产生每一深度PU或PU分区的单个增量DC值,其中所述单个增量DC值表示PU或PU分区中的像素的平均值与经帧内或经帧间预测的PU或PU分区中的经预测样本的平均值之间的差。对于不结合SDC的DMM,残差产生单元102可产生增量DC值和常规残差树。增量DC残差值不经变换或量化,且可由残差产生单元102提供到熵译码单元118,如由线115指示。
重构单元112可基于CU的PU的分区以及所述CU的PU的对应经预测分区的DC残差值来重构深度CU。举例来说,可将每一深度PU分区的增量DC残差值添加到对应经预测分区中的像素值以重构深度PU分区,其中所述DC残差值可表示深度PU分区的像素的平均值与经预测分区的经预测样本的平均值之间的差。对于SDC,包含结合SDC的DMM,仅使用DC残差值。对于不结合SDC的DMM,可使用DC残差值和残差树。在一些实例中,表示DC残差值的信息,例如表示增量DC值的一或多个语法元素,可由预测处理单元100产生,由熵编码单元118接收,且由重构单元112使用,而无逆量化或逆变换处理,例如如由线115指示。
滤波器单元114可执行一或多个去块操作来减少与CU相关联的译码块中的成块假影。经解码图片缓冲器116可在滤波器单元114对经重构的译码块执行一或多个去块操作之后存储经重构的译码块。帧间预测单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外,帧内预测处理单元126可使用经解码图片缓冲器116中的经重构的译码块来对位于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的各种功能组件接收数据。举例来说,熵编码单元118可从量化单元106接收系数块且可从预测处理单元100接收语法元素。另外,熵编码单元118可从残差产生单元102接收增量DC残差值。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说,熵编码单元118可执行CABAC操作。其它熵译码过程的实例包含上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)以及概率间隔分割熵(PIPE)译码。在HEVC中,使用CABAC。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说,位流可包含表示二进制语法元素或二进制化的语法元素的二进位的位。
视频编码器20是经配置以执行本发明中描述的技术中的任一者的视频编码器的实例。视频编码器20内也可包含额外的3D处理组件。根据本发明的一或多种技术,视频编码器20内的一或多个单元可执行本文中描述的技术作为视频编码过程的部分。类似地,视频编码器20可执行视频解码过程来重构用作预测随后经译码视频数据的参考数据的视频数据。熵编码单元118可经配置以使用经修改的二进制化和/或上下文建模过程来降低用来表示增量DC残差值的一或多个语法元素的熵译码的复杂性。
在一些实例中,熵译码单元118可经配置以使用一或多个上下文模型来译码表示增量DC残差值的语法元素的不超过N个前导二进位,其中N小于用于经二进制化的语法元素的二进位的最大可能数目,且旁路译码用于所述语法元素的未使用一或多个上下文模型来解码的任何其余二进位。举例来说,熵译码单元118可使用CABAC熵译码器的常规译码引擎来编码增量DC语法元素的不超过N个前导二进位,且使用CABAC熵译码器的旁路译码引擎来编码增量DC语法元素的任何其余二进位。以此方式,熵编码单元118可简化增量DC语法元素的熵译码。
图6是说明经配置以执行本发明的技术的实例视频解码器30的框图。图6是出于说明的目的而提供,且不应被视为将技术限制为本发明中所大致示范和描述者。本发明在HEVC译码且明确地说在3D-HEVC译码的上下文中描述视频解码器30。然而,本发明的技术可适用于其它3D视频译码标准或方法。视频解码器30可经配置以使用经修改的二进制化和/或上下文建模过程来降低3D译码过程(例如3D-HEVC)中用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性。在一些实例中,视频编码器20可经配置以执行表示增量DC残差值的语法元素的熵解码,其中使用上下文模型来译码减小数目的二进位。减少使用上下文模型译码的二进位的数目可促进视频编码器20的熵解码器中的增加的通过量。
在图6的实例中,视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含用于帧间预测的运动补偿(MC)单元164,以及帧内预测处理单元166。为了便于说明,将预测处理单元152的组件描述为执行纹理解码和深度解码两者。在一些实例中,纹理和深度解码可由预测处理单元152的相同组件或预测处理单元152内的不同组件执行。举例来说,在一些实施方案中,可提供单独的纹理和深度解码器。并且,可提供多个纹理和深度解码器以对多个视图进行解码,例如用于多视图加深度译码。在任一情况下,预测处理单元152可经配置以对纹理数据和深度数据进行帧内或帧间解码,作为例如3D-HEVC过程的3D译码过程的部分。
因此,预测处理单元152可大体上根据3D-HEVC来操作,经受本发明中所描述的修改和/或添加,例如与和SDC有关的语法元素的熵译码相关的那些修改和/或添加。预测处理单元152可经由熵解码单元150,使用SDC或非SDC残差译码技术从经帧内解码或经帧间解码的深度数据的经编码视频位流获得残差数据,且使用经帧内预测或经帧间预测的深度数据和所述残差数据来重构CU。残差数据可为增量DC残差值,其可(例如)通过SDC或DMM译码来产生。在一些实例中,视频解码器30可包含比图6中所示的功能组件多、少或不同的功能组件。
视频解码器30接收经编码视频位流。熵解码单元150剖析所述位流以从所述位流解码经熵编码的语法元素。在一些实例中,熵解码单元118可经配置以使用一或多个上下文模型来从位流中的位解码表示增量DC残差值的语法元素的不超过N个前导二进位,其中N小于用于经二进制化的语法元素的二进位的最大可能数目,且旁路解码用于所述语法元素的未使用一或多个上下文模型来解码的任何其余二进位。举例来说,熵解码单元150可使用CABAC熵译码器的常规解码引擎来解码增量DC语法元素的不超过N个前导二进位,且使用CABAC熵译码器的旁路译码引擎来解码增量DC语法元素的任何其余二进位。以此方式,熵解码单元150可简化增量DC语法元素的熵解码。
预测处理单元152、逆量化单元154、逆变换处理单元156、重建构单元158和滤波器单元160可基于从位流提取的语法元素来产生经解码视频数据。位流可包括一系列NAL单元。位流的NAL单元可包含经译码切片的NAL单元。作为对位流进行解码的部分,熵解码单元150可从经译码切片的NAL单元提取语法元素且对所述语法元素进行熵解码。
经译码切片中的每一者可包含切片标头以及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。PPS可指代SPS,其又可指代VPS。熵解码单元150还可对可包含语法信息的其它元素(例如SEI消息)进行熵解码。切片标头、参数集或SEI消息的任一者中的经解码语法元素可包含本文中描述为根据本发明中所描述的实例技术发信号通知的信息。可将此类语法信息提供到预测处理单元152,以用于解码和重构纹理或深度块。
视频解码器30可对未分割的CU和PU执行重构操作。为了执行重构操作,对于非SDC译码,视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作,视频解码器30可重构CU的块。作为对CU的TU执行重构操作的一部分,逆量化单元154可逆量化(即,去量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度,且同样地确定逆量化单元154将应用的逆量化的程度。就是说,可通过调整当量化变换系数时所使用的QP的值来控制压缩比,即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可取决于所使用的熵译码的方法。
在逆量化单元154逆量化系数块之后,逆变换处理单元156可将一或多个逆变换应用于系数块,以便产生与TU相关联的残差块。举例来说,逆变换处理单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码,那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式,以基于空间上相邻的PU的预测块产生用于PU的预测性明度块、Cb块以及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测来编码PU,那么MC单元164可执行帧内预测,以产生用于所述PU的帧间预测性块。MC单元164可使用帧间预测模式来基于其它图片或视图中的PU的预测块,产生用于所述PU的预测性明度、Cb和Cr。MC单元164可基于从位流解码的一或多个语法元素为所述PU确定帧间预测模式,且可接收运动信息,例如运动向量、预测方向和参考图片索引。
对于帧间预测,MC单元164可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。如果使用帧间预测对PU进行编码,那么熵解码单元150可提取所述PU的运动信息。MC单元164可基于所述PU的运动信息来确定用于所述PU的一或多个参考块。运动补偿(MC)单元164可基于在用于所述PU的一或多个参考块处的块中的样本来产生用于所述PU的预测性明度块、Cb块以及Cr块。
重构单元158可在适当时使用与CU的TU相关联的明度、Cb和Cr变换块以及CU的PU的预测性明度、Cb和Cr块(即,帧内预测数据或帧间预测数据)来重构CU的明度、Cb和Cr译码块。举例来说,重构单元158可将明度、Cb和Cr变换块的样本添加到预测性明度、Cb和Cr块的对应样本以重构CU的明度、Cb和Cr译码块。
滤波器单元160可执行去块操作以减少与CU的明度、Cb和Cr译码块相关联的成块假影。视频解码器30可将CU的明度、Cb和Cr译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测以及显示装置(例如,图2的显示装置32)上的呈现。举例来说,视频解码器30可基于经解码图片缓冲器162中的明度、Cb和Cr块对其它CU的PU执行帧内预测或帧间预测操作。
视频解码器30是经配置以使用经修改的二进制化和/或上下文建模过程来降低用以表示增量DC残差值的一或多个语法元素的熵译码的复杂性的视频解码器的实例,如本文所描述。根据本发明的一或多种技术,视频解码器30内的一或多个单元可执行本文中描述的一或多种技术作为视频解码过程的部分。视频解码器30内还可包含额外的3D译码组件。
预测处理单元152,且更明确地说帧内预测处理单元166和运动补偿(MC)单元164可基于接收到的语法信息来确定在使用时是否执行3D视频译码过程(例如3D-HEVC)的深度帧内预测模式和深度帧间预测模式中的SDC或DMM。举例来说,当使用SDC或DMM时,熵解码单元150可对深度CU的PU或PU分区的一或多个增量DC残差值以及相关联的语法信息进行熵解码。
对于SDC,熵解码单元150可将所述块的SDC语法信息提供到预测处理单元152,如图6中所指示。熵解码单元150可将增量DC残差值提供到重构单元158。视频解码器30接收到的增量DC残差值未经变换和量化。明确地说,增量DC残差值无需首先提供到用于逆量化和逆变换的逆量化单元154和逆变换处理单元156。实情为,熵解码单元150可从位流中的位解码表示增量DC残差值的语法元素的二进位,并将表示增量DC残差值的信息提供到重构单元158,以用于重构经译码PU或分区。重构单元158可从预测处理单元152接收深度CU的经帧内或帧间预测PU或PU分区,并将增量DC残差值添加到经预测PU或PU分区的样本中的每一者,以重构经译码PU或PU分区。
以此方式,当使用SDC或DMM时,例如重构单元158可基于CU的PU的分区以及所述CU的对应经预测PU或PU分区的增量DC残差值来重构深度CU。并且,增量DC残差值可表示深度PU或PU分区的像素的平均值与经预测PU或PU分区的经预测样本的平均值之间的差。当不结合SDC使用DMM时,除增量DC值之外,可使用常规残差译码树。
下文呈现用于根据3D-HEVC WD的帧间和帧内预测的增量DC译码的语法元素、语义和剖析过程。在下文的描述中,例如H.7.3.8.5等章节编号是指3D-HEVC WD中的对应章节编号。
语法
H.7.3.8.5译码单元语法
H.7.3.8.5.1深度模式参数语法
语义
H.7.4.9.5译码单元语义
等于1的inter_sdc_flag指定残差块的简化深度译码用于当前译码单元。等于0的inter_sdc_flag指定残差块的简化深度译码不用于当前译码单元。当不存在时,推断inter_sdc_flag等于0。
inter_sdc_resi_abs_minus1[x0][y0][i]、inter_sdc_resi_sign_flag[x0][y0][i]用以如下导出InterSdcResi[x0][y0][i]:
InterSdcResi[x0][y0][i]=(1-2*inter_sdc_resi_sign_flag[x0][y0][i])*
(inter_sdc_resi_abs_minus1[x0][y0][i]+1) (H-19)
H.7.4.9.5.1深度模式参数语义
等于1的depth_dc_flag[x0][y0]指定depth_dc_abs[x0][y0][i]和depth_dc_sign_flag[x0][y0][i]存在。等于0的depth_dc_flag[x0][y0]指定depth_dc_abs[x0][y0][i]和depth_dc_sign_flag[x0][y0][i]不存在。
depth_dc_abs[x0][y0][i]、depth_dc_sign_flag[x0][y0][i]用以如下导出DcOffset[x0][y0][i]:
DcOffset[x0][y0][i]=
(1-2*depth_dc_sign_flag[x0][y0][i])*(depth_dc_abs[x0][y0][i]-dcNumSeg+2) (H-27)
现将描述适在SDC模式下使用的用于剖析语法元素中的一些的剖析过程。在3D-HEVC中,对于帧间SDC,inter_sdc_resi_abs_minus1和inter_sdc_resi_sign_flag由编码器20编码且由解码器30解码,以表示增量DC。语法元素inter_sdc_resi_abs_minus1表示用于帧间SDC的增量DC值,且语法元素inter_sdc_resi_sign_flag表示用于帧间SDC的增量DC值的正负号。
对于帧内SDC和DMM模式,depth_dc_abs和depth_dc_sign_flag由编码器20编码,且由解码器30解码,以表示增量DC。语法元素depth_dc_abs表示用于帧内SDC和DMM的增量DC值,且语法元素depth_dc_sign_flag表示用于帧内SDC和DMM的增量DC值的正负号。
编码器20和解码器30所使用的二进制化方法对于inter_sdc_resi_abs_minus1和depth_dc_abs语法元素是相同的。类似于用于cu_qp_delta_abs的二进制化方法,语法元素inter_sdc_resi_abs_minus1和depth_dc_abs的二进制化是前缀二进位(具有TR)串和(当存在时)后缀二进位串(具有EGk)的级联。
为了导出inter_sdc_resi_abs_minus1和depth_dc_abs的前缀二进位串,熵编码单元118和/或熵解码单元150可应用下文所描述的操作。在本论述中,对短语“inter_sdc_resi_abs_minus1/depth_dc_abs”的参考是指在适用时,将所指示的操作应用于inter_sdc_resi_abs_minus1或depth_dc_abs。就是说,将相同的二进制化过程应用于inter_sdc_resi_abs_minus1和depth_dc_abs。因此,为简洁起见,将下文描述的操作应用于inter_sdc_resi_abs_minus1语法元素或depth_dc_abs语法元素(即,inter_sdc_resi_abs_minus1/depth_dc_abs),取决于正为经帧内预测的深度分区二进制化用于经帧间预测的深度分区的inter_sdc_resi_abs_minus1语法元素还是depth_dc_abs语法元素。可如下执行前缀串的导出:
-如下导出inter_sdc_resi_abs_minus或depth_dc_abs(inter_sdc_resi_abs_minus1/depth_dc_abs)的前缀值,prefixVal:
prefixVal=Min(inter_sdc_resi_abs_minus1/depth_dc_abs,13)
-通过对cMax=13且cRiceParam=0的prefixVal调用TR二进制化过程来指定用于inter_sdc_resi_abs_minus1/depth_dc_abs的前缀二进位串。
当prefixVal大于12时,存在用于inter_sdc_resi_abs_minus1语法元素或depth_dc_abs语法元素的后缀二进位串,且其如下导出:
-如下导出inter_sdc_resi_abs_minus1或depth_dc_abs的后缀值suffixVal:
suffixVal=inter_sdc_resi_abs_minus1/depth_dc_abs-13
-通过调用EG0二进制化过程来指定后缀二进位串。
当深度像素的位深度为8时,帧间SDC、帧内SDC和DMM的增量DC可在从-255到255的范围内。因此,为inter_sdc_resi_abs_minus1或depth_dc_abs语法元素译码至多28个二进位。
在3D-HEVC中,在常规译码引擎中以一个上下文模式来译码前缀二进位串中的所有二进位,且在熵编码单元118和/或熵解码单元150中的CABAC译码器的旁路译码引擎中以旁路模式来译码后缀二进位串中的所有二进位。
在HEVC中,通常针对语法元素使用上下文模型来译码不超过9个二进位。然而,在针对3D-HEVC的增量DC译码中,针对语法元素inter_sdc_resi_abs_minus1和depth_dc_abs使用上下文模型来译码至多13个二进位。大量二进位(例如针对inter_sdc_resi_abs_minus1和depth_dc_abs而上下文译码的13个二进位)的上下文译码可减缓熵熵编码单元118和/或熵解码单元150的操作。
根据本发明的各种实例,可修改用于增量DC残差值译码的语法元素的熵译码以增强熵译码器(例如熵编码单元118和/或熵解码单元150)的性能。举例来说,熵编码单元118和/或熵解码单元150所使用的CABAC译码器可经配置以减少在常规译码引擎中使用针对增量DC译码的上下文模型来译码的二进位的数目,从而简化3D视频译码过程(例如3D-HEVC)中的DC残差译码。
一般来说,熵编码单元118可使inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的值二进制化,且在CABAC译码器中编码所得经二进制化的语法元素的二进位以产生经编码位流。熵解码单元150可在CABAC译码器中从位流中的位解码二进位,并对所述二进位进行去二进制化,以产生inter_sdc_resi_abs_minus1和depth_dc_abs语法元素。熵编码单元118和熵解码单元150用一或多个上下文模型译码的二进位可受限于所述语法元素的不超过N个前导二进位,其中N小于所述语法元素的二进位的最大可能数目。所述语法元素的二进位的最大可能数目可对应于所述语法元素的最大值。
在一些实例中,对于用以表示增量DC残差值的一或多个语法元素,所述技术可使用经修改的二进制化和/或上下文建模过程来减少经上下文译码的二进位的数目,且降低熵译码的复杂性。经上下文译码的二进位是指在CABAC译码器的常规译码引擎中使用上下文模型来译码的二进位,然而可在CABAC译码器的旁路译码引擎中旁路译码未经上下文译码的二进位,而不选择上下文模型。减少使用上下文模型来译码的二进位的数目可促进CABAC编码器/解码器中增加的通过量。
在一些实例中,由熵编码单元118和熵解码单元150以一或多个上下文模型来译码的二进位的数目可受限于所述语法元素的不超过N个前导二进位,其中N小于所述语法元素的二进位的最大可能数目。用于经二进制化的语法元素的二进位的数目可根据所述语法元素的值而变,且可小于N或大于N。然而,N的值小于二进位的最大可能数目,即可针对所述语法元素的最大值而产生的二进位的数目。
因此,在此实例中,在可用程度上,用一或多个上下文模型来译码不超过N个二进位,使得用一或多个上下文模型译码的二进位的数目(N或小于N)小于二进位的最大可能数目。经上下文译码的二进位的数目可至少部分地取决于针对所述语法元素的给定值而产生的二进位的实际数目,因为不同语法元素值可得出不同数目的二进位。
下文详细描述用于减少针对表示增量DC值的语法元素使用上下文模型来译码的二进位的数目的技术的实例的各个方面。各种实例不一定是相互排斥的,且可以多种组合来组合,如本文大体上所描述。
1.在第一实例中,不管用于inter_sdc_resi_abs_minus1和depth_dc_abs语法元素中的每一者的二进制化的二进制化方法如何,由熵编码单元118或熵解码单元150熵译码的二进位串均可具有不以旁路模式译码的至多N个二进位。就是说,由熵编码单元118或熵解码单元150使用上下文模型译码的inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的二进位的数目可限于不超过N个二进位。在此实例中,在CABAC译码器的常规译码引擎中译码不超过N个前导二进位,而在CABAC译码器的旁路译码引擎中译码inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的其余二进位。在常规译码引擎中,可选择上下文模型来译码所述二进位。在CABAC译码器的旁路译码引擎中,可使用固定概率模型来译码所述二进位,使得无上下文模型用于译码。N(针对不以旁路模式译码的至多N个前导二进位)的值小于用于所述语法元素的二进位的最大可能数目,例如小于将通过所述语法元素的最大值的二进制化而产生的二进位的最大数目。在一些实例中,N=9,使得以一或多个上下文模型来译码inter_sdc_resi_abs_minus1和depth_dc_abs语法元素中的每一者的至多9个前导二进位,即无旁路,且旁路译码,即不以上下文模型来译码其余二进位(如果存在的话)。如果针对语法元素inter_sdc_resi_abs_minus1和depth_dc_abs译码至多13个二进位,作为一实例,那么将上下文译码限于N=9个二进位可减少在常规译码引擎中必须以一或多个上下文模型来译码的二进位的数目。
a.在一个实例中,将上下文译码限于不超过N个二进位可为固定的或选择性激活的。举例来说,以上下文模型译码的inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的二进位的最大数目可固定在N(例如N=9)个二进位,且在固定基础上激活,例如使得不超过N个二进位正经上下文译码的限制始终有效。就是说,熵编码单元118和熵解码单元150可经配置以在固定基础上始终对经二进制化的语法元素(inter_sdc_resi_abs_minus1或depth_dc_abs)的不超过N个前导二进位进行熵译码。或者,应用所述限制使得不超过N个二进位将译码而无旁路可通过由编码器20产生且由解码器30接收的旗标选择性地控制。所述旗标可例如在参数集(例如视频参数集(VPS)、序列参数集(SPS)或图片参数集合(PPS)中发信号通知,和/或可进一步约束为简档和层级定义的一部分。
举例来说,熵编码单元118和/或熵解码单元150可译码(即,在熵编码单元118的情况下编码,且在熵解码单元150的情况下解码)VPS、SPS、PPS或类似数据结构中的旗标或其它语法元素,其指示未经旁路译码的二进位的数目是否限于不超过N个前导二进位,或未经旁路译码的二进位的数目是否不受限(或限于大于N个二进位的某一数目的二进位)。作为另一实例,例如将使用上下文模型的熵译码限于不超过inter_sdc_resi_abs_minus1或depth_dc_abs语法元素的N个前导二进位的旗标或其它语法元素等信息可在用于给定位流的简档或层级信息中译码。
如果所述旗标具有第一值,那么inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的二进位的上下文译码限于经二进制化的语法元素的不超过前N个二进位,其中N小于用于所述语法元素的二进位的最大可能数目,且旁路译码而不上下文译码其余二进位。如果所述旗标具有第二值,那么inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的二进位的上下文译码不限于经二进制化的语法元素的不超过前N个二进位,且可用一或多个上下文模型来译码所有二进位或至少超过N个二进位。N的值小于用于所述语法元素的二进位的最大可能数目。
如果将所述语法元素二进制化为具有(例如)13个二进位,且N=9,那么熵编码单元118和熵解码单元150可经配置以用一或多个上下文模型来译码9个或至少不超过9个二进位,且用旁路译码,即不使用一或多个上下文模型来译码其余4个二进位。如果将所述语法元素二进制化为具有8个二进位,且N=9,那么可使用一或多个上下文模型来译码所有8个二进位。经二进制化的语法元素的二进位的数目可根据所述语法元素的值而变,使得可存在小于N或大于N个二进位。然而,在一些实例中,可应用此约束,使得不管二进位的数目如何,都将用上下文模型来译码不超过N个二进位。
b.在一些实例中,作为将上下文译码限制为不超过前N个前导二进位的替代方案或除将上下文译码限制为不超过前N个前导二进位之外,可使用一个上下文模型,即,同一上下文模型来译码未经旁路译码的inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的所有二进位,即在CABAC译码器的常规译码引擎中经上下文译码的所有二进位。举例来说,熵编码单元118和/或熵解码单元150可经配置以译码未用同一上下文模型旁路译码的所有二进位。在此情况下,例如,可使用译码器的常规译码引擎来译码未用同一上下文模型旁路译码的二进位,而在CABAC译码器的旁路译码引擎中旁路译码其它其余二进位。因此,可用上下文模型来译码不超过前N个二进位,且用同一上下文模型来译码所述不超过N个二进位中的每一者,而旁路译码任何其余二进位。在此实例中,前N个二进位共享同一上下文模型,且所述前N个二进位中无一者是以不同上下文模型来译码的。如果N=9,如上文所描述,且inter_sdc_resi_abs_minus1或depth_dc_abs语法元素具有13个二进位,那么熵编码单元118和熵解码单元150可在CABAC译码器的常规译码引擎中以同一上下文模型对前9个二进位进行上下文译码,且在CABAC译码器的旁路译码引擎中对其余4个二进位进行旁路译码。
c.作为上文的项目1b的替代方案,除将上下文译码限于不超过前N个前导二进位之外,还可使用单独的上下文模型来译码未经旁路译码的不超过N个前导二进位中的至少一些。举例来说,经受前N个前导二进位的限制的未经旁路译码的每一二进位可用其自身的单独上下文模型来译码,其中N小于所述语法元素的二进位的最大可能数目。或者,可用彼此相同的上下文模型来译码未经旁路译码的不超过N个前导二进位中的至少一些,而可用一或多个不同上下文模型来译码未经旁路译码的不超过N个前导二进位中的一些其它二进位。举例来说,如果将用上下文模型来译码不超过N个前导二进位,熵编码单元118或熵解码单元150可用同一上下文模型来译码经二进制化的语法元素inter_sdc_resi_abs_minus1或depth_dc_abs语法元素的前N个二进位中的至少一些,而用一或多个不同上下文模型来译码所述前N个二进位中的一或多个其它二进位,且旁路译码所述前N个二进位之后的任何其余二进位,而不使用上下文模型来。并且,在适用时,译码可通常指代编码或解码,且可指代视频编码器20的熵编码单元118或视频解码器30的熵解码单元150所执行的操作。
2.在实例中,提出在增量DC译码中,熵编码单元118和熵解码单元150所执行的inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的二进制化类似于3D-HEVC WD中的二进制化,但用一或多个上下文模型译码的inter_sdc_resi_abs_minus1或depth_dc_abs语法元素的二进位的数目减小。举例来说,如上文在项目1中所描述,可通过对不超过前前导N个二进位进行上下文译码来减小未经旁路译码的二进位的数目,其中N小于用于所述语法元素的二进位的最大可能数目,且可使用根据3D-HEVC使用的相同二进制化。在此情况下,可相对于3D-HEVC WD来修改未经旁路译码的二进位的数目,但二进制化过程可与3D-HEVC WD中相同。
a.在另一实例中,可修改二进制化。在任一情况下,在此实例中,熵编码单元118和熵解码单元150对inter_sdc_resi_abs_minus1和depth_dc_abs中的每一者的二进制化仍为前缀二进位(具有截断莱斯(TR),cRiceParam=0)串和(当存在时)后缀二进位串(具有0阶指数-哥伦布(EG0))的级联。然而,TR过程用来指示前缀二进位串的最大值的cMax值从13变为N,其中N为正整数(例如N=9,如上文的项目1中所描述)。当所述语法元素inter_sdc_resi_abs_minus1或depth_dc_abs的值小于值cMax时,仅产生前缀二进位串,且后缀二进位串不存在。否则,表示所述语法元素的二进位中存在后缀二进位串。所述二进制化基于所述语法元素来确定熵编码单元118编码到位流中的位中的二进位,以及熵解码单元150从位流中的所述位解码以恢复所述语法元素的二进位的数目。下文的表3中说明此二进制化过程(其中cMax等于N)的实例。N的值可小于用于所述语法元素的二进位的最大可能数目。在一个实例中,将N设定成等于9。在此实例中,通过将cMax限制为N,将前缀串中的二进位的数目限制为不超过N。熵编码单元118和熵解码单元150可用经修改的二进制化来译码所述二进位。
表3-inter_sdc_resi_abs_minus1/depth_dc_abs的二进制化
b.此外,在一个实例中,可使用彼此相同的上下文模型来译码inter_sdc_resi_abs_minus1/depth_dc_abs中的前M个二进位(具有小于M的binIdx),且旁路译码其余二进位。在一个实例中,可使用彼此相同的上下文模型来译码inter_sdc_resi_abs_minus1/depth_dc_abs中的前M个二进位(具有小于M的binIdx),且旁路译码其余二进位。因此,使用一或多个上下文模型的译码可涉及使用彼此相同的上下文模型来译码M个位,或使用不同上下文模型来译码所述M个位中的一些。在一些实例中,可使用如上文在项目2a中所描述的二进制化来译码所述二进位。项目2a描述实例二进制化,且此项目2b描述应使用上下文模型来译码此二进制化的哪些二进位,且应旁路译码哪些二进位。此处,用上下文模型来译码仅前M个二进位,且旁路译码任何其余二进位。如上文所提到,用一或多个上下文模型来译码所述前M个二进位。在一些实例中,用同一上下文模型来译码所述前M个二进位。在一个实例中,M等于9。或者或另外,M可小于或等于N,其中N指示TR过程用来指示前缀二进位串的最大值的cMax值,如上文参照项目2a所描述。如果M大于N,那么将使用上下文模型(例如在此实例中,相同上下文模型)来译码前缀和至少一些后缀二进位两者(例如如在上文在项目2a中描述的二进制化过程中所产生)。否则,如果M小于或等于N,那么仅使用上下文模型(例如在此实例中,相同上下文模型)来译码前缀二进位,且旁路译码任何其余二进位。如果M小于N,那么使用上下文模型(例如在一些实例中,相同上下文模型)来译码仅前缀二进位的子集(少于所有可能的N个前缀二进位),且旁路译码任何其余二进位。作为说明,如果N=9,且M=6,那么熵编码单元118和熵解码单元150用一或多个上下文模型(例如,在一些实例中,相同上下文模型)来译码前M=6个二进位,且旁路译码其余二进位(如果存在的话)。在此实例中,如果M小于或等于N,那么熵编码单元118和熵解码单元150可译码所述二进位,使得不超过前N个前导二进位是以一或多个上下文模型译码的。举例来说,M个二进位(其中M小于或等于N)是使用一或多个上下文模型来译码的,且未经上下文译码的任何其余二进位经旁路译码。在一些实例中,可用彼此相同的上下文模型来译码所述M个二进位。
c.作为额外特征,inter_sdc_resi_abs_minus1和depth_dc_abs语法元素可各自限于在范围[0,N-1]内,以确保所述语法元素二进制化为不超过例如N个二进位,其中N=9。举例来说,可将inter_sdc_resi_abs_minus1或depth_dc_abs的值剪切到小于所述语法元素的最大范围的所要范围,使得所述值二进制化为不超过N=9个二进位,其小于用于所述语法元素的二进位的最大可能数目,即对于未经剪切,所述语法元素的最大值。在此情况下,通过将所述语法元素的所述值剪切到[0,N-1],用上下文模型来译码不超过N个前导二进位,因为所述语法元素的二进位串中实际上仅存在N个二进位。可旁路译码经上下文译码的任何二进位。
在其它实例中,可将语法元素值的范围设定成[0,P-1],其中P大于N。在此情况下,熵编码单元118或熵解码单元150可在CABAC译码器中用一或多个上下文模型来译码P个二进位中的不超过N个前导二进位,其中N小于对应于所述语法元素的最大值的二进位的最大可能数目,且旁路译码任何其余P-N个二进位(如果可用),而无上下文模型。
在此实例中,一般来说,inter_sdc_resi_abs_minus1或depth_dc_abs语法元素的值可限于选定为将二进位的数目限于小于所述语法元素的二进位的最大可能数目的范围。可例如在CABAC译码器的常规译码引擎中,使用一或多个上下文模型来译码所述语法元素的若干N个前导二进位,其中在给定所述语法元素的最大可能值的情况下,N小于二进位的最大可能数目,且在给定所述语法元素的最大剪切值的情况下,小于或等于二进位的最大实际数目。举例来说,在CABAC译码器的旁路译码引擎中,旁路译码任何其余二进位,而不使用一或多个上下文模型。
d.或者,在另一实例中,语法元素inter_sdc_resi_abs_minus1和depth_dc_abs中的每一者的二进制化可仍为前缀二进位(使用截断莱斯(TR),cRiceParam=0)串与(当存在时)后缀二进位串的级联,但可使用k阶指数-哥伦布(EGk)二进制化来产生后缀二进位串。在此实例中,k不等于0,例如k等于3。因此,代替于针对inter_sdc_resi_abs_minus1或depth_dc_abs使用0阶指数-哥伦布(EG0)二进制化(如在上文的项目2a中),将k阶指数-哥伦布二进制化(EGk)(其中k不等于0)用于后缀二进位串的二进制化。熵编码单元118和熵解码单元150可仍经配置以使用一或多个上下文模型来译码不超过前N个前导二进位,且旁路译码所述语法元素的任何其余二进位。
e.作为另一替代方案,语法元素inter_sdc_resi_abs_minus1和depth_dc_abs中的每一者的二进制化可仍为前缀二进位(使用截断莱斯(TR)产生,cRiceParam=0)串与(当存在时)后缀二进位串的级联,但可使用固定长度译码二进制化来产生后缀二进位串。因此,代替于针对inter_sdc_resi_abs_minus1或depth_dc_abs的后缀二进位串使用0阶指数-哥伦布(EG0)二进制化(如在上文的项目2a中),或k阶指数-哥伦布(EGk)二进制化(其中k不等于0)(如在上文的项目2d)中,可使用固定长度译码来使后缀二进位串二进制化。熵编码单元118和熵解码单元150可仍经配置以使用一或多个上下文模型来译码不超过前N个前导二进位,且旁路译码所述语法元素的任何其余二进位。下文在表4中示出用于二进制化的固定长度译码的实例。
表4-固定长度(其中长度等于8)译码的二进制化
3.或者,inter_sdc_resi_abs_minus1和depth_dc_abs语法元素各自使用k阶指数-哥伦布代码来二进制化。在此实例中,熵编码单元118和熵解码单元150可经配置以使用一或多个上下文模型来译码所述语法元素的不超过前N个前导二进位,且旁路译码所述语法元素的任何其余二进位,但可针对inter_sdc_resi_abs_minus1和depth_dc_abs语法元素使用不同二进制化。
a.在一个实例中,对于k阶指数-哥伦布代码,k等于0,且下文在表5中说明inter_sdc_resi_abs_minus1或depth_dc_abs(inter_sdc_resi_abs_minus1/depth_dc_abs)的二进制化。
表5-inter_sdc_resi_abs_minus1/depth_dc_abs的二进制化
b.此外,在一个实例中,可使用一个上下文模型(即,针对前N个前导二进位中的每一者使用相同上下文模型)来译码前N个二进位,且旁路译码二进位串中的其余二进位。N可为非负整数。在一个实例中,可将N设定成等于9。因此,通过此二进制化,熵编码单元118和熵解码单元150用上下文模型来译码不超过前N个二进位,且旁路译码未经上下文译码的任何其余二进位。此外,熵编码单元118和熵解码单元150用同一上下文模型来译码所有的经上下文译码的二进位,至多达限制N。在一些实例中,如果可用,那么使用同一上下文模型来译码所有N个二进位。在其它实例中,用同一上下文模型来译码N个二进位的子集,不是全部的N个二进位,达可用程度,且旁路译码任何其余二进位。
c.或者,使用上下文模型来译码仅第一‘0’二进位以及在其之前(即,在‘0’二进位之前)的二进位。举例来说,使用一或多个上下文模型来译码在第一零值二进位(‘0’二进位)之前的任何二进位以及零值二进位本身,且旁路译码所述零值二进位之后的任何其余二进位。
i.在此实例中,使用一或多个上下文模型来译码前导连续‘1’二进位以及之后的第一‘0’二进位(例如以粗体突出显示且在上文的表5中带下划线的那些二进位)。旁路译码在第一‘0’二进位之后的二进位。因此,作为说明,如果inter_sdc_resi_abs_minus1或depth_dc_abs的二进制化为1110001,那么熵编码单元118或熵解码单元150可使用一或多个上下文模型对前三个‘1’二进位以及第一‘0’二进位进行熵译码,且接着旁路译码最后的‘0’、‘0’和‘1’二进位,而不使用上下文模型。
ii.另外,在一个实例中,熵译码可经配置以使得仅第一‘0’之前的前N个二进位(包含第一‘0’)是以一或多个上下文模型译码的,且其余二进位经旁路译码。在此情况下,如果在第一‘0’二进位之前存在超过N个前导‘1’二进位,那么仅前N个前导二进位将以上下文模型来译码,且其余二进位经旁路译码。
作为说明,如果N=9,且在第一‘0’二进位之前存在八个前导‘1’二进位,那么将用一或多个上下文模型来译码八个前导二进位加第一‘0’二进位,且将旁路译码其余二进位。如果N=9,且在第一‘0’二进位之前存在九个前导‘1’二进位,那么将用一或多个上下文模型来译码仅前九个前导‘1’二进位,且将旁路译码其余二进位,包含第一‘0’二进位。作为另一说明,如果N=9,且在第一‘0’二进位之前存在六个前导‘1’二进位,那么将用一或多个上下文模型来译码仅前六个前导‘1’二进位和所述‘0’二进位,且将旁路译码其余二进位。
因此,在一些实例中,可结合将上下文译码限制为不超过增量DC值语法元素的前N个前导二进位来使用本特征,例如如上文参照项目1所描述。因此,熵编码单元118和熵解码单元150可经配置以使用一或多个上下文模型来译码不超过前N个前导二进位,以及不超过至多达且包含第一‘0’二进位的第一前导二进位,且旁路译码所述语法元素的任何其余二进位。
d.另外,在一些实例中,语法元素inter_sdc_resi_abs_minus1和depth_dc_abs中的一个或两个可限制为在范围[0,2^((N+1)/2)-2]中以确保其二进制化为不超过N个二进位。在一个实例中,k等于0,N等于9,且范围是[0,30]。在此情况下,对于帧间SDC模式,增量DC的范围是[-31,-1]和[1,31]的并集;对于帧内SDC模式和DMM模式,当当前预测单元中仅存在一个分区时,增量DC的范围是[-31,31],且当当前预测单元中存在两个分区时,增量DC的范围是[-30,30]。以此方式,可剪切inter_sdc_resi_abs_minus1和depth_dc_abs语法元素的值,以限制二进制化中产生的二进位的数目。
图7是说明用于编码表示增量DC残差值的语法元素的方法的流程图。图7的方法的熵译码方面可由视频编码器20的熵编码单元118执行。如图7中示出,视频编码器20可产生针对深度CU的PU或PU分区的预测(200)。所述预测可包含所述PU或分区的像素的经帧内或帧间预测的样本。PU分区可包含(例如)楔波或轮廓分区。编码器20可使用HEVC帧内预测模式、DMM或帧间预测来执行所述预测。在此实例中,例如在预测处理单元中,编码器20使用SDC或DMM(结合或不结合SDC)来产生所述PU或PU分区的增量DC残差值(202)。例如预测处理单元120中的编码器20产生表示增量DC残差值的语法元素(204),例如inter_sdc_resi_abs_minus1或depth_dc_abs。熵编码单元118例如使用本发明中所描述的二进制化过程中的任一者来使所述语法元素二进制化(206)。
熵编码单元118使用一或多个上下文模型来编码经二进制化的语法元素的二进位串的不超过N个前导二进位(208),其中N小于所述语法元素的二进位的最大可能数目。明确地说,熵编码单元118用CABAC译码器的常规译码引擎来编码不超过N个前导二进位。另外,熵编码单元118对经二进制化的语法元素的任何其余二进位进行旁路编码(210),且在经编码视频位流中发信号通知对应于经编码二进位的位(212)。在一些情况下,不存在未经上下文译码的其余二进位,取决于所述语法元素的值,或取决于经上下文译码的二进位的数目,经受最大N个前导二进位。通过将上下文译码限制为不超过N个前导二进位,其中N小于二进位的最大可能数目,且旁路译码其它二进位,可简化熵译码。在一些实例中,将上下文译码限制于不超过N个前导二进位可通过对上下文建模、二进制化过程或这两者的修改来应用,例如如上文所描述。
视频编码器20,例如经由例如预测处理单元120和熵编码单元118等组件,可包含一或多个处理器,其经配置以执行编码视频数据的方法,如图7中示出。举例来说,视频编码器20可产生表示深度译码单元(CU)的预测单元(PU)的增量DC残差值,且将所述语法元素二进制化为二进位串。所述语法元素可表示所述PU的一或多个分区中的一分区的增量DC残差值。
所述语法元素可为(例如)inter_sdc_resi_abs_minus1或depth_dc_abs语法元素(如3D-HEVC中所定义),或表示增量DC残差值的任何类似语法元素。视频编码器20可使用一或多个上下文模型来编码经二进制化的语法元素的不超过N个前导二进位,其中N小于经二进制化的语法元素的二进位的最大可能数目,且旁路编码经二进制化的语法元素的未使用一或多个上下文模型编码的任何其余二进位。在这些实例和其它实例中,N可为正整数。编码不超过N个前导二进位可包括使用上下文自适应二进制算术译码(CABAC)熵译码器的常规译码引擎来编码不超过N个前导二进位,且旁路编码其余二进位可包括使用CABAC熵译码器的旁路译码引擎来编码其余二进位。视频编码器20可在经编码位流中发信号通知对应于经编码二进位的位。
在一个实例中,视频编码器20可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化的前缀二进位串与用0阶指数哥伦布(EG0)代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,且其中TR代码的cMax值等于N。在另一实例中,视频编码器20可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化前缀二进位串与用k阶指数哥伦布(EGk)代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,其中k为非零,且其中TR代码的cMax值等于N。在另一实例中,视频编码器20可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化的前缀二进位串与用固定长度码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位。对于上述二进制化中的任一者,当所述语法元素的值小于cMax值时,所述二进制化不产生后缀二进位串。
在另一实例中,视频编码器20使用k阶指数哥伦布(EGk)代码来二进制化所述语法元素的值,以产生所述二进位。k的值可等于例如0。在此实例中,通过视频编码器20来编码不超过N个二进位可包括当具有零值的第一二进位定位在所述语法元素的N个前导二进位内时,使用一或多个上下文模型来仅编码具有零值的第一二进位以及在具有零值的第一二进位之前的任何前导二进位,且当具有零值的第一二进位不定位在所述语法元素的N个前导二进位内时,使用一或多个上下文模型来仅编码前导N个二进位。
在一些实例中,视频编码器20可产生为所述PU的分区预测的分区,其可为所述PU的单个分区或多个分区中的一者。增量DC残差值指示所述分区的平均像素值与经预测分区的平均像素值(即,经预测样本值)之间的差。如果对经预测分区进行帧内预测,那么所述语法元素可为depth_dc_abs语法元素,例如如由3D-HEVC提供以表示用于帧内译码的增量DC残差值。如果对经预测分区进行帧间预测,所述语法元素可为inter_sdc_resi_abs_minus1语法元素,如由3D-HEVC提供以表示用于帧间译码的增量DC残差值。
在一个实例中,视频编码器20可产生旗标或其它语法元素,其具有指示使用一或多个上下文模型来编码的不超过N个前导二进位的第一值,以及指示可使用一或多个上下文模型来编码的超过N个前导二进位(即对经上下文译码的二进位的数目不存在限制)的第二值。因此,在一些实例中,视频编码器20可发信号通知信息,以致使视频解码器30将上下文译码限制为不超过N个前导二进位,或不将上下文译码限制于N个前导二进位。
在一些实例中,视频编码器20可使用同一上下文模型来编码所述语法元素的不超过N个前导二进位。或者,视频编码器20可使用不同上下文模型来编码所述语法元素的不超过N个前导二进位中的至少一些。作为另一替代方案,视频编码器30可经配置以使用同一上下文模型来编码所述语法元素的不超过N个前导二进位中的前导M个,其中M小于N,且使用旁路译码来编码M个前导二进位之后的其余二进位(如果存在的话)。
在一些实例中,视频编码器20可经配置以将所述语法元素(例如用于帧间译码的inter_sdc_resi_abs_minus1或用于帧内译码的depth_dc_abs)的值剪切到小于所述值的全范围的范围。在此情况下,可通过经剪切的值的二进制化来产生所述二进位。作为一实例,视频编码器20可剪切所述语法元素的所述值,使得二进制化产生不超过9个二进位。
图8是说明用于解码表示增量DC残差值的语法元素的方法的流程图。图8的方法的熵译码方面可由视频解码器30的熵解码单元150执行。如图8中示出,熵解码单元150接收经编码视频位流(220),且使用一或多个上下文模型,为表示PU的增量DC残差值的语法元素,从所述位流解码不超过N个前导二进位(222)。N的值小于用于所述语法元素的二进位的最大可能数目。熵解码单元150旁路解码所述语法元素的任何其余二进位,而不使用上下文模型(224)。熵解码单元150基于经解码的二进位来产生所述语法元素(226)。视频解码器30,例如在重构单元158中,基于由所述语法元素以及所述PU或分区的经帧间预测的样本或经帧内预测的样本表示的增量DC残差值来重构经帧间译码或经帧内译码的PU(228)。
视频解码器30例如经由例如熵编码单元150、预测处理单元152和重构单元158等组件,可包含一或多个处理器,其经配置以执行解码视频数据的方法,如图8中示出。举例来说,视频解码器30可经配置以接收经编码视频位流,且从所述位流解码用于表示深度译码单元(CU)的预测单元(PU)的增量DC残差值(例如用于帧间译码的inter_sdc_resi_abs_minus1或用于帧内译码的depth_dc_abs)的语法元素的二进位。
为了解码所述二进位,视频解码器30可使用一或多个上下文模型来解码所述语法元素的不超过N个前导二进位,其中N小于所述语法元素的二进位的最大可能数目。另外,视频解码器30可旁路解码所述语法元素的未使用一或多个上下文模型来解码的任何其余二进位。解码不超过N个前导二进位可包括使用上下文自适应二进制算术译码(CABAC)熵译码器的常规解码引擎来解码不超过N个前导二进位,且旁路解码其余二进位可包括使用CABAC熵译码器的旁路解码引擎来旁路解码其余二进位。
视频解码器30可基于经解码的二进位来产生所述语法元素,且至少部分地基于由所述语法元素表示的增量DC残差值来重构所述PU。所述语法元素(例如用于帧间译码的inter_sdc_resi_abs_minus1或用于帧内译码的depth_dc_abs)可表示所述PU的一或多个分区中的一分区的增量DC残差值。可至少部分地基于所述分区的增量DC残差值和经预测的样本来重构所述PU。当经预测的分区经帧内预测时,所述语法元素包括depth_dc_abs语法元素。当经预测的分区经帧间预测时,所述语法元素包括inter_sdc_resi_abs_minus1语法元素。在任一情况下,增量DC残差值指示所述分区的平均像素值与经预测分区的平均像素值之间的差。
如上文参照视频编码器20的操作所描述,视频解码器30可经配置以如下解码通过所述语法元素的二进制化来产生的二进位。举例来说,视频编码器20可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化的前缀二进位串与用0阶指数哥伦布(EG0)代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,且其中TR代码的cMax值等于N。在另一实例中,可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化的前缀二进位串与用k阶指数哥伦布(EGk)代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,其中k为非零,且其中TR代码的cMax值等于N。在另一实例中,可使用用截断莱斯(TR)代码(其中cRiceParam=0)二进制化的前缀二进位串与用固定长度码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位。当所述语法元素的值小于cMax值时,不通过二进制化来产生后缀二进位串。
作为另一实例,可使用k阶指数哥伦布(EGk)代码来使所述语法元素的值二进制化,以产生所述二进位。在一些实例中,k=0。在解码不超过N个二进位时,视频解码器30可在具有零值的第一二进位定位在所述语法元素的N个前导二进位内时,使用一或多个上下文模型来仅解码具有零值的第一二进位以及在具有零值的所述第一二进位之前的任何前导二进位。当具有零值的第一二进位不定位在所述语法元素的N个前导二进位内时,视频解码器30可使用一或多个上下文模型来仅解码前导N个二进位。
在一些实例中,视频解码器30可接收旗标或其它语法信息,且当所述旗标或其它语法信息具有第一值时,使用一或多个上下文模型来解码不超过N个前导二进位。当所述旗标或其它语法信息具有第二值时,视频解码器30可在所述旗标具有第二值时使用一或多个上下文模型来解码超过N个前导二进位。举例来说,当所述旗标或其它语法信息具有所述第二值时,对用一或多个上下文模型译码的二进位的数目不存在限制。
在一些实例中,视频解码器30可经配置以使用同一上下文模型来解码所述语法元素的不超过N个前导二进位。或者,视频解码器30可使用不同上下文模型来解码所述语法元素的不超过N个前导二进位中的至少一些。作为另一替代方案,视频解码器30可使用同一上下文模型来解码所述语法元素的不超过N个前导二进位中的前导M个,其中M小于N,且使用旁路译码来解码所述M个前导二进位之后的其余二进位(如果存在的话)。
在一些实例中,将所述语法元素的值剪切到小于所述值的全范围的范围,且通过经剪切值的二进制化来产生所述二进位。举例来说,可剪切所述语法元素的所述值,使得二进制化产生不超过9个二进位。
本发明中描述的各种常规和旁路CABAC译码技术可由视频编码器20(图1和5)和/或视频解码器30(图1和6)执行,其中的两者可通常被称作视频译码器。另外,视频译码在适用时可大体上涉及视频编码和/或视频解码。
虽然大体上相对于3D-HEVC描述本发明的技术,但不以此方式限制所述技术。上述技术也可适用于针对3D视频译码的其它当前标准或未来标准。举例来说,本发明中描述的用于熵译码的技术(包含二进制化)还可适用于其它当前或未来标准,涉及针对深度分区的增量DC译码,例如针对3D视频译码或其它应用。
在一或多个实例中,本文所述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施,则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于例如数据存储媒体或通信媒体等有形媒体,通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体(例如,根据通信协议)。以此方式,计算机可读媒体通常可对应于(1)有形计算机可读存储媒体,其是非暂时的,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供,或者并入在组合式编解码器中。并且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或者通过互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (63)

1.一种视频解码的方法,所述方法包括:
接收经编码视频位流;
从所述位流解码用于表示深度译码单元CU的预测单元PU的增量DC残差值的语法元素的二进位,其中解码包括:
使用一或多个上下文模型来解码用于所述语法元素的不超过N个前导二进位,其中N小于用于所述语法元素的所述二进位的最大可能数目,以及
旁路解码用于所述语法元素的未使用一或多个上下文模型解码的任何其余二进位;
基于所述经解码的二进位来产生所述语法元素;以及
至少部分地基于由所述语法元素表示的所述增量DC残差值来重构所述PU。
2.根据权利要求1所述的方法,其中使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用0阶指数哥伦布EG0代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,且其中所述TR代码的cMax值等于N。
3.根据权利要求1所述的方法,其中使用用截断莱斯TR代码(其中cRiceParam=0)二进制化的前缀二进位串与用k阶指数哥伦布EGk代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,其中k为非零,且其中所述TR代码的cMax值等于N。
4.根据权利要求1所述的方法,其中使用用截断莱斯TR代码(其中cRiceParam=0)二进制化的前缀二进位串与用固定长度码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位。
5.根据权利要求2到4中任一权利要求所述的方法,当所述语法元素的值小于所述cMax值时,不通过所述二进制化来产生所述后缀二进位串。
6.根据权利要求1所述的方法,其中使用k阶指数哥伦布EGk代码来使所述语法元素的值二进制化,以产生所述二进位。
7.根据权利要求6所述的方法,其中k=0。
8.根据权利要求6或7所述的方法,其中解码不超过N个二进位包括:
当具有零值的第一二进位定位在所述语法元素的N个前导二进位内时,使用一或多个上下文模型来仅解码具有零值的第一二进位以及在具有所述零值的所述第一二进位之前的任何前导二进位;以及
当具有零值的所述第一二进位不定位在所述语法元素的所述N个前导二进位内时,使用一或多个上下文模型来仅解码所述前导N个二进位。
9.根据权利要求1到8中任一权利要求所述的方法,其中所述语法元素表示所述PU的一或多个分区中的一分区的所述增量DC残差值。
10.根据权利要求9所述的方法,其中重构所述PU包括至少部分地基于所述增量DC残差值和经预测分区来重构所述分区。
11.根据权利要求10所述的方法,其中对所述经预测分区进行帧内预测,且所述语法元素包括depth_dc_abs语法元素。
12.根据权利要求10所述的方法,其中对所述经预测分区进行帧间预测,且所述语法元素包括inter_sdc_resi_abs_minus1语法元素。
13.根据权利要求10到12中任一权利要求所述的方法,其中所述增量DC残差值指示所述分区的平均像素值与所述经预测分区的平均像素值之间的差。
14.根据权利要求1到13中任一权利要求所述的方法,其进一步包括:
接收旗标或其它语法信息;
当所述旗标或其它语法信息具有第一值时,使用所述一或多个上下文模型来解码不超过所述N个前导二进位;
当所述旗标或其它语法信息具有第二值时,允许使用所述一或多个上下文模型来解码超过所述N个前导二进位。
15.根据权利要求1到14中任一权利要求所述的方法,其进一步包括使用所述同一上下文模型来解码所述语法元素的所述不超过N个前导二进位。
16.根据权利要求1到14中任一权利要求所述的方法,其进一步包括使用不同上下文模型来解码所述语法元素的所述不超过N个前导二进位中的至少一些。
17.根据权利要求1到14所述的方法,其进一步包括使用第一上下文模型来解码所述语法元素的所述不超过N个前导二进位中的前导M个,其中M小于N,且旁路解码在所述前导M个二进位之后的任何其余二进位。
18.根据权利要求1到17中任一权利要求所述的方法,其中将所述语法元素的值剪切到小于所述值的全范围的范围,且通过所述经剪切值的二进制化来产生所述二进位。
19.根据权利要求18所述的方法,其中剪切所述语法元素的所述值,使得二进制化产生不超过N个二进位。
20.根据权利要求1到9中任一权利要求所述的方法,其中解码不超过N个前导二进位包括使用上下文自适应二进制算术译码CABAC熵译码器的常规译码引擎来解码所述不超过N个前导二进位,且旁路解码所述其余二进位包括使用所述CABAC熵译码器的旁路译码引擎来旁路解码所述其余二进位。
21.一种编码视频数据的方法,所述方法包含:
产生表示深度译码单元CU的预测单元PU的增量DC残差值的语法元素;
使所述语法元素二进制化;
使用一或多个上下文模型来编码所述经二进制化的语法元素的不超过N个前导二进位,其中N小于所述经二进制化的语法元素的所述二进位的最大可能数目;
旁路编码所述经二进制化的语法元素的未使用一或多个上下文模型来编码的任何其余二进位;以及
在经编码位流中发信号通知对应于所述经编码二进位的位。
22.根据权利要求21所述的方法,其进一步包括使用用其中cRiceParam=0截断莱斯TR代码二进制化的前缀二进位串与用0阶指数哥伦布EG0代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,且其中所述TR代码的cMax值等于N。
23.根据权利要求21所述的方法,其中使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用k阶指数哥伦布EGk代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,其中k为非零,且其中所述TR代码的cMax值等于N。
24.根据权利要求21所述的方法,其进一步包括使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用固定长度码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位。
25.根据权利要求22到24中任一权利要求所述的方法,当所述语法元素的值小于所述cMax值时,不通过所述二进制化来产生所述后缀二进位串。
26.根据权利要求21所述的方法,其中使用k阶指数哥伦布EGk代码来使所述语法元素的值二进制化,以产生所述二进位。
27.根据权利要求26所述的方法,其中k=0。
28.根据权利要求26或27所述的方法,其中编码不超过N个二进位包括:
当具有零值的第一二进位定位在所述语法元素的所述N个前导二进位内时,使用一或多个上下文模型来仅编码具有零值的第一二进位以及在具有所述零值的所述第一二进位之前的任何前导二进位;以及
当具有零值的所述第一二进位不定位在所述语法元素的所述N个前导二进位内时,使用一或多个上下文模型来仅编码所述前导N个二进位。
29.根据权利要求21到28中任一权利要求所述的方法,其中所述语法元素表示所述PU的一或多个分区中的一分区的所述增量DC残差值。
30.根据权利要求29所述的方法,其进一步包括产生所述PU的所述分区的经预测分区,其中所述增量DC残差值指示所述分区的平均像素值与所述经预测分区的平均像素值之间的差。
31.根据权利要求30所述的方法,其中对所述经预测分区进行帧内预测,且所述语法元素包括depth_dc_abs语法元素。
32.根据权利要求30所述的方法,其中对所述经预测分区进行帧间预测,且所述语法元素包括inter_sdc_resi_abs_minus1语法元素。
33.根据权利要求21到32中任一权利要求所述的方法,其进一步包括产生旗标或其它语法信息,其具有指示使用所述一或多个上下文模型来编码不超过所述N个前导二进位的第一值,以及指示使用所述一或多个上下文模型来编码超过所述N个前导二进位的第二值。
34.根据权利要求21到33中任一权利要求所述的方法,其进一步包括使用所述同一上下文模型来编码所述语法元素的所述不超过N个前导二进位。
35.根据权利要求21到33中任一权利要求所述的方法,其进一步包括使用不同上下文模型来编码所述语法元素的所述不超过N个前导二进位中的至少一些。
36.根据权利要求21到33所述的方法,其进一步包括使用第一上下文模型来编码所述语法元素的所述不超过N个前导二进位中的前导M个,其中M小于N,且旁路编码所述前导M个二进位之后的任何其余二进位。
37.根据权利要求21到36中任一权利要求所述的方法,其进一步包括将所述语法元素的值剪切到小于所述值的全范围的范围,其中通过所述经剪切值的二进制化来产生所述二进位。
38.根据权利要求37所述的方法,其进一步包括剪切所述语法元素的所述值,使得二进制化产生不超过N个二进位。
39.根据权利要求21到38中任一权利要求所述的方法,其中编码不超过N个前导二进位包括使用上下文自适应二进制算术译码CABAC熵译码器的常规译码引擎来编码所述不超过N个前导二进位,且旁路编码所述其余二进位包括使用所述CABAC熵译码器的旁路译码引擎来旁路编码所述其余二进位。
40.一种视频译码装置,其包括:
存储器,其存储经译码的视频位流,其中所述位流译码表示深度译码单元CU的预测单元PU的增量DC残差值的语法元素;以及
一或多个处理器,其经配置以:
使用一或多个上下文模型来译码所述语法元素的不超过N个前导二进位,其中N小于所述二进位的最大可能数目,且
旁路译码所述语法元素的未使用一或多个上下文模型解码的任何其余二进位。
41.根据权利要求40所述的装置,其中所述装置是视频解码器,解码所述经译码二进位,且所述一或多个处理器进一步经配置以解码所述位流以产生所述二进位,基于所述经解码二进位产生所述语法元素,且至少部分地基于由所述语法元素表示的所述增量DC残差值来重构所述PU。
42.根据权利要求40所述的装置,其中所述装置是视频编码器,编码所述经译码二进位,且所述一或多个处理器进一步经配置以使所述语法元素二进制化以产生所述二进位,且在所述经译码的视频位流中发信号通知对应于所述经编码二进位的位。
43.根据权利要求40到42中任一权利要求所述的装置,其中使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用0阶指数哥伦布EG0代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,且其中所述TR代码的cMax值等于N。
44.根据权利要求40到42中任一权利要求所述的装置,其中使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用k阶指数哥伦布EGk代码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位,其中k为非零,且其中所述TR代码的cMax值等于N。
45.根据权利要求40到42中任一权利要求所述的装置,其中使用用其中cRiceParam=0的截断莱斯TR代码二进制化的前缀二进位串与用固定长度码二进制化的后缀二进位串的级联来使所述语法元素的值二进制化,以产生所述二进位。
46.根据权利要求43到45中任一权利要求所述的装置,其中当所述语法元素的值小于所述cMax值时,不通过所述二进制化来产生所述后缀二进位串。
47.根据权利要求40到42中任一权利要求所述的装置,其中使用k阶指数哥伦布EGk代码来使所述语法元素的值二进制化,以产生所述二进位。
48.根据权利要求47所述的装置,其中k=0。
49.根据权利要求47或48所述的装置,其中所述一或多个处理器经配置以:
当具有零值的第一二进位定位在所述语法元素的所述N个前导二进位内时,使用一或多个上下文模型来仅译码具有零值的第一二进位以及在具有所述零值的所述第一二进位之前的任何前导二进位;以及
当具有零值的所述第一二进位不定位在所述语法元素的所述N个前导二进位内时,使用一或多个上下文模型来仅译码所述前导N个二进位。
50.根据权利要求40到49中任一权利要求所述的装置,其中所述语法元素表示所述PU的一或多个分区中的一分区的所述增量DC残差值,且所述一或多个处理器经配置以预测所述分区,其中所述增量DC残差值指示所述分区的平均像素值与所述经预测分区的平均像素值之间的差。
51.根据权利要求50所述的装置,其中所述装置是视频解码器,且所述一或多个处理器进一步经配置以至少部分地基于由所述语法元素表示的所述增量DC残差值来重构所述PU,其中所述PU的重构包括至少部分地基于所述增量DC残差值和所述经预测分区来重构所述分区。
52.根据权利要求50所述的装置,其中对所述经预测分区进行帧内预测,且所述语法元素包括depth_dc_abs语法元素。
53.根据权利要求50所述的装置,其中对所述经预测分区进行帧间预测,且所述语法元素包括inter_sdc_resi_abs_minus1语法元素。
54.根据权利要求50到53中任一权利要求所述的装置,其中所述增量DC残差值指示所述分区的平均像素值与所述经预测分区的平均像素值之间的差。
55.根据权利要求54中任一权利要求所述的装置,其中所述一或多个处理器经配置以译码旗标或其它语法信息,在所述旗标或其它语法信息具有第一值时,在所述上下文自适应熵解码器中译码不超过所述N个前导二进位,且在所述旗标或其它语法信息具有第二值时,准许在所述上下文自适应熵解码器中译码超过所述N个前导二进位。
56.根据权利要求40到55中任一权利要求所述的装置,其中所述一或多个处理器经配置以使用所述同一上下文模型来译码所述语法元素的所述不超过N个前导二进位。
57.根据权利要求40到55中任一权利要求所述的装置,其中所述一或多个处理器经配置以使用不同上下文模型来译码所述语法元素的所述不超过N个前导二进位中的至少一些。
58.根据权利要求40到55所述的装置,其中所述一或多个处理器经配置以使用第一上下文模型来译码所述不超过N个前导二进位中的前导M个,其中M小于N,且旁路译码在所述前导M个二进位之后的任何其余二进位。
59.根据权利要求40到58中任一权利要求所述的装置,其中将所述语法元素的值剪切到小于所述值的全范围的范围,且通过所述经剪切值的二进制化来产生所述二进位。
60.根据权利要求59所述的装置,其中剪切所述语法元素的所述值,使得二进制化产生不超过9个二进位。
61.根据权利要求40到60中任一权利要求所述的装置,其中所述一或多个处理器经配置以使用上下文自适应二进制算术译码CABAC熵译码器的常规译码引擎来译码所述不超过N个前导二进位,且使用所述CABAC熵译码器的旁路译码引擎来旁路解码所述其余二进位。
62.一种视频译码装置,其包括:
用于存储经译码视频位流的装置,其中所述位流译码表示深度译码单元CU的预测单元PU的增量DC残差值的语法元素;
用于使用一或多个上下文模型来译码所述语法元素的不超过N个前导二进位的装置,其中N小于所述二进位的最大可能数目,以及
用于旁路译码所述语法元素的未使用一或多个上下文模型译码的任何其余二进位的装置。
63.一种包括指令的非暂时性计算机可读存储媒体,所述指令致使一或多个处理器:
存储经译码视频位流,其中所述位流译码表示深度译码单元CU的预测单元PU的增量DC残差值的语法元素;
使用一或多个上下文模型来译码所述语法元素的不超过N个前导二进位,其中N小于所述二进位的最大可能数目,且
旁路译码所述语法元素的未使用一或多个上下文模型译码的任何其余二进位。
CN201380081909.8A 2013-12-30 2013-12-30 3d视频译码中的增量dc残差译码的简化 Pending CN106063262A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/001662 WO2015100514A1 (en) 2013-12-30 2013-12-30 Simplification of delta dc residual coding in 3d video coding

Publications (1)

Publication Number Publication Date
CN106063262A true CN106063262A (zh) 2016-10-26

Family

ID=53492876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081909.8A Pending CN106063262A (zh) 2013-12-30 2013-12-30 3d视频译码中的增量dc残差译码的简化

Country Status (7)

Country Link
US (1) US10230983B2 (zh)
EP (1) EP3090543A4 (zh)
JP (1) JP6312854B2 (zh)
KR (1) KR20160102067A (zh)
CN (1) CN106063262A (zh)
BR (1) BR112016015109A2 (zh)
WO (1) WO2015100514A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040247A (zh) * 2018-09-10 2020-12-04 华为技术有限公司 视频解码方法及视频解码器

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506254B2 (en) 2013-10-14 2019-12-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
CN110213580B (zh) * 2014-01-03 2023-06-30 Ge视频压缩有限责任公司 编码器和解码器
EP2905937B1 (en) * 2014-02-11 2022-01-12 Alcatel Lucent Efficient and scalable caching and representation of media with cross-similarities
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
US10085028B2 (en) * 2014-06-26 2018-09-25 Futurewei Technologies, Inc. Method and device for reducing a computational load in high efficiency video coding
KR101846137B1 (ko) * 2014-09-30 2018-04-05 에이치에프아이 이노베이션 인크. 깊이 코딩에서의 깊이 모델링 모드에 대한 룩업 테이블 크기 감소 방법
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10659783B2 (en) * 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
GB2568165B (en) * 2017-10-18 2022-08-31 Frank Donnelly Stephen Entropy and value based packet truncation
US10694205B2 (en) * 2017-12-18 2020-06-23 Google Llc Entropy coding of motion vectors using categories of transform blocks
BR112020019816A8 (pt) * 2018-03-26 2023-02-07 Mediatek Inc Métodos e aparelhos para sinalização de particionamento de unidade de codificação de dados de vídeo
CN116886914A (zh) * 2018-10-05 2023-10-13 Lg电子株式会社 图像编码/解码方法、存储介质及数据传输方法
EP3709658A4 (en) * 2018-11-12 2021-03-10 LG Electronics Inc. HIGH-FREQUENCY RESET BASED TRANSFORMATION COEFFICIENT CODING PROCESS AND APPARATUS THEREFOR
KR102640142B1 (ko) * 2019-01-12 2024-02-22 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
US20220124334A1 (en) * 2019-02-07 2022-04-21 Sony Group Corporation Image processing apparatus and method
AU2020236358A1 (en) * 2019-03-11 2021-11-11 Interdigital Vc Holdings, Inc. Reducing the number of regular coded bins
CN113615183A (zh) * 2019-03-12 2021-11-05 交互数字Vc控股公司 用于视频编解码的残差编解码中常规二进制位的灵活分配
WO2020216288A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Conditional use of multiple transform matrices in video coding
WO2020228762A1 (en) 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling for residual coding
US20220277491A1 (en) * 2019-05-31 2022-09-01 Electronics And Telecommunications Research Institute Method and device for machine learning-based image compression using global context
CN114175653B (zh) * 2019-09-17 2023-07-25 北京达佳互联信息技术有限公司 用于视频编解码中的无损编解码模式的方法和装置
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备和存储介质
WO2022217245A1 (en) * 2021-04-07 2022-10-13 Innopeak Technology, Inc. Remaining level binarization for video coding
US11997317B2 (en) * 2021-09-29 2024-05-28 Tencent America LLC Techniques for constraint flag signaling for range extension with persistent rice adaptation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340576A (zh) * 2007-07-06 2009-01-07 北京大学软件与微电子学院 利用变换和运动补偿的场景转换图像增强处理方法及系统
CN102065298B (zh) 2011-01-05 2012-10-24 西安电子科技大学 高性能宏块编码实现方法
CN102447907A (zh) 2012-01-31 2012-05-09 北京工业大学 一种针对hevc的视频序列的编码方法
PL2837185T3 (pl) * 2012-04-13 2020-03-31 Canon Kabushiki Kaisha Sposób, aparat i system do kodowania i dekodowania podzbioru jednostek transformacji zakodowanych danych wideo
US9584802B2 (en) * 2012-04-13 2017-02-28 Texas Instruments Incorporated Reducing context coded and bypass coded bins to improve context adaptive binary arithmetic coding (CABAC) throughput
KR20150116840A (ko) * 2013-01-02 2015-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9503760B2 (en) * 2013-08-15 2016-11-22 Mediatek Inc. Method and system for symbol binarization and de-binarization
EP2890129A1 (en) * 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH等: "3D-HEVC Draft Text 1", 《第5次JCT-3V MEETING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040247A (zh) * 2018-09-10 2020-12-04 华为技术有限公司 视频解码方法及视频解码器
US11706417B2 (en) 2018-09-10 2023-07-18 Huawei Technologies Co., Ltd. Video decoding method and video decoder

Also Published As

Publication number Publication date
JP6312854B2 (ja) 2018-04-18
KR20160102067A (ko) 2016-08-26
EP3090543A4 (en) 2017-08-02
JP2017508414A (ja) 2017-03-23
EP3090543A1 (en) 2016-11-09
US20160330479A1 (en) 2016-11-10
US10230983B2 (en) 2019-03-12
WO2015100514A1 (en) 2015-07-09
BR112016015109A2 (pt) 2017-08-08

Similar Documents

Publication Publication Date Title
CN106063262A (zh) 3d视频译码中的增量dc残差译码的简化
CN105934948B (zh) 解码和编码视频数据的方法和装置及计算机可读存储介质
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN104365105B (zh) 视频译码中的外部图片
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN105103559B (zh) 三维(3d)视频译码方法及装置
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN105027571B (zh) 三维视频译码中导出的视差向量
CN105052147A (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN106105216A (zh) 用于3d视频译码的受约束深度帧内模式译码
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN105580365A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105814896A (zh) 3d视频译码中的大型块和深度建模模式(dmm)
CN104396250A (zh) 用于3d视频译码的深度图的帧内译码
CN105580364A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105103557B (zh) 用于视频译码的方法、装置和存储媒体
CN105580372A (zh) 用于3d视频译码的组合式双向预测合并候选者
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN106664425A (zh) 视频译码中的跨分量预测
CN106105212A (zh) 简化的子预测单元(sub‑pu)运动参数继承(mpi)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1225538

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1225538

Country of ref document: HK