CN104768016A - 深度区块的深度编码方法 - Google Patents

深度区块的深度编码方法 Download PDF

Info

Publication number
CN104768016A
CN104768016A CN201410848180.9A CN201410848180A CN104768016A CN 104768016 A CN104768016 A CN 104768016A CN 201410848180 A CN201410848180 A CN 201410848180A CN 104768016 A CN104768016 A CN 104768016A
Authority
CN
China
Prior art keywords
coding
depth
block
current
binary number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410848180.9A
Other languages
English (en)
Other versions
CN104768016B (zh
Inventor
陈渏纹
林建良
庄子德
张毓麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104768016A publication Critical patent/CN104768016A/zh
Application granted granted Critical
Publication of CN104768016B publication Critical patent/CN104768016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种深度区块的深度编码方法，包括：接收相应于当前深度区块的输入数据；使用旁路编码对相应于该当前深度区块的第一值进行编码或解码；使用旁路编码对该第一值进行编码以产生深度编码语法元素以用于该三维编码系统，或使用该旁路编码对该深度编码语法元素进行解码以产生重建的第一值以用于该三维编码系统；以及向该编码系统提供该深度编码语法元素或使用该重建的第一值对该当前深度区块进行重建以用于该解码系统，本发明提出的深度编码方法可有效地改进用于三维视频编码的二进制化和熵编码方法。

Description

深度区块的深度编码方法
技术领域
本发明有关于一种三维视频编码，以及特别有关于一种三维编码系统中视图合成预测(view synthesis prediction,VSP)的优化方法。
背景技术
近年来三维电视已成为技术趋势，其目标在于为观众带来更真实的观看体验。多视图视频为捕捉和渲染3D视频的技术。通常通过使用多个摄像头同时捕捉场景(scene)而建立多视图视频，其中，适当地放置多个摄像头以使每个摄像头从一个视点捕捉场景。具有相应于视图的大量视频序列的多视图视频意味着巨大量的数据。相应地，多视图视频将需要用于存储的大量存储空间及/或用于传输的高带宽。因此，本领域已发展出多视图视频编码技术以减少所需存储空间和传输带宽。在三维和多视图编码系统中，对纹理数据(texture data)和深度数据进行编码。
分段深度编码(Segment-wise Depth Coding，SDC)也称为简化深度编码(Simplified Depth Coding)，其为根据高效视频编码(High Efficiency VideoCoding，HEVC)的三维编码操作中的替换残差编码模式。在当前3D-HEVC中，SDC方式被应用于用于深度编码的帧内预测和帧间预测中。深度建模模式(Depth Modelling Mode，DMM)是3D-HEVC中深度编码的替换预测模式，深度模型模式将当前区块分为两个部分(segment)。每个部分可推导(derive)其自身的DC(直流(Direct Current))预测因子，且将对应于用于每个部分的DC与预测因子之间的差值(difference)的增量(delta)DC值传送至每个部分以重建DC值。根据关于3D-HEVC的一些文档，DC值也称为用于深度区块的一部分的恒分区值(Constant Partition Value,CPV)。在推导用于每个部分的DC之后，使用残差四叉树(residual quad-tree，RQT)传送残差(residual)。然后增加该残差以用于重建该部分。
图1为用于DC模式的SDC预测方式的示例示意图。使用当前深度区块(110)的相邻重建深度值(112)作为参考样本以形成当前区块的预测样本。从多个预测值中推导平均值。为了减少涉及在取平均中的预测样本的数目，使用子采样(sub-sampling)方法，其中，该子采样方法从四个相邻样本(120)中保留一个样本。然后推导预测值P以用于待编码或待解码的区块(130)。对于解码，将推导的预测值增加至接收的残差以形成重建区块(140)。
图2为用于深度建模模式1(Depth Modelling Mode 1，DMM1)的SDC预测方式的示例示意图，其中，根据DMM模式将深度区块划分为两个部分。然而，不同于使用残差四叉树，SDC预测方式是用于多个部分的每一个部分。如图2所示，使用当前深度区块(210)的相邻重建样本(212)以形成预测。子采样预测模块(220)用于预测。对每个部分的预测值(P0和P1)进行推导以生产预测区块(230)。对于解码，如图2所示，接收各自的残差(R0和R1)并增加至对应的预测值以形成重建区块(240)。
深度帧内编码(intra coding)
对于帧内编码的深度编码单元(coding unit，CU)，通过传统的帧内编码(HEVC中的35帧内编码模式)或JCT3V-E1005(张等，3D-HEVC测试模型5，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG113D的视频编码扩展发展联合合作组，第5次会议：维也纳，奥地利，2013年7月27日-8月2日，文档：JCT3V-E1005)中规定的DMM1。可选择性地使用如HEVC中规定的传统的RQT或使用SDC对残差进行编码，其中，对于CU内的每个部分仅编码一个残差值而不编码量化转换系数(quantized transform coefficient)。
用于DMM和SDC的残差编码
为对在帧内SDC编码的PU或DMM编码的PU内部的多个部分(一或两个部分)的残差或DC进行编码，首先传送残差标志(residual flag)depth_dc_flag(也称为重要性标志(significance flag))以指示是否存在用于多个部分的任何残差或增量DC信号。如果帧内SDC或DMM PU内部的某个部分具有残差/DC，将符号标志(sign flag)与指示每个部分的残差或增量DC的绝对值的语法元素一起传送。解码器可根据残差或增量DC的符号标志和幅值(magnitude)(即绝对值(absolute value))重建冗余或增量DC值。
符号标志的语法元素的二进制化(binarization)使用具有等于1的最大值的定长(Fixed-length，FL)编码。换言之，使用指示残差或增量DC值的符号的“0”或“1”的仅一位二进制数对符号标志进行二进制化。根据3D-HEVC的FL二进制化过程的示例如表格1中所示。
表格1
可将用于绝对残差或增量DC值的语法元素的二进制码字(codeword)划分为前缀码字(prefix codeword)和后缀码字(suffix codeword)。用于前缀码字的二进制化使用截断一元(truncated unary，TU)码字分配且将值13看作转义码(escape code)。将任何值大于13的码字附加一个后缀码字，其中，由无符号0阶EXP-哥伦布(Exp-Golomb，UEG0)二进制化过程产生该后缀码字。产生k阶EXP-哥伦布(EGk)二进制码的过程如下所述。
表格2
用于绝对残差值的二进制码字的示例如表格3所示。当CU具有仅一个部分且绝对残差或增量DC值等于0，无需传送绝对残差或增量DC值。相应地，以二进制码字设计码字表(codeword table)以用于绝对值减一。在表格3的示例中，存在待编码的16个值。对于值0到12，使用具有从1到13的码长的一元编码(unary code)而无需后缀。对于值13到15，后缀部分对应于13个连续的1且前缀部分对应于UEGO，其中，对应的前缀分别为“0”、“100”及“101”。
表格3
在当前3D-HEVC测试模型版本9.0(HTM-9.0)中，将帧内残差标志(即depth_dc_flag)进行基于上下文自适应二进制算术编码(context-based adaptivebinary arithmetic coding，CABAC)编码为具有如表格4中所示的两个上下文模型，其中，根据部分的数目选择上下文模型。而对残差符号标志(即depth_dc_sign_flag)进行旁路编码。旁路编码(bypass coding)简单地跳过了常规的CABAC过程。对绝对残差值(即depth_dc_abs)的前缀码字进行CABAC编码且对绝对残差值的后缀码字旁路编码。
表格4
语法元素DmmFlag[x0][y0]表示是否在(x0,y0)的深度区块为DMM编码，语法元素SdcFlag[x0][y0]]表示是否在(x0,y0)的深度区块为SD编码，且语法元素dcNumSeg表示用于深度区块的多个部分的数目。此外，语法元素depth_dc_flag[x0][y0]表示是否存在用于在(x0,y0)的深度区块的该部分的任何残差或增量DC信号。如果存在用于该部分的任何残差或增量DC信号，传送残差或增量DC信号的绝对值和符号。
帧间深度编码
帧间SDC对非跳过(non-skipped)帧间编码的深度CU的每个PU仅编码一个残差，原始信号的平均值与预测信号的平均值之间的差值用作PU中所有像素的残差(无量化(quantization))。将残差发信至解码器。在当前3D-HEVC中，深度查找表不用于帧间SDC模式。
编码器将执行3D-HEVC中的传统帧间模式和帧间SDC模式之间的附加率失真(rate distortion)优化选择。当将当前CU编码为非跳过帧间编码的深度CU时，将对CU级别标志(即inter-SDC flag)进行编码以指示使用传统的帧间编码或帧间SDC编码。
为避免帧间SDC模式和跳过模式之间可能的重叠，仅当CU中任何PU的残差为非零时运用帧间SDC，其意味着仅在当前CU不是跳过式CU时需传送帧间SDC标志。
用于帧间SDC的残差编码
为编码用于每个帧间SDC编码的PU，将符号标志与指示残差的绝对值的语法元素一起传送。解码器可根据残差的符号标志和绝对值重建冗余值。符号标志的语法元素的二进制化使用具有等于1的最大值的FL编码。换言之，使用指示残差值的符号的“0”或“1”的仅一位二进制数对符号标志进行二进制化。可将用于绝对值的语法元素的二进制码字划分为前缀码字和后缀码字。用于前缀码字的二进制化使用截断TU码字分配且将值13看作转义码。将任何值大于13的码字附加一个后缀码字，其中，由无符号UEG0二进制化过程产生该后缀码字。由于当绝对值等于零时无需传送绝对残差值，设计二进制码字表以用于绝对值减一。在当前3D-HEVC测试模型版本9.0(HTM-9.0)中，如表格5中所示将帧间SDC标志(即inter_sdc_flag)进行旁路编码。当inter_sdc_flag具有值1时，其指示深度区块为帧间SDC编码。如表格5中所示，当深度区块为帧间SDC编码时传送语法元素inter_sdc_resi_sign_flag和inter_sdc_resi_abs_minus1以用于每个PU。由表格5中的puNum指示用于CU的PU的数目。对残差符号标志(即inter_sdc_resi_sign_flag)的二进制码字的每个二进制数和绝对残差值(即inter_sdc_resi_abs_minus1)的前缀码字进行CABAC编码。
表格5
如上所述，用于帧内深度编码和帧间深度编码的熵编码过程是不同的。此外，现有的用于有关深度编码的语法元素的二进制化和编码过程是不充分的。例如，当使用CABAC时，上下文模型的数量是非常有限的。因此，需要开发用于帧内和帧间深度编码的统一及/或改进的二进制化和熵编码方法。
发明内容
有鉴于此，本发明提供一种深度区块的深度编码方法。
本发明提供一种深度区块的深度编码方法，用于三维编码系统或三维解码系统，该方法包括：接收相应于当前深度区块的输入数据；使用旁路编码对相应于该当前深度区块的第一值进行编码或解码，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的该当前深度区块的残差幅值、由深度建模模式编码的该当前区块的增量直流幅值或由帧间分段深度编码模式编码的该当前深度区块的残差符号；使用旁路编码对该第一值进行编码以产生深度编码语法元素以用于该三维编码系统，或使用该旁路编码对该深度编码语法元素进行解码以产生重建的第一值以用于该三维编码系统；以及向该编码系统提供该深度编码语法元素或使用该重建的第一值对该当前深度区块进行重建以用于该解码系统。
本发明另提供一种深度区块的深度编码方法，用于三维编码系统，该方法包括：接收相应于当前深度区块的输入数据；将相应于该当前深度区块的第一值转换为二进制码字，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的该当前深度区块的残差幅值或由深度建模模式编码的该当前区块的增量直流幅值；使用算术编码对该二进制码字的第一个二进制数进行编码以产生第一编码输出；使用旁路编码对二进制码字的剩余二进制数进行编码以产生编码输出；以及提供该第一编码输出和该第二编码输出。
本发明再提供一种深度区块的深度编码方法，用于三维解码系统，该方法包括：接收相应于当前深度区块的输入数据；对相应于该当前深度区块的第一值的二进制码字的第一编码数据和第二编码数据进行解析，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的当前深度区块的残差幅值或由深度建模模式编码的该当前区块的增量直流幅值；使用算术编码将该第一编码数据解码为该二进制码字的第一个二进制数；使用旁路编码将该第二编码数据解码为该二进制码字的剩余二进制数；将包括该第一个二进制数和该剩余二进制数的该二进制码字转换为重建的第一值；以及使用该重建的第一值对该当前深度区块进行重建。
本发明还提供一种深度区块的深度编码方法，用于三维解码系统，该方法包括：接收相应于当前深度区块的输入数据，其中，使用深度编码模式对当前深度区块进行编码，其中，该深度编码模式从包括帧内分段深度编码模式、深度建模模式和帧间分段深度编码模式的第一集合中选择；以及使用旁路编码对相应于该当前区块的多个第一标志进行编码或解码；其中，该多个第一标志对应于从第二集合中选择的两个或多个成员，且该第二集合包括用于指示当在该帧内分段深度编码模式或该深度建模模式中编码该当前深度区块时是否存在用于该当前深度区块的至少一个残差或增量直流信号的第一语法元素、用于指示是否在该帧间分段深度编码模式中编码该当前深度区块的第二语法元素、用于指示当在该帧内分段深度编码模式该深度建模模式中编码该当前深度区块时该当前区块的帧内残差符号且存在该当前深度区块的任何残差或增量信号的第三语法元素及用于指示当在该帧间分段深度编码模式中编码该当前深度区块时该当前区块的帧间分段深度编码残差符号的第四语法元素。
附图说明
图1为用于DC模式的SDC预测方式的示例示意图；
图2为用于深度建模模式1的SDC预测方式的示例示意图；
图3为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的系统的流程图；
图4为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的编码系统的流程图；
图5为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的解码系统的流程图；以及
图6为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的系统的流程图。
具体实施方式
如上所述，用于帧内深度编码和帧间深度编码的熵编码过程是不同的。此外，现有的用于有关深度编码的语法元素的二进制化和编码过程是不充分的。因此，本发明提出用于帧内和帧间深度编码的统一及/或改进的二进制化和熵编码方法。
根据本发明揭示用于对关于深度残差编码的语法进行信息化(signaling)的各种上下文模式(context mode)和二进制化方法以改进二进制化和熵编码过程。
在传统的3D-HEVC系统中，帧间SDC残差符号标志(inter_sdc_resi_sign_flag)的二进制码字的每个二进制数为CABAC编码。在本发明的一个实施例中，对帧间SDC残差符号标志(inter_sdc_resi_sign_flag)的熵编码根据下面其中一个方法进行修改：
1.旁路编码；
2.具有两个上下文的算术编码(例如CABAC)(参考最近左相邻区块(immediate left neighbor block)的已编码帧间SDC标志以选择上下文)；
3.具有三个上下文的算术编码(例如CABAC)(参考最近左相邻区块和最近上相邻区块(immediate above neighbor block)的已编码帧间SDC标志以选择上下文)；以及
4.具有四个上下文的算术编码(例如CABAC)(参考CU划分深度(splittingdepth)以选择上下文)；
在传统的3D-HEVC系统中，对深度帧内DC标志(depth_dc_flag)和帧间SDC标志(inter_sdc_flag)进行不同的编码(即，分别为CABAC和旁路编码)。而且，对帧内深度DC符号标志(depth_dc_sign_flag)和帧间SDC残差符号标志(inter_sdc_resi_sign_flag)进行不同的编码(即，分别为CABAC和旁路编码)。在本发明的一个实施例中，对深度帧内DC标志(depth_dc_flag)、帧间SDC标志(inter_sdc_flag)、帧内深度DC符号标志(depth_dc_sign_flag)及帧间SDC残差符号标志(inter_sdc_resi_sign_flag)的熵编码可根据下面其中一个方法进行编码：
1.旁路编码；
2.具有一个上下文的算术编码(例如CABAC)；
3.具有两个上下文的算术编码(例如CABAC)(参考最近左相邻区块的已编码帧间SDC标志以选择上下文)；以及
4.具有三个上下文的算术编码(例如CABAC)(参考最近左相邻区块和最近上相邻区块的已编码帧间SDC标志以选择上下文)；
在传统的3D-HEVC系统中，以前缀部分和后缀部分表示帧内深度DC的残差幅值(depth_dc_abs)，其中，前缀部分为CABAC编码且后缀部分为旁路编码。在本发明的一个实施例中，帧内深度DC的残差幅值(depth_dc_abs)的熵编码可根据下面其中一个方法进行编码：
1.对二进制码字的所有二进制数进行旁路编码；
2.仅对二进制码字的前N位二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码(N为任意正整数，每个算术编码的二进制数具有其自身的上下文)；
3.仅对二进制码字的前N位二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码(N为任意正整数，所有算术编码的二进制数共享一个上下文)；
4.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以一个上下文对第一个二进制数进行算术编码；
5.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以两个上下文对第一个二进制数进行算术编码(参考最近左相邻区块的已编码帧间SDC标志以选择上下文)；
6.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以三个上下文对第一个二进制数进行算术编码(参考最近左相邻区块和最近上相邻区块的已编码帧间SDC标志以选择上下文)以及；
7.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以四个上下文对第一个二进制数进行算术编码(参考CU划分深度以选择上下文)。
在传统的3D-HEVC系统中，以前缀部分和后缀部分帧间SDC的残差幅值(inter_sdc_resi_abs_minus1)，其中，前缀部分为CABAC编码且后缀部分为旁路编码。在本发明的一个实施例中，帧间SDC的残差幅值(inter_sdc_resi_abs_minus1)可根据下面其中一个方法进行编码：
1.对二进制码字的所有二进制数进行旁路编码；
2.仅对二进制码字的前N位二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码(N为任意正整数，每个算术编码的二进制数具有其自身的上下文)；
3.仅对二进制码字的前N位二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码(N为任意正整数，所有算术编码的二进制数共享一个上下文)；
4.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以一个上下文对第一个二进制数进行算术编码；
5.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以两个上下文对第一个二进制数进行算术编码(参考最近左相邻区块的已编码帧间SDC标志以选择上下文)；
6.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以三个上下文对第一个二进制数进行算术编码(参考最近左相邻区块和最近上相邻区块的已编码帧间SDC标志以选择上下文)以及；
7.仅对二进制码字的第一个二进制数进行算术编码(例如CABAC)，对剩余的二进制数进行旁路编码，以四个上下文对第一个二进制数进行算术编码(参考CU划分深度以选择上下文)。
在本发明的另一个实施例中，帧内深度DC的残差幅值(depth_dc_abs)和帧间SDC的残差幅值(inter_sdc_resi_abs_minus1)将这两个语法元素的算术(例如CABAC)编码的二进制数聚合在一起并将其旁路编码的二进制数聚合在一起以增加解析吞吐量(parsing throughput)。
例如，如表格6中所示，如果仅对帧内SDC或DMM模式的DC幅值的第一个二进制数进行CABAC编码，且对剩余的二进制数进行旁路编码，可对语法安排如下以将CABAC编码的二进制数聚合在一起并将旁路编码的二进制数聚合在一起。
表格6
在表格6中，depth_dc_abs_1st_bin对应于depth_dc_abs的第一个二进制数且depth_dc_abs_rest_bin对应于depth_dc_abs的剩余二进制数。在表格6中，当区块具有由dcNumSeg指示的两个部分时，将两个部分的depth_dc_abs_rest_bin和depth_dc_abs都聚合在一起。而且，将两个部分的depth_dc_abs_1st_bin聚合在一起。此外，由于第一个二进制数已经与其他二进制数分离，可对第一个二进制数分配一个语义(semantic)以指定是否绝对DC值DcOffset[x0][y0][i]大于0。从表格6修改的语法和语义的一个示例如表格7中所示。
表格7
在表格7中，depth_dc_abs_greater0_flag[x0][y0][I]指定是否绝对DC值DcOffset[x0][y0][i]为大于0，使用depth_dc_abs_minus1[x0][y0][i]和depth_dc_sign_flag[x0][y0][i]以推导DcOffset[x0][y0][i]如下所示：
DcOffset[x0][y0][i]＝(1-2*depth_dc_sign_flag[x0][y0][i])*
(depth_dc_abs_minus1[x0][y0][i]+1-dcNumSeg+2)  (1)
当depth_dc_abs_minus1[x0][y0][i]不存在时，DcOffset[x0][y0][i]为-1。当depth_dc_sign_flag[x0][y0][i]不存在时，DcOffset[x0][y0][i]为0。
在另一示例中，仅对inter_sdc_resi_abs_minus1的第一个二进制数(即inter_sdc_resi_abs_minus1_1st_bin)进行CABAC编码。对剩余二进制数和帧间SDC残差符号(inter_sdc_resi_sign_flag)进行旁路编码。可如表格8中所示对语法进行安排以将CABAC编码的二进制数与旁路编码的二进制数聚合在一起。
表格8
算术编码(例如CABAC)的二进制数和旁路编码的二进制数的聚合将能改进熵编码器的解析吞吐量。其可运用于另一些如残差或增量DV语法的一些二进制数为算术编码且其他编码为旁路编码的情形。算术编码的二进制数和旁路编码的二进制数的聚合不限于上述的示例。
在另一示例中，如表格9和表格10中所示从0而非从1开始对帧间SDC模式的残差幅值(即inter_sdc_resi_abs)进行编码。
表格9
在表格9中，将CU内部的所有PU的inter_sdc_resi_abs和inter_sdc_resi_sign_flag聚合在一起。由puNum指示CU内部的PU数目。此外，使用语法元素inter_sdc_resi_abs[x0][y0][i]和inter_sdc_resi_sign_flag[x0][y0][i]以推导InterSdcResi[x0][y0][i]如下：
InterSdcResi[x0][y0][i]＝(1-2*inter_sdc_resi_sign_flag[x0][y0][i])*(inter_sdc_resi_abs[x0][y0][i])     (2)
表格10
在表格10中，语法元素inter_sdc_resi_abs_1st_bin[x0][y0][i]对应于帧间SDC残差幅值的第一个位。使用inter_sdc_resi_abs_rest_bin[x0][y0][i]和inter_sdc_resi_sign_flag[x0][y0][i]以推导InterSdcResi[x0][y0][i]如下：
InterSdcResi[x0][y0][i]＝(1-2*inter_sdc_resi_sign_flag[x0][y0][i])*(inter_sdc_resi_abs[x0][y0][i])    (3)
其中，inter_sdc_resi_abs[x0][y0][i]为聚合inter_sdc_resi_abs_1st_bin[x0][y0][i]和inter_sdc_resi_abs_rest_bin的变量。
图3为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的系统的流程图。如步骤310中所示，该系统接收相应于当前深度区块的输入数据。当前深度区块对应于深度CU或深度PU。将深度区块划分为一或两个部分。对应编码，相应于深度区块的输入数据对应于待编码的深度采样。对应解码，相应于当前深度的输入数据对应于待解码的已编码深度数据。从存储器(例如电脑存储器、缓存(RAM或DRAM)或其他媒介)或从处理器中撷取相应于当前深度区块的输入数据。在步骤320中，对指示是否相应于当前深度区块的第一值为旁路编码的标志进行编码或解码。第一值对应于由帧内SDC模式或帧间SDC模式编码的当前深度区块的残差幅值、由DMM模式编码的当前区块的增量DC幅值或由帧间SDC模式编码的当前深度区块的残差符号。如步骤330中所示，如果该标志指示第一值为被旁路编码，使用旁路编码对第一值进行编码以产生深度编码语法元素以用于3D编码系统，或使用旁路编码对深度编码语法元素进行解码以产生重建的第一值以用于3D编码系统。在步骤340中，如果该标志该标志指示第一值为被旁路编码，在编码系统中提供深度编码语法元素，或者，在解码系统中，使用重建的第一值对当前深度区块进行重建。
图4为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的编码系统的流程图，其中，使用算术编码对二进制码字的第一个二进制数进行编码，且使用旁路编码对二进制码字的剩余二进制数进行编码。在步骤410中，接收相应于当前深度区块的输入数据。在步骤420中，将相应于当前深度区块的第一值转换为二进制码字。第一值对应于由帧内SDC模式或帧间SDC模式编码的当前深度区块的残差幅值或由DMM模式编码的当前区块的增量DC幅值。如步骤430中所示，使用算术编码(例如CABAC)对二进制码字的第一个二进制数进行编码以产生第一编码输出。在步骤440中，使用旁路编码对二进制码字的剩余二进制数进行编码以产生第二编码输出。然后，在步骤450中，提供第一编码输出和第二编码输出作为用于当前深度区块的部分已编码数据。
图5为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的解码系统的流程图。其中，使用算术编码对二进制码字的第一个二进制数进行编码，且使用旁路编码对二进制码字的剩余二进制数进行编码。在步骤510中，接收相应于当前深度区块的已编码数据。在步骤520中，对相应于当前深度区块的第一值的二进制码字的第一编码数据和第二编码数据进行解析。第一值对应于由帧内SDC模式或帧间SDC模式编码的当前深度区块的残差幅值或由DMM模式编码的当前区块的增量DC幅值。在步骤530中，使用算术编码(例如CABAC)将第一编码数据解码为二进制码字的第一个二进制数。在步骤540中，使用旁路编码将第二编码数据解码为二进制码字的剩余二进制数。在步骤550中，将包括第一个二进制数和剩余二进制数的二进制码字转换为重建的第一值。在步骤560中，使用重建的第一值对当前深度区块进行重建。
图6为根据本发明的一个实施例包括关于深度编码的语法的改进二进制化和熵编码过程的系统的流程图，其中，通过使用旁路编码统一相应于当前深度区块的深度编码语法的多个标志的熵编码。在步骤610中，接收相应于当前深度区块的输入数据，其中，使用深度编码模式对当前深度区块进行编码，其中，该深度编码模式从包括帧内SDC模式、DMM模式和帧间SDC模式的集合中选择。在步骤620中，使用旁路编码对相应于当前区块的第一标志进行编码或解码。第一标志对应于从第二集合中选择的两个或多个成员，该第二集合包括：
1.第一语法元素，用于指示当在帧内SDC模式或DMM模式中编码当前深度区块时，是否存在用于当前深度区块的至少一个残差或增量DC信号，
2.第二语法元素，用于指示是否在帧间SDC模式中编码当前深度区块，
3.第三语法元素，用于指示当在帧内SDC模式或DMM模式中编码当前深度区块时，当前区块的帧内残差符号，且存在的当前深度区块的任何残差或增量信号；以及
4.第四语法元素，用于指示当在帧间SDC模式中编码当前深度区块时，当前区块的帧间SDC残差符号。
上述的叙述以足够的细节叙述使本领域技术人员能藉由上述的描述实施本发明所揭露的系统以及方法。对本领域技术人员而言，对上述实施例的各种修改为显而易见的，以及本发明所定义的原理亦可应用于其它实施例中。因此，前述的实施例并非用于限定本发明范围，但符合本发明所揭露的原理以及新颖特征的最大范围。在上述的详细描述中，所描述的各种特定细节用于彻底理解本发明。然而，本领域技术人员皆可理解并实施上述特定细节。
前述本发明的示范实施例可透过各种硬件、软件件编码或者两者的结合实现。举例来说，本发明一个实施例可为嵌入于视频压缩晶片中的电路或者嵌入于视频压缩软件之程式编码以执行本发明所述之程序。本发明一实施例亦可为数位信号处理器所执行之程式编码以执行本发明所述之程序。本发明亦可包括由电脑处理器、数位信号处理器、微处理器或者现场可编辑逻辑闸阵列(fieldprogrammable gate array,FPGA)所执行之复数功能。上述之处理器系透过定义本发明之特定方法之电脑可读取软件编码或者韧体编码执行特定任务。软件编码或者韧体编码可为不同之程式语言以及不同之格式或者类型。亦可对不同之目标平台编译软件编码。无论如何，根据本发明之软件编码的不同编码格式、类型以及语言以及用于执行任务的其它配置编码将不脱离本发明的精神以及范围。
在不脱离本发明的精神以及范围内，本发明可以其它特定格式呈现。所描述的实施例在所有方面仅用于说明的目的而并非用于限制本发明。本发明的保护范围当视后附的权利要求所界定者为准。本领域技术人员皆在不脱离本发明之精神以及范围内做些许更动与润饰。

Claims (8)

1.一种深度区块的深度编码方法，用于三维编码系统或三维解码系统，该方法包括：
接收相应于当前深度区块的输入数据；
使用旁路编码对相应于该当前深度区块的第一值进行编码或解码，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的该当前深度区块的残差幅值、由深度建模模式编码的该当前区块的增量直流幅值或由帧间分段深度编码模式编码的该当前深度区块的残差符号；
使用旁路编码对该第一值进行编码以产生深度编码语法元素以用于该三维编码系统，或使用该旁路编码对该深度编码语法元素进行解码以产生重建的第一值以用于该三维编码系统；以及
向该编码系统提供该深度编码语法元素或使用该重建的第一值对该当前深度区块进行重建以用于该解码系统。
2.一种深度区块的深度编码方法，用于三维编码系统，该方法包括：
接收相应于当前深度区块的输入数据；
将相应于该当前深度区块的第一值转换为二进制码字，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的该当前深度区块的残差幅值或由深度建模模式编码的该当前区块的增量直流幅值；
使用算术编码对该二进制码字的第一个二进制数进行编码以产生第一编码输出；
使用旁路编码对二进制码字的剩余二进制数进行编码以产生第二编码输出；以及
提供该第一编码输出和该第二编码输出。
3.如权利要求2所述的方法，其特征在于，该方法更包括：将来自该当前深度区块的多个算术二进制数聚合在一起以用于该算术编码，其中，该多个算术二进制数对应于相应于该当前深度区块的一或多个码字的一或多个算术编码的二进制数，且该多个算术二进制数包括该二进制码字的该第一个二进制数。
4.如权利要求2所述的方法，其特征在于，该方法更包括：将来自该当前深度区块的多个旁路二进制数聚合在一起以用于该旁路编码，其中，该多个旁路二进制数对应于相应于该当前深度区块的一或多个码字的一或多个旁路编码的二进制数，且该多个旁路二进制数包括该二进制码字的该剩余二进制数。
5.一种深度区块的深度编码方法，用于三维解码系统，该方法包括：
接收相应于当前深度区块的输入数据；
对相应于该当前深度区块的第一值的二进制码字的第一编码数据和第二编码数据进行解析，其中，该第一值对应于由帧内分段深度编码模式或帧间分段深度编码模式编码的当前深度区块的残差幅值或由深度建模模式编码的该当前区块的增量直流幅值；
使用算术编码将该第一编码数据解码为该二进制码字的第一个二进制数；
使用旁路编码将该第二编码数据解码为该二进制码字的剩余二进制数；
将包括该第一个二进制数和该剩余二进制数的该二进制码字转换为重建的第一值；以及
使用该重建的第一值对该当前深度区块进行重建。
6.如权利要求5所述的方法，其特征在于，该方法更包括：将来自该当前深度区块的多个算术二进制数聚合在一起以用于该算术编码，其中，该多个算术二进制数对应于相应于该当前深度区块的一或多个码字的一或多个算术编码的二进制数，且该多个算术二进制数包括该二进制码字的该第一个二进制数。
7.如权利要求5所述的方法，其特征在于，该方法更包括：将来自该当前深度区块的多个旁路二进制数聚合在一起以用于该旁路编码，其中，该多个旁路二进制数对应于相应于该当前深度区块的一或多个码字的一或多个旁路编码的二进制数，且该多个旁路二进制数包括该二进制码字的该剩余二进制数。
8.一种深度区块的深度编码方法，用于三维解码系统，该方法包括：
接收相应于当前深度区块的输入数据，其中，使用深度编码模式对当前深度区块进行编码，其中，该深度编码模式从包括帧内分段深度编码模式、深度建模模式和帧间分段深度编码模式的第一集合中选择；以及
使用旁路编码对相应于该当前区块的多个第一标志进行编码或解码；其中，该多个第一标志对应于从第二集合中选择的两个或多个成员，且该第二集合包括用于指示当在该帧内分段深度编码模式或该深度建模模式中编码该当前深度区块时是否存在用于该当前深度区块的至少一个残差或增量直流信号的第一语法元素、用于指示是否在该帧间分段深度编码模式中编码该当前深度区块的第二语法元素、用于指示当在该帧内分段深度编码模式该深度建模模式中编码该当前深度区块时该当前区块的帧内残差符号且存在该当前深度区块的任何残差或增量信号的第三语法元素及用于指示当在该帧间分段深度编码模式中编码该当前深度区块时该当前区块的帧间分段深度编码残差符号的第四语法元素。
CN201410848180.9A 2014-01-02 2014-12-31 深度区块的深度编码方法 Active CN104768016B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461922901P 2014-01-02 2014-01-02
US61/922,901 2014-01-02
US14/538,200 2014-11-11
US14/538,200 US20150189321A1 (en) 2014-01-02 2014-11-11 Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax

Publications (2)

Publication Number Publication Date
CN104768016A true CN104768016A (zh) 2015-07-08
CN104768016B CN104768016B (zh) 2018-02-09

Family

ID=53483431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410848180.9A Active CN104768016B (zh) 2014-01-02 2014-12-31 深度区块的深度编码方法

Country Status (2)

Country Link
US (1) US20150189321A1 (zh)
CN (1) CN104768016B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992208A (zh) * 2019-03-31 2019-07-09 杭州复杂美科技有限公司 区块数据压缩方法、设备和存储介质
WO2020192749A1 (en) * 2019-03-27 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Entropy coding for affine mode with adaptive motion vector resolution
WO2021219143A1 (en) * 2020-05-01 2021-11-04 Beijing Bytedance Network Technology Co., Ltd. Entropy coding for motion precision syntax
US11265573B2 (en) 2018-09-19 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11330289B2 (en) 2019-01-31 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Context for coding affine mode adaptive motion vector resolution
US11477458B2 (en) 2018-06-19 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Mode dependent motion vector difference precision set
US12022087B2 (en) 2018-06-19 2024-06-25 Beijing Bytedance Network Technology Co., Ltd Mode dependent motion vector difference precision set

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056953A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 뎁스 인터 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10706492B2 (en) * 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
CA3137163C (en) 2019-04-24 2024-05-14 Bytedance Inc. Constraints on quantized residual differential pulse code modulation representation of coded video
CN113796069B (zh) 2019-05-01 2024-03-08 字节跳动有限公司 使用量化残差差分脉冲编解码调制编解码的帧内编解码视频
JP7288083B2 (ja) 2019-05-02 2023-06-06 バイトダンス インコーポレイテッド 符号化ツリー構造タイプに基づく符号化モード

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028318A1 (en) * 2011-07-28 2013-01-31 Emi Maruyama Moving image decoder and moving image decoding method
CN103004208A (zh) * 2011-07-18 2013-03-27 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN103004207A (zh) * 2011-06-24 2013-03-27 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN103222269A (zh) * 2011-11-08 2013-07-24 索尼公司 用于较高吞吐量的最后位置的二值化

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004207A (zh) * 2011-06-24 2013-03-27 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN103004208A (zh) * 2011-07-18 2013-03-27 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
US20130028318A1 (en) * 2011-07-28 2013-01-31 Emi Maruyama Moving image decoder and moving image decoding method
CN103222269A (zh) * 2011-11-08 2013-07-24 索尼公司 用于较高吞吐量的最后位置的二值化

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022087B2 (en) 2018-06-19 2024-06-25 Beijing Bytedance Network Technology Co., Ltd Mode dependent motion vector difference precision set
US11477458B2 (en) 2018-06-19 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Mode dependent motion vector difference precision set
US11653020B2 (en) 2018-09-19 2023-05-16 Beijing Bytedance Network Technology Co., Ltd Fast algorithms for adaptive motion vector resolution in affine mode
US11265573B2 (en) 2018-09-19 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11330289B2 (en) 2019-01-31 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Context for coding affine mode adaptive motion vector resolution
CN113678444A (zh) * 2019-03-27 2021-11-19 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的熵编解码
CN113678444B (zh) * 2019-03-27 2023-08-18 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的熵编解码
WO2020192749A1 (en) * 2019-03-27 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Entropy coding for affine mode with adaptive motion vector resolution
CN109992208A (zh) * 2019-03-31 2019-07-09 杭州复杂美科技有限公司 区块数据压缩方法、设备和存储介质
US20230115118A1 (en) 2020-05-01 2023-04-13 Beijing Bytedance Network Technology Co., Ltd. Entropy coding for motion precision syntax
WO2021219143A1 (en) * 2020-05-01 2021-11-04 Beijing Bytedance Network Technology Co., Ltd. Entropy coding for motion precision syntax
US11856202B2 (en) 2020-05-01 2023-12-26 Beijing Bytedance Network Technolgy Co., Ltd. Entropy coding for motion precision syntax
US11997270B2 (en) 2020-05-01 2024-05-28 Beijing Bytedance Network Technolgy Co., Ltd. Entropy coding for partition syntax

Also Published As

Publication number Publication date
CN104768016B (zh) 2018-02-09
US20150189321A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
CN104768016A (zh) 深度区块的深度编码方法
JP6802260B2 (ja) ビデオコーディングにおける係数レベルのコーディング
JP6492147B2 (ja) 映像復号化方法
CN104067524B (zh) 具有精简的初始化值集合的上下文自适应熵译码
CN104054347B (zh) 在视频译码中波前平行处理的使用的指示
CN104270645B (zh) 用于并行视频编码和解码的方法、设备和系统
JP2022050614A (ja) ビデオコード化のためのマルチタイプツリーフレームワーク
US10609374B2 (en) Method and apparatus for entropy-encoding and entropy-decoding video signal
JP2020145729A (ja) 統一された有意性マップ符号化方法および装置
CN104718752B (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104904222B (zh) 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
US11240536B2 (en) Method and device for entropy encoding, decoding video signal
JP6100344B2 (ja) 参照ユニット決定方法及び装置
CN110073661A (zh) 用于视频译码的多种类型树架构
CN110100436A (zh) 使用导出色度模式译码视频数据
CN104412599B (zh) 对视频译码发信长期参考图片
CN104041031A (zh) 视频编码和解码方法和使用该方法的装置
CN107690807A (zh) 使用增强型上下文自适应二进制算术译码设计来译码数据
US20120308148A1 (en) Encoding/decoding method and apparatus using a tree structure
CN106464919A (zh) 视频译码中用于第0个输出层集合的简档、层次、层级
CN104410859A (zh) 在cabac中使用分离的绝对值和符号(savs)对dpq进行二元化
CN104471942A (zh) 重新使用参数集用于视频译码
CN103988505A (zh) 在视频数据的波前并行处理中的受约束参考图片集合
CN106471810A (zh) 用于屏幕内容视频数据的运动向量差(mvd)译码的方法
CN105659605A (zh) 用于解码多视图视频的视频解码方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160914

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant