CN106464880A - 用于减少高效率视频编码中的计算负荷的方法和设备 - Google Patents

用于减少高效率视频编码中的计算负荷的方法和设备 Download PDF

Info

Publication number
CN106464880A
CN106464880A CN201580029057.7A CN201580029057A CN106464880A CN 106464880 A CN106464880 A CN 106464880A CN 201580029057 A CN201580029057 A CN 201580029057A CN 106464880 A CN106464880 A CN 106464880A
Authority
CN
China
Prior art keywords
intra prediction
prediction mode
rate distortion
distortion cost
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580029057.7A
Other languages
English (en)
Other versions
CN106464880B (zh
Inventor
顾舟叶
郑建铧
林楠
张臣雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Santa Clara University
Original Assignee
Huawei Technologies Co Ltd
Santa Clara University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Santa Clara University filed Critical Huawei Technologies Co Ltd
Publication of CN106464880A publication Critical patent/CN106464880A/zh
Application granted granted Critical
Publication of CN106464880B publication Critical patent/CN106464880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于减少高效率视频编码中的计算负荷的方法(500)包括生成(504)选择的帧内编码模式的全率失真计算列表，其中所述帧内编码模式包括帧内预测模式和深度模型模式。针对整个率失真计算列表中的每个帧内预测模式，在禁用分段深度编码模式的情况下确定率失真成本，并选择(506)最小率失真成本帧内预测模式。在启用(510)所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。比较(512)后，将所述特定帧内预测模式(514)和所述具有最小率失真成本的最小率失真成本帧内预测模式(516)的其中一个应用到预测单元。

Description

用于减少高效率视频编码中的计算负荷的方法和设备
技术领域
本发明大体上涉及高效率视频编码技术，尤其涉及一种用于减少高效率视频编码(High Efficiency Video Coding，HEVC)中的计算负荷的方法和设备。
背景技术
在3D-HEVC帧内预测过程中，使用所有可能的帧内编码模式执行帧内预测模式判决，从而使用拉格朗日乘数找到具有最小率失真(rate distortion，RD)成本的帧内编码模式。然而，该技术会产生非常大的计算复杂度，并在实际应用中限制3D-HEVC编码器和解码器的使用。因此，能够降低帧内判决的复杂度而不影响编码效率的快速算法是3D-HEVC编码器和解码器的实时实现的最理想算法。
发明内容
根据上文所述，本领域技术人员应了解的是，有必要降低三维视频编码器和解码器中的计算复杂度。根据本发明，提供了一种用于减少高效率视频编码中的计算负荷的方法和设备，所述方法和设备大大消除了与传统编码器和解码器处理实现相关的问题。
根据一项实施例，一种用于减少高效率视频编码中的计算负荷的方法包括生成选定的帧内编码模式的全率失真计算列表，其中所述帧内编码模式包括帧内预测模式和深度模型模式。确定全率失真计算列表中的每个帧内预测模式的率失真成本，选择具有最小率失真成本的最小率失真成本帧内预测模式，其中在进行确定时对每个帧内预测模式禁用分段深度编码模式。在启用分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。将在启用所述分段深度编码模式的情况下获得的所述特定帧内预测模式的所述率失真成本与在禁用所述分段深度编码模式的情况下获得的所述最小率失真成本帧内预测模式的所述率失真成本进行比较。将所述特定帧内预测模式和所述具有最小率失真成本的最小率失真成本帧内预测模式的其中一个应用到预测单元。
本发明通过传统视频编码技术描述了许多技术优点。例如，一个技术优点是在启用分段深度编码模式的情况下除去全率失真计算的执行。另一个技术优点是为率失真计算选择特定帧内编码模式。又一技术优点是基于具有最小率失真成本的帧内预测模式选择帧内编码模式。对本领域技术人员而言，通过下面的附图说明、具体实施方式和权利要求书，其它技术优点将是显而易见和容易识别的。
附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，相同的数字表示相同的对象，其中：
图1所示为在高效率视频编码(High Efficiency Video Coding，HEVC)中实现的四叉树编码结构；
图2为图示可实现深度数据编码技术的视频编码器的示例的方框图；
图3为图示可实现深度数据编码技术的视频解码器的示例的方框图；
图4A和图4B所示为具有纹理帧和深度帧的3D场景表征的示例；
图5所示为启用分段深度编码(segment-wise depth coding，SDC)时减少计算负荷的过程的示例；以及
图6所示为启用SDC时减少计算负荷的过程的另一示例。
图7示出了适用于执行图5和图6过程的简化通用计算组件。
具体实施方式
以下列出的图1至图7和本专利文档中的各种实施例仅通过举例说明的方式描述本发明的原理，而不应以任何方式理解为对本发明范围的限制。本领域技术人员可以理解的是，本发明的原理可通过任何一种设置合理的设备或系统实现。一个图中显示和论述的特点可适当地在一个或多个其它图中实现。
一般情况下，本发明涉及依据HEVC标准使用各种深度编码模式对三维(three-dimensional，3D)视频数据的深度数据进行编码和解码的技术。3D视频数据的捕捉视图(例如纹理)与描述纹理数据的深度数据的对应深度图相关。根据3D视频编码过程，诸如3D-HEVC过程，纹理视图和深度图可编码和多路复用为3D视频比特流。
图1所示为在高效率视频编码(High Efficiency Video Coding，HEVC)中实现的四叉树编码结构。HEVC标准使用高度灵活的四叉树编码结构，在该结构中，视频图像或帧可分为一系列包括亮度(Y)和色度(Cb、Cr)样本的编码树单元(Coding Tree Units，CTU)。CTU大小可从编码器中的64x64、32x32和16x16选择，并在序列参数集(sequence parameterset，SPS)中指定。CTU用作编码树的根，四叉树的每片叶子称为编码单元(Coding Unit，CU)。因此，一个CTU可分为多个CU，且每个CU指定一个编码类别：帧内编码或帧间编码。CU还可进一步分为一个、两个或四个预测单元(Prediction Units，PU)，他们携带供预测的基本信息。为了有效的预测，HEVC定义了两个帧内PU和八个帧间PU形状，以支持可变大小PU。帧内PU可能具有2Nx2N和NxN形状。帧间PU形状包括两个正方形形状2Nx2N和NxN，两个矩形形状2NxN和Nx2N，以及分别位于上、下、左、右位置的四个不对称形状2NxnU、2NxnD、nLx2N和nRx2N。每个CU的残差块可使用四叉树结构进行变换，该四叉树结构通常称为残差四叉树(residual quadtree，RQT)，其由转换单元(Transfer Units，TU)组成，尺寸范围从4×4高达32×32。TU包含用于空间块变换和量化的系数，从而对预测图像和实际图像之间的残差进行编码。
编码器通过详尽计算选择最佳编码树结构、PU分幅和RQT配置。为了评估每个候选配置的压缩效率，编码器通常使用拉格朗日乘数优化技术，该技术以J＝D+λR表示，其中，J为拉格朗日率失真(rate distortion，RD)成本函数，D为以重构样本对原始样本的方差的和表示的失真增益，R为熵编码的比特率，λ为拉格朗日公式中关联R和D的拉格朗日乘数。RD成本的最小化过程称为率失真优化(rate-distortion optimization，RDO)，通过该优化，将比特率与失真进行平衡，从而达到压缩效率与图像质量之间的权衡。
编码效率是以最低可能的比特率对视频进行编码同时保持某种水平的视频质量的能力。所述编码器使用RDO处理来选择具有最小值的帧内编码模式。RDO处理非常省时，主要有两个原因。第一个原因是有许多CU/PU/TU组合。例如，仅在帧内预测模式编码时，要执行35次RD成本计算过程才能判定某个PU的模式，因为一个PU可使用包括DC(平面)模式、二维(曲面拟合)模式以及33个角度模式的35个帧内预测模式之一进行编码。第二个原因是RD成本计算的计算量非常惊人。为了获得精确的D和R，对于每个候选模式，由所述编码器执行的所述RD成本计算包含帧内预测、残差计算、变换、量化、熵编码、反变换、反量化、像素重构以及最终的RD成本计算。
一般情况下，HEVC编码器将帧压缩成可进行存储或传输的压缩视频比特流。编码过程以将单个图像或帧划分成多个CTU开始，CTU可进一步分为多个CU。在将帧内的图像划分之后，预测过程就开始，其中CU在该过程中进一步划分为PU。所述HEVC编码器使用两种类型的预测，即帧内预测和帧间预测。帧内预测从相邻图像数据中，即从相同的图像帧中对PU进行预测。帧间预测使用运动补偿预测对从在当前显示，即流中的其它图像帧之前或之后发现的图像中的画面数据中引用的PU进行预测。预测后剩余的任何数据使用离散余弦变换(Discrete Cosine Transform，DCT)放入块中。原始块与其预测之间的差通过线性空间变换进行变换。所述HEVC编码器将这些块应用到每个CU中的剩余数据。最后，编码比特流通过一个称为熵编码的过程使用基于上下文的自适应二进制算数编码(Context AdaptiveBinary Arithmetic Coding，CABAC)进行进一步编码。这是最后一步，在该步骤中，所述HEVC编码器排列变换数据并将变换数据压缩到其单独组件，即运动向量、预测模式、划分信息以及其它头数据。在进行缩放、量化和熵编码之后，变换系数同预测信息一起传输。此时，视频已压缩，并可存储。
在视频传输之后，HEVC解码器对数据进行解码，以查看视频源中的图像。通过熵解码，所述HEVC解码器抽取编码后序列的元素。重新缩放和逆转编码过程的变换阶段，图像的单元将恢复到其原始形式，即预测单元，然后预测将添加到逆变换的输出。
最后一步是查看运动图像，这是解码后视频的重构过程，以便于查看。编码器复制解码器处理环路，以便所述编码器和解码器都对后续数据生成一致预测。量化变换系数通过逆缩放进行构建，然后进行逆变换，以复制残差信号的解码后近似值。然后，将残差添加到预测，然后可将添加的结果发送到一个或两个环路滤波器中，从而消除由分块处理和量化所引起的效应。最后的图像表征(即解码器的输出的副本)存储到解码图像缓冲区中，以用于对后续图像进行预测。
图2为图示可实现深度数据编码技术的视频编码器200的示例的方框图。正如本文所披露的，视频编码器200代表可用于执行3D-HEVC中深度图的简化编码模式传送的技术的设备。视频编码器200可执行视频片内的视频块的帧内和帧间编码。帧内编码依赖于空间预测，以减少或除去给定视频帧或图像内的视频中的空间冗余。帧间编码依赖于时间预测，以减少或除去视频序列的相邻帧或图像内的视频中的时间冗余。帧内预测模式(I模式)可指几种基于空间的编码模式的任何一种。帧间预测模式，诸如单向预测(P模式)或双向预测(B模式)，可指几种基于时间的编码模式的任何一种。除对每个视图的纹理图(即亮度值和色度值)进行编码外，视频编码器200还可对每个视图的深度图进行进一步编码。
视频编码器200可包括视频数据存储器202、模式选择单元204、解码图像缓冲区(decoded picture buffer、DPB)206、加法器208、变换处理单元210、量化单元212以及熵编码单元214。依次地，模式选择单元204包括运动补偿单元220、运动估计单元222、帧内预测单元224和分区单元226。对于视频块的重构，视频编码器200还包括逆量化单元230、逆变换单元232和加法器234。还可包含去块滤波器240，以过滤块边界和除去重构后视频中的方块效应。如果需要，去块滤波器240通常过滤加法器234的输出。除去块滤波器之外，还可使用其它滤波器(内环路或后环路)。此类滤波器还过滤加法器208(如内环路滤波器)的输出。示例滤波器可包括自适应环路滤波器、样本自适应偏移(sample adaptive offset，SAO)滤波器或其它类型的滤波器。
视频编码器200接收待编码的视频帧内的当前视频块。视频数据存储器202可存储待由视频编码器200的组件进行编码的视频数据。例如，可从视频源中获得视频数据存储器202中存储的视频数据。解码图像缓冲区206可以是存储参考视频数据的参考图像存储器，以便视频编码器200对视频数据进行编码时使用，例如在帧内编码模式或帧间编码模式下。视频数据存储器202和解码图像缓冲区206可由各种存储器设备，如动态随机存取存储器(dynamic random access memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistive RAM，MRAM)或其它类型的存储器设备的任何一种构成。视频数据存储器202和解码图像缓冲区206可由相同的存储器设备或单独的存储器设备提供。在各种示例中，视频数据存储器202可与视频编码器200的其它组件一样位于芯片上，或位于相对于这些组件的芯片外。
在编码过程中，视频编码器200接收待编码的视频帧或视频片。帧或片可分为多个视频块。运动估计单元222和运动补偿单元220对相对于一个或多个参考帧中的一个或多个块的接收到的视频块执行帧间预测编码，从而提供时间预测。或者，帧内预测单元224可对相对于与待编码的块相同的帧或片内的一个或多个相邻块的接收到的视频块执行帧内预测编码，从而提供空间预测。视频编码器200可执行多个编码通道，从而为视频数据的每个块选择适当的编码模式。
此外，分区单元226可基于在前一个编码通道中对前一个划分方案进行的评估，将视频数据的块划分成子块。例如，分区单元226最初可将帧或片划分成LCU，然后基于率失真(例如率失真优化)将每个LCU划分成子CU。模式选择单元204还可生成一个四叉树数据结构，指示将LCU划分成子CU。四叉树的叶节点CU可包括一个或多个PU以及一个或多个TU。模式选择单元204可根据错误结果选择帧内或帧间编码模式之一，将得到的帧内或帧间编码块提供给加法器208，以生成残差块数据，并提供给加法器234，以重构用作参考帧的编码后块。模式选择单元204还为熵编码单元214提供语法元素，诸如运动向量、帧内编码模式指示符、分区信息和其它此等语法信息。
运动估计单元222和运动补偿单元220可高度集成，但是出于概念目的分别说明。运动估计单元222所执行的运动估计是生成运动向量的过程，所述运动向量估计视频块的运动。例如，运动向量可指示相对于参考帧(或其它编码单元)内的预测块的当前视频帧或图像内的视频块的PU的位移，其中所述参考帧内的预测块相对于当前帧(或其它编码单元)内正在编码的当前块。
预测块是根据像素差发现与待编码的块紧密匹配的块，该像素差可通过绝对差值和(sum of absolute difference，SAD)、方差值和(sum of square difference，SSD)或其它不同度量进行确定。在某些示例中，视频编码器200可计算解码图像缓冲区206内存储的参考图像的分段整数像素位置的值。例如，视频编码器200可内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元222可执行有关全像素位置和分数像素位置的运动搜索，并输出具有分数像素精度的运动向量。
运动估计单元222通过将PU的位置与参考图像的预测块的位置进行比较，来计算帧间编码片内视频块的PU的运动向量。可从多个参考图像列表的一个列表中选择参考图像，每个列表确定在解码图像缓冲区206中存储的一个或多个参考图像。运动估计单元222为熵编码单元214和运动补偿单元220生成计算的运动向量。
运动补偿单元220所执行的运动补偿可包含基于运动估计单元222所确定的运动向量获取或生成预测块。在接收当前视频块的PU的运动向量之后，运动补偿单元220可将预测块定位到运动向量在任一参考图像列表中指向的位置。加法器208通过从当前正在编码的视频块的像素值中减去预测块的像素值来形成残差视频块，从而形成像素差值。一般情况下，运动估计单元222执行相对于亮度组件的运动估计，运动补偿单元220将基于亮度组件计算得到的运动向量用于色度组件和亮度组件。模式选择单元204还可生成与视频块和视频片相关的语法元素以供解码视频片的视频块时使用。
帧内预测单元224可对当前块进行帧内预测，作为运动估计单元222和运动补偿单元220所执行的帧间预测的替代。具体而言，帧内预测单元224可确定帧内编码模式以用来对当前块进行编码。在某些示例中，帧内预测单元224可在单独的编码通道过程中等使用各种帧内预测模式对当前块进行编码，而帧内预测单元224(或模式选择单元204，在某些示例中)可从测试模式中选择要使用的适当的帧内编码模式。
例如，帧内预测单元224可使用率失真分析对各种测试帧内编码模式计算率失真值，并从测试模式中选择具有最佳率失真特点的帧内编码模式。率失真分析一般确定编码后块和原始未编码块之间的失真(或误差)量，对原始未编码块进行编码可生成编码后块，同时比特率或位数用于生成编码后块。帧内预测单元224可计算各种编码后块的失真比率和速率，以确定哪个帧内编码模式显示块的最佳率失真值。
此外，帧内预测单元224可用于对深度图的深度块进行编码。例如，帧内预测单元224可使用基础(2D)HEVC标准中的帧内预测模式、区域边界链编码模式(chain codingmode，CCM)、简化或分段深度编码模式(segment-wise depth coding mode，SDC)或者深度模型模式(depth modeling mode，DMM)对深度片的帧内预测PU进行编码。在某些示例中，运动估计单元222和运动补偿单元220还可用于对深度图的深度块进行编码。运动估计单元222和运动补偿单元220可根据基础(2D)HEVC标准或帧间SDC模式执行帧间预测，从而对深度片的帧间预测PU进行编码。
变换处理单元210将变换应用于残差块，生成残差变换系数的块。变换可将残差信息从像素值域转换到变换域，诸如频域。变换处理单元210可执行变换，如离散余弦变换(discrete cosine transforms，DCT)或概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。变换处理单元210可将得出的变换系数发送到量化单元212。在某些示例中，可跳过变换过程。
量化单元212量化变换系数，以进一步降低比特率。量化过程可降低与部分或全部系数相关的位深度。量化的度可通过调整量化参数进行修改。在某些示例中，量化单元212然后可执行包括量化变换系数的矩阵的扫描。或者，熵编码单元214可执行扫描。
量化后，熵编码单元214对量化变换系数进行熵编码。例如，熵编码单元214可执行基于上下文的自适应二进制算数编码(context adaptive binary arithmetic coding，CABAC)或其它熵编码过程，如基于上下文的自适应变长编码(context adaptive variablelength coding，CAVLC)、基于语法的上下文自适应二进制算数编码(syntax-basedcontext-adaptive binary arithmetic coding，SBAC)或概率区间划分熵(probabilityinterval partitioning entropy，PIPE)编码。在基于上下文的熵编码中，上下文可基于相邻块。在熵编码单元214进行熵编码后，可将编码后比特流发送给另一台设备(例如视频解码器300)或进行归档以作稍后传输或检索。
逆量化单元230和逆变换单元232分别应用逆量化和逆变换在像素域中重构残差块，以稍后用作参考快。运动补偿单元220可通过将残差块添加到解码图像缓冲区206的其中一个帧的预测块来计算参考块。运动补偿单元220还可将一个或多个内插滤波器应用到重构后的残差块中来计算分段整数像素值，以便在运动估计中使用。
加法器234将重构后的残差块添加到由运动补偿单元220生成的运动补偿预测块中来生成重构后的视频块，以便在编码图像缓冲区206中存储。重构后的视频块可由运动估计单元222和运动补偿单元220用作参考块，以在后续视频帧中对块进行帧间编码。
根据本发明描述的技术，视频编码器200可用于使用3D视频编码过程中可用的深度帧内编码模式对3D视频数据的深度数据进行编码。在一个示例中，视频编码器200传送用于对深度模型表中的3D视频数据的深度数据进行编码的深度帧内编码模式。深度模型表为与HEVC帧内编码模式的语法分离的附加深度帧内编码模式传送语法。此外，视频编码器200传送语法元素，如标志，以指示是否对3D视频数据启用不同于HEVC帧内编码模式的任一深度帧内编码模式。在某些示例中，语法元素可指示是否对3D视频数据启用所有深度帧内编码模式。语法元素可包括在视频参数集(video parameter set，VPS)、序列参数集(sequence parameter set，SPS)或视频数据的图像参数集(picture parameter set，PPS)中的一个。当启用深度帧内编码模式时，由视频编码器200传送的标志指示视频解码器300对深度模型表进行解码，从而确定用于对深度数据进行编码的任一深度帧内编码模式。深度模型表可在视频数据的编码单元(coding unit，CU)级别或预测单元(prediction unit，PU)级别之一进行编码。根据本发明的技术，视频编码器200的传送可通过传送与HEVC帧内编码模式分离的深度模型表中的深度帧内编码模式以及指示何时启用深度帧内编码模式和何时对深度模型表进行解码来减轻解码器解析负担。
在另一示例中，视频编码器200可用于使用跨两个或多个深度编码模式统一的语法元素集，传送3D视频数据的深度数据的残差信息。深度编码模式可包括深度帧内编码模式和深度帧间编码模式。语法元素集可包括指示是否对任一深度编码模式编码残差值的语法元素。语法元素集还可包括指示绝对值和任一深度编码模式的残差值的语法元素。通过共享相同的语法元素集来指示两个或多个深度编码模式的残差信息，视频编码器200还可统一每个共享的语法元素的上下文模型选择和二进制化方法。此外，对于深度帧内编码模式，视频编码器200可确定在深度数据的残差值生成期间不过滤相邻参考样本。根据本发明的技术，视频编码器200的编码机制和传送可通过统一深度编码模式的残差信息语法，减轻解码器解析负担并减少所需上下文模型和二进制化方法的数量。
图3为图示可能实现深度数据编码技术的视频解码器300的示例的方框图。视频解码器300包括视频数据存储器302、熵解码单元304、运动补偿单元306、帧内预测单元308、逆量化单元310、逆变换单元312、解码图像缓冲区(decoded picture buffer，DPB)314和加法器316。视频解码器300表示可用于执行如本文所提供的3D-HEVC中深度图的简化编码模式传送的技术的设备。
视频数据存储器302可存储待由视频解码器300的组件解码的视频数据，诸如编码视频比特流。例如，视频数据存储器302中存储的视频数据可从计算机可读介质，例如从本地视频源，诸如照相机，通过视频数据的有线或无线网络通信或者通过访问物理数据存储介质获取。视频数据存储器302可形成一个存储编码视频比特流中的编码视频数据的编码图像缓冲区(coded picture buffer，CPB)。解码图像缓冲区314可以是存储参考视频数据的参考图像存储器，以便在视频编码器300按帧内或帧间编码模式对视频数据进行解码时使用。视频数据存储器302和解码图像缓冲区314可由各种存储器设备，诸如动态随机存取存储器(dynamic random access memory，DRAM)、包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistive RAM，MRAM)或其它类型的存储器设备的任何一种构成。视频数据存储器302和解码图像缓冲区314可由相同的存储器设备或单独的存储器设备提供。在各种示例中，视频数据存储器302可与视频解码器300的其它组件一样位于芯片上，或位于相对于这些组件的芯片外。
在解码过程中，视频解码器300从视频编码器200接收表示编码视频片的视频块的编码视频比特流和相关语法元素。熵解码单元304对比特流进行熵解码，以生成量化系数、运动向量、帧内编码模式指标和其它语法元素。视频解码器300可接收视频片级别和/或视频块级别的语法元素。除对每个视图的纹理图(即亮度值和色度值)进行解码外，视频解码器300还可对每个视图的深度图进行解码。
当视频片编码为帧内编码(I)片时，帧内预测单元308可基于传送帧内编码模式和当前帧或图像的先前解码后块的数据，生成当前视频片的视频块的预测数据。帧内预测单元308还可对深度数据进行帧内编码。例如，帧内预测单元308可使用基础(2D)HEVC标准中的帧内预测模式、区域边界链编码模式(chain coding mode，CCM)、简化深度编码或分段深度编码模式(segment-wise depth coding mode，SDC)或者深度模型模式(depth modelingmode，DMM)对深度片的帧内预测PU进行编码。
在视频帧编码为帧间编码(即B或P)片时，运动补偿单元306基于运动向量和从熵解码单元304中接收到的其它语法元素，为当前视频片的视频块生成预测块。预测块可由其中一个参考图像列表内的其中一个参考图像生成。视频解码器300可基于解码图像缓冲器314中存储的参考图像，使用默认的构建技术构建参考帧列表。
运动补偿单元306通过解析运动向量和其它语法元素对当前视频片的视频块确定预测信息，并使用该预测信息为正在解码的当前视频块生成预测块。例如，运动补偿单元306使用部分接收到的语法元素来确定用于对视频片的视频块进行编码的预测模式(例如帧内或帧间预测)、帧间预测片类型(例如B片或P片)、视频片的一个或多个参考图像列表的构建信息、视频片的每个帧间编码视频块的运动向量、视频片的每个帧间编码视频块的帧间预测状态以及其它信息，以对当前视频片中的视频块进行解码。
运动补偿单元306还可基于内插滤波器执行内插。运动补偿单元306可使用在视频块的编码期间视频编码器200所用的内插滤波器来计算参考块的分段整数像素的内插值。在这种情况下，运动补偿单元306可确定接收到的语法元素中视频编码器200所用的内插滤波器，并使用该内插滤波器生成预测块。运动补偿单元306还可对深度数据进行帧间编码。例如，运动补偿单元306可根据基础(2D)HEVC标准或帧间SDC模式执行帧间预测，从而对深度片的帧内预测PU进行编码。
逆量化单元310对比特流中提供的并由熵解码单元304解码的量化变换系数进行逆量化，即解量化。逆量化过程可包括由视频解码器300对视频片中每个视频块计算的量化参数QPY的使用，从而确定量化度，否则应用逆量化度。逆变换单元312应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程来变换系数，以在像素域中生成残差块。
在运动补偿单元306或帧内预测单元308基于运动向量或其它语法元素为当前视频块(例如纹理块或深度块)生成预测块之后，视频解码器300通过将逆变换单元312中的残差块与由运动补偿单元306或帧内预测单元308生成的对应预测块相加形成解码视频块。加法器316表示执行此等加法操作的组件。
如果需要，去块效应滤波器还可用于过滤解码后块，以消除方块效应。其它环路滤波器(或者在编码环路中，或者在编码环路后)还可用于对像素过渡进行平滑处理，或者改进视频质量。然后，给定帧或图像中的解码视频块存储在解码图像缓冲区314中，所述解码图像缓冲区存储用于后续运动补偿的参考图像。解码图像缓冲区314还存储视频，以便在显示设备上作后期演示。
在一个示例中，视频解码器300对指示深度帧内编码模式用于对深度模型表中的3D视频数据的深度数据进行编码的语法元素进行解码。深度模型表包括从HEVC帧内预测模式的语法中分离出来的附加深度帧内编码模式的语法。此外，视频解码器300对语法元素，诸如标志等进行解码，以指示是否对3D视频数据启用不同于HEVC帧内编码模式的任一深度帧内编码模式。在某些示例中，语法元素可指示是否对3D视频数据启用所有深度帧内编码模式。语法元素可包括在视频参数集(video parameter set，VPS)、序列参数集(sequenceparameter set，SPS)或视频数据的图像参数集(picture parameter set，PPS)中的一个。当视频解码器300确定基于解码语法元素启用深度帧内编码模式时，视频解码器300对深度模型表进行解码，以确定用于对深度数据进行编码的其中一个深度帧内编码模式。深度模型表可在视频数据的编码单元(coding unit，CU)级别或预测单元(prediction unit，PU)级别之一进行解码。这种传送可通过将深度帧内编码模式包括在与HEVC帧内预测模式分离的深度模型表中以及指示何时启用深度帧内编码模式和何时对深度模型表进行解码来减轻视频解码器300的解析负担。
图4A和图4B所示为3D场景表征的示例。3D场景表征包括图4A中包括纹理数据的纹理帧和图4B中包括深度数据的深度帧。描述深度数据的深度图以常数区和锋利边缘为特征，所述常数区和锋利边缘表示与对应纹理强关联。常规帧内预测模式，诸如HEVC标准中的那些帧内预测模式，可用于对深度图进行编码。HEVC帧内预测模式包括35个帧内预测模式，其中包括一个DC(平面)模式、一个二维(曲面拟合)模式以及33个角度模式。这些帧内预测模式还适用于纹理帧补偿，但不能非常有效地压缩深度帧。由于纹理和对应深度之间的统计性和相关性，已设计附加帧内编码模式以改进深度帧内压缩。附加深度帧内编码模式的示例包括深度模型模式(Depth Modeling Mode，DMM)、简化深度编码(Simplified DepthCoding，SDC)模式和链编码模式(Chain Coding Mode，CCM)。SDC模式还称为分段深度编码(Segment-wise Depth Coding，SDC)模式。
通过应用不规则块分区以接近包含边缘的深度块的信号，DMM适合深度图编码的特定特征。DMM模式指定将深度块分为两个区域，每个区域由一个常数值表示。DMM中定义了两种划分模型：楔形波划分，其中深度块由直线分为两个区域；以及轮廓划分，其中深度块划分为两个不规则区域。DMM楔形波划分模式可明确传送(DMM1)、由空间相邻的块(DMM2)进行预测或由共置纹理块(DMM3)进行预测。DMM轮廓划分模式可由共置纹理块(DMM4)进行预测。在其它示例中，DMM可包括其它深度子模式。DMM模式在3D Video Coding with DepthModeling Modes and View Synthesis Optimization,Karsten Müller,Philipp Merkle,Gerhard Tech,and Thomas Wiegand:Proceedings of APSIPA Annual Summit andConference 2012,Hollywood,CA,USA,December 2012中有描述。
SDC模式旨在更有效地表示帧内编码深度块的深度残差。pixel-wiseSDC模式对预测单元(PU)的每个分段的深度编码残差值进行编码而不是像在HEVC标准中对逐像素残差进行编码，然后跳过变换和量化。SDC最初仅提出了一对模式，包括DC模式、二维模式和深度模型模式(DMM)，但可以扩展到常规角度帧内预测模式。对于使用帧内编码模式进行编码的每个深度预测单元，编码器/解码器可以适应性地选择对单像素残差或分段残差进行编码，从而实现更佳的压缩效率。
在SDC模式中，深度值可使用深度查找表(Depth Lookup Table，DLT)选择性地映射到索引，所述深度查找表是在对全部序列进行编码前通过分析第一帧内周期内的帧来构建。如果使用DLT，全部DLT将以序列参数集(sequence parameter set，SPS)的形式传输到解码器，然后基于DLT将解码索引值映射回深度值。根据DLT，可使用第一DLT将深度值转换为索引值，可使用第二DLT将索引值转换回深度值。对每个帧内深度CU传送附加标志，以指明当前CU是否使用SDC模式进行编码。在一项实施例中，SDC模式用于具有2N×2N分区大小的CU。SDC模式在JCT3V-B0036(标题为“3D-CE6.h:Simplified Depth Coding with anoptional Depth Lookup Table,”Jager et al.,Joint Collaborative Team on 3DVideo Coding Extension Development of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2nd Meeting:Shanghai,CN,13-19Oct.2012)中有描述。
在CCM模式中，深度块划分为由使用“链”传送的任意分区模式指定的两个区域。链为样本及其八个连接性样本之一之间的连接。每个链分配一个指示性索引，然后传送一系列连接的链索引以定义分区模式。
正如前面所述，RDO处理用于选择具有最小值的帧内编码模式。由于RDO处理非常耗时，又需计算，因此可实施某些过程来限制识别帧内编码模式所需的RDO处理的量，从而应用到PU。
图5所示为当启用SDC编码时减小计算负荷的过程500的一个示例。SDC可应用到所有深度帧内编码模式，包括HEVC帧内预测模式和深度模型模式。在正常的基于HEVC的深度帧内编码中，对于每个PU，同时在非SDC编码模式和SDC编码模式上执行完整的RDO过程。表1所示为指示无论在启用还是禁用SDC编码的情况下使用相同帧内编码模式进行编码的PU百分比的测试结果。表2所示为测试配置参数。
表1-测试结果
序列 QP＝(25，34) QP＝(30，39) QP＝(35，42)
GTfly 93.4％ 94.6％ 82.3％
Kendo 91.1％ 90.6％ 93.1％
Newspaper 82.0％ 88.6％ 87.6％
PoznanHall 92.6％ 89.2％ 93.4％
PoznanStreet 80.9％ 82.1％ 88.5％
Balloon 87.5％ 87.7％ 90.5％
UndoDancer 94.4％ 93.3％ 94.2％
Shark 89.5％ 88.6％ 87.4％
平均值 88.9％ 89.3％ 89.6％
表2-测试配置参数
测试对八个测试序列的前24帧以及纹理和深度的三对量化参数启用和禁用SDC编码选项。如表1所示，无论在启用还是禁用SDC编码选项的情况下对大约90％的PU选择相同的最佳帧内编码模式。换言之，在禁用SDC编码选项时，90％的最佳帧内编码模式在启用SDC选项时还将是最佳帧内编码模式。因此，对于所有帧内编码模式，不必使用SDC选项来计算全部RD成本。没有SDC选项的情况下的最佳帧内编码模式可用作预测器来加速全部RD成本计算。
过程500通过从帧内编码模式，包括HEVC帧内预测模式和深度模型模式中确定候选模式以在全部RD成本计算列表中放置开始于步骤502。还可根据需要确定和放置其它帧内编码模式。在生成全部RD成本计算列表的一个示例中，确定HEVC预测模式的预测残差，并通过将每个模式的各自预测残差的DCT系数的绝对值相加来计算绝对变换差值和(Sum ofAbsolute Transform Difference，SATD)值。具有最小SATD值的模式放置在全部RD成本计算列表中。在一项实施例中，全部RD成本计算列表包括八个8x8和4x4PU大小的模式，以及三个64x64、32x32和16x16PU大小的模式。其它实施例可包括不同数量的模式。或者，全部RD成本计算列表可包括最初未确定可能候选模式的所有HEVC帧内预测模式和深度模型模式(以及任何其它需要的帧内编码模式)。
在步骤504中，对禁用SDC选项的情况下的全部RD成本计算列表中的所有HEVC帧内预测模式计算全部RD成本。在步骤506中选择在禁用SDC选项的情况下具有最小RD成本的HEVC帧内预测模式。然后在步骤508中，在启用SDC的情况下对所选HEVC帧内预测模式和全部RD成本计算列表中的任何深度模型模式执行全部RD成本计算。由于深度模型模式专门用于深度图压缩，因此最好对深度模型模式一直启用SDC选项。然而，在步骤504中可通过HEVC帧内预测模式对深度模型模式执行全部RD成本计算，以便在没有SDC选项的情况下的全部模式中找到具有最小RD成本的模式。
在步骤510处，确定在启用SDC选项的情况下具有最小RD成本的帧内编码模式。在步骤512处，将所选帧内预测模式(在禁用SDC选项的情况下确定)的最小RD成本与已确定的帧内编码模式(在启用SDC选项的情况下确定)的最小RD成本之间进行比较。如果所选帧内预测模式的RD成本大于已确定的帧内编码模式的RD成本，则使用已确定的帧内编码模式在步骤514处对PU进行编码。如果所选帧内预测模式的RD成本不大于已确定的帧内编码模式的RD成本，则使用所选帧内预测模式在步骤516处对PU进行编码。或者，如果成本相等，则根据需要使用所选模式和已确定模式之一来执行PU的编码。
表3和表4所示为在HEVC标准的一般测试条件(Common Test Conditions，CTC)下执行过程500的样本测试结果。表3所示为所有帧内配置在CTC下3视图案例的BD率测试结果。表4所示为随机存取配置在CTC下3视图案例的BD率测试结果。根据两表，不会对纹理视频产生影响，因为过程500专用于深度图压缩。对于表3的全部帧内案例，节省了17％的平均编码时间，Kendo序列节省的编码时间高达25％。整体BD比特率损失仅为0.19％，可忽略不计。对解码和渲染时间几乎不产生影响。对于表4的随机存储案例，性能变化较小，因为SDC编码仅用于帧内深度图编码。
表3-全部帧内
表4-随机存取
在另一项实施例中，在步骤506中在禁用SDC选项的情况下不选择具有最小RD成本的HEVC帧内预测模式，而是选择两个或多个帧内预测模式。例如，在启用SDC选项的情况下，对于后续的全部RD成本计算，可选择在禁用SDC选项的情况下具有最小和第二最小RD成本的帧内预测模式。整数值“n”可用于在禁用SDC选项的情况下选择一定数量的具有最小RD成本的帧内预测模式。
在另一项实施例中，对于不符合在禁用SDC选项的情况下具有最小RD成本的某些帧内编码模式，在步骤508中在启用SDC选项的情况下执行全部RD成本计算是比较理想的。对于启用SDC选项的情况下的全部RD成本计算可确定全部RD成本计算列表中的一个或多个帧内编码模式。对于在启用SDC选项的情况下的全部RD成本计算，可使用整数值来确定全部RD成本计算列表中一定数量的帧内编码模式。因此，确定的帧内编码模式可基于不同的标准，诸如按全部RD成本计算列表中的顺序、帧内编码模式的优先权或任何其它标准来确定。
在另一项实施例中，启用SDC的情况下的全部RD成本计算可仅限于某些深度模型模式、仅限于特定HEVC帧内预测模式或者某些深度模型模式与特定HEVC帧内预测模式的组合。
图6所示为当启用SDC编码时减小计算负荷的过程600的另一示例。过程600通过从HEVC帧内预测模式和深度模型模式中确定候选模式以在全部RD成本计算列表中放置开始于步骤602。还可根据需要包括其它帧内编码模式。在一项实施例中，全部RD成本计算列表可如上面所描述进行添加。或者，全部RD成本计算列表可包括最初未确定可能候选模式的所有HEVC帧内预测模式和深度模型模式(以及任何其它需要的帧内编码模式)。
在步骤604处，对在禁用SDC选项的情况下的全部RD成本计算列表中的所有HEVC帧内预测模式计算全部RD成本。在步骤606处选择在禁用SDC选项的情况下具有最小RD成本的HEVC帧内预测模式。在步骤606中，还可选择一个或多个附加帧内预测模式，如具有第二最小和第三最小RD成本的帧内预测模式。
对全部RD成本计算列表中的每个候选模式执行迭代过程608。对于步骤608处检查的全部RD成本计算列表中的每个候选模式，在步骤612处确定具有最小RD成本的帧内预测模式是否为平面或DC帧内预测模式。如果是，在步骤614处确定候选模式是否为平面或DC帧内预测模式，并具有小于第一阈值的PU方差。如果候选模式不是平面或DC帧内预测模式，且PU方差小于第一阈值，则跳过所述候选模式，并在步骤608处检查全部RD成本计算列表中的下一个候选模式。可通过下述等式确定PU方差。
其中，xi是PU中的像素值，N是PU中的像素总数。在一项实施例中，第一阈值为1。
如果在步骤614处候选模式为平面或DC帧内预测模式，或者PU方差大于第一阈值，则候选模式转至步骤616，以在启用SDC模式的情况下进行全部RD成本计算。在步骤618处，确定是否已检查全部RD成本计算列表中的全部候选模式。如果未检查，则在步骤608处处理下一个候选模式。
如果在步骤612处具有最小RD成本计算的帧内预测模式不是平面或DC帧内预测模式，则过程转至步骤620，在该步骤中，检查候选模式以在启用SDC模式的情况下进行全部RD成本计算。在启用SDC模式的情况下对为全部RD成本计算列表中的那些平面、DC或DMM候选模式执行全部RD成本计算，并在步骤604中确定最小RD成本值的数量。基于全部RD成本计算列表中的排序，以及PU方差是否大于第二方差阈值，对于启用SDC模式的情况下候选模式全部RD成本计算的其它标准包括一个或多个候选模式。如果不符合这些标准，则不对在启用SDC模式的情况下的全部RD成本计算处理候选模式，然后通过步骤608检查下一个候选模式，如果有。在一项实施例中，第二阈值为4。
在对全部RD成本计算检查所有候选模式后，在步骤622处确定在启用SDC模式的情况下具有最小RD成本的帧内编码模式。在步骤624处，将在启用SDC模式的情况下具有最小RD成本的帧内编码模式与在启用SDC的情况下具有在最小RD成本的先前确定的帧内预测模式进行比较。如果在启用SDC模式的情况下的帧内编码模式相比在禁用SDC模式的情况下的帧内预测模式具有较低的RD成本，则在步骤626中将所述在启用SDC模式的情况下的帧内编码模式用于PU。如果在启用SDC模式的情况下的帧内编码模式相比在禁用SDC模式的情况下的帧内预测模式并不具有较低的RD成本，则在步骤628处将所述在禁用SDC模式的情况下的帧内编码模式用于PU。
表5和表6所示为当三个具有最小RD成本的帧内预测模式以及在步骤620中RD成本计算列表中的第一模式，而不是PU方差阈值，包括在启用SDC模式的情况下的全部RD成本计算中时，在HEVC标准的一般测试条件(Common Test Conditions，CTC)下执行过程600的样本测试结果。表5显示所有帧内配置在CTC下3视图案例的BD率测试结果。表6显示随机存取配置在CTC下3视图案例的BD率测试结果。可节省超过15％的全部帧内编码时间，并可忽略BD比特率损失。
表5-全部帧内
表6-随机存取
表7和表8显示当三个具有最小RD成本的帧内预测模式以及在步骤620中的PU方差阈值，而不是RD成本计算列表中的第一模式，包括在启用SDC模式的情况下的全部RD成本计算中时，在HEVC标准的一般测试条件(Common Test Conditions，CTC)下执行过程600的样本测试结果。表7显示所有帧内配置在CTC下3视图案例的BD率测试结果。表8显示随机存取配置在CTC下3视图案例的BD率测试结果。平均而言，可节省超过10％的全部帧内编码时间，并可忽略BD比特率损失。
表7-全部帧内
表8-随机存取
图7示出了简化通用计算组件700，其适用于实施本文本所揭示的一项或多项实施例。上文所描述的视频编码器200和视频解码器300的组件可以在任何通用计算组件上实施，例如，具有足够处理能力、存储器资源以及用于处理放置在其上的必需的工作负荷的网络吞吐能力的计算机或网络组件。计算组件700包括处理器702(可称为中央处理器单元或CPU)，所述处理器与包含以下项的存储器装置进行通信：辅助存储器704、只读存储器(readonly memory，ROM)706、随机存取存储器(random access memory，RAM)708、输入/输出(input/output，I/O)装置710以及网络/组件连接装置712。处理器702可作为一个或多个CPU芯片实施，或者可为一个或多个专用集成电路(application specific integratedcircuits，ASIC)的一部分。
辅助存储器704通常包括一个或多个磁盘驱动器或磁带驱动器，用于数据的非易失性存储，而且如果RAM 708的容量不足以存储所有工作数据，辅助存储器则用作溢流数据存储设备。辅助存储器704可以用于存储程序，当选择执行这些程序时，所述程序将加载到RAM 708中。ROM 706用于存储在程序执行期间读取的指令以及可能读取的数据。ROM 706为非易失性存储设备，其存储容量相对于辅助存储器704的较大存储容量而言通常较小。RAM708用于存储易失性数据，还可能用于存储指令。通常情况下，同时访问ROM 706和RAM708比访问辅助存储器704更快。可基于视频编码器200和视频解码器300内的每个组件的功能包含附加处理器和存储器设备。
总之，通过探究有SDC和没有SDC的情况下的最佳帧内编码模式之间的强关联，可使用没有SDC的情况下的最佳帧内预测模式作为预测器来避免不必要的SDC全部RD成本计算。可节省相当长的时间，并可忽略比特率损失。用于简化与3D-HEVC一致的深度图的编码模式确定的各种技术已在相关的编码模式，包括深度模型模式(depth modeling mode，DMM)、简化深度模型(simplified depth coding，SDC)模式和链编码模式(chain codingmode，CCM)中进行了描述。所述技术可进一步扩展到其它深度帧内编码模式和深度帧间编码模式，如帧间SDC模式。
在某些实施例中，一个或多个所述设备的部分或全部功能或流程由计算机可读程序代码构成的且内嵌于计算机可读介质中的计算机程序来实现或提供支持。术语“代码”包括任意类型的计算机代码，包括源代码、目标代码以及可执行代码。术语“计算机可读介质”包括任何类型的可以被计算机访问的介质，比如，只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、硬盘驱动器、光盘(compact disc，CD)、数字化视频光盘(digital video disc，DVD)或者任何其它类型的存储器。
为本专利文档中使用的某些术语和短语进行定义是有帮助的。术语“包括”和“包含”以及它们的派生词表示没有限制的包括。术语“或者”是包容性的，意为和/或。短语“与……关联”和“与其关联”以及其派生的短语意味着包括，被包括在内、与……互连、包含、被包含在内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……配合、交织、并列、接近、被绑定到或与……绑定、具有、具有……属性，等等。
虽然本发明就某些实施例和一般相关方法方面进行了描述，但是对本领域技术人员而言，对实施例和方法的各种更改和变更将是显而易见和容易识别的。因此，示例实施例的上述描述不限定或约束本发明。正如以下权利要求定义，其它修改、替代以及变更也是可能的，而不偏离本发明的范围。

Claims (22)

1.一种用于减少高效率视频编码中的计算负荷的方法，其特征在于，包括：
生成选择的帧内编码模式的全率失真计算列表，所述帧内编码模式包括帧内预测模式和深度模型模式；
确定所述全率失真计算列表中的每个帧内预测模式的率失真成本，并选择具有最小率失真成本的最小率失真成本帧内预测模式，其中在所述确定时为每个帧内预测模式禁用分段深度编码模式；
在启用分段深度编码模式的情况下计算特定帧内预测模式的率失真成本；
将在启用所述分段深度编码模式的情况下获得的所述特定帧内预测模式的所述率失真成本与在禁用所述分段深度编码模式的情况下获得的所述最小率失真成本帧内预测模式的所述率失真成本相比较；以及
将所述特定帧内预测模式和所述具有最小率失真成本的最小率失真成本帧内预测模式的其中一个应用到预测单元。
2.根据权利要求1，其特征在于，所述方法还包括：
应用检查条件来确定是否在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。
3.根据权力要求2所述的方法，其特征在于，所述检查条件至少包括以下任何一个条件：
检查所述最小率失真成本帧内预测模式是否为DC模式；
检查所述最小率失真成本帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否为深度模型模式；
检查所述特定帧内预测模式是否为DC模式；
检查所述特定帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否与全RD成本计算列表中的前三种模式的任何一种相同。
4.根据权利要求2所述的方法，其特征在于，所述检查条件包括使用阈值检查块方差。
5.根据权利要求2所述的方法，其特征在于，在某个检查条件下不执行在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。
6.根据权利要求1，其特征在于，所述方法还包括：
选择具有第二最小率失真成本的第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中；或者
选择具有第三最小率失真成本的第二帧内预测模式，并将所述第三帧内预测模式包括在所述计算和比较步骤中；或者
从不具有所述最小率失真成本的所述计算列表中选择第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中。
7.根据权利要求6所述的方法，其特征在于，所述第二帧内预测模式为所述计算列表中的第一条目，或者所述第二帧内预测模式为所述计算列表中的第二条目，或者所述第二帧内预测模式为所述计算列表中的第三条目。
8.根据权利要求1，其特征在于，所述方法还包括：
当所述特定帧内预测模式为平面或DC帧内预测模式时，确定是否计算特定帧内预测模式的率失真成本。
9.根据权利要求1，其特征在于，所述方法还包括：
当预测单元方差大于阈值时，确定是否计算特定帧内预测模式的率失真成本。
10.一种用于减少高效率视频编码中的计算负荷的设备，其特征在于，包括：
用于存储数据和指令码的存储器；
处理器，在执行所述指令码之后，所述处理器用于：
生成选择的帧内编码模式的全率失真成本计算列表，所述帧内编码模式包括帧内预测模式和深度模型模式；
确定所述全率失真成本计算列表中每个帧内预测模式的率失真成本，并选择具有最小率失真成本的最小率失真成本帧内预测模式，其中在确定时为每个帧内预测模式禁用分段深度编码模式；
在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本；
将在启用所述分段深度编码模式的情况下获得的所述特定帧内预测模式的所述率失真成本与在禁用所述分段深度编码模式的情况下获得的所述最小率失真成本帧内预测模式的所述率失真成本相比较；以及
将所述特定帧内预测模式和所述具有最小率失真成本的最小率失真成本帧内预测模式的其中一个应用到预测单元。
11.根据权利要求10所述的设备，其特征在于，所述处理器还用于：
应用检查条件来确定是否在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。
12.根据权力要求11所述的设备，其特征在于，所述检查条件至少包括以下任何一个条件：
检查所述最小率失真成本帧内预测模式是否为DC模式；
检查所述最小率失真成本帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否为深度模型模式；
检查所述特定帧内预测模式是否为DC模式；
检查所述特定帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否与全RD成本计算列表中的前三种模式的任何一种相同。
13.根据权利要求11所述的设备，其特征在于，所述检查条件包括使用阈值检查块方差。
14.根据权利要求11所述的设备，其特征在于，在某个检查条件下不执行在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本。
15.根据权利要求10所述的设备，其特征在于，所述处理器还用于：
选择具有第二最小率失真成本的第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中；或者
选择具有第三最小率失真成本的第二帧内预测模式，并将所述第三帧内预测模式包括在所述计算和比较步骤中；或者
从不具有所述最小率失真成本的所述计算列表中选择第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中。
16.根据权利要求15所述的方法，其特征在于，所述第二帧内预测模式为所述计算列表中的第一条目，或者所述第二帧内预测模式为所述计算列表中的第二条目，或者所述第二帧内预测模式为所述计算列表中的第三条目。
17.根据权利要求10所述的设备，其特征在于，所述处理器还用于：
当所述特定帧内预测模式为二维或DC帧内预测模式时，确定是否计算特定帧内预测模式的率失真成本。
18.根据权利要求10所述的设备，其特征在于，所述处理器还用于：
当预测单元方差大于阈值，确定是否计算特定帧内预测模式的率失真成本。
19.一种包括用于减少高效率视频编码中的计算量的编码的非临时性计算机可读介质，所述编码在执行时可用于：
生成选择的帧内编码模式的全率失真成本计算列表，所述帧内编码模式包括帧内预测模式和深度模型模式；
确定所述全率失真成本计算列表中每个帧内预测模式的率失真成本，并选择具有最小率失真成本的最小率失真成本帧内预测模式，其中在确定时为每个帧内预测模式禁用分段深度编码模式；
在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本；
将在启用所述分段深度编码模式的情况下获得的所述特定帧内预测模式的所述率失真成本与在禁用所述分段深度编码模式的情况下获得的所述最小率失真成本帧内预测模式的所述率失真成本相比较；以及
将所述特定帧内预测模式和所述具有最小率失真成本的最小率失真成本帧内预测模式的其中一个应用到预测单元。
20.根据权利要求19所述的计算机可读介质，其特征在于，所述编码还用于：
应用检查条件来确定是否在启用所述分段深度编码模式的情况下计算特定帧内预测模式的率失真成本；
其中，所述检查条件至少包括以下任何一种：
检查所述最小率失真成本帧内预测模式是否为DC模式；
检查所述最小率失真成本帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否为深度模型模式；
检查所述特定帧内预测模式是否为DC模式；
检查所述特定帧内预测模式是否为平面模式；
检查所述特定帧内预测模式是否与所述全RD成本计算列表中的前三种模式的任何一种相同；
使用阈值检查块方差。
21.根据权利要求19所述的计算机可读介质，其特征在于，所述处理器还用于：
选择具有第二最小率失真成本的第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中；或者
选择具有第三最小率失真成本的第二帧内预测模式，并将所述第三帧内预测模式包括在所述计算和比较步骤中；或者
从不具有所述最小率失真成本的所述计算列表中选择第二帧内预测模式，并将所述第二帧内预测模式包括在所述计算和比较步骤中。
22.根据权利要求21所述的计算机可读介质，其特征在于，所述第二帧内预测模式为所述计算列表中的第一条目，或者所述第二帧内预测模式为所述计算列表中的第二条目，或者所述第二帧内预测模式为所述计算列表中的第三条目。
CN201580029057.7A 2014-06-26 2015-06-26 用于减少高效率视频编码中的计算负荷的方法和设备 Active CN106464880B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462017625P 2014-06-26 2014-06-26
US62/017,625 2014-06-26
US201462027386P 2014-07-22 2014-07-22
US62/027,386 2014-07-22
PCT/US2015/038042 WO2015200822A1 (en) 2014-06-26 2015-06-26 Method and device for reducing a computational load in high efficiency video coding

Publications (2)

Publication Number Publication Date
CN106464880A true CN106464880A (zh) 2017-02-22
CN106464880B CN106464880B (zh) 2019-05-10

Family

ID=54931994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580029057.7A Active CN106464880B (zh) 2014-06-26 2015-06-26 用于减少高效率视频编码中的计算负荷的方法和设备

Country Status (6)

Country Link
US (1) US10085028B2 (zh)
EP (1) EP3140988B1 (zh)
JP (1) JP6308449B2 (zh)
KR (1) KR101936663B1 (zh)
CN (1) CN106464880B (zh)
WO (1) WO2015200822A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611819A (zh) * 2019-08-01 2019-12-24 杭州当虹科技股份有限公司 一种提升h.264中b帧质量的编码方法
CN112995672A (zh) * 2021-02-04 2021-06-18 杭州电子科技大学 一种基于参数选择的视频编码算法优化方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410863B (zh) * 2014-12-11 2017-07-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
KR101621358B1 (ko) * 2015-04-16 2016-05-17 아주대학교 산학협력단 Ｈｅｖｃ 부호화 장치 및 그 인트라 예측 모드 결정 방법
US10123045B2 (en) * 2015-07-24 2018-11-06 Qualcomm Incorporated Modification to block size for transform mode in display stream compression
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
WO2017086746A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
EP3403403B1 (en) * 2016-01-12 2023-06-07 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
US20180131936A1 (en) * 2016-11-10 2018-05-10 Intel Corporation Conversion buffer to decouple normative and implementation data path interleaving of video coefficients
US10291925B2 (en) * 2017-07-28 2019-05-14 Intel Corporation Techniques for hardware video encoding
CN116567265A (zh) * 2017-08-22 2023-08-08 松下电器（美国）知识产权公司 图像编码方法、图像解码方法及非暂态计算机可读介质
CN110113601B (zh) * 2019-04-11 2023-01-06 中南大学 基于视频图片纹理特征的hevc帧内快速算法选择方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243225A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Determining intra prediction mode of image coding unit and image decoding unit

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
KR100773761B1 (ko) * 2006-09-14 2007-11-09 한국전자통신연구원 동영상 부호화 장치 및 방법
US9467699B2 (en) * 2008-12-03 2016-10-11 Hfi Innovation Inc. Method for performing parallel coding with ordered entropy slices, and associated apparatus
WO2010063184A1 (en) * 2008-12-03 2010-06-10 Mediatek Inc. Method for performing parallel cabac processing with ordered entropy slices, and associated apparatus
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
WO2012090181A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Depth map coding
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
EP2721826A4 (en) * 2011-06-14 2015-05-06 Zhou Wang METHOD AND SYSTEM FOR OPTIMIZATION OF FLOW-DISTORTION BASED ON STRUCTURAL SIMILARITY FOR PERCEPTUAL VIDEO CODING
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US9363511B2 (en) * 2011-09-13 2016-06-07 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra mode coding in HEVC
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
US9344727B2 (en) * 2012-05-14 2016-05-17 Ati Technologies Ulc Method of using a reduced number of macroblock coding modes in a first view based on total coding mode complexity values of macroblocks in second view
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
KR102216585B1 (ko) * 2013-01-04 2021-02-17 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
EP2944082B1 (en) * 2013-01-11 2019-08-21 Huawei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
US9426473B2 (en) * 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
US9148667B2 (en) * 2013-02-06 2015-09-29 Qualcomm Incorporated Intra prediction mode decision with reduced storage
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US10129542B2 (en) * 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
US10110895B2 (en) * 2013-12-13 2018-10-23 Qualcomm Incorporated Signaling of simplified depth coding (SDC) for depth intra- and inter-prediction modes in 3D video coding
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
JP2017505037A (ja) * 2013-12-26 2017-02-09 サムスン エレクトロニクス カンパニー リミテッド デプス符号化方法及びその装置、デプス復号化方法及びその装置
BR112016015109A2 (pt) * 2013-12-30 2017-08-08 Qualcomm Inc Simplificação de codificação residual dc delta em codificação de vídeo 3d
JP6396493B2 (ja) * 2013-12-30 2018-09-26 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングにおける大型予測ブロックのセグメントごとのｄｃコーディングの簡易化
KR101621854B1 (ko) * 2014-02-21 2016-05-17 연세대학교 산학협력단 Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
US10687079B2 (en) * 2014-03-13 2020-06-16 Qualcomm Incorporated Constrained depth intra mode coding for 3D video coding
CN106464855B (zh) * 2014-06-26 2019-03-01 华为技术有限公司 提供高效率视频编码中基于深度的块划分的方法和设备
US9432668B1 (en) * 2016-03-15 2016-08-30 NGCodec Inc. Apparatus and method for inter and intra mode selection and block partitioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243225A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Determining intra prediction mode of image coding unit and image decoding unit

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MUHAMMAD USMAN KARIM KHAN等: "AN ADAPTIVE COMPLEXITY REDUCTION SCHEME WITH FAST PREDICTION UNIT DECISION FOR HEVC INTRA ENCODING", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
ZHOUYE GU等: "Simplified Depth Intra Mode Selection for 3D Video Compression", 《IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611819A (zh) * 2019-08-01 2019-12-24 杭州当虹科技股份有限公司 一种提升h.264中b帧质量的编码方法
CN112995672A (zh) * 2021-02-04 2021-06-18 杭州电子科技大学 一种基于参数选择的视频编码算法优化方法

Also Published As

Publication number Publication date
KR20170018385A (ko) 2017-02-17
WO2015200822A1 (en) 2015-12-30
JP2017525313A (ja) 2017-08-31
US10085028B2 (en) 2018-09-25
US20150381988A1 (en) 2015-12-31
CN106464880B (zh) 2019-05-10
JP6308449B2 (ja) 2018-04-11
EP3140988A4 (en) 2017-06-07
KR101936663B1 (ko) 2019-01-09
EP3140988A1 (en) 2017-03-15
EP3140988B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
CN106464880B (zh) 用于减少高效率视频编码中的计算负荷的方法和设备
CN106464855B (zh) 提供高效率视频编码中基于深度的块划分的方法和设备
CN104244007B (zh) 一种图像编码方法和装置及解码方法和装置
CN105075259B (zh) 用于视频译码预测的存储器减少
CN110235444A (zh) 使用多条参考线的帧内预测
CN102845060B (zh) 用于视频的数据压缩
CN109792519A (zh) 基于帧内预测模式的图像处理方法及其装置
CN109716772A (zh) 用于视频译码的变换选择
JP6538488B2 (ja) 映像符号化のためのｄｃイントラ予測モードのための方法
CN104247427A (zh) 使用分区编码的有效预测
CN107257458A (zh) 采用回路内滤波处理来处理视频的方法和装置
CN110199524A (zh) 噪声抑制滤波器
CN106791832A (zh) 编码设备、解码设备、编码方法和解码方法
CN110199522A (zh) 处理用于图像块帧内预测的参考样本
CN116648906A (zh) 通过指示特征图数据进行编码
CN114830651A (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
CN110024402A (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN107211161A (zh) 包括最后阶段处理的扩展空间的视频编码优化
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2024077553A1 (zh) 视频编解码方法、装置、设备、系统、及存储介质
WO2024108391A1 (zh) 视频编解码方法、装置、设备、系统、及存储介质
WO2023123736A1 (zh) 预测方法、装置、设备、系统、及存储介质
KR102163556B1 (ko) 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치
WO2021211576A1 (en) Methods and systems for combined lossless and lossy coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant