CN104429062B - 用于对表示三维视频的比特流进行编码的设备 - Google Patents

用于对表示三维视频的比特流进行编码的设备 Download PDF

Info

Publication number
CN104429062B
CN104429062B CN201280074544.1A CN201280074544A CN104429062B CN 104429062 B CN104429062 B CN 104429062B CN 201280074544 A CN201280074544 A CN 201280074544A CN 104429062 B CN104429062 B CN 104429062B
Authority
CN
China
Prior art keywords
coding unit
depth
coding
depth map
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280074544.1A
Other languages
English (en)
Other versions
CN104429062A (zh
Inventor
费边·耶格尔
麦蒂尔斯·韦恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104429062A publication Critical patent/CN104429062A/zh
Application granted granted Critical
Publication of CN104429062B publication Critical patent/CN104429062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于对表示包括一连串视图的三维视频的比特流进行编码的设备(100)，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深度信息，所述设备包括：分割器(101)，用于将所述深度图分割为编码单元；确定器(103)，用于基于所述编码单元的所述深度信息确定每一编码单元的模型功能的类型；减少器(105)，用于针对由模型功能产生的每一片段将所述编码单元减少到单一残差值；以及信号化处理器(107)，用于将使用的所述模型功能和所述残差值信号化处理到所述比特流。

Description

用于对表示三维视频的比特流进行编码的设备
技术领域
本发明涉及用于对表示三维视频的比特流进行编码的设备和方法。
背景技术
3D视频是一种新技术，其需要连同常规2D视频数据一起发射深度数据以允许接收器侧的更大灵活性。所述额外深度信息允许合成任意视点，所述视点随后实现感知深度印象的调适和多视图自动立体显示的驱动。通过将深度信息添加到每一发射的视图，待编码的数据量大大增加。与常规情况相比，自然视频深度图的特征在于由沿着深度不连续处的尖锐边缘定界的分段光滑的区域。使用常规视频编码方法来压缩深度图导致沿着这些深度不连续处的强环状效应假象，其在视图合成处理中产生视觉上干扰的几何失真。因此，保留深度图的所描述信号特性是新深度编码算法的关键要求。例如自动立体显示或立体声显示的3D显示技术的领域中的近来发展允许按照观看者的个人偏好调适深度印象，并要求基于有限数目的可用的解码视图来合成额外任意视图。为了允许此灵活性的扩展，深度信息需要在接收器侧为可用的，并且因此需要连同常规2D视频数据一起编码。这些额外深度图示出与自然视频数据相比的不同信号特性。此外，深度图中的失真具有对所显示的视频的视觉质量的间接影响，因为它们用于合成同一场景的新视图且从未向用户本身展示。具有针对自然2D视频优化的算法的压缩深度图导致沿着深度不连续处的强环状效应假象，其随后在合成视图中生产几何失真。
深度数据的压缩的先前工作将深度数据视为灰色视频且以H.264/AVC中发现的常规的基于变换的视频编码算法压缩深度数据，例如P·Merkle、A·Smolic、K·Muller和T·Wiegand的“多视图视频加深度表示和编码(Multi-view video plus depthrepresentation and coding)”(第14届IEEE图像处理国际会议(ICIP)，IEEE 2007，第I201-I204页)。已经表明这些常规编码工具在PSNR方面产生相对较高的压缩效率，但同时在原始深度图中沿着尖锐边缘引入环状效应假象。这些假象导致视图合成阶段中的几何失真。更近期的深度压缩算法通过分割为三角形网或小片晶并且通过近似2D功能对每一片段进行建模来近似深度图的信号特性，所述三角形网如M·Sarkis、W·Zia和K·Diepold的“快速深度图压缩和以压缩三重树网格化(Fast depth map compression and meshingwith compressed tritree)”(计算机视觉-ACCV 2009，第44到55页，2010)中描述，所述小片晶如Y·Morvan、P·de With和D·Farin的“用于多视图图像的发射的深度图的基于小片晶的编码(Platelet-based coding of depth maps for the transmission ofmultiview images)”(SPIE的会刊，立体显示和应用，第6055卷，2006，第93-100页)中描述。通过引入额外编码模式，例如S·Liu、P·Lai、D·Tian、C·Gomila和C·Chen的“用于深度图压缩的稀疏二重模式(Sparse dyadic mode for depth map compression)”(第17届IEEE图像处理国际会议(ICIP)，IEEE，2010，第3421-3424页)中描述的稀疏二重模式，这些基于纯模型的方法还可与常规的基于变换的工具组合。此处，经稀疏二重编码的块被分割为两个片段，其由两个常量深度值描述。因为在压缩深度图时深度不连续的保持是最重要的，所以另一方法是无损地压缩这些不连续处的位置且近似分段平滑区域，如F·Jager的“基于轮廓的分段和用于深度图压缩的编码(Contour-based segmentation and codingfor depth map compression)”(视觉通信和图像处理(VCIP)，2011IEEE.IEEE，2011，第1到4页)中先前提出的。此方法的不足之处是由于深度轮廓的无损编码而无法达到低比特率。
综上所述，当以针对纹理化视频数据优化的常规算法编码深度图时，由于变换和量化而引入沿着深度不连续处的环状效应假象。例如由强边缘定界的分段光滑的区域的典型深度图特性需要不同地编码以允许接收器处的较高质量视图合成。常规编码算法使用例如方向性帧内预测和平面模式的高级预测方法。这些能够在一定程度上近似深度图的边缘和梯度。方向性预测模式不能够近似从当前编码单元的右上方不连续的边缘。此外，已经知道的平面模式不能够表示仅部分地特征在于深度梯度的编码单元，因为它们含有两个不同深度片段。
发明内容
本发明的目的是提供用于三维视频的高效编码的概念，其执行适于深度图的信号特性的压缩。
此目标是通过独立的权利要求的特征实现的。在从属权利要求说明和附图中进一步的实施形式是显而易见的。
本发明的主要想法是提供新颖的基于深度图模型的编码器(DMC)方法，其是对T·Wiegand、B·Bross、W·J.Han、J·R.Ohm和G·J.Sullivan的“高效视频编码(HEVC)工作草案3(Working Draft 3of High-Efficiency Video Coding(HEVC))”(视频编码联合合作组(JCT-VC)文档，JCTVC C403，2011年)中描述的高效视频编码(HEVC)编码模型的扩展，且由基于模型的算法替代帧内编码工具。与其它基于模型的方法相比，引入用于线性深度片段的新模型功能和更高级的预测结构。
新颖的深度图帧内编码器的基础是通过基于块的方法形成，其中每一块是由三个可用的模式中的一者建模。常量深度的块可完美地由DC块建模。对于对渐进深度区域进行建模，引入特殊的平面模式。第三模式通过直线将块划分为两个片段。每一子片段可随后通过不同DC值建模。此第三模式允许近似描述深度图中的对象边界的典型尖锐边缘。通过明确的信号化处理，例如传统的基于变换的编码中的这些深度不连续环状效应假象的位置完全不存在。块模式和其信息是以预测方式经编码。对于所有模式，模型参数是从相邻块预测且仅所得残余信号在比特流中经编码。预测始终是竞争性的，意味着可从顶部或左边相邻块对值进行预测。对于所提议的编码方法的所有标志位和模型参数的最终熵编码，使用众所周知的CABAC(上下文自适应二进制算术编码)算法。
DMC实施到HEVC测试模型软件中作为对常规帧内编码工具的一个替代方案。因此，DMC能够再使用许多HEVC工具，例如帧分割为块(编码单元)，以及先前提到的用于熵编码的CABAC引擎。在下文中，所有描述的编码工具是针对2nx2n像素的任意块大小界定，以n>＝2开始。当说到相邻块时，它们始终紧挨着实际块的左上角像素定位。相邻块的大小是独立的且并不必须匹配当前块的大小。
为了详细描述本发明，将使用以下术语、缩写和符号：
CABAC：上下文自适应二进制算术编码；
DLT：深度查找表；
DMC：基于深度模式的编码；
CU：编码单元。
LCU：最大编码单元
根据第一方面，本发明涉及一种用于对表示包括一连串视图的三维视频的比特流进行编码的设备，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的深度信息，所述设备包括：分割器，用于将所述深度图分割为编码单元；确定器，用于基于所述编码单元的所述深度信息确定每一编码单元的模型功能的类型；减少器，用于针对由所述模型功能产生的每一片段将所述编码单元减少到单一残差值；以及信号化处理器，用于将使用的所述模型功能和所述残差值信号化处理到所述比特流。
根据第一方面基于以基于所提议的模型(或基于类型)的编码压缩的深度图的合成视图示出与基于以常规视频编码工具压缩的深度图的合成视图相比改进的视觉质量。
在根据第一方面的设备的第一可能的实施形式中，所述设备进一步包括：索引器，用于对所述深度图相对于由所述深度图指示的深度水平的所述深度信息做索引，从而获得与所述深度图的所述深度信息相关联的索引；以及重映射器，用于通过根据所述索引重新映射所述深度图而减少所述深度信息大小。
在根据第一方面的第一实施形式的设备的第二可能的实施形式中，所述索引器经配置以执行在预定数目的视图上索引所述深度图的所述深度信息；且其中所述重映射器经配置以执行通过使用查找表减少所述深度信息。
在根据第一方面的第一实施形式或根据第一方面的第二实施形式的设备的第三可能的实施形式中，所述设备包括：映射器，用于将所述深度水平映射到其在所述深度图中的对应索引。
在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第四可能的实施形式中，所述分割器经配置以通过以下操作将所述深度图分割为编码单元：将所述深度图分割为固定大小的固定大小编码单元，明确地说64x64像素的固定大小；通过将所述固定大小编码单元细分为变化大小的所述编码单元而在四叉树结构中安排所述编码单元，明确地说范围是4x4像素到64x64像素的所述编码单元的变化大小；以及将所述四叉树结构信号化处理到所述比特流。
在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第五可能的实施形式中，所述确定器经配置以执行通过从所述四叉树结构中与所述编码单元相邻安排的编码单元进行预测来确定用于编码单元的分段的类型。
四叉树是其中每一内部节点具有精确四个子代的树数据结构。四叉树最常用来通过递归地将二维空间细分为四个象限或区域而分割二维空间。所述区域可为方形或矩形的，或可具有任意形状。
在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第六可能的实施形式中，所述确定器经配置以执行通过以下操作确定模型功能的所述类型：在所述编码单元的所述深度信息指示常量深度的情况下确定DC类型；在所述编码单元的所述深度信息指示渐进深度改变的情况下确定梯度类型；在所述编码单元的所述深度信息指示不同但常量深度的两个片段的情况下确定边缘类型；以及在所有其它情况下确定纹理类型。
在根据第一方面的第六实施形式的设备的第七可能的实施形式中，所述确定器经配置以执行通过以下操作确定用于编码单元的DC模型功能：通过从被安排在所述编码单元的左上角像素的左边的相邻编码单元和被安排在所述编码单元的左上角像素的顶部的相邻编码单元中的一个来预测所述深度信息来确定DC值。
在根据第一方面的第六实施形式或根据第七实施形式的设备的第八可能的实施形式中，所述确定器经配置以执行通过以下操作确定用于编码单元的分段的所述梯度类型：内插从所述编码单元的底部行中的第一像素(B)到所述编码单元的右下角中的目标像素的所述编码单元的底部行的渐进深度改变；内插从所述编码单元的右边列中的第二像素到所述编码单元的右下角中的所述目标像素(Z)的右边列的渐进深度改变；以及从所述底部行的所述渐进深度改变和所述右边列的所述渐进深度改变双线性内插所述渐进深度改变。
在根据第一方面的第六到第八实施形式中的任一者的设备的第九可能的实施形式中，所述确定器经配置以执行通过以下操作确定用于编码单元的分段的所述边缘类型：通过直线将所述编码单元划分为所述两个片段；以及通过从被安排在所述编码单元的左上角像素的左边的相邻编码单元和被安排在所述编码单元的左上角像素的顶部的相邻编码单元中的一个来预测所述深度信息确定所述两个片段中的第一者的DC值；以及通过从被安排在所述编码单元的右上角像素的右边的相邻编码单元和被安排在所述编码单元的右上角像素的顶部的相邻编码单元中的一个来预测所述深度信息来确定所述两个片段中的第二者的DC值。
在根据第一方面的第六到第九实施形式的设备的第十可能的实施形式中，所述确定器经配置以执行通过以下操作确定用于编码单元的分段的所述纹理类型：通过直线将所述编码单元划分为至少三个片段；以及确定所述编码单元划分为的片段的数目。
在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第十一可能的实施形式中，所述设备经配置以切换所述比特流相对于所述比特流的以下片段中的一者的编码方法：一连串视图，图片，切片，编码单元，和预测单元。
在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第十二可能的实施形式中，所述设备包括：交错器，被配置成用于交错所述编码单元与根据常规视频编码经编码的所述比特流的编码单元，明确地说根据HEVC视频编码或根据AVC视频编码经编码的所述比特流的编码单元。
根据第二方面，本发明涉及一种用于对表示包括一连串视图的三维视频的比特流进行编码的方法，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深度信息，所述方法包括：将所述深度图分割为编码单元；基于所述编码单元的所述深度信息确定用于每一编码单元的模型功能的类型；针对由模型功能产生的每一片段将所述编码单元减少到单个残差值；以及将所述残差值信号化处理到所述比特流。
根据第三方面，本发明涉及用于执行根据第二方面的方法的计算机程序，其中所述计算机程序在计算机上运行。
本发明的另一方面涉及使用用于深度的基于模型的帧内编码(DMC)作为对常规帧内编码算法的替代。
本发明的另一方面涉及根据序列、根据图片、根据切片、根据编码单元和根据预测单元使得DMC可切换。
本发明的另一方面涉及交错DMC编码单元(CU)与常规帧内CU。
本发明的另一方面涉及预测DMC与常规经帧内编码块之间的模式参数。
本发明的另一方面涉及在对应参数集中针对指定编码水平的DMC进行信号化处理的使用。
本发明的另一方面涉及使用运动补偿像素数据而无需经帧间编码帧中的任何残余信号。
本发明的另一方面涉及更新运动补偿帧中的建模参数。
本发明的另一方面涉及用于输入深度值的自适应查找表以减小仅具有较少深度水平的深度图的信号位深度。
本发明的另一方面涉及使用模型功能来描述每一编码单元的深度图特性，其中所述特性包括：具有常量深度的编码单元的DC值；通过对右下像素值且内插当前CU的其它像素值的具有渐进深度区域的编码单元的平面模式的信号化处理；以及通过直线(边缘)将编码单元划分为两个片段。每一片段可由DC值或由平面片段和DC值建模。
本发明的另一方面涉及通过预测从相邻块进入当前编码单元的边缘方向和信号位置补偿以更新当前CU中的边缘来预测用于三个建模功能的参数；以及相邻块的角像素的梯度预测平面模式的右下像素值。
通过引入建模功能的减少集合来描述深度图的典型特性，可除去常规算法的环状效应假象和其它编码假象。此外，根据本发明的方面的编码允许与常规基于变换的编码方法相比较好的视图合成质量。由于每一CU的可能建模功能或模式的减少集合，信号化处理需要的比特的量也减少，导致减少的比特率。
本发明的方面描述3D视频中用于深度图编码的修改的帧内编码方案。由于深度图示出例如由深度不连续处的尖锐边缘定界的分段平滑区域的唯一特性，因此需要新编码工具来近似这些信号特性。在当前3DV-HTM软件中，存在用于深度图的两个类别的帧内预测模式:1)从HEVC已知的方向性帧内预测和2)深度建模模式(DMM)。后一者可尤其当对提到的深度不连续进行建模时增强合成视图的BD速率。
根据本发明的方面，使用如DMM的极类似预测方案来近似深度图的尖锐边缘。通过DMM，所得残差如同常规帧内预测模式经变换且量化。在此阶段，所提议的基于深度模式的编码(DMC)并不使用变换和量化来对所得残余信号进行编码。DMC预测阶段始终导致每CU两个到三个深度片段且对于这些片段中的每一者，单个残差DC深度值经编码。通过跳过变换步骤且基于像素域信息对残差进行编码，对于经DMC编码块除去环状效应假象。此外，用于对每一片段的残差值的信号化处理的比特的数目可通过集成深度查找表(DLT)进一步减少，其中深度值映射到原始深度图的有效的深度值。DLT是基于输入深度图的初始分析而构建且随后在SPS中经编码。对于具有强经量化深度图的序列，DLT产生在单独来自DMC的增益之上的额外增益。
呈现的用于深度图的帧内编码方案针对某些序列导致4.02％(深度比率)和高达8.75％(深度比率)的平均BD比率节省，例如报纸、Kendo和Balloons。在包含纹理和深度的总体编码性能方面DMC产生平均0.76％BD比率节省。
对于所有帧内测试情况，呈现的编码方案针对序列Kendo产生24.06％(深度比率)和高达42.27％(深度比率)的平均BD比率节省。在包含纹理和深度的总体帧内编码性能方面DMC产生平均1.46％BD比率节省。
呈现的DMC编码方法是帧内编码模式的扩展，其在基于HEVC的3DV-HTM参考软件中可用。对于经DMC编码的块，预测模式仍是帧内的。对额外的DMC标志位进行信号化处理来指示DMC预测和编码的使用。如果块是以DMC编码的，那么分区大小始终是2Nx2N且因此不需要信号化处理到比特流中。代替于编码经量化变换系数，经DMC编码块需要对以下类型的信息进行编码：当前块的分段/预测的类型。可能值是DC(不分段)、梯度(不分段)、边缘(通过直线分段为两个片段)和纹理(通过对位于同一地点的纹理块加阈值而分段为2或3个片段)。对于边缘和纹理分段，关于分段的一些细节需要编码：对于边缘分段：分段的直线的开始/结束。对于纹理分段：所述块分裂为的片段的数目。
对于每一片段，将残差值(像素域中)信号化处理到比特流中。在编码之前，残差值通过使用深度查找表(DLT)映射到原始未经压缩深度图中存在的值。因此，可通过仅信号化处理索引进入此查找表而编码残差值，其减少残差量值的位深度。
经DMC编码深度图编码单元是通过四个可用的预测模式中的一个来预测。最佳模式是基于VSO规则选择且经编码进入比特流。最可能模式是从相邻编码单元预测。标志位对实际块模式是否匹配最可能模式进行编码。如果情况不是这样，那么需要对多达两个额外标志位进行信号化处理来指示DMC块的实际模式。所有提到的标志位具有其自身的指派用于CABAC引擎的新上下文模型。HEVC的方向性帧内预测模式不可用于经DMC编码块，因为这些的大部分可由边缘分段模式建模，这将在以下章节中更详细解释。
附图说明
将相对于以下附图描述本发明的其他实施例，其中：
图1示出根据实施形式的用于对表示三维视频的比特流进行编码的设备的框图；
图2示出根据实施形式的用于编码比特流的设备的确定器中的边缘类型确定的示意图；
图3示出根据实施形式的用于编码比特流的设备的确定器中的梯度类型确定的示意图；以及
图4示出根据实施形式的由设备编码的三维视频的经重建视图。
具体实施方式
图1示出根据实施形式的用于对表示三维视频的比特流进行编码的设备100的框图。
设备100用于对包括一连串视图的表示三维视频的比特流进行编码，其中深度图与每一视图相关联，所述深度图包括相对于俘获所述视图的摄像机位置的视图的深度信息。设备100包括：分割器101，用于将深度图分割为编码单元；确定器103，用于基于每一编码单元的深度信息确定所述编码单元的模型功能的类型；减少器105，用于针对由模型功能产生的每一片段将编码单元减少到单个残差值；以及信号化处理器107，用于将所述模型功能类型和所述残差值信号化处理到比特流。
在实施形式中，所述设备100进一步包括索引器，用于相对于由深度图指示的深度水平索引深度图的深度信息从而获得与深度图的深度信息相关联的索引；以及重映射器，用于通过根据所述索引重新映射深度图来减少深度信息大小。
在实施形式中，所述索引器经配置以执行在预定数目的视图上索引深度图的深度信息；且其中所述重映射器经配置以执行通过使用查找表减少深度信息大小。
在实施形式中，设备100包括映射器，用于将深度水平映射到其在深度图中的对应索引。
在实施形式中，所述分割器101经配置以通过以下操作将深度图分割为编码单元：将深度图分割为具有固定大小的固定大小编码单元，明确地说64x64像素的固定大小；通过将所述固定大小编码单元细分为具有变化大小的编码单元而在四叉树结构中安排所述编码单元，明确地说范围从4x4像素到64x64像素的编码单元的变化大小；以及将所述四叉树结构信号化处理到比特流。
在实施形式中，确定器103经配置以执行通过从四叉树结构中与所述编码单元相邻安排的编码单元进行预测来确定用于编码单元的分段的类型。
在实施形式中，确定器103经配置以通过以下操作执行确定分段的类型：如果编码单元的深度信息指示常量深度那么确定DC类型；如果编码单元的深度信息指示渐进深度改变那么确定梯度类型；如果编码单元的深度信息指示不同但常量深度的两个片段那么确定边缘类型；以及在所有其它情况下确定纹理类型。
在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段的DC类型：通过从被安排成在编码单元的左上角像素的左边的相邻编码单元和被安排成在编码单元的左上角像素的顶部的相邻编码单元中的一个来预测深度信息来确定DC值。
在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段的梯度类型：内插从编码单元的底部行中的第一像素(B)到编码单元的右下角中的目标像素(Z)的编码单元的底部行的渐进深度改变；内插从编码单元的右边列中的第二像素(A)到编码单元的右下角中的目标像素(Z)的右边列的渐进深度改变；以及从底部行的渐进深度改变和右边列的渐进深度改变双线性内插渐进深度改变。
在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段的边缘类型：通过直线将编码单元划分为两个片段；以及通过从被安排成在编码单元的左上角像素的左边的相邻编码单元和被安排成在编码单元的左上角像素的顶部的相邻编码单元中的一个来预测深度信息来确定所述两个片段中的第一者的DC值；以及通过从被安排成在编码单元的右上角像素的右边的相邻编码单元和被安排成在编码单元的右上角像素的顶部的相邻编码单元中的一个来预测深度信息来确定所述两个片段中的第二者的DC值。
在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段的纹理类型：通过直线将编码单元划分为至少三个片段；以及确定所述编码单元划分成的片段的数目。
在实施形式中，设备100经配置以相对于比特流的以下片段中的一者切换所述比特流的编码：一连串视图、图片、切片、编码单元和预测单元。
在实施形式中，所述设备包括：交错器，其被配置成用于交错编码单元与根据常规视频编码经编码的比特流的编码单元，明确地说根据HEVC视频编码或根据AVC视频编码经编码。
在下文中，DMC涉及根据本发明的第一方面或第一方面的任何实施形式用于编码和/或解码表示三维视频的比特流的设备100。DMC方法涉及根据本发明的第二方面的用于编码和/或解码表示三维视频的比特流的方法。在下文中，块模式涉及根据本发明的方面的分段的类型。块涉及编码单元。
来自MPEG视频和要求小组的“要求3D视频编码技术的建议(Call for proposalson 3D video coding technology)”(MPEG输出文档N12036技术报告，2011年3月)的3DV测试序列的分析已经示出所有估计深度图并不利用8比特的完整可用的信号范围。由于强量化，在那些序列中仅出现类似于深度水平的少量不同灰色值。在第一编码步骤中，DMC因此利用映射技术，其索引所有出现的深度值，然后根据这些索引重新映射深度图。进而信号位深度以及由其它DMC编码工具使用的残余信号系数减少。
如先前所提及，DMC是基于块的编解码器，其重新使用由HEVC引入的阶层式四叉树分裂。深度图以64x64像素的默认大小分割为最大编码单元(LCU)。每一LCU可细分为阶层式四叉树结构。分割导致各种大小的编码单元(CU)且能够考虑不同水平的细节。CU默认地无法小于4x4像素。四叉树分割是将与HEVC中相同的方式对应的分裂标志位信号化到比特流中。
三个可用的模型功能中的一者，也称为分段类型，指派给每一CU。所选模式以预测方式经编码进入比特流中。DMC从相邻CU导出最可能块模式。标志位对实际块模式是否匹配预测模式进行编码。如果情况不是这样，那么需要额外标志位。两种标志位具有其自身的经指派用于CABAC引擎的新上下文模型。
DC模式，也称为DC类型，以单个DC系数对单一彩色区域进行建模。DMC从相邻块预测对应参数，在两个可用的预测符之间进行选择，所述预测符位于当前块的左上角像素的左边和顶部。信号化处理标志位来指示使用所述两个预测符中的哪一个。残差经编码进入比特流。
边缘模式(EM)，也称为边缘类型，通过直线将块划分为两个片段，如以下相对于图2a描述所示。每一片段然后由单个DC系数建模。对于第一片段，此系数的预测等同于DC模式。片段2具有不同集合的预测符(参看图2b)，位于实际块的左下和右上角。取决于块大小，存在用于描述划分线的参数的编码的两个不同的方法。对于4x4像素大小块，存在8个可用的边缘模式的相异的集合。对应的3比特索引在比特流中经编码，从而绕过熵编码引擎。此基于模式的方法不适合于更大的块且因此由边缘的不同描述替换：如图2a中描绘，边缘由6个开始/结束边界组合中的一者和两个索引界定。此信息再次经编码而绕过熵编码器。
为了通过多个发射经编码块增强边缘的连续性，DMC能够以预测方式对边缘参数进行编码。不论何时相邻块经EM编码且其边缘引入到当前块中，这都适用。在此情况下，当前块的边缘的开始点是从相邻块的边缘端点预测。如果情况是这样，那么实际边界和位置补偿是使用CABAC熵编码器来进行残差编码。
DMC平面模式(PM)或梯度模式，也称为梯度类型，引入到深度图中的模型渐进颜色变化。对此平面模式的输入是相邻像素值，以及当前块的右下角的目标值Z。如图3中描绘，底部行是从值B和Z线性地内插，分别是A和Z右边列。在第二步骤中第二步骤从周围边界值双线性内插所有剩余像素值。比特流中还以预测且残差方式仅编码Z参数。对于Z系数预测过程，DMC在两个情况之间进行区分。如果无相邻块经PM编码，那么以与EM块中的第二片段相同的方式导出预测符(参看图2b)。否则的话，相邻经PM编码块中的梯度是从其角像素位置计算以内插实际Z系数。在后一种情况下，如果两个相邻块是平面，那么预测仅是竞争性的。
所有DC系数以及平面模式的Z参数是通过相邻参数来预测，仅残余信号是在比特流中经编码。第一标志位信号的值是否不等于零。如果情况是这样，那么首先编码符号标志位。位平面编码用于残差的量值。每一模式和片段中的每一比特位置具有其自身的上下文模型。非零和符号标志位也具有其自身的上下文。对于非零和符号标志位情况相同。
DMC编码器基于拉格朗日方法做出编码决策。模式m通过最小化RD成本函数J＝D(m)+λR(m)而被认为是最佳模式。进而拉格朗日乘数λ给出对比率R与失真D之间的取舍的控制，如平方误差总和(SSE)测量。不同于HEVC，λ不是基于量化参数(QP)内部计算，而是在编码器配置中直接设定为参数。
DMC的DC预测模式适合于具有常量深度的区域。对应DC预测值是借助于顶部和左边树块的所有直接邻近样本从相邻块预测。根据如下所述的编码步骤将所得残差编码进入比特流。
MPEG视频和要求小组的“要求3D视频编码技术的建议(Call for proposals on3D video coding technology)”(MPEG输出文档N12036技术报告，2011年3月)的3DV测试序列的分析已经示出估计深度图并不利用28的完整可用的深度范围。由于强量化，在那些序列中仅出现少量不同深度水平。在初始分析步骤中，DMC因此通过分析输入序列的某一数目的帧来构造动态深度查找表。在编码过程期间使用此深度查找表来减少有效信号位深度且因此由其它DMC编码工具使用的残余信号系数的范围。
在分析步骤中，编码器从待编码的输入视频序列读取预定义的数目的帧且扫描所有像素是否有可用的深度值。在此过程期间，产生映射表，其基于原始未压缩深度图将深度值映射到有效的深度值。
具体来说，所述算法执行以下步骤：
输入：在时间实例t的NxM像素的深度图Dt
输出：深度查找表D(.)
索引查找表I(.)
深度映射表M(.)
有效的深度值的数目dvalid
算法：
0.初始化
布尔型向量B(d)＝假，对于所有深度值d
索引计数器i＝0
1.针对多个时间实例t处理Dt中的每一像素位置p：
设定B(Dt(p))＝真以标记有效的深度值
2.B(d)中的真值的计数数目→dvalid
3.对于具有B(d)的每一d＝＝真：
设定D(i)＝d
设定M(d)＝d
设定I(d)＝i
i＝i+1
4.对于具有B(d)的每一d＝＝假：
寻找 d ^ = arg min | d - d ^ 且＝＝真
设定 M ( d ) = d ^
设定 I ( d ) = I ( d ^ )
编码步骤如下：
代替于针对给定编码单元编码残差深度值，所述深度值映射到其在有效的深度图列表中的对应索引。此映射表需要发射到解码器用于从索引到有效的深度值的逆查找。
使用此查找表的优点是具有减少深度范围的序列的残差索引的减少的位深度，(例如，MPEG视频和要求小组的“要求3D视频编码技术的建议(Call for proposals on 3Dvideo coding technology)”(MPEG输出文档N12036技术报告，2011年3月)中描述的MPEG3DV活动中的所有估计深度图。
算法细节如下：
输入：原始深度值dorig
预测深度值dpred
索引查找表I(.)
有效的深度值的数目dvalid
输出：待编码残差索引iresi
算法：
iresi＝I(dorig)-I(dpred)
随后以重要性标志位、符号标志位且以用于残差索引的量值的[log2dvalid]个比特对计算的残差索引iresi进行编码。
图2示出根据实施形式的用于编码比特流的设备的确定器中的边缘类型确定的示意图。
边缘预测(EP)，也称为边缘类型的确定，通过直线将块划分为两个片段，如图2中所示。两个片段是由DC值建模，其是从顶部和左边经编码树块的邻近深度值预测。所述两个DC值的预测是借助于相邻深度值计算，其将属于由所选边缘划分界定的同一片段。根据相对于图1描述的编码步骤对所得残差编码。
6个不同开始/结束边界组合和两个对应索引界定当前块到两个片段的划分。图2中描绘这些组合的两个实例。
为了通过多个经EP编码块来改进边缘的连续性且减小用于信号化处理边缘时所需的比特率，DMC从相邻块预测边缘信息。不论何时相邻块也使用边缘预测且其边缘引入到当前块中，这都适用。在此情况下，当前块的边缘的开始点是从所述块的边缘端点预测且当前边缘的端点是通过继续相邻边缘的斜坡进入当前块来预测。相对于所述预测的实际边界和位置补偿是使用CABAC熵编码器经残差编码。发现极类似的预测模式是深度建模模式(DMM)的一部分，其对不同的边缘信息进行信号化处理。此外，DMM预测块的所得残差仍经变换编码。
当预测某一块的深度图信号时，还可能并入同一视图的纹理组件的已经编码的位于同一地点的块。通过应用纹理块的亮度分量的简单加阈值，计算块到两个或三个片段的分段。所得分段掩模随后用于计算这些片段中的每一者的平均深度值。借助特定片段的直接邻近样本的平均深度值再次如同边缘或DC预测类似地预测所得DC值。根据相对于图1描述的编码步骤对所得残差编码。
深度建模模式(DMM)如其在当前参考软件中那样还允许纹理到深度预测，但DMM是更限制性的，因为其的确仅允许两个片段且存在后续变换步骤代替直接编码深度值。
图3示出根据实施形式的用于编码比特流的设备的确定器中的梯度类型确定的示意图。
DMC梯度预测(GP)，也称为梯度类型的确定，经引入以对深度图中的渐进深度变化进行建模。对此模式的输入是相邻像素值，以及当前块的右下角的目标值Z。如图3中描绘，底部行是从值B和Z线性地内插，分别是A和Z右边列。在第二步骤中，从周围值双线性内插所有剩余像素值。
Z参数再次是从上部和左边经编码树块的直接邻近深度样本预测。通过计算当前块的顶部的水平梯度和左侧的垂直梯度，可通过将这两个梯度添加到在左上位置的深度值来预测Z值。根据相对于图1描述的编码步骤对所得残差编码。
图4示出根据实施形式的由设备编码的三维视频的经重建视图。
图4描绘基于(a)未经压缩，(b)常规经帧内编码和(c)每像素在0:0043比特的基于DMC的经编码深度图的经重建深度(顶部)和合成结果(底部)。
DMC已集成到HEVC测试模型(HM3.0)中作为对常规帧内预测和基于变换的算法的一个替代帧内编码方法。在当前实施方案中，深度图是独立于伴随的纹理视频而编码。然而，例如四叉树分解和CABAC熵编码器的纹理编码工具再用于深度图编码。在实验中，深度图是以HM 3.0软件经编码，同样具有默认帧内编码工具且同样具有所提议的DMC方法。为了针对DMC情况达到不同的比特率，改变RD成本函数的拉格朗日乘数λ。两种方法在几乎所有比特速率范围中同样好地表现。基于经重建深度图计算测量的PSNR。深度图通常本身不显示且可视为对纹理视频的补充数据。由于它们用来在接收器处合成任意视点，因此PSNR曲线仅给出深度图质量的极粗略的想法。根据本发明的方面，与常规基于变换的编码器相比基于模型的方法的最显要的优点是由于移除沿着对象边界的环状效应假象带来的深度不连续的改善保持。
在下文中，呈现基于压缩深度图的合成视点以证明那些虚拟的视图的视觉质量的改进。对于这些实验结果的产生，纹理数据保持未压缩以集中于深度编码假象上。对于视图合成，使用MPEG视图合成参考软件(VSRS3.5)的修改版本。VSRS中的所有深度图改进算法被关闭以能够比较由不同压缩的深度图引入的纯合成假象。
在图4中，在顶部三个图像中可见到两个不同编码方法的典型经重建深度图。虽然常规HM帧内编码工具引入沿着深度不连续处的强模糊和环状效应假象，但根据本发明的方面的呈现的DMC算法通过以明确表示来近似那些边缘位置而保持那些边缘位置。两个示出的深度图是在每像素0:0043比特处经编码，且在PSNR方面其具有极类似的质量。更重要的是，图4e示出由HM帧内编码工具的编码假象引入的几何失真。沿着人脸的模糊深度图导致合成视图中他的头的强变形。与此相反，DMC方法产生有说服力的合成质量(参看图4f)，其相对接近于基于未经压缩深度图的合成。
在本申请案中，呈现用于编码深度图的新颖的基于模型的算法。证明了所述DMC压缩深度图得到视觉上改进的合成视图。呈现的DMC方法对明确深度不连续处的位置的信号化处理而移除从基于变换的编码器已知的环状效应假象。深度数据的分段光滑的区域是通过常量深度值或平面模式建模，其能够对深度梯度建模。相比于常规帧内编码工具，DMC得到如基于我们的实验结果视觉化的深度图，其引入较少的几何失真。
在实施形式中，将呈现的新帧内编码算法并入到运动补偿情境中。对于使用时间预测的帧，再使用模型参数且经更新以匹配时间改变。在实施形式中，常规帧内编码和基于模型的方法通过从相邻块预测模式参数而合并。在实施形式中，纹理和深度数据的编码经组合，且通过并入来自对应纹理的信息而改善DMC的模型参数的导出。
呈现的算法是实施到3DV-HTM 3.1参考软件中。所述算法和其实施并不干扰参考软件的其它编码工具且因此除所有可用的工具之外也可使用。由于4个DMC预测模式中的三个非常类似于参考实施中已经存在的深度建模模式(DMM)，因此停用DMM用于仿真。在参考仿真中，启动DMM。
DMC与当前3DV-HTM 3.1参考软件相比并不引入显著额外计算复杂性。仅边缘预测模式在编码器侧相对复杂，因为其需要测试所有可能分段以找到最优。此行为极类似于当前HTM参考软件中可发现的DMM楔波预测。所有其它DMC组件且尤其解码器侧算法复杂性极低，因为对于涉及的经DMC编码块既不存在解量化也不存在逆变换。
根据MPEG视频和要求小组的“要求3D视频编码技术的建议(Call for proposalson 3D video coding technology)”(MPEG输出文档N12036技术报告，2011年3月)中描述的常见测试条件执行DMC仿真。对于所有帧内编码器配置，配置文件是来自深度图帧内编码工具上的6小时的核心实验。与所述常见测试条件的仅有偏差是停用DMM用于DMC仿真，因为DMM预测模式极类似于DMC中使用的预测且复杂性增加将大得多且比特率节省上具有潜在极少的额外增益。谨慎考虑计算复杂性的测量，因为其是基于具有不同硬件配置的异质群集。
表1描绘随机访问配置的速率节省，且表2描绘所有帧内配置的速率节省。
表1：随机访问配置
表2：所有帧内配置
完成所提议的方法的交叉检查。未发现所述实施的问题。
在本申请案中，呈现用于深度图的帧内编码的基于模型的算法。呈现的DMC方法直接将像素域信息信号化处理处理到比特流中而移除从基于变换的编码已知的环状效应假象。深度数据的分段光滑的区域是通过常量深度值或平面模式预测，其能够对深度梯度建模。在后续残差编码步骤中，所提议的深度查找表将每一片段的残差DC值映射到残差索引，其随后经熵编码。本发明的方面针对深度图的帧内编码示出显著编码增益。
根据上文，提供关于录音媒体以及类似者的各种装置、方法、系统、计算机程序对于所属领域的技术人员而言是显而易见的。
本发明还支持包含计算机可执行码或者计算机可执行指令的计算机程序产品，其在执行时引起至少一个计算机执行本文中所描述的运行和计算步骤。
本发明还支持用于执行本文中所描述的运行和计算步骤的系统。
根据上述教示，许多替代方式、修改和变型对于所属领域的技术人员而言将是显而易见的。当然，所属领域的技术人员容易认识到，除了本文中所描述的那些应用之外，存在许多本发明的应用。虽然本发明已参考一个或一个以上特定实施例描述，所属领域的技术人员认识到，在不脱离本发明的范围的情况下可对其作出许多改变。因此，应理解，在所附权利要求书及其等效物的范围内，可以不同于如本文中所具体描述的方式实践本发明。

Claims (13)

1.一种用于对表示包括一连串视图的三维视频的比特流进行编码的设备(100)，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深度信息，所述设备包括：
分割器(101)，用于将所述深度图分割为编码单元；
确定器(103)，用于基于所述编码单元的深度信息确定每一编码单元的模型功能的类型；
减少器(105)，用于针对由所述模型功能产生的每一片段将所述编码单元减少到单个残差值；以及
信号化处理器(107)，用于将使用的所述模型功能和所述残差值信号化处理到所述比特流；
索引器，用于对所述深度图相对于由所述深度图指示的深度水平的所述深度信息做索引，从而获得与所述深度图的所述深度信息相关联的索引；以及
重映射器，用于根据所述索引重新映射所述深度图从而减少所述深度信息大小。
2.根据权利要求1所述的设备(100)，其中所述索引器经配置以执行在预定数目的视图上对所述深度图的深度信息做索引；且其中所述重映射器经配置以通过使用查找表执行减少所述深度信息。
3.根据权利要求1或权利要求2所述的设备(100)，其包括：
映射器，用于将所述深度水平映射到所述深度水平在所述深度图中的对应索引。
4.根据权利要求1或2所述的设备(100)，其中所述分割器(101)经配置以通过以下操作将所述深度图分割为编码单元：
将所述深度图分割为固定大小的固定大小编码单元，明确地说是64x64像素的固定大小；
通过将所述固定大小编码单元细分为变化大小的编码单元而在四叉树结构中安排所述编码单元，明确地说所述编码单元的变化大小的范围是4x4像素到64x64像素；以及
将所述四叉树结构信号化处理到所述比特流。
5.根据权利要求4所述的设备(100)，
其中所述确定器(103)经配置以执行通过从所述四叉树结构中与所述编码单元相邻的编码单元进行预测来确定用于编码单元的分段的类型。
6.根据权利要求1或2所述的设备(100)，其中所述确定器(103)经配置以执行通过以下操作确定模型功能的类型：
在所述编码单元的深度信息指示常量深度的情况下确定DC类型；
在所述编码单元的深度信息指示渐进深度改变的情况下确定梯度类型；
在所述编码单元的深度信息指示不同但常量深度的两个片段的情况下确定边缘类型；以及
在所有其它情况下确定纹理类型。
7.根据权利要求6所述的设备(100)，
其中所述确定器(103)经配置以执行通过以下操作确定用于编码单元的模型功能的DC类型：
通过所述编码单元的左上角像素的左边的相邻编码单元和所述编码单元的左上角像素的顶部的相邻编码单元中的一个来预测所述深度信息来确定DC值。
8.根据权利要求6所述的设备(100)，
其中所述确定器(103)经配置以执行通过以下操作确定用于编码单元的分段的梯度类型：
内插从所述编码单元的底部行中的第一像素(B)到所述编码单元的右下角中的目标像素(Z)的所述编码单元的底部行的渐进深度改变；
内插从所述编码单元的右边列中的第二像素(A)到所述编码单元的右下角中的所述目标像素(Z)的右边列的渐进深度改变；以及
从所述底部行的所述渐进深度改变和所述右边列的所述渐进深度改变双线性内插所述渐进深度改变。
9.根据权利要求6所述的设备(100)，其中所述确定器(103)经配置以执行通过以下操作确定用于编码单元的分段的边缘类型：
通过直线将所述编码单元划分为所述两个片段；以及
通过所述编码单元的左上角像素的左边的相邻编码单元和所述编码单元的左上角像素的顶部的相邻编码单元中的一个来预测所述深度信息确定所述两个片段中的第一者的DC值；以及
通过所述编码单元的右上角像素的右边的相邻编码单元和所述编码单元的右上角像素的顶部的相邻编码单元中的一个来预测所述深度信息来确定所述两个片段中的第二者的DC值。
10.根据权利要求6所述的设备(100)，其中所述确定器(103)经配置以执行通过以下操作确定用于编码单元的分段的所述纹理类型：
通过直线将所述编码单元划分为至少三个片段；以及
确定所述编码单元划分为的片段的数目。
11.根据权利要求1或2所述的设备(100)，其中所述设备(100)经配置以切换所述比特流相对于所述比特流的以下片段中的一个的编码方法：
一连串视图，
图片，
切片，
编码单元，和
预测单元。
12.根据权利要求1或2所述的设备(100)，所述设备包括：
交错器，被配置成用于交错所述编码单元与根据常规视频编码经编码的所述比特流的编码单元，明确地说根据HEVC视频编码或根据AVC视频编码经编码的所述比特流的编码单元。
13.一种用于对表示包括一连串视图的三维视频的比特流进行编码的方法，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深度信息，所述方法包括：
将所述深度图分割为编码单元；
基于所述编码单元的所述深度信息确定用于每一编码单元的模型功能的类型；
针对由模型功能产生的每一片段将所述编码单元减少到单个残差值；
将使用的所述模型功能和所述残差值信号化处理到所述比特流；
对所述深度图相对于由所述深度图指示的深度水平的所述深度信息做索引，从而获得与所述深度图的所述深度信息相关联的索引；以及
根据所述索引重新映射所述深度图从而减少所述深度信息大小。
CN201280074544.1A 2012-07-13 2012-07-13 用于对表示三维视频的比特流进行编码的设备 Active CN104429062B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/063846 WO2014008951A1 (en) 2012-07-13 2012-07-13 Apparatus for coding a bit stream representing a three-dimensional video

Publications (2)

Publication Number Publication Date
CN104429062A CN104429062A (zh) 2015-03-18
CN104429062B true CN104429062B (zh) 2017-02-01

Family

ID=46506458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074544.1A Active CN104429062B (zh) 2012-07-13 2012-07-13 用于对表示三维视频的比特流进行编码的设备

Country Status (6)

Country Link
US (1) US9998761B2 (zh)
EP (1) EP2873240A1 (zh)
JP (1) JP2015523030A (zh)
KR (1) KR20150036261A (zh)
CN (1) CN104429062B (zh)
WO (1) WO2014008951A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409215B (zh) * 2013-01-11 2018-10-09 华为技术有限公司 深度预测模式选择方法及装置
ES2698515T3 (es) 2013-03-15 2019-02-05 Qualcomm Inc Predictor para la intra-codificación de mapas de profundidad
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding
KR20160132891A (ko) 2014-03-13 2016-11-21 퀄컴 인코포레이티드 3d 비디오 코딩에 대한 제약된 깊이 인트라 모드 코딩
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
JP2015228577A (ja) * 2014-05-30 2015-12-17 Kddi株式会社 動画像符号化装置及び動画像復号装置並びに方法
EP3251351B1 (en) * 2015-01-27 2021-07-14 Dolby International AB Predictive image encoding and decoding with pixel group based quantization
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
KR102160092B1 (ko) * 2018-09-11 2020-09-25 스노우 주식회사 레이어드 마스크와 룩업테이블을 이용한 이미지 처리 방법 및 시스템
CN109819249A (zh) * 2019-01-18 2019-05-28 郑州轻工业学院 针对屏幕编码的低复杂度帧内模式预测方法
CN109978113B (zh) * 2019-03-28 2022-06-10 尤尼泰克(嘉兴)信息技术有限公司 一种渐变色二维码的生成方法
EP3796658A1 (en) * 2019-09-20 2021-03-24 Koninklijke Philips N.V. Coding scheme for depth data
CN117121486A (zh) * 2021-03-02 2023-11-24 抖音视界有限公司 非二元块的帧间预测

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
CN101374242B (zh) * 2008-07-29 2010-06-02 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
EP2499829B1 (en) * 2009-10-14 2019-04-17 Dolby International AB Methods and devices for depth map processing
KR101584480B1 (ko) * 2010-04-13 2016-01-14 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
US10021384B2 (en) * 2010-12-23 2018-07-10 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP5872676B2 (ja) * 2011-06-15 2016-03-01 メディアテック インコーポレイテッド ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
BR112014003162A2 (pt) * 2011-08-09 2017-06-13 Samsung Electronics Co Ltd método para codificar dados de vídeo de múltiplas visualizações, método para decodificar dados de vídeo de múltiplas visualizações, e aparelho para decodificar dados de vídeo de múltiplas visualizações
WO2013068564A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding using spatial prediction
JP6046246B2 (ja) * 2012-07-02 2016-12-14 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングのための深度マップのイントラコーディング
EP2839664A4 (en) * 2012-07-09 2016-04-06 Mediatek Inc METHOD AND APPARATUS FOR PREDICTING INTERVIEW SUB-DIVISION IN 3D VIDEO CODING

Also Published As

Publication number Publication date
CN104429062A (zh) 2015-03-18
US9998761B2 (en) 2018-06-12
JP2015523030A (ja) 2015-08-06
WO2014008951A1 (en) 2014-01-16
EP2873240A1 (en) 2015-05-20
US20150124867A1 (en) 2015-05-07
KR20150036261A (ko) 2015-04-07

Similar Documents

Publication Publication Date Title
CN104429062B (zh) 用于对表示三维视频的比特流进行编码的设备
AU2020397870B2 (en) Method and apparatus for point cloud coding
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
CN104396250B (zh) 用于3d视频译码的深度图的帧内译码的方法和装置
TWI579803B (zh) 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體
TWI565307B (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記憶媒體
CN103797800B (zh) 推导参考模式值以及编码和解码表示预测模式的信息
CN110393011A (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
CN107787582A (zh) 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备
EP2624565A1 (en) Method and device for encoding images, method and device for decoding images, and programs therefor
CN104247427A (zh) 使用分区编码的有效预测
CN106170092A (zh) 用于无损编码的快速编码方法
JP2019154074A (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
CN110366850A (zh) 基于帧内预测模式处理图像的方法和用于该方法的设备
KR20130059422A (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
CN106664423A (zh) 视频编译中的深度图片编译方法和设备
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2015177295A (ja) 端末装置及びデータ管理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant