CN110495178B - 3d视频编码的装置和方法 - Google Patents

3d视频编码的装置和方法 Download PDF

Info

Publication number
CN110495178B
CN110495178B CN201680091333.7A CN201680091333A CN110495178B CN 110495178 B CN110495178 B CN 110495178B CN 201680091333 A CN201680091333 A CN 201680091333A CN 110495178 B CN110495178 B CN 110495178B
Authority
CN
China
Prior art keywords
depth information
reconstructed
value
information
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091333.7A
Other languages
English (en)
Other versions
CN110495178A (zh
Inventor
赵志杰
延斯·施耐德
约翰尼斯·索尔斯
麦蒂尔斯·韦恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110495178A publication Critical patent/CN110495178A/zh
Application granted granted Critical
Publication of CN110495178B publication Critical patent/CN110495178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及具有视点间预测的视频译码。获取参考视点的重建深度图，根据预先确定的参考量化进行量化。获得缩减范围信息，其中缩减范围信息界定义可用于在由预定参考量化界定的量化层级范围内的视点间预测的深度量化层级的缩减范围。通过自适应函数来增强对应于深度量化水平的减小的范围的距离信息，所述自适应函数是基于所述减小的范围来定义的。增强的距离信息用于视点间预测，导致提高的编码效率。

Description

3D视频编码的装置和方法
技术领域
本发明大体涉及视频编码领域。更具体地，本发明涉及使用视点间预测处理3D视频数据的装置和方法。
背景技术
在3D视频编码过程中，必须对多个纹理帧序列进行编码，特点在于同一场景具有至少两个不同视点。已知的标准3D-HEVC仅支持用于共面摄像头布置的基于块的视点合成预测，即，来自单一平面内多个位置的视点。对于非共面摄像头布置，所有块以相同视差在不同视点之间移动这一假设不再成立。在这种情况下，每个像素都可以在视点之间以不同的方式移位，因此传统的视点合成预测方法通常会失败。为此，建议直接使用基于像素的深度图而不是从中导出的块向量。
在基于深度图的当前方法中，3D视频序列提供场景的若干视点，并且包括纹理帧形式的纹理数据和相应深度图形式的深度图数据。通常，诸如校准矩阵、与世界坐标系的关系等摄像头参数对于每个视点而言是已知的(对于每个帧而言也是如此，以防这些参数随时间而变化)。使用3D扭曲，可以将不同视点相互映射。映射通常是不完美的，因为在扭曲视点中可能会出现遮挡。
举例而言，假设一个名为“视点0”的视点需要扭曲到名为“视点1”的视点中。“视点0”表示参考视点，“视点1”表示目标视点或从属视点。对于非遮挡部分而言，扭曲视点“扭曲0”是“视点1”的良好预测值。因此，通过将“扭曲0”包含在用于预测“视点1”的参考图片列表中，可以改善编码性能。这适用于纹理帧和深度图，在本领域中称为视点间预测。
深度图的质量对于一个视点到另一个视点的3D扭曲非常重要。通常，深度图必须通过仅具有纹理和可用摄像头参数的算法来估计。例如，如果以这种方式估计的参考深度图用于从“视点0”到“视点1”生成从属纹理或深度图，则可能导致“扭曲0”视点合成不准确。反过来，还会对区域数量产生负面影响，编码器将选择区域数量并使用视点间预测来从“扭曲0”中预测“视点1”。
US 7,558,432 B2描述了一种在基于直方图分析进行编码之前量化深度图数据的方法。更具体地，US 7,558,432 B2公开了一种使用深度图表示图像或图像序列的方法，包括将n位深度图表示非线性变换为m位深度图表示，且m<n。
因为深度图通常是从纹理数据中估计得来或者进行了预处理，深度图数值对应的直方图可能会比较稀疏。WO 2014/139566 A1中提出了深度查询表(Depth Lookup Table，简称DLT)，直方图特征的利用可以仅通过用信号表示的DLT差值索引，而非通过用信号表示的残差深度值。通过这种方法，可以降低这些残差值的位深，提高深度图编码的编码效率。
尽管上述传统方法提供了一些改进，但仍然需要一种使用视点间预测处理3D视频数据的改进装置和方法。
发明内容
本发明的目的是提供一种使用视点间预测处理3D视频数据的改进装置和方法。
上述和其它目的通过独立权利要求的主题来实现。根据从属权利要求、说明书以及附图，进一步的实现形式是显而易见的。
本发明的实施例基于以下理念：使用可配置的深度图值映射进行深度图的预处理，以便获取更适合视点间预测中视点合成的深度图。例如，典型的视点合成算法确定深度图中每个深度值的单应性映射，然后将其生成合成像素。本发明的实施例改进了单应性映射，这又使得提高预测精度成为可能。本发明的实施例在不增加所述编码深度图的编码成本的情况下提供了这些有利效果。深度图的典型特点是在小范围内数值众多，而其它范围则未被使用。如本发明实施例所提供的，视点间预测情景中的深度图值映射允许在大多数深度图值所在的范围部分进行集中。
解码器可以发送并使用有关编码器使用的值映射信息，以修改深度图的值，从而使用视点合成实现视点间预测。例如，值映射可以将深度图中最近值和最远值的范围限制为大多数深度值所在的范围。这是一种可以提高预测性能的简单解决方案。因为仅修改了预测值，此过程不会更改重建的深度图。
根据第一方面，本发明涉及一种使用视点间预测处理3D视频数据的装置，其中所述装置包括用于执行以下操作的处理器：
获取与参考视点的参考深度信息图相关联的重建深度信息视频编码块的重建深度信息值，其中，根据预定参考量化对所述参考深度信息图的重建深度信息值进行量化，所述预定参考量化包括预定数量的量化等级，每个量化等级表示不同的深度信息值；
获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义可用于由所述预定参考量化定义的量化等级范围内的视点间预测的缩小深度量化等级范围；
使用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的重建距离信息值，以获取所述重建深度信息视频编码块的适配重建距离信息值(下文中也称为DadapZ或Zadap)，其中，所述重建距离信息值对应于所述重建深度信息视频编码块或其进一步处理版本的重建深度信息值，且所述距离信息值适配函数基于所述缩小范围信息并用于增加可用于表示与所述缩小范围内的重建深度信息值相关联的适配重建距离信息值的量化等级数量；
基于与所述参考视点相关联的所述重建深度信息视频编码块的适配重建距离信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
因此，提供了一种使用视点间预测处理3D视频数据的改进装置。
所述视频编码块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。每个视频编码块可以包括多个像素。
深度信息值可以是深度值或视差值。距离信息值可以是距离值、深度值或视差值。因此，本文中使用的术语“深度图”用于涵盖提供有关深度图像素深度或距离的信息的任何类型的图或帧。
例如，在8位量化的基础上，可以使用256个量化等级，例如，量化等级0到255。
可以理解的是，根据本发明的第一方面，基于所述从属视点的适配重建距离信息值生成预测纹理视频编码块和/或预测深度信息视频编码块。
根据所述第一方面，在所述装置的第一种可能的实现形式中，实现所述距离信息值适配函数，使得可用于表示适配重建距离信息值的量化等级数量大于或等于与所述缩小重建深度信息值范围相关联的所述缩小深度量化等级范围。
因此，可以增加所述适配重建距离信息值的分辨率，从而提高编码效率。
根据所述第一方面或其第一种实现形式，在所述装置的第二种可能的实现形式中，实现所述距离信息适配函数，使得用于表示适配重建距离信息值的量化等级数量可预定，例如等于所述预定参考量化的量化等级数量，或大于所述预定参考量化的量化等级数量。在一种实现形式中，例如，所述预定参考量化的量化等级可以基于8位量化，用于表示适配重建距离信息值的量化等级可以基于8、10或12位量化等。
因此，可以增加所述适配重建距离信息值的分辨率，从而提高编码效率。
根据所述第一方面或其第一种或第二种实现形式，在所述装置的第三种可能的实现形式中，所述重建距离信息值是重建深度信息值，并且实现所述距离信息值适配函数，使得深度信息值的量化等级数量QL可预定，且所述距离信息值适配函数对应于以下等式：
Figure GDA0003165130030000031
其中，D表示与所述参考视点相关联的重建深度信息块的重建深度信息值；DadapZ表示所述适配重建深度信息值，ll表示代表所述缩小范围下限的深度信息下限值，lu表示代表所述缩小范围上限的深度信息上限值。
使用线性距离信息值适配函数能够快速确定所述适配重建深度信息值。
根据所述第一方面或前述实现形式中的任一种，在所述装置的第四种可能的实现形式中，所述处理器还用于通过在与所述参考视点相关联的深度信息图重建版本中出现的重建深度信息值中执行异常值检测，来确定与所述参考视点相关联的缩小范围信息，例如表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
因此，可以增加所述适配重建距离信息值的分辨率，从而提高编码效率，不需要任何额外的存储资源，也不会丢失原始深度图中包含的任何基本信息。
根据所述第一方面的第四种实现形式，在所述装置的第五种可能的实现形式中，所述处理器用于确定所述缩小范围信息，使得所述深度信息下限值大于所述深度信息图的重建版本中出现的最小深度信息值和/或所述深度信息上限值小于所述深度信息图的重建版本中出现的最大深度信息值。
因此，可以增加所述适配重建距离信息值的分辨率，从而提高编码效率，不需要任何额外的存储资源，也不会丢失原始深度图中包含的任何基本信息。
根据所述第一方面的第四种或第五种实现形式，在所述装置的第六种可能的实现形式中，所述处理器还用于确定与所述参考视点相关联的深度信息图重建版本中重建深度信息值发生率的直方图，以执行异常值检测。
使用与所述参考视点相关联的深度信息图重建版本中重建深度信息值发生率的直方图能够快速且有效地检测任何异常值。
根据所述第一方面或前述实现形式中的任一种，在所述装置的第七种可能的实现形式中，所述处理器还用于根据所述预定参考量化，获取与最小深度信息值对应的最近距离值以及与最大深度信息值对应的最远距离值，其中所述距离信息值适配函数还基于所述最近距离值和所述最远距离值，用于提供适配最近距离值和适配最远距离值。
根据所述第一方面或前述实现形式中的任一种，在所述装置的第八种可能的实现形式中，所述处理器还用于：
将空间滤波器应用于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，以获取与所述参考视点相关联的所述重建深度信息视频编码块的经过空间滤波的适配重建深度信息值；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述经过空间滤波的适配重建深度信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与所述从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
使用与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建深度信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
在该实现形式中，可以理解的是，所述从属纹理帧的纹理视频编码块是基于经过空间滤波的适配重建深度信息值预测的，而所述从属深度信息图的深度信息视频编码块是基于所述适配重建深度信息值(而不是经过空间滤波的适配重建深度信息值)预测的。
通过对所述适配重建距离信息值进行空间滤波并基于此预测所述从属纹理帧的纹理视频编码块，可以弥补所述适配重建距离信息值之间的任何“差距”，从而在整个缩小深度量化等级范围内分配所述适配重建距离信息值，提高编码效率。
根据所述第一方面的第八种实现形式，在所述装置的第九种可能的实现形式中，所述空间滤波器是保边平滑滤波器。
根据所述第一方面或前述实现形式中的任一种，在所述装置的第十种可能的实现形式中，所述使用视点间预测处理3D视频数据的装置是使用视点间预测解码3D视频数据的装置。
根据所述第一方面的第十种实现形式，在所述装置的第十一种可能的实现形式中，所述处理器用于获取编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值。在一种实现形式中，所述编码侧信息可以包括，例如所述缩小范围的下限和上限，即所述深度信息下限值和所述深度信息上限值。在这种情况下，解码时不需要再次确定这些值。可选地或附加地，所述编码侧信息可以包括指示深度值映射是否将用于解码的标志。
根据所述第一方面或其第一种至第九种实现形式中的任一种，在所述装置的第十二种可能的实现形式中，所述使用视点间预测处理3D视频数据的装置是使用视点间预测编码3D视频数据的装置。
根据所述第一方面的第十二种实现形式，在所述装置的第十三种可能的实现形式中，所述处理器还用于生成编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值。在一种实现形式中，所述编码侧信息可以包括，例如所述缩小范围的下限和上限，即所述深度信息下限值和所述深度信息上限值。在这种情况下，解码时不需要再次确定这些值。可选地或附加地，所述编码侧信息可以包括指示深度值映射是否将用于解码的标志。
根据第二方面，本发明涉及使用视点间预测处理3D视频数据的相应方法。所述方法包括：
获取与参考视点的参考深度信息图相关联的重建深度信息视频编码块的重建深度信息值，其中，根据预定参考量化对所述参考深度信息图的重建深度信息值进行量化，所述预定参考量化包括预定数量的量化等级，每个量化等级表示不同的深度信息值；
获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义可用于由所述预定参考量化定义的量化等级范围内的视点间预测的缩小深度量化等级范围；
使用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的适配重建距离信息值，其中，所述重建距离信息值对应于所述重建深度信息视频编码块或其进一步处理版本的重建深度信息值，且所述距离信息值适配函数基于所述缩小范围信息；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
因此，提供了一种使用视点间预测处理3D视频数据的改进方法。
根据所述第二方面，在所述方法的第一种可能的实现形式中，实现所述距离信息值适配函数，使得可用于表示适配重建距离信息值的量化等级数量大于或等于与所述缩小重建深度信息值范围相关联的所述缩小深度量化等级范围。
根据所述第二方面或其第一种实现形式，在所述方法的第二种可能的实现形式中，实现所述距离信息适配函数，使得用于表示适配重建距离信息值的量化等级数量可预定，例如等于所述预定参考量化的量化等级数量，或大于所述预定参考量化的量化等级数量。
根据所述第二方面或其第一种或第二种实现形式，在所述方法的第三种可能的实现形式中，所述重建距离信息值是重建深度信息值，并且实现所述距离信息值适配函数，使得深度信息值的量化等级数量QL可预定，且所述距离信息值适配函数对应于以下等式：
Figure GDA0003165130030000061
其中，D表示与所述参考视点相关联的重建深度信息块的重建深度信息值；DadapZ表示所述适配重建深度信息值，ll表示代表所述缩小范围下限的深度信息下限值，lu表示代表所述缩小范围上限的深度信息上限值。
根据所述第二方面或前述实现形式中的任一种，在所述方法的第四种可能的实现形式中，所述方法还包括以下步骤：通过在与所述参考视点相关联的深度信息图重建版本中出现的重建深度信息值中执行异常值检测，来确定与所述参考视点相关联的缩小范围信息，例如表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
根据所述第二方面的第四种实现形式，在所述方法的第五种可能的实现形式中，通过以下方式来执行确定所述缩小范围信息的步骤：使得所述深度信息下限值大于所述深度信息图的重建版本中出现的最小深度信息值和/或所述深度信息上限值小于所述深度信息图的重建版本中出现的最大深度信息值。
根据所述第二方面的第四种或第五种实现形式，在所述方法的第六种可能的实现形式中，所述方法还包括以下步骤：确定与所述参考视点相关联的深度信息图重建版本中重建深度信息值发生率的直方图，以执行异常值检测。
根据所述第二方面或前述实现形式中的任一种，在所述方法的第七种可能的实现形式中，所述方法还包括以下步骤：根据所述预定参考量化，获取与最小深度信息值对应的最近距离值以及与最大深度信息值对应的最远距离值，其中所述距离信息值适配函数还基于所述最近距离值和所述最远距离值。
根据所述第二方面或前述实现形式中的任一种，在所述方法的第八种可能的实现形式中，所述方法还包括以下步骤：
将空间滤波器应用于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，以获取与所述参考视点相关联的所述重建深度信息视频编码块的经过空间滤波的适配重建深度信息值；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述经过空间滤波的适配重建深度信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与所述从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
使用与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建深度信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
根据所述第二方面的第八种实现形式，在所述方法的第九种可能的实现形式中，所述空间滤波器是保边平滑滤波器。
根据所述第二方面或前述实现形式中的任一种，在所述方法的第十种可能的实现形式中，所述方法还包括解码3D视频数据的步骤。
根据所述第二方面的第十种实现形式，在所述方法的第十一种可能的实现形式中，所述方法还包括以下步骤：获取编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值。在一种实现形式中，所述编码侧信息可以包括，例如所述缩小范围的下限和上限，即所述深度信息下限值和所述深度信息上限值。在这种情况下，解码时不需要再次确定这些值。可选地或附加地，所述编码侧信息可以包括指示深度值映射是否将用于解码的标志。
根据所述第二方面或其第一种至第九种实现形式中的任一种，在所述方法的第十二种可能的实现形式中，所述方法还包括编码3D视频数据的步骤。
根据所述第二方面的第十二种实现形式，在所述方法的第十三种可能的实现形式中，所述方法还包括以下步骤：生成编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值。在一种实现形式中，所述编码侧信息可以包括，例如所述缩小范围的下限和上限，即所述深度信息下限值和所述深度信息上限值。在这种情况下，解码时不需要再次确定这些值。可选地或附加地，所述编码侧信息可以包括指示深度值映射是否将用于解码的标志。
根据第三方面，本发明涉及一种计算机程序，包括：程序代码，用于在计算机上运行时，执行根据所述第二方面和/或其任意一种实现形式所述的方法。
本发明可以硬件和/或软件的方式来实现。
附图说明
本发明的具体实施例将结合以下附图进行描述，其中：
图1A和图1B示出了实施例提供的用于处理3D视频数据的编码装置的参考层和从属层的示意图；
图2示出了实施例提供的用于处理3D视频数据的解码装置的参考层和从属层的示意图；
图3示出了实施例提供的一种3D视频数据处理方法的示意图；
图4示出了实施例提供的由用于处理3D视频数据的编码装置或解码装置处理的原始深度图的深度图值直方图；
图5示出了实施例提供的由用于处理3D视频数据的编码装置或解码装置提供的图4中深度图值直方图的处理版本；
图6示出了实施例提供的由用于处理3D视频数据的编码装置或解码装置提供的图4和图5中深度图值直方图的进一步处理版本；
图7示出了实施例提供的图4中深度图值直方图的滤波版本，其尚未由用于处理3D视频数据的编码装置或解码装置处理；
图8示出了实施例提供的用于处理3D视频数据的编码装置和解码装置性能的示例性结果表。
在各附图中，相同的或至少功能等同的特征使用相同的标号。
具体实施方式
以下结合附图进行描述，所述附图是本发明的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并做出结构或逻辑上的改变。因此，以下详细的描述并不视为具有限制意义，因为本发明的范围由所附权利要求书界定。
例如，可以理解的是，与所描述方法有关的披露对于用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述了特定方法步骤，则对应设备可以包括用于执行所描述的方法步骤的单元，即使此类单元没有在图中明确描述或图示。此外，应理解，本文所描述的各种示例性方面的特性可以相互组合，除非另外明确说明。
图1A和图1B示出了实施例提供的由用于编码3D视频数据的装置100的处理器101实现的参考层(图1A)和从属层(图1B)的示意图。所述装置100用于编码3D视频数据，所述3D视频数据包括多个纹理帧和多个相关深度图，其中每个纹理帧和每个深度图可以分割成多个视频编码块。在实施例中，所述编码装置100还可以包括用于接收和发送3D视频数据的通信接口。例如，所述视频编码块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。每个视频编码块可以包括多个像素。每个深度图可以为多个像素定义深度值、距离值或视差值。下文将对图1A和图1B中所示的编码装置100进行更详细的描述。
图2示出了实施例提供的由用于解码3D视频数据(例如，由所述编码装置100以比特流形式提供的3D视频数据)的相应装置200的处理器201实现的参考层(图2的上半部分)和从属层(图2的下半部分)的示意图。所述装置200用于解码3D视频数据，所述3D视频数据包括多个纹理帧和多个相关深度图，其中每个纹理帧和每个深度图可以分割成多个视频编码块。在实施例中，所述解码装置200还可以包括用于接收和发送3D视频数据的通信接口。
图1A、图1B和图2的实施例示出了基于两个视点的示例性设置，即参考视点或“视点0”和从属视点或“视点1”，其中每个视点与纹理帧的(时间)序列和相应深度图相关联。本领域技术人员容易理解如何将图1A、图1B和图2中所示的实施例扩展到两个以上的视点。通常，纹理图和深度图都用于基于参考视点“视点0”进行从属视点“视点1”的视点合成预测。换言之，来自所述参考层的输出用于所述从属层中的处理。在将深度图用于视点合成预测之前，将基于距离信息值适配函数的可配置值映射应用于所述深度图。所述映射操作可以在所述编码装置100和所述解码装置200中以相同的方式实现。所述映射的参数可以基于序列、帧或条带，并且可以由所述解码装置200(以及所述编码装置100)部分或完全确定，或者由所述编码装置100基于编码侧信息发送至所述解码装置200。在本发明的实施例中可以实现不同的发送方案，例如通过编码侧信息来发送所述编码装置使用的值映射，所述编码侧信息包括查询表、深度限幅范围(即深度图值范围的下限和/或上限)的分段线性函数或高阶函数和/或定义。可选地或附加地，可以发送标志，指示是否要使用深度值映射。
更具体地，所述编码装置100的处理器101和所述解码装置200的处理器201用于：
获取与参考视点(在图1A、图1B和图2中称为“视点0”)的参考深度信息图(在图1A和图1B中称为“深度D0”)相关联的重建深度信息视频编码块的重建深度信息值，例如深度值或视差值，其中根据预定参考量化对所述参考深度信息图的重建深度信息值进行量化，所述预定参考量化包括预定数量的量化等级(例如，对于8位量化而言，量化等级为0到255)，每个量化等级表示不同的深度信息值；
获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义可用于由所述预定参考量化定义的量化等级范围内的视点间预测的缩小深度量化等级范围；
使用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，例如深度值、视差值或距离值，以获取所述重建深度信息视频编码块的适配重建距离信息值，其中，所述重建距离信息值对应于所述重建深度信息视频编码块或其进一步处理版本的重建深度信息值，且所述距离信息值适配函数基于所述缩小范围信息并用于增加可用于表示与所述缩小范围内的重建深度信息值相关联的适配重建距离信息值的量化等级数量；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值以及与所述参考视点相关联的参考纹理帧(图1A和图1B中称为“纹理T0”)的相应重建纹理视频编码块，生成与从属视点(图1A、图1B和图2中称为“视点1”)相关联的从属纹理帧(图1A和图1B中称为“纹理T1”)的预测纹理视频编码块；和/或
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图(图1A和图1B中称为“深度D1”)的预测深度信息视频编码块。
为提供上述功能，所述编码装置100的处理器101和所述解码装置200的处理器201可以包括图1A、图1B和图2中所示的功能块，尤其是提供所述深度图值映射的功能块123b和223b以及提供用于所述视点间预测的视点合成预测的块117b、121b、217b、221b。这些功能块可以软件的方式来实现。在其它实施例中，至少这些功能块中的某些功能块可以由专用硬件单元提供。
下文将描述所述编码装置100的其它组件以及所述编码装置100的操作。与所述参考视点相关联的纹理帧和深度图帧分为非重叠的视频编码块。对于每个视频编码块而言，减去所述预测视频编码块。然后，对所述视频编码块进行变换、量化和熵编码(参见图1A和图1B中的功能块102a和105a)。所述编码视频编码块提供给功能块103a，该功能块执行反向变换和量化(在图1A和图1B中表示为“iTR+iQ”)。该处理步骤可能导致量化误差。所述重建视频编码块可用于同一帧中其它视频编码块的帧内预测(参见图1A和图1B中的功能块109a)。此外，所述视频编码块可以由环路滤波器107a处理并存储在参考图片缓冲器111a中。因此，所述视频编码块还可用于其它帧的帧间预测(参见图1A和图1B中的功能块113a)。所述帧间预测可以基于运动估计(参见图1A和图1B中的功能块115a)。在实施例中，控制单元或模块可以选择所述视频编码块和模式(帧内/帧间)，并用作特定视频编码块的预测值。所述解码器200通常也需要该信息，因此该信息也由所述熵编码器105a进行熵编码。所述重建纹理帧和深度图帧可用于所述装置100的从属层部分，该部分显示在图1A和图1B的下半部分并将在下文中进行说明。
由于所述装置100的从属层部分的若干功能块可以与所述装置100的参考层部分的相应功能块相同，因此仅详细说明这两个部分之间的差异。除在所述装置100的参考层部分中可用的纹理帧和深度图帧之外，图1B中所示的装置100的从属层部分还具有所述参考层的重建纹理帧和深度图帧作为输入。使用所述深度图值映射单元123b重新映射(如上所述)所述参考纹理帧的重建深度图，并使用所述视点合成预测单元117b进行处理，以创建所述从属视点的深度图的预测值。将该预测值添加到参考图片缓冲器111b中。此外，可以通过深度图滤波器119b(将在下文中进行详细说明)对所述参考纹理帧的重建深度图进行滤波，并使用所述视点合成预测单元121b进行处理，以创建所述从属纹理帧的预测值。同样，将该预测值添加到所述参考图片缓冲器111b中。
下文将描述所述解码装置200的其它组件以及所述解码装置200的操作。所述参考视点的纹理帧和深度图帧分为非重叠的视频编码块。从所述熵编码单元205a中读取用于所述参考视点的纹理帧和深度图的视频编码块的残差以及用于帧间和帧内预测的相应参数。将所述残差添加到所获得的预测值中。然后，计算所述视频编码器的反向变换和量化，以重构所述视频编码块(参见图2中的功能块202a)。所述重建视频编码块可用于同一帧中其它块的帧内预测(参见图2中的功能块209a)。此外，所述视频编码块可以由环路滤波器207a处理并存储在参考图片缓冲器211a中。然后，所述视频编码块还可用于其它帧的帧间预测(参见图2中的功能块213a)。所述帧间预测可以基于运动补偿预测(参见图2中的功能块215a)。可以从所述缓冲器211a中以输出顺序输出帧(即纹理帧和深度图)。
由于所述解码装置200的从属层部分的若干功能块可以与所述解码装置200的参考层部分的相应功能块相同，因此仅详细说明这两个部分之间的差异。除在所述解码装置200的参考层部分中可用的纹理帧和深度图帧之外，所述解码装置200的从属层部分还具有所述参考视点的重建纹理帧和深度图帧作为可用输入。
使用所述深度图值映射单元223b重新映射(如上所述)所述参考纹理帧的重建深度图，并使用所述视点合成预测单元217b进行处理，以创建所述从属视点的深度图的预测值。将该预测值添加到参考图片缓冲器211b中。此外，可以通过深度图滤波器219b(将在下文中进行详细说明)对所述参考纹理帧的重建深度图进行滤波，并由所述视点合成预测单元221b进行处理，以创建所述从属纹理帧的预测值。将该预测值添加到所述参考图片缓冲器211b中。
图3示出了使用视点间预测处理(特别是编码或解码)3D视频数据的相应方法300的示意图。
所述方法300包括步骤301：获取与参考视点的参考深度信息图相关联的重建深度信息视频编码块的重建深度信息值，其中，根据预定参考量化对所述参考深度信息图的重建深度信息值进行量化，所述预定参考量化包括预定数量的量化等级，每个量化等级表示不同的深度信息值。
所述方法300包括步骤303：获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义可用于由所述预定参考量化定义的量化等级范围内的视点间预测的缩小深度量化等级范围。
所述方法300包括步骤305：使用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的重建距离信息值，以获取所述重建深度信息视频编码块的适配重建距离信息值，其中，所述重建距离信息值对应于所述重建深度信息视频编码块或其进一步处理版本的重建深度信息值，且所述距离信息值适配函数基于所述缩小范围信息。
此外，所述方法300包括步骤307a：基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与从属视点相关联的从属纹理帧的预测纹理视频编码块。可选地或附加地，所述方法300包括步骤307b：基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
可以理解的是，所述方法300的上述步骤不一定必须以图3中所示的顺序执行，也可以使用其它顺序。
下文将描述所述编码装置100、所述解码装置200和所述方法300的其它实施例，其中可以理解的是，在所述编码装置100和/或所述解码装置200情景中描述的其它实施例也适用于所述方法300，另有明确相反说明的情况除外。
在实施例中，实现所述距离信息值适配函数，使得可用于表示适配重建距离信息值的量化等级数量大于或等于与所述缩小重建深度信息值范围相关联的所述缩小深度量化等级范围。
在实施例中，实现所述距离信息适配函数，使得用于表示适配重建距离信息值的量化等级数量可预定，例如等于所述预定参考量化的量化等级数量，或大于所述预定参考量化的量化等级数量。在一种实现形式中，例如，所述预定参考量化的量化等级可以基于8位量化，用于表示适配重建距离信息值的量化等级可以基于8、10或12位量化等。
在实施例中，所述处理器101和/或所述处理器201还用于通过在与所述参考视点相关联的深度信息图重建版本中出现的重建深度信息值中执行异常值检测，来确定与所述参考视点相关联的缩小范围信息，例如表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
在实施例中，所述处理器101和/或所述处理器201用于确定所述缩小范围信息，使得所述深度信息下限值大于所述深度信息图的重建版本中出现的最小深度信息值和/或所述深度信息上限值小于所述深度信息图的重建版本中出现的最大深度信息值。如上所述，所述编码装置100可以将所述深度信息下限值和上限值作为所述编码侧信息的一部分提供给所述解码装置200，使得所述解码装置200不需要再次确定这些值。
在实施例中，所述处理器101和/或所述处理器201还用于确定与所述参考视点相关联的深度信息图重建版本中重建深度信息值发生率的直方图，以执行异常值检测，其将在下文中进行更详细的说明。
在实施例中，所述编码装置100的处理器101还用于生成编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值。如上所述，所述编码侧信息可以包括，例如所述缩小范围的下限和上限，即所述深度信息下限值和所述深度信息上限值。可选地或附加地，所述编码侧信息可以包括指示是否使用深度值映射的标志。
在实施例中，例如，由图1A、图1B和图2中的深度图值映射功能块123b和223b提供的值映射(也称为值重新映射)可以通过以下方式实现。在第一阶段，计算所述深度图的直方图，例如图4中所示的示例性直方图。
在下一阶段，可以确定深度图值(即，深度信息值)的范围，包括大部分深度图值，例如，定义下限ll和上限lu的90％的深度图值，因此可以获得缩小范围。在实施例中，可以通过去除深度图的原始直方图中给定数量的最小异常值和/或给定数量的最大异常值来确定ll和lu(如上所述，可以将ll和lu作为编码侧信息的一部分提供给所述解码装置200)。然后，可以将ll和lu之间的范围重新映射到所述预定参考量化的整个8位范围，例如，提供图5中所示的深度图值的示例性处理直方图。
在实施例中，上述重新映射(即所述距离信息值适配函数)可以基于以下等式：
Figure GDA0003165130030000121
其中，ll表示所使用动态范围的下限，lu表示所使用动态范围的上限。
为确定距离摄像头的实际距离，可以将变换应用于所述深度图，其中，距离所述摄像头的最近和最远距离(znear、zfar)必须已知，例如，所述变换基于以下距离信息值适配函数：
Figure GDA0003165130030000122
由于已修改所述深度图的范围，因此可以相应地调整参数znear和zfar。确定所述深度图中最近和最远值(znear、zfar)的新值
Figure GDA0003165130030000123
znear和zfar对应于未更改参考深度图中的(距离所述摄像头的)最近和最远值。
Figure GDA0003165130030000124
和
Figure GDA0003165130030000125
对应于已修改深度图中的(距离所述摄像头的)最近和最远值。在实施例中，可以基于以下两个等式获得所述适配znear和Zfar的值：
Figure GDA0003165130030000126
且
Figure GDA0003165130030000127
然后，所述已修改深度图可以与用于所述视点合成预测的znear和zfar适配值一起使用，例如，如分别在图1A、图1B和图2所示功能块117b、121b、217b、221b中实现。
以下其它实施例提供了，例如分别在图1A、图1B和图2所示功能块123b和223b中实现的值映射的更广泛的实现方式。在该实施例中，所述原始直方图(例如，图4中所示的示例性直方图)划分为n个深度图值范围，构成了大部分深度图值。这些相应的深度图值范围的下限和上限为zl1至lln、zu1至lun。然后，可以将zlx和zux(x位于1和n之间)之间的范围重新映射到整个8位范围。使用与单个范围相同的等式(即，距离信息值适配函数)来完成每个范围的重新映射，用于替换ll和lu的相应值。
在目前所描述的实施例中，已在每个范围中使用所述深度图值(D到DadapZ)的线性变换。在其它实施例中，不同范围的非线性变换可用于所述值重新映射。
如上所述，在图4中所示的原始深度图的直方图中，仅部分覆盖由8位量化等级提供的动态范围。通过上述实施例可以获得对动态范围的更好覆盖，如图5中已处理深度图值的直方图所示。
从图5中可以看出，示出的已处理深度图值的示例性直方图包括若干“差距”，即动态范围内的深度图值，与所述深度图无像素关联或与所述深度图非常少的像素相关联。据另一实施例，可以借助深度图的附加空间滤波来处理这些差距，例如，分别在图1A、图1B和图2所示功能块119b和219b中实现。
从图1A、图1B和图2中可以理解的是，在包括所述深度图附加空间滤波的实施例中，所述从属纹理帧的纹理视频编码块是基于经过空间滤波的适配重建深度信息值预测的，而所述从属深度信息图的深度信息视频编码块是基于所述适配重建深度信息值(而不是经过空间滤波的适配重建深度信息值)预测的。尽管在图1A、图1B和图2所示的实施例中，所述空间滤波(即功能块119b、219b)发生在所述深度图值映射之后(即功能块123b、223b)，但是在替代实施例中可以保留该顺序。换言之，在实施例中，所述重建深度图的空间滤波可以在所述深度图值映射之前发生。
在实施例中，保边平滑滤波器可以用于所述深度图的空间滤波。在实施例中，Kaiming He、Jian Sun和Xiaoou Tang于2013年6月在《IEEE模式分析与机器智能汇刊》第35卷第6期第1397-1409页上发表的论文“导向图滤波”中提出的滤波器可以应用于深度图，以进行空间过滤。这种滤波器类似于双边滤波器，但实现起来更高效并且在保留锐边的同时实现了所述深度图的平滑。
图6示出了在上述值重新映射和空间滤波之后的图4所示的示例性直方图，从该图可以看出，本发明的实施例可以提高滤波器的输出精度，因为存在更多可用动态范围值。需要注意的是，通常，仅通过所述滤波器流程无法实现这种行为，因为仅将所述滤波器直接应用于图4中所示的原始参考深度图无法提高深度图的精度。图7示出了将滤波应用于所述原始参考深度图的结果。
下文将提供上述实施例的其它示例。例如，对于图4中所示深度图值的原始直方图，选择ll＝50和lu＝154将得到：
Figure GDA0003165130030000131
因此，之前的最小值Dmin＝50和最大值Dmax＝154变为
Figure GDA0003165130030000132
此序列的原始值znear＝15和Zfar＝100变为
Figure GDA0003165130030000136
和
Figure GDA0003165130030000133
可以看出，在所述重新映射范围内选择一些值D＝100，它所对应的绝对距离将保持不变(由于四舍五入导致的误差除外)，Dadap＝123，即：
Figure GDA0003165130030000134
且
Figure GDA0003165130030000135
以下示例进一步说明了这一点。使用平滑滤波器对值的向量
v＝(20 20 21 22 23 23 23 28 30 30)
进行滤波：
f＝(121)/4。
在没有值重新映射的情况下，结果(整数表示)为：
vfilt＝(15 20 21 22 23 23 24 27 30 23)，
其中有8个不同的级别。在有值重新映射的情况下，v变为：
vremapped＝(0 0 26 51 77 77 77 204 255 255)。
此处，滤波后的向量为：
vfilt，remapped＝(0 7 26 51 71 77 109 185 242 191)，
其中有10个不同的级别。
本发明的实施例中，可以通过将多个扭曲参考视点包含在目标视点的参考图片列表中，来处理多个参考视点，以改进所述目标视点的纹理和深度图预测。
已经结合图像导向深度图滤波方法，通过使用MPEG视点合成参考软件(viewsynthesis reference software，简称VSRS)修复遮挡区域和尺寸为ωM＝9的中值滤波器来测试本发明的实施例。编码场景为双视点全帧内编码。Poznan Blocks序列用作测试序列。图像导向滤波器的参数选择如下：滤波器尺寸ω＝31，平滑度e＝1。将滤波应用于距离值，而非所述“原始参考深度图”。然而，如上所述，滤波也可以直接应用于所述深度图，并且用于滤波的其它参数同样如此。对距离应用滤波器，效果等同于对深度的线性表示而不是深度图的非线性表示进行滤波。所选择的BD统计参考为3D HEVC的编码性能。从图8中所示的表1可以看出，对于使用所述原始参考深度图进行的视点合成预测(view synthesisprediction，简称VSP)而言，通过本发明的实施例处理深度数据(此处称为适配z缓冲(“adapZbuf”))可以将为所述从属纹理所保留的速率提高2.7％。对于测试序列和配置，所述从属深度图的编码效率不会随着本发明实施例的使用而发生改变。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个其它特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利即可。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其它变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包括”是类似的，都是表示包括的含义。同样，术语“示例性的”、“例如”和“如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，不管是直接物理接触还是电接触，或者彼此不直接接触。
尽管本文中已说明和描述特定方面，但应了解，多种替代和/或等效实现形式可在不脱离本发明的范围的情况下替代所示和描述的特定方面。本申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，但是除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，本领域技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但本领域技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实施本发明。

Claims (23)

1.一种利用视点间预测处理3D视频数据的装置，其特征在于，所述装置包括处理器，所述处理器用于：
获取与参考视点的参考深度信息图相关联的重建深度信息视频编码块的重建深度信息值，其中，所述参考深度信息图的重建深度信息值是根据预定参考量化进行量化的，所述预定参考量化包括预定数量的量化等级，每个量化等级表示不同的深度信息值；
获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义用于视点间预测的缩小深度量化等级范围，所述缩小深度量化等级范围处于量化等级范围内的，所述量化等级范围是由所述预定参考量化所定义的；
利用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的重建距离信息值，以获取所述重建深度信息视频编码块的适配重建距离信息值，其中，所述重建距离信息值对应于所述重建深度信息视频编码块的重建深度信息值或所述重建深度信息视频编码块的进一步处理版本的重建深度信息值，且所述距离信息值适配函数是基于所述缩小范围信息；
基于与所述参考视点相关联的所述重建深度信息视频编码块的适配重建距离信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块；
所述处理器还用于：
将保边平滑滤波器应用于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，以获取与所述参考视点相关联的所述重建深度信息视频编码块的经过空间滤波的适配重建深度信息值；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述经过空间滤波的适配重建深度信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与所述从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
利用与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建深度信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
2.根据权利要求1所述的装置，其特征在于，所述距离信息值适配函数被实现，使得可用于表示适配重建距离信息值的量化等级数量大于或等于与缩小重建深度信息值范围相关联的所述缩小深度量化等级范围。
3.根据权利要求1所述的装置，其特征在于，所述距离信息值适配函数被实现，使得用于表示适配重建距离信息值的量化等级数量是预定的，并且等于所述预定参考量化的量化等级数量，或大于所述预定参考量化的量化等级数量。
4.根据权利要求1所述的装置，其特征在于，所述重建距离信息值是重建深度信息值，并且所述距离信息值适配函数被实现，使得深度信息值的量化等级数量QL是预定的，且所述距离信息值适配函数对应于以下等式：
Figure FDA0003165130020000021
其中，D表示与所述参考视点相关联的所述重建深度信息视频编码块的所述重建深度信息值；DadapZ表示所述适配重建深度信息值，ll表示代表所述缩小范围下限的深度信息下限值，lu表示代表所述缩小范围上限的深度信息上限值。
5.根据权利要求1所述的装置，其特征在于，所述处理器还用于：
通过在与所述参考视点相关联的深度信息图的重建版本中出现的重建深度信息值中执行异常值检测，来确定与所述参考视点相关联的缩小范围信息，所述缩小范围信息包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
6.根据权利要求5所述的装置，其特征在于，所述处理器用于确定所述缩小范围信息，使得所述深度信息下限值大于所述深度信息图的重建版本中出现的最小深度信息值和/或所述深度信息上限值小于所述深度信息图的重建版本中出现的最大深度信息值。
7.根据权利要求5所述的装置，其特征在于，所述处理器还用于确定与所述参考视点相关联的深度信息图的重建版本中重建深度信息值发生率的直方图，以执行异常值检测。
8.根据权利要求1所述的装置，其特征在于，所述处理器还用于：
根据所述预定参考量化，获取与最小深度信息值对应的最近距离值以及与最大深度信息值对应的最远距离值；
其中，所述距离信息值适配函数是进一步基于所述最近距离值和所述最远距离值。
9.根据权利要求1至8中任一项所述的装置，其特征在于，所述利用视点间预测处理3D视频数据的装置是使用视点间预测解码3D视频数据的装置。
10.根据权利要求9所述的装置，其中，所述处理器用于获取编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值，所述适配重建距离信息值包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
11.根据权利要求1至8中任一项所述的装置，其特征在于，所述利用视点间预测处理3D视频数据的装置是使用视点间预测编码3D视频数据的装置。
12.根据权利要求11所述的装置，其中，所述处理器还用于生成编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值，所述适配重建距离信息值包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
13.一种利用视点间预测处理3D视频数据的方法，其特征在于，所述方法包括：
获取与参考视点的参考深度信息图相关联的重建深度信息视频编码块的重建深度信息值，其中，所述参考深度信息图的重建深度信息值是根据预定参考量化进行量化的，所述预定参考量化包括预定数量的量化等级，每个量化等级表示不同的深度信息值；
获取与所述参考深度信息图相关联的缩小范围信息，其中所述缩小范围信息定义用于视点间预测的缩小深度量化等级范围，所述缩小深度量化等级范围处于量化等级范围内的，所述量化等级范围是由所述预定参考量化所定义的；
利用距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的重建距离信息值，以获取所述重建深度信息视频编码块的适配重建距离信息值，其中，所述重建距离信息值对应于所述重建深度信息视频编码块的重建深度信息值或所述重建深度信息视频编码块的进一步处理版本的重建深度信息值，且所述距离信息值适配函数是基于所述缩小范围信息；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块；
所述方法还包括：
将保边平滑滤波器应用于与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建距离信息值，以获取与所述参考视点相关联的所述重建深度信息视频编码块的经过空间滤波的适配重建深度信息值；
基于与所述参考视点相关联的所述重建深度信息视频编码块的所述经过空间滤波的适配重建深度信息值以及与所述参考视点相关联的参考纹理帧的相应重建纹理视频编码块，生成与所述从属视点相关联的从属纹理帧的预测纹理视频编码块；和/或
利用与所述参考视点相关联的所述重建深度信息视频编码块的所述适配重建深度信息值，生成与所述从属视点相关联的从属深度信息图的预测深度信息视频编码块。
14.根据权利要求13所述的方法，其特征在于，所述距离信息值适配函数被实现，使得可用于表示适配重建距离信息值的量化等级数量大于或等于与缩小重建深度信息值范围相关联的所述缩小深度量化等级范围。
15.根据权利要求13或14所述的方法，其特征在于，所述距离信息值适配函数被实现，使得用于表示适配重建距离信息值的量化等级数量是预定的并且等于所述预定参考量化的量化等级数量，或大于所述预定参考量化的量化等级数量。
16.根据权利要求13或14所述的方法，其特征在于，所述重建距离信息值是重建深度信息值，并且所述距离信息值适配函数被实现，使得深度信息值的量化等级数量QL是预定的，且所述距离信息值适配函数对应于以下等式：
Figure FDA0003165130020000031
其中，D表示与所述参考视点相关联的所述重建深度信息视频编码块的所述重建深度信息值；Dadapz表示所述适配重建深度信息值，ll表示代表所述缩小范围下限的深度信息下限值，lu表示代表所述缩小范围上限的深度信息上限值。
17.根据权利要求13所述的方法，其特征在于，所述方法还包括：
通过在与所述参考视点相关联的深度信息图的重建版本中出现的重建深度信息值中执行异常值检测，来确定与所述参考视点相关联的缩小范围信息，所述缩小范围信息包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
18.根据权利要求17所述的方法，其特征在于，所述获取缩小范围信息包括：
确定所述缩小范围信息，使得所述深度信息下限值大于所述深度信息图的重建版本中出现的最小深度信息值和/或所述深度信息上限值小于所述深度信息图的重建版本中出现的最大深度信息值。
19.根据权利要求17或18所述的方法，其特征在于，所述方法还包括：确定与所述参考视点相关联的深度信息图的重建版本中重建深度信息值发生率的直方图，以执行异常值检测。
20.根据权利要求13所述的方法，其特征在于，所述方法还包括：
根据所述预定参考量化，获取与最小深度信息值对应的最近距离值以及与最大深度信息值对应的最远距离值；
其中，所述距离信息值适配函数是进一步基于所述最近距离值和所述最远距离值。
21.根据权利要求13所述的方法，其特征在于，所述方法应用于解码侧，所述方法还包括：获取编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值，所述适配重建距离信息值包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
22.根据权利要求13所述的方法，其特征在于，所述方法应用于编码侧，所述方法还包括：生成编码侧信息，其中，所述编码侧信息包括与以下操作相关联的至少一个参数的相关信息：使用所述距离信息值适配函数处理与所述参考视点相关联的所述重建深度信息视频编码块的所述重建距离信息值，以获取所述重建深度信息视频编码块的所述适配重建距离信息值，所述适配重建距离信息值包括表示所述缩小范围下限的深度信息下限值以及表示所述缩小范围上限的深度信息上限值。
23.一种计算机可读存储介质，其特征在于，包括：程序代码，用于在计算机上运行时，执行根据权利要求13至22任一项所述的方法。
CN201680091333.7A 2016-12-02 2016-12-02 3d视频编码的装置和方法 Active CN110495178B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/079595 WO2018099571A1 (en) 2016-12-02 2016-12-02 Apparatus and method for 3d video coding

Publications (2)

Publication Number Publication Date
CN110495178A CN110495178A (zh) 2019-11-22
CN110495178B true CN110495178B (zh) 2021-12-28

Family

ID=57485476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091333.7A Active CN110495178B (zh) 2016-12-02 2016-12-02 3d视频编码的装置和方法

Country Status (4)

Country Link
US (1) US20190289329A1 (zh)
EP (1) EP3535975B1 (zh)
CN (1) CN110495178B (zh)
WO (1) WO2018099571A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020072842A1 (en) * 2018-10-05 2020-04-09 Interdigital Vc Holdings, Inc. Methods and apparatus for depth encoding and decoding
JP6686122B1 (ja) * 2018-12-21 2020-04-22 株式会社モルフォ 画像処理装置、画像処理方法およびプログラム
US10896523B2 (en) * 2019-04-01 2021-01-19 Microsoft Technology Licensing, Llc Depth image compression
CN113963094A (zh) * 2020-07-03 2022-01-21 阿里巴巴集团控股有限公司 深度图及视频处理、重建方法、装置、设备及存储介质
CN111726619B (zh) * 2020-07-06 2022-06-03 重庆理工大学 一种基于虚拟视点质量模型的多视点视频比特分配方法
US20240187566A1 (en) * 2022-12-05 2024-06-06 Google Llc Warped reference list for warped motion video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2076048A2 (en) * 2007-12-21 2009-07-01 Samsung Electronics Co., Ltd. Method, Medium, and Apparatus Representing Adaptive Information of 3D Depth Image
CN103826135A (zh) * 2013-12-24 2014-05-28 浙江大学 基于恰可识别视差错误估计的三维视频深度图编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2076048A2 (en) * 2007-12-21 2009-07-01 Samsung Electronics Co., Ltd. Method, Medium, and Apparatus Representing Adaptive Information of 3D Depth Image
CN103826135A (zh) * 2013-12-24 2014-05-28 浙江大学 基于恰可识别视差错误估计的三维视频深度图编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adaptive sharpening of depth maps for 3D-TV;DE SILVA DVSX;《ELECTRONIC LET,THE INSTITUTION OF ENGINEERING AND TECHNOLOGY》;20101111;正文第2段至最后一段，附图1-4 *

Also Published As

Publication number Publication date
US20190289329A1 (en) 2019-09-19
CN110495178A (zh) 2019-11-22
WO2018099571A1 (en) 2018-06-07
EP3535975B1 (en) 2020-11-04
EP3535975A1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
JP7491985B2 (ja) 多視点信号コーデック
CN110495178B (zh) 3d视频编码的装置和方法
JP7389185B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6105614B2 (ja) パーティション符号化を用いた有効な予測
JP2015523030A (ja) ３次元ビデオを表すビットストリームを符号化する装置
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
EP2920970A1 (en) Method and apparatus for prediction value derivation in intra coding
WO2019183901A1 (en) Picture encoding and decoding, picture encoder, and picture decoder
Monteiro et al. Disparity compensation using geometric transforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant