CN104065972A - 一种深度图像编码方法、装置及编码器 - Google Patents

Abstract

本发明实施例提供一种深度图像编码方法、装置及编码器，所述方法应用于三维视频编码或多视角视频编码中，所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。所述装置包括：第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。本发明实施例与现有方法中使用子像素精度的视差矢量相比，不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，不带来压缩比性能下降。

Description

一种深度图像编码方法、装置及编码器

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种深度图像编码方法、装置及编码器。

背景技术

在2013年1月份的MPEG（Moving Pictures Experts Group/Motin Pictures Experts Group，动态图像专家组）会议中，MERL在Joint Collaborative Team on3D Video Coding ExtensionDevelopment of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11，Document:JCT3V-C0152提出的基于合成图像预测的方法被3D-HEVC（3D High Efficiency VideoCoding，3D高效视频编码）标准接受。该方法可用于纹理图像和深度图像编码。在生成合成图像时，该方法使用子像素精度的视差矢量。

当前3D-HEVC标准中，深度图像帧间模式的预测值生成方式可以分为三类：时间域预测、相邻视角预测和基于合成图像预测。在时间域预测和相邻视角预测中，不使用子像素精度的运动矢量或者视差矢量。这是由于子像素精度的运动矢量和视差矢量在深度图像编码中不能明显提高压缩比，但却带来了额外的编码和解码复杂度。然而，基于合成图像预测方法中，却使用子像素精度的视差矢量，一方面，这与时间域预测和相邻视角预测中只使用整像素精度的运动矢量或者视差矢量不一致，另一方面，它在增加复杂度的同时不能带来明显的压缩比性能提高。

综上可见，在基于合成图像预测方法中，如何在不增加复杂度的同时提高压缩比性能，这是本领域的技术人员亟待解决的一个技术难题。

发明内容

本发明实施例提供一种深度图像编码方法、装置及编码器，以降低编码深度图像的复杂度，提高压缩比性能。

一方面，本发明实施例提供了一种深度图像编码方法，所述深度图像编码方法应用于三维视频编码或多视角视频编码中，所述深度图像编码方法包括：

在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

优选的，在本发明一实施例中，所述深度图像编码方法还包括：在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

优选的，在本发明一实施例中，所述深度图像编码方法还包括：在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

另一方面，本发明实施例提供了一种深度图像编码装置，所述深度图像编码装置应用于三维视频编码或多视角视频编码中，所述深度图像编码装置包括：

第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

优选的，在本发明一实施例中，所述深度图像编码装置还包括：第二数据获取单元，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；第二处理单元，用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

优选的，在本发明一实施例中，所述深度图像编码装置还包括：第三数据获取单元，用于在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；第三处理单元，用于利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像编码装置。

上述技术方案具有如下有益效果：因为采用应用于三维视频编码或多视角视频编码中的所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比，本发明上述技术方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发明上述技术方案不带来压缩比性能下降。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种深度图像编码方法流程图；

图2为本发明实施例一种深度图像编码装置结构示意图；

图3为本发明实施例另一种深度图像编码装置结构示意图；

图4为本发明实施例再一种深度图像编码装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例一种深度图像编码方法流程图，所述深度图像编码方法应用于三维视频编码或多视角视频编码中，所述深度图像编码方法包括：

101、在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

102、利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

优选的，所述深度图像编码方法还包括：在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

优选的，所述深度图像编码方法还包括：在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

本发明实施例上述技术方案具有如下有益效果：因为采用应用于三维视频编码或多视角视频编码中的所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比，本发明上述技术方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发明上述技术方案不带来压缩比性能下降。

对应于上述方法实施例，如图2所示，为本发明实施例一种深度图像编码装置结构示意图，所述深度图像编码装置应用于三维视频编码或多视角视频编码中，所述深度图像编码装置2包括：

第一数据获取单元21，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

第一处理单元22，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

优选的，如图3所示，为本发明实施例另一种深度图像编码装置结构示意图，所述深度图像编码装置3除包括上述第一数据获取单元21和第一处理单元22外，还包括：第二数据获取单元31，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；第二处理单元32，用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

优选的，如图4所示，为本发明实施例再一种深度图像编码装置结构示意图，所述深度图像编码装置4除包括上述第一数据获取单元21、第一处理单元22、第二数据获取单元31和第二处理单元32外，还包括：第三数据获取单元41，用于在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；第三处理单元42，用于利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像编码装置。

本发明实施例上述装置及编码器技术方案具有如下有益效果：因为采用应用于三维视频编码或多视角视频编码中的所述深度图像编码装置包括：第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比，本发明上述技术方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发明上述技术方案不带来压缩比性能下降。

本发明实施例提出在深度图像编码中，统一时间域预测、相邻视角预测和基于合成图像预测三种预测中的运动矢量精度和视差矢量精度，只使用整像素精度的运动矢量或视差矢量。本发明实施例当被集成到了HTM-6.0（HTM:3D High efficiency video coding TestModel，3D高效视频编码测试模型）上进行测试，实验结果表明，在通用测试条件下，本发明不影响压缩比性能。同时，该方法避免了子像素精度视差矢量带来的插值操作，降低了编码和解码复杂度。

本发明应用实例实验结果如下表1所示。共测试了7个标准测试序列，包括分辨率为1024x768的序列：气球(Balloons)，剑道（kendo），色彩纠正后的报纸（Newspaper_CC）,以及分辨率为1920x1088的序列：幽灵镇飞行（GT_Fly），波兹南大厅（Poznan_Hall2），波兹南街道（Poznan_Street），舞者（Undo_Dancer）。这些测试序列都包括三个视角的视频及相应的三个视角的深度信息。表1中列出了视频序列峰值信噪比相对于总码率（视频序列码率和深度序列码率之和）的变化，同时，为了衡量深度图像的编码性能，还列出了合成视点峰值信噪比相对于总码率的变化（由于深度图像不是直接用来观看，而是用来合成虚拟视点的，因此通过合成视点的峰值信噪比来衡量深度图像的压缩效果）。列表中，-x.x%表示压缩比提高了x.x%，x.x%表示压缩比降低了x.x%。通过表1可以看出，本发明基本不影响压缩比，同时，可以省去生成子像素所需要的插值滤波器，降低了硬件复杂度。

表1：实验结果

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块（illustrativelogical block），单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性（interchangeability），上述的各种说明性部件（illustrativecomponents），单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路（ASIC），现场可编程门阵列（FPGA）或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线（DSL）或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片（disk）和磁盘（disc）包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种深度图像编码方法，其特征在于，所述深度图像编码方法应用于三维视频编码或多视角视频编码中，所述深度图像编码方法包括：

在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

2.如权利要求1所述深度图像编码方法，其特征在于，所述深度图像编码方法还包括：

在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；

利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

3.如权利要求1所述深度图像编码方法，其特征在于，所述深度图像编码方法还包括：

在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；

利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

4.一种深度图像编码装置，其特征在于，所述深度图像编码装置应用于三维视频编码或多视角视频编码中，所述深度图像编码装置包括：

第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；

第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。

5.如权利要求4所述深度图像编码装置，其特征在于，所述深度图像编码装置还包括：

第二数据获取单元，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；

第二处理单元，用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。

6.如权利要求4所述深度图像编码装置，其特征在于，所述深度图像编码装置还包括：

第三数据获取单元，用于在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；

第三处理单元，用于利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。

7.一种编码器，其特征在于，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述权利要求4-6任一项所述深度图像编码装置。