CN109600600A - 涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式 - Google Patents

Abstract

公开了一种深度图转换成三层表达式的编码器，包括：深度图输入接收模块，用于接收8位模式或者16位模式的深度图的输入；间隔/区间划分模块；直方图创建模块；像素数计算模块，位于直方图创建模块内；最大计数间隔/区间识别模块；以及三层表达式转换模块，用于将深度图的深度值转换成三层表达式：其中D'(x,y)是转换后的深度值；在8位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为51、77、102、153、179、204，在16位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为13107、19662、26214、32768、39321、54523。由此降低了整体计算复杂性，从而提高渲染帧速率并改善用户体验。

Description

涉及深度图转换的编码器、编码方法以及三层表达式的存储 方法和格式

技术领域

本发明涉及一种用于把自动立体(3D)显示器的视图合成的深度图转换成三层表达式的编码器、编码方法以及三层表达式的存储方法。

背景技术

立体显示器(也是三维(3D)显示器)是能够通过用于双目视觉的立体视觉向观看者传达深度感知的显示设备。立体显示器的基本技术是呈现偏移图像，其分别显示在左眼和右眼上。然后将这两个二维(2D)偏移图像组合在大脑中以给出3D深度的感知。立体显示器可以主要分为立体显示器和自动立体显示器。前者要求用户佩戴一对主动式快门或被动式偏光眼镜，而后者不要求用户戴眼镜。这种自动立体显示器的输入通常是i)传统的2D视频加上深度图(2D+Z)，其描述视频中每个像素的深度，或者是ii)相邻视点处的一组视频，有时称为多视图视频，以特定格式复制在图像帧上。

深度图通常以8位(0-255)到16位(0-65536)的实数存储。传统的3D视图合成可以通过像素单元卷绕算法(Warping algorithm)来执行，它以数字方式操纵图像，以便将当前视图映射到由提供的深度值指示的指定视图变化。在以下文献中公开了使用传统卷绕算法的现有技术，[1]N.Stefanoski,D.E.Hannover,A.Smolic et.al.,“synthesizing viewsbased on image domain warping,”US2013/0057644A1,Mar.2013；[2]姚莉,许辉,“Virtual view synthesis method using contour perception,”CN 201510182858,Mar.2017；[3]Sanyo Electric Co.,Ltd.,“Methods for creating an image for athree-dimensional display,for calculating depth information,and for imageprocessing using the depth information,”US20010045979A1；[4]N.Stefanoski,O.Wang,M.Lang et.al.,“Automatic view synthesis by Image-Domain-Warping,”IEEETransactions On Image Processing,vol.22,no.9,pp.3329-3341,Sep.2013；[5]P.Kauff,N.Atzpadin,C.Fehn,et.al.,“Depth map creation and image-basedrendering for advanced 3DTV services providing interoperability andscalability,”Signal Processing:Image Communication,vol.22,no.2,pp.217-234,Feb.2007.

以[2]CN201510182858为例，先要(1)以参考视点的图像进行网格化处理，并用轮廓感知算法找到图像中的物体轮廓，(2)再用3DWarping算法进行图像映射，(3)利用选择算法找到合适映射后的图像进行融合，(4)最后用空洞填补算法来修复融合后的虚拟视点图像，以生成最终的虚拟视点图像。以这种方法的一个主要限制是它非常耗时，而且最佳适用于规则物体的场景。

此外，在文献[6]Ji Eun Lee and Hyeon Jun Kim,“Method for quantizationof histogram bin value of image”US7088856B2中，提供了一种根据颜色发生的频率对图像(或视频)的颜色直方图的区间(bin)值进行非均匀量化的方法，该方法有效地表示图像的颜色直方图的特征，并且当进行图像(视频)检索搜索时，改善了图像检索的性能，但缺点是实现起来相对复杂。

发明内容

本发明的一个目的是提供一种把深度图转换成三层表达式的编码器，包括：深度图输入接收模块，用于接收8位模式或者16位模式的深度图的输入；间隔/区间划分模块，用于将8位模式的0-255或者16位模式的0-65535分为n个间隔/区间Ω_k；直方图创建模块，用于创建一个包含n个间隔/区间的直方图；像素数计算模块，位于直方图创建模块内，并对于每个间隔/区间Ω_k，来计算位于该间隔/区间内的像素数并更新直方图；最大计数间隔/区间识别模块，用于从所述直方图中识别具有最大计数的3个间隔/区间；以及三层表达式转换模块，用于将深度图的深度值转换成三层表达式。

所述三层表达式为：

其中D'(x,y)是转换后的深度值；

在8位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为51、77、102、153、179、204，在16位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为13107、19662、26214、32768、39321、54523。

本发明的另一个目的是提供一种深度图三层表达式的存储方法，包括如下步骤：首先，存储管理程序对存储器中的逻辑卷进行初始化；然后，将其划分为两大类，并为这两类赋予不同的名称；一类是系统开销(overhead)部分，用于存储转换后的深度图的高度H和宽度W；另一类是转换后的深度值部分，用于存储通过上述公式将深度图三个不同感知层转换成三层表达式所表达的转换后的深度值D'(x,y)。

通过本发明提供的把深度图转换成三层表达式的上述编码器和编码方法，实现了如下技术效果：基于典型的自动立体显示器仅显示三个不同深度感知层的事实，本发明提出了新颖的深度三层表达式，用于从典型的深度图中提取三个不同深度层的轮廓。它有助于降低整体计算复杂性，从而提高渲染帧速率并改善用户体验。同时，通过本发明提出的存储方式，来存储对间隔/区间合并处理、计算三层表达式的转换阈值，改进了图像(或视频)检索的性能，更加快捷简便。

附图说明

根据以下描述和附图，本发明已陈述的和未陈述的特征、目的和优点将变得显而易见，其中相同的附图标记表示各种视图中的相同元件，并且其中：

图1示出了根据本发明实施例的用于把自动立体(3D)显示器的视图合成的深度图转换成三层表达式的编码器的结构示意图；

图2是根据图1的编码器进行编码的流程图；

图3示出了对应5个间隔/区间进行三层转换的映射表。

图4示出了根据本发明实施例的深度图三层表达式的存储格式；

图5示意性地示出了用于执行根据本发明的方法的服务器的框图；以及

图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。

具体实施方式

以下阐述的是当前被认为是所要求保护的发明的优选实施例或最佳表示性示例的内容。仔细考虑了对实施例和优选实施例的将来和现在的表示或修改，在功能、目的、结构或结果方面作出实质性改变的任何变更或修改，都旨在被本专利的权利要求所涵盖。现在将参考附图仅以举例的方式描述本发明的优选实施例。

本发明的下列步骤吸取了现有技术中的手段对视图进行合成，并对深度图进行细化。具体地：

考虑具有分辨率M×N的图像I的像素i(x,y)，其中M是像素列(宽度)的数量，而N是像素行(高度)的数量。x＝1,2,…M和y＝1,2,…N是像素的x andy坐标。可以以矩阵形式重写每个像素i(x,y)的深度值d(x,y)：

D＝[d₁,d₂,...,d_M],其中d_x＝[d(x,1),d(x,2),...,d(x,N)]^T。 (A.1)

在视图合成中，人们想要计算V视图中原始像素i(x,y)的位置。让在第v-th的视图为i_v(x,y)，其中v＝1,2,...,V。在上述文献[1]和[3]的传统表达式中,i_v(x,y)和i(x,y)的关系给出为：

i_v(x,y)＝φ(x,y,v)＝φ(i(x,y),d(x,y),v), (A.2)

其中f(.)是修正i(x,y)的位置的合成函数，以合成I的第v-th的视图。

例如，在从图像I及其变形D中生成两个视图时，即v＝1,2，φ(.)可以选择为通常，合成函数φ(.)可以是i(x,y)、d(x,y)和v的非线性函数。

为了进一步细化深度图，常见的方法是采用文章中公开的在灰度和彩色图像处理中双边过滤法(C.Tomasi等人，“Bilaterial filtering for grey and color images”，IEEE Sixth International Conference on Computer Vision，pp.839-846，(1998))，其全部内容通过引用并入本文。

图1示出了根据本发明实施例的用于把自动立体(3D)显示器的视图合成的深度图转换成三层表达式的编码器的结构示意图；图2是根据图1的编码器进行编码的流程图；图3示出了对应5个间隔/区间进行三层转换的映射表。现结合图1至图3说明本发明实施例的编码器将深度图转换成三层表达式的工作流程。

在步骤1001处，本发明所提出的编码器的深度图输入接收模块101接受8位或16位深度图的输入。

在步骤1002处，间隔/区间划分模块102将0-255(8位模式)和0-65535(16位模式)分为n个间隔Ω_k，此处建议为5个间隔Ω_k，如下所示：

其中M是255或65535。

在步骤1003处，直方图创建模块103创建一个包含5个间隔/区间的直方图。同时，在步骤1004处，直方图创建模块103内的像素数计算模块103-1对于每个间隔Ω_k，计算位于该间隔内的像素数并更新直方图。

之后，在步骤1005处，最大计数间隔/区间模块104从直方图中识别具有最大计数的3个区间。

最后，在步骤1006处，三层表达式转换模块105使用如下所述的映射表将深度值转换为三层格式，下面第i.至第vi.将以8位模式进行说明：

i.如果发现k＝1,2,3是三个最大的区间，如图3(a)所示，使用以下公式执行转换:

其中D'(x,y)是转换后的深度值。

ii.如果发现k＝1,3,4是三个最大的区间，如图3(b)所示，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值。

iii.如果发现k＝1,2,4是三个最大的区间，如图3(c)所示，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值。

iv.如果发现k＝1,3,5是三个最大的区间，如图3(d)所示，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值。

v.如果发现k＝1,2,5是三个最大的区间，如图3(e)所示，使用下列公式进行转换：

其中D'(x,y)是转换后的深度值。

vi.如果发现k＝1,4,5是三个最大的区间，如图3(f)所示，使用下面的公式进行转换:

其中D'(x,y)是转换后的深度值。

采用图3三层转换的映射表的方法，其一个显着优点是映射表可以实现为用于转换的硬连线电路。

而对于16位深度图，将阈值51、77、102、153、179、204替换为13107、19662、26214、32768、39321、54523。

由此可见，本发明可以减少虚拟视图合成计算的转换像素数量，减少和提高渲染场景对象特征的组合视频图像的速度可以是虚拟视点特定的场景合成率，以达到预期的效果，从而实现多视角电视。

图4示出了根据本发明实施例的深度图三层表达式的存储格式。

首先，存储管理程序对存储器中的逻辑卷进行初始化，然后，将其划分为两大类，并为这两类赋予不同的名称。

一类是系统开销(overhead)部分，用于存储转换后的深度图的高度H和宽度W。

另一类是转换后的深度值部分，用于存储在上述第第i.至第vi.中、通过公式将深度图三个不同感知层转换成三层表达式所表达的转换后的深度值D'(x,y)。

以这样的存储方式，来存储以如图3那样进行间隔/区间合并处理、计算三层表达式的转换阈值，改进了图像(或视频)检索的性能，更加快捷简便。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的提升视频分辨率和质量的方法以及视频编码器和显示终端的解码器的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图5示出了可以实现根据本发明的服务器，例如应用服务器。该服务器传统上包括处理器510和以存储器520形式的计算机程序产品或者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有用于执行上述方法中的任何方法步骤的程序代码531的存储空间530。例如，用于程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个程序代码531。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的服务器中的存储器520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码531’，即可以由例如诸如510之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。

本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。

以上描述并非旨在限制在限定本发明的以下权利要求书中使用的词语的含义或范围。而是提供了描述和说明以帮助理解各种实施例。预期未来在结构、功能或结果方面的修改将存在而并非实质性改变，并且权利要求书中的所有这些非实质性改变都旨在被权利要求所涵盖。因此，尽管已经说明和描述了本发明的优选实施例，但本领域技术人员将会理解，可以在不脱离要求保护的本发明的情况下做出许多改变和修改。另外，虽然术语“要求保护的发明”或“本发明”在本文中有时以单数形式使用，但将理解，存在如所描述和要求保护的多个发明。

Claims (12)

1.一种把深度图转换成三层表达式的编码器，包括：

深度图输入接收模块，用于接收8位模式或者16位模式的深度图的输入；

间隔/区间划分模块，用于将8位模式的0-255或者16位模式的0-65535分为n个间隔/区间Ω_k；

直方图创建模块，用于创建一个包含n个间隔/区间的直方图；

像素数计算模块，位于直方图创建模块内，并对于每个间隔/区间Ω_k，来计算位于该间隔/区间内的像素数并更新直方图；

最大计数间隔/区间识别模块，用于从所述直方图中识别具有最大计数的3个间隔/区间；以及

三层表达式转换模块，用于将深度图的深度值转换成三层表达式。

2.根据权利要求1所述的编码器，其特征在于，所述n的值为5。

3.根据权利要求2所述的编码器，其特征在于，所述间隔/区间Ωk的表达式是：

其中M是255或65535。

4.根据权利要求3所述的编码器，其特征在于，在8位模式下执行转换的三层表达式分别如下：

i.如果发现k＝1,2,3是三个最大的区间，使用以下公式执行转换:

其中D'(x,y)是转换后的深度值；

ii.如果发现k＝1,3,4是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

iii.如果发现k＝1,2,4是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

iv.如果发现k＝1,3,5是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

v.如果发现k＝1,2,5是三个最大的区间，使用下列公式进行转换：

其中D'(x,y)是转换后的深度值；

vi.如果发现k＝1,4,5是三个最大的区间，使用下面的公式进行转换:

其中D'(x,y)是转换后的深度值。

5.根据权利要求4所述的编码器，其特征在于，在16位模式下执行转换的三层表达式时，将上述i至vi公式中的阈值51、77、102、153、179、204替换为13107、19662、26214、32768、39321、54523。

6.一种把深度图转换成三层表达式的编码方法，包括如下步骤：

接收8位模式或者16位模式的深度图的输入；

将8位模式的0-255或者16位模式的0-65535分为n个间隔/区间Ω_k；

创建一个包含n个间隔/区间的直方图，并对于每个间隔/区间Ω_k，计算位于该间隔/区间内的像素数并更新直方图；

从所述直方图中识别具有最大计数的3个间隔/区间；以及

将深度图的深度值转换成三层表达式。

7.根据权利要求6所述的编码方法，其特征在于，所述n的值为5。

8.根据权利要求7所述的编码方法，其特征在于，所述间隔/区间Ω_k的表达式是：

其中M是255或65535。

9.根据权利要求8所述的编码方法，其特征在于，在8位模式下执行转换的三层表达式分别如下：

i.如果发现k＝1,2,3是三个最大的区间，使用以下公式执行转换:

其中D'(x,y)是转换后的深度值；

ii.如果发现k＝1,3,4是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

iii.如果发现k＝1,2,4是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

iv.如果发现k＝1,3,5是三个最大的区间，使用下面的公式进行转换：

其中D'(x,y)是转换后的深度值；

v.如果发现k＝1,2,5是三个最大的区间，使用下列公式进行转换：

其中D'(x,y)是转换后的深度值；

vi.如果发现k＝1,4,5是三个最大的区间，使用下面的公式进行转换:

其中D'(x,y)是转换后的深度值。

10.根据权利要求9所述的编码方法，其特征在于，在16位模式下执行转换的三层表达式时，将上述i至vi公式中的阈值51、77、102、153、179、204替换为13107、19662、26214、32768、39321、54523。

11.一种深度图三层表达式的存储方法，包括如下步骤：

存储管理程序对存储器中的逻辑卷进行初始化；

将其划分为两大类，并为这两类赋予不同的名称；

一类是系统开销(overhead)部分，用于存储转换后的深度图的高度H和宽度W；

另一类是转换后的深度值部分，用于存储通过如权利要求9-10的编码方法、通过公式将深度图三个不同感知层转换成三层表达式所表达的转换后的深度值D'(x,y)。

12.一种深度图三层表达式的存储格式，包括：

在初始化后划分为两大类的逻辑卷，一类是系统开销(overhead)部分，用于存储转换后的深度图的高度H和宽度W；

另一类是转换后的深度值部分，用于存储通过如权利要求9-10的编码方法、通过公式将深度图三个不同感知层转换成三层表达式所表达的转换后的深度值D'(x,y)。