CN117716390A - 用于表示三维场景及其深度平面数据的方法、编码器和显示设备 - Google Patents

Abstract

一种用于表示存储为三维数据集的三维场景的方法包括确定沿着观看方向的一组P个深度平面深度。该方法包括通过针对每个深度平面深度进行以下操作，根据三维数据集生成包括P个代理图像的代理三维数据集：根据多个横向截面图像中的至少一个截面图像生成该P个代理图像中的代理图像，这些横向截面图像(i)构成该三维数据集并且(ii)每个表示该三维场景在相应场景深度处的相应横向截面。

Description

用于表示三维场景及其深度平面数据的方法、编码器和显示 设备

相关申请的交叉引用

本申请要求均于2021年6月2日提交的美国临时申请号63/195,898和欧洲专利申请号21177381.7的优先权，这两个申请中的每一个都通过引用以其全文并入本文。

背景技术

一些体积、增强现实和虚拟现实应用将三维场景表示为距场景观看者不同距离(深度平面)的一系列图像。为了从期望的视点渲染此类场景，可以依次处理每个深度平面并与其他深度平面合成，以模拟三维场景在期望的观看者位置的二维投影。然后，可以将该二维投影显示在头戴式设备、移动电话或其他平面屏幕上。通过基于观看者的位置而动态地调整二维投影，可以模拟处于三维场景中的体验。

发明内容

减少准确地表示三维场景所需的深度平面的数量是有价值的，因为此类缩减减少了必须处理的数据量。在本文公开的实施例中，完成了深度平面数量的缩减，并且确保可以渲染满足或刚好超过人类视觉系统感知深度的能力的准确模拟。本文公开的实施例包括“深度感知量化”函数或DPQ，其将深度(深度平面)中的物理距离与人类视觉系统的能力(比如视觉敏锐度)相关联。由DPQ所计算的每个深度平面是距相邻平面的恒定的“刚好可察觉差异”。

在第一方面，公开了一种用于表示存储为三维数据集的三维场景的方法。该方法包括确定沿着第一观看方向相对于第一有利点的数量P个深度平面深度。该P个深度平面深度中的每个近侧深度D与相邻远侧深度(D+ΔD)之间的间隔ΔD是由以下各项确定的刚好可察觉差异：(i)该近侧深度D，(ii)横向偏移Δx，该横向偏移垂直于该第一观看方向并且在该第一有利点与第二有利点之间，以及(iii)当从该第二有利点观看时，间隔ΔD所对的视觉角度Δφ。该方法还包括根据该三维数据集生成包括P个代理图像I_k的代理三维数据集。生成该代理三维数据集是通过以下方式完成的：针对该P个深度平面深度中的每个深度平面深度：根据多个横向截面图像中的至少一个截面图像生成该P个代理图像中的代理图像，这些横向截面图像(i)构成该三维数据集并且(ii)每个表示该三维场景在多个场景深度中的相应场景深度处的相应横向截面。

在第二方面，一种编码器包括处理器和存储器。该存储器存储机器可读指令，这些指令当由处理器执行时控制该处理器以执行第一方面的方法。

在第三方面，一种显示设备包括电子视觉显示器、处理器和存储器。该存储器存储机器可读指令，这些指令当由该处理器执行时控制该处理器针对P个代理图像中的每个代理图像I_k，k＝0,1,…,(P-1)，进行以下操作：(i)将代理图像I_k的相应场景深度D_k确定为的线性函数，其中，m、n、c₁、c₂和c₃是预定值并且P_d＝(P-1)，以及(ii)在该电子视觉显示器上以场景深度D_k显示代理图像I_k。

在第四方面，一种用于表示深度平面数据的方法包括，针对多个二维图像中的每一个进行以下操作，每个二维图像对应于三维场景内的多个深度D中的相应深度：(i)根据深度D确定归一化深度D′；(ii)计算归一化感知深度D_PQ，其等于(iii)将该归一化感知深度D_PQ表示为二进制代码值D_B，其中，m、n、c₁、c₂和c₃是预定值。

附图说明

图1是观看者观看由设备的显示器渲染的三维场景的示意图。

图2是图示了作为观看距离和横向位移的函数的深度的刚好可察觉差异的表达式的几何推导的示意图。

图3是图示了图2的横向位移和观看距离、水平屏幕分辨率和角度视觉敏锐度之间的关系的示意图。

图4是针对特定观看配置的作为观看距离的函数的深度的刚好可察觉差异的曲线图。

图5是示出了在实施例中使用经由图2得到的深度的刚好可察觉差异的表达式递归地确定的多个深度平面深度的曲线图。

图6是实施例中作为图5的深度平面深度的函数的归一化深度的图示。

图7是图示了实施例中用于表示存储为三维数据集的三维场景的方法的流程图。

图8是图示了实施例中用于表示深度平面数据的方法的流程图。

具体实施方式

本文公开的设备和方法基于空间敏锐度(感知精细细节的能力)的极限来确定深度平面位置。这种方法不同于依赖于双眼敏锐度(用两只眼睛感知不同图像的能力)的方法。通过利用空间敏锐度，本文公开的实施例确保了当一对象从一个观看位置被另一对象遮挡但从另一个观看位置可见时存在的高频遮挡的准确表示。

本文公开的深度平面定位方法考虑运动视差，即观察者在观察场景时移动以从不同的视角观察场景时的运动视差。来自两个不同有利点的图像变化产生了强烈的深度暗示(depth cue)。其他方法仅考虑两只眼睛之间的有利点之差，通常为6.5cm。本文的实施例适应并且被设计用于更长的基线，比如28cm的移动，这产生了更多的感知深度平面。

图1是观看者191观看由设备100的显示器110渲染的三维场景112的示意图。设备100的示例包括头戴式显示器、移动设备、计算机监视器和电视接收机。设备100还包括处理器102和通信地耦接到该处理器的存储器104。存储器104存储代理三维数据集170和软件130。软件130包括机器可读指令形式的解码器132，实施设备100的一个或多个功能。如本文所使用的，术语“代理图像数据集”表示原始图像数据集的存储器高效表示或代理。

图1还包括编码设备160，该编码设备包括处理器162和通信地耦接到该处理器的存储器164。存储器164存储三维数据集150、软件166和代理三维数据集170。软件166包括机器可读指令形式的编码器168，实施编码设备160的一个或多个功能。在实施例中，编码器168根据三维数据集150生成代理三维数据集170和数量P个深度平面深度174。设备100和编码设备160经由通信网络101通信地耦接。

存储器104和164中的每一个可以是暂态的和/或非暂态的，并且可以包括易失性存储器(例如，SRAM、DRAM、计算性RAM、其他易失性存储器、或其任何组合)和非易失性存储器(例如，闪速存储器、ROM、磁性介质、光学介质、其他非易失性存储器、或其任何组合)之一或两者。存储器104和164的一部分或全部可以分别集成到处理器102和162中。

三维数据集150包括数量S个横向截面图像152，每个横向截面图像表示三维场景在相应场景深度154(0,1,…S-1)处的相应横向截面。数量S大于数量P。代理三维数据集170包括P个代理图像172(0,1,...,P-1)。针对每个深度平面深度174(k)，编码器168根据至少一个横向截面图像152生成代理图像172(k)。索引k是一个P整数，例如介于零到(P-1)之间并包括端点的整数。至少一个横向截面图像152的相应场景深度154之一最接近深度平面深度174(k)。

解码器132对代理三维数据集170进行解码并将解码的数据传输到显示器110，显示器110将其显示为三维场景112。三维场景112包括P个代理图像172(0,1,...,P-1)，每个代理图像都位于方向z上相应的深度平面深度174(0,1,...,P-1)处并平行于三维笛卡尔坐标系118的x-y平面。在坐标系118上，深度平面深度174被表示为沿着z轴的z₀、z₁、…z_P-1。图1还描绘了定义方向x′、y′和z′的三维笛卡尔坐标系198。当观看者191观看时，坐标系118的方向x、y和z平行于坐标系198的相应方向x′、y′和z′。

计算感知深度

图2是图示了作为观看距离的函数的深度的刚好可察觉差异的表达式的推导的示意图。在图2中，对象221位于距观看者191观察者距离D处，并且对象222在对象221后面的距离ΔD处。从观看位置211来看，对象222被对象221遮挡。当观看者191移动一定距离Δx到新位置212时，观看者191能够观察到对象222。几何体系可以用图2中所示的角度231和232的差Δφ来书写，如方程(1)所示，其中，Δφ是观察者的角度视觉敏锐度。对于电视和电影制作，国际电信联盟的ITU-R BT.1845建议书指定观察者具有“正常”的20/20视觉敏锐度或角分辨率度。

∠232-∠231＝Δφ (1)

方程(1)可以用三角函数写为：

针对ΔD求解方程(2)产生了方程(3)，它是示例深度量化函数。

要使用方程3，必须指定深度平面的范围。ITU-R BT.1845建议书指定了人眼可以舒适聚焦的最近距离为D_min＝0.25m。对于D_max，我们选择分母趋于零并且ΔD无穷大的值，这个值出现在处，其取决于基线距离Δx和视觉敏锐度Δφ二者的选择。

还必须指定Δx的值。这是观察者为了感知对象221与对象222之间的深度变化而必须做出的最小移动。对于要在显示器上观看的图像，可以根据ITU-R BT.1845中指定的“理想观看距离”将该最小移动计算为每个像素的宽度Δw与视觉敏锐度Δφ相匹配的点，如图3所示。对于水平屏幕分辨率N_x＝3840个像素，在最小观看距离D_min观看时，从屏幕的一个边缘到另一个边缘的距离由方程4给出：

Δx＝N_x·D·tan(Δφ) (4)

针对最近观看距离DPQD_min计算Δx，我们计算出Δx＝0.28米，这导致D_max＝960m。更大的运动可能会超过刚好可察觉差异(JND)，但由于单个观察者不可能同时从两个位置观察，因此他们必须依靠工作记忆来比较两个视角的视图。

图4示出了在度并且Δx＝0.28米的情况下，方程(3)的ΔD(单位为米)和ΔD/D作为观看距离D的函数的曲线图。在近距离处可以看到非常小的深度变化(D＝25cm时为0.15mm)。深度JND在更大距离处增大，直到深度接近D_max。

使用方程3，从D_min开始并按ΔD递增直到达到D_max允许我们建立P个深度平面深度174的表格，其中，每个深度平面深度174与上一个深度平面深度相差感知量。最终深度平面设置为D＝D_max。因此，代理三维数据集170是三维数据集150的存储器高效表示或代理。当观看者191沿着x′轴移动时，设备100显示和刷新三维场景100的视图所需的计算资源在数据集170的情况下小于数据集150的情况。

上述条件下，唯一深度平面的数量为P＝2890。为了在允许观察者移动Δx＝0.28米的同时示出跨越半个屏幕的平滑连续梯度(例如，如三维场景112所示，一条铁路从屏幕底部边缘到顶部边缘消失在远处)，可能需要近三千个唯一深度平面。

图5是示出了上述2890个深度平面中的每一个的深度平面索引k＝0至k＝2889到相应深度平面深度D_k的映射510的曲线图，其中，D_k是第k个深度平面的深度。

拟合函数形式

可以实现对将多个实际深度D映射到相应深度平面深度D_PQ的映射510的函数拟合(其是可逆的)。方程(5)的函数形式就是这样一种映射，其中，深度平面深度D_PQ最佳地拟合正确选择指数n和系数c₁、c₂和c₃的值的映射510。在不脱离本发明范围的情况下，方程(5)的右边可以具有其他形式。

D_PQ＝(c₂+c₁D′ⁿ)/(1+c₃D′ⁿ) (5)

在方程(5)中，D′是归一化深度D/D_max，并且D_PQ是对应感知深度平面的归一化深度。D_PQ的范围从0到1。系数c₁、c₂和c₃满足c₃＝c₁+c₂-1以及c₂＝-c₁(D_min/D_max)ⁿ。在实施例中，c₂和c₃的值被确定为使得D_PQ(D_min)＝0以及D_PQ(D_max)＝1。在实施例中，D_max等于960米，c₁＝2,620,000，并且指数n等于3/4。

使用方程(6)中指定的函数形式可以获得更准确的函数拟合，该函数向方程(5)的右边添加了指数m。也就是说，方程(5)是方程(6)的特定实例，其中，m等于一。在实施例中，指数n＝1。

D_PQ＝((c₂+c₁D′ⁿ)/(1+c₃D′ⁿ))^m (6)

如方程(5)所示，c₂和c₃的值可以被确定为使得D_PQ(D_min)＝0以及D_PQ(D_max)＝1。系数c₁、c₂和c₃之间的关系与上述方程(5)相同。在实施例中，D_max等于960米，c₁＝2,620,000，并且指数n等于3872/4096，并且m＝5/4。

方程(6)的深度平面深度D_PQ是深度平面深度174的示例。如果没有明确提及D_PQ的单位，则每个深度平面深度D_PQ是范围从零到一的归一化深度。在其他实施例中，每个深度平面深度D_PQ有长度单位，并且范围从D_min到D_max。

方程(7)是方程(6)的倒置形式，因此是作为深度平面深度D_PQ、系数c₁、c₂和c₃、以及指数m和n的函数的归一化深度D′＝D/D_max的显式表达式。

D′＝(((D_PQ)^1/m-c₂)/(c₁-c₃(D_PQ)^1/m))^1/n (7)

图6是方程(7)的曲线图600。曲线图600包括通过迭代和递归地应用方程(3)而生成的数据610：D_k+1＝D_k+ΔD_k，其中，ΔD_k是方程(3)的左边。曲线图600还包括由方程(7)生成的拟合620。在实施例中，指数n＝1，这产生当n≠1时方程(7)的近似。

方程(8)是方程(7)的带索引版本，其中，k/P_d取代D_PQ，D′_k取代D′，并且索引k的范围从0到P_d，其中，P_d＝(P-1)。方程(8)还包括系数μ和偏移量β。

D′_k＝μ(((k/P_d)^1/m-c₂)/(c₁-c₃(k/P_d)^1/m))^1/n+β (8)

如果没有明确提及D′_k的单位，则β等于零并且μ等于一，使得D′_k表示归一化深度D_k/D_max。在其他实施例中，β和μ具有长度单位，并且被选择为使得D′_k(k＝0)等于D_min并且D′_k(k＝P-1)等于D_max，并且D′_k不再被归一化。

在实施例中，设备100的软件130包括机器可读指令，这些指令当由处理器执行时：(i)控制处理器以针对每个代理图像172(0-P_d)根据方程(8)确定相应归一化场景深度D′_k，以及(ii)在显示器110上以根据归一化场景深度D′_k确定的场景深度显示每个代理图像172(0-P_d)。

图7是图示了用于表示存储为三维数据集的三维场景的方法700的流程图。在实施例中，方法700在编码设备160和/或设备100的一个或多个方面内实施。例如，方法700可以通过以下至少一种方式来实施：(i)处理器162执行软件166的计算机可读指令，以及(ii)处理器102执行软件130的计算机可读指令。方法700包括步骤720和730。在实施例中，方法700还包括步骤710、740和750中的至少一个。

步骤720包括确定沿着第一观看方向相对于第一有利点的数量P个深度平面深度。该P个深度平面深度中的每个近侧深度D与相邻远侧深度(D+ΔD)之间的间隔ΔD是由以下各项确定的刚好可察觉差异：(i)该近侧深度D，(ii)横向偏移Δx，该横向偏移垂直于该第一观看方向并且在该第一有利点与第二有利点之间，以及(iii)当从该第二有利点观看时，间隔ΔD所对的视觉角度Δφ。在步骤720的示例中，编码器168确定深度平面深度174。

在实施例中，视觉角度Δφ是一弧分。在实施例中，P个深度平面深度中的每一个都超过最小深度D₀并表示为D_k，k＝0,1,2,…,(P-1)，确定P个深度平面深度包括迭代地确定深度D_k+1＝D_k+ΔD_k。在这些实施例中，间隔ΔD_k可以等于这是方程(3)的示例。

在实施例中，方法700包括步骤710，该步骤包括根据视觉角度Δφ以及P个深度平面深度中的预定最小深度平面深度来确定横向偏移Δx。在步骤710的示例中，软件166使用方程(4)确定横向偏移Δx，其中，D等于深度平面深度174(0)。

步骤730包括根据三维数据集生成包括P个代理图像I_k的代理三维数据集。生成代理三维数据集是通过以下方式完成的：针对P个深度平面深度中的每个深度平面深度：根据多个横向截面图像中的至少一个截面图像生成P个代理图像中的代理图像，这些横向截面图像(i)构成三维数据集并且(ii)每个表示三维场景在多个场景深度中的相应场景深度处的相应横向截面。在实施例中，至少一个截面图像的相应场景深度之一最接近深度平面深度。在步骤730的示例中，编码器168根据三维数据集150生成代理三维数据集170。数据集150和170分别包括横向截面图像152和代理图像172，如图1所示。

当步骤730的至少一个截面图像包括多个截面图像时，步骤730可以包括步骤732。步骤732包括生成代理图像，这包括对多个截面图像进行平均。最终深度平面可以通过对超出D_max的所有深度值进行平均来构建。第一深度计划可以通过对D_min以下的所有深度值进行平均来构建。在步骤732的示例中，编码器168生成每个代理图像172作为两个或更多个横向截面图像152的平均值。

步骤740包括，对于P个代理图像中的每个代理图像I_k，k＝0,1,2,…,(P-1)，将代理图像I_k的相应场景深度D′_k确定为的线性函数，其中，m、n、c₁、c₂和c₃是预定值并且P_d＝(P-1)。在实施例中，每个场景深度D′_k等于/>在步骤740的示例中，编码器168或解码器132针对每个代理图像172(k)根据方程(7)确定相应深度平面深度174(k)，其中，D_PQ等于k/P_d，并且深度平面深度174(k)等于场景深度D′_k。

在实施例中，步骤740包括从三维数据集的元数据中读取数量D_min、D_max和P。例如，数量D_min、D_max和P可以存储为三维数据集150的元数据，该元数据由软件166读取。在实施例中，D_min和D_max中的每一个都是10位定点值，如果该定点值为零，则它们的值分别为0.25米和960米。在实施例中，P是12位定点值。

步骤750包括以相应深度平面深度显示每个代理图像I_k。在步骤750的示例中，设备100以深度平面深度174(k)(在三维场景112内示为z_k)显示至少一个代理图像172(k)。当方法700包括步骤740时，步骤750的每个相应深度平面深度等于步骤740的相应的场景深度D′_k，例如，深度平面深度174(k)等于场景深度D′_k。

在实施例中，步骤720和730由第一设备(比如图1的编码设备160)执行，并且方法700包括步骤740。在这些实施例中，步骤750可以包括步骤752，步骤752包括将代理三维数据从第一设备传输到第二设备，该第二设备执行所述确定相应场景深度D_k并显示代理图像。在步骤752的示例中，编码设备160将代理三维数据集170传输到设备100并且既不生成也不存储深度平面深度174。在该示例中，设备100执行步骤740以确定深度平面深度174。

图8是图示了用于表示深度平面数据的方法800的流程图。在实施例中，方法700在设备100的一个或多个方面内实施。例如，方法800可以通过处理器102执行软件130的计算机可读指令来实施。

方法800包括步骤810、820和830，针对多个二维图像中的每一个执行每个步骤，每个二维图像对应于三维场景内的多个深度D中的一个相应深度。在实施例中，横向截面图像152构成多个二维图像，并且场景深度154构成多个场景深度D。

步骤810包括根据深度D确定归一化深度D′。在步骤810的示例中，软件130根据每个场景深度154确定相应归一化深度。

步骤820包括根据方程(6)计算归一化感知深度D_PQ。在步骤820的示例中，软件130根据每个场景深度154除以D_max来确定相应深度平面深度174。在该示例中，深度平面深度是归一化深度。

步骤830包括将归一化感知深度D_PQ表示为二进制代码值D_B。在步骤830的示例中，软件130将每个深度平面深度174表示为相应的二进制代码值。在实施例中，二进制代码值D_B的位深度是八、十或十二之一。步骤830还可以包括将每个二进制代码值存储在非暂态存储介质上，该非暂态存储介质可以是存储器104的一部分。

特征组合

在不脱离本发明范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。以下枚举的示例说明了一些可能的非限制性组合。

(A1)公开了一种用于表示存储为三维数据集的三维场景的方法。该方法包括确定沿着第一观看方向相对于第一有利点的数量P个深度平面深度。该P个深度平面深度中的每个近侧深度D与相邻远侧深度(D+ΔD)之间的间隔ΔD是由以下各项确定的刚好可察觉差异：(i)该近侧深度D，(ii)横向偏移Δx，该横向偏移垂直于该第一观看方向并且在该第一有利点与第二有利点之间，以及(iii)当从该第二有利点观看时，间隔ΔD所对的视觉角度Δφ。该方法还包括根据该三维数据集生成包括P个代理图像I_k的代理三维数据集。生成代理三维数据集是通过以下方式完成的：针对P个深度平面深度中的每个深度平面深度：根据多个横向截面图像中的至少一个截面图像生成P个代理图像中的代理图像，这些横向截面图像(i)构成三维数据集并且(ii)每个表示三维场景在多个场景深度中的相应场景深度处的相应横向截面。

(A2)在方法(A1)的实施例中，视觉角度Δφ是一弧分。

(A3)方法(A1)和(A2)中任一个的实施例进一步包括根据视觉角度Δφ以及P个深度平面深度中的预定最小深度平面深度来确定横向偏移Δx。

(A4)在方法(A1)至(A3)中任一个的实施例中，P个深度平面深度中的每一个都超过最小深度D₀并表示为D_k，k＝0,1,2,…,(P-1)，并且确定P个深度平面深度包括迭代地确定深度D_k+1＝D_k+ΔD_k。

(A5)在方法(A4)的实施例中，间隔ΔD_k等于

(A6)如权利要求(A1)至(A5)中任一项所述的实施例，当生成代理图像时，该至少一个截面图像包括多个横向截面图像中的多个截面图像，并且生成代理图像包括对该多个截面图像进行平均。

(A7)如权利要求(A1)至(A6)中任一项所述的实施例进一步包括针对P个代理图像中的每个代理图像I_k，k＝0,1,2,…,(P-1)，进行以下操作：将代理图像I_k的相应场景深度D′_k确定为的线性函数，其中，m、n、c₁、c₂和c₃是预定值并且P_d＝(P-1)；以场景深度D′_k显示代理图像I_k。

(A8)当所述确定P个深度平面深度并生成代理三维数据集由第一设备执行时，(A7)的实施例进一步包括将代理三维数据从该第一设备传输到第二设备，该第二设备执行所述确定相应场景深度D′_k并显示代理图像。

(A9)在方法(A7)和(A8)中任一个的实施例中，每个场景深度D′_k等于并且P个均匀间隔的深度平面深度的范围为从零到一，其中，c₃＝c₁+c₂-1并且c₂＝-c₁(D_min/D_max)ⁿ，其中，D_min和D_max分别是三维场景的最小场景深度和最大场景深度。

(A10)(A9)的实施例进一步包括从三维数据集的元数据中读取数量D_min、D_max和P。

(A11)在方法(A9)和(A10)中任一个的实施例中，D_min和D_max分别等于0.25米和960米。

(A12)在方法(A7)至(A11)中任一个的实施例中，c₁、m和n分别等于2620000、5/4和3845/4096。

(A13)在方法(A1)至(A12)中任一个的实施例中，在所述生成代理图像的步骤中，至少一个截面图像的相应场景深度之一最接近深度平面深度。

(B1)一种编码器包括处理器和存储器。该存储器存储机器可读指令，这些指令当由该处理器执行时控制该处理器执行方法(A1)至(A13)中的任一种方法。

(C1)一种显示设备包括电子视觉显示器、处理器和存储器。该存储器存储机器可读指令，这些指令当由该处理器执行时控制该处理器针对P个代理图像中的每个代理图像I_k，k＝0,1,…,(P-1)，进行以下操作：(i)将代理图像I_k的相应场景深度D_k确定为的线性函数，其中，m、n、c₁、c₂和c₃是预定值并且P_d＝(P-1)，以及(ii)在该电子视觉显示器上以场景深度D_k显示代理图像I_k。

(D1)一种用于表示深度平面数据的方法包括，针对多个二维图像中的每一个进行以下操作，每个二维图像对应于三维场景内的多个深度D中的一个相应深度：(i)根据深度D确定归一化深度D′；(ii)计算归一化感知深度D_PQ，其等于(iii)将该归一化感知深度D_PQ表示为二进制代码值D_B，其中，m、n、c₁、c₂和c₃是预定值。

(D2)在方法(D1)的实施例中，多个深度D的范围为从最小值D_min到最大值D_max，在该最小值处，D_PQ等于零，在该最大值处，D_PQ等于一，c₂等于-c₁(D_min/D_max)ⁿ，c₃等于(c₁+c₂-1)。

(D3)在方法(D1)和(D2)中任一个的实施例中，c₁等于2,620,000，n等于3872/4096，并且m等于5/4。

(D4)在方法(D1)至(D3)中任一个的实施例中，二进制代码值D_B的位深度是八、十或十二之一。

(D5)方法(D1)至(D4)中任一个的实施例进一步包括将二进制代码值D_B存储在非暂态存储介质上。

(E1)一种装置包括非暂态存储介质和存储在该非暂态存储介质上的比特流。该比特流包括深度距离数据，其中，该深度距离数据用二进制代码值D_B来编码，该二进制代码值表示至少部分地基于函数模型的归一化深度距离值D′。参数n、m、c₁、c₂和c₃是预定值，并且D_PQ是二进制代码值D_B的归一化值，并且满足0≤D_PQ≤1。

(F1)一种解码方法包括，针对数量P个代理图像中的每个代理图像I_k，k＝0,1,2,…,(P-1)：(i)将代理图像I_k的相应场景深度D′_k确定为的线性函数，其中，m、n、c₁、c₂和c₃是预定值并且P_d＝(P-1)；以及(ii)以场景深度D′_k显示代理图像I_k。

(F2)在方法(F1)的实施例中，每个场景深度D′_k等于并且P个均匀间隔的深度平面深度的范围为从零到一，其中，c₃＝c₁+c₂-1并且c₂＝-c₁(D_min/D_max)ⁿ，其中，D_min和D_max分别是三维场景的最小场景深度和最大场景深度。

(F3)方法(F1)和(F2)中任一个的实施例进一步包括从三维数据集的元数据中读取数量D_min、D_max和P。

(F4)在方法(F1)至(F3)中任一个的实施例中，D_min和D_max分别等于0.25米和960米。

(F5)在方法(F1)至(F4)中任一个的实施例中，c₁、m和n分别等于2620000、5/4和3845/4096。

(G1)一种编码器包括处理器和存储器。该存储器存储机器可读指令，这些指令当由该处理器执行时控制该处理器执行方法(F1)至(F5)中的任一种方法。

在不脱离本实施例的范围的情况下，可以对上述方法和系统进行改变。因此，应当注意，包含在以上说明书中或在附图中示出的内容应当被解释为说明性的而不是限制性的意义。在本文中，除非另有说明，否则短语“在实施例中”等同于短语“在某些实施例中”，并且不指代所有实施例。以下的权利要求旨在涵盖本文所描述的所有一般特征和特定特征，以及本方法和系统的范围的所有陈述在语言上可以被说成落在其间。

Claims (15)

1.一种用于缩减存储为三维数据集的三维场景的深度平面数量的方法，所述方法包括：

接收横向偏移Δx，所述横向偏移垂直于第一观看方向并且在第一有利点与第二有利点之间，其中，所述横向偏移Δx是观察者感知在沿着所述第一观看方向的近侧深度D处的第一对象与在沿着所述第一观看方向的相邻远侧深度(D+ΔD)处的第二对象之间的深度变化所需的最小距离；

接收视觉角度Δφ，所述视觉角度表示所述观察者的角度视觉敏锐度；

接收所述三维数据集，所述三维数据集包括数量S个横向截面图像，每个横向截面图像对应于深度平面深度并且表示所述三维场景在沿着所述第一观看方向相对于所述第一有利点的相应场景深度处的相应横向截面；

确定沿着所述第一观看方向相对于所述第一有利点的数量P个深度平面深度，所述P个深度平面深度中的每个近侧深度D与相邻远侧深度(D+ΔD)之间的间隔ΔD是由以下各项确定的刚好可察觉差异：(i)所述近侧深度D，(ii)所述横向偏移Δx，以及(iii)当从所述第二有利点观看时，间隔ΔD所对的所述视觉角度Δφ，其中，所述数量P小于所述数量S；

根据所接收到的三维数据集，通过针对所述P个深度平面深度中的每个深度平面深度进行以下操作而生成包括P个代理图像的代理三维数据集：

根据所述数量S个横向截面图像中的至少一个截面图像生成所述P个代理图像中的代理图像。

2.如权利要求1所述的方法，其中，接收所述横向偏移Δx包括通过计算Δx＝N_x·D_min·tan(Δφ)来确定横向偏移Δx，其中，N_x是水平屏幕分辨率，并且D_min是所述P个深度平面深度中的预定最小深度平面深度。

3.如权利要求1或权利要求2所述的方法，其中，根据所述数量S个横向截面图像中的至少一个截面图像生成代理图像包括根据所述数量S个横向截面图像中的多个截面图像生成所述代理图像，并且其中，生成所述代理图像包括对所述多个截面图像进行平均。

4.如权利要求1至3中任一项所述的方法，其中，根据所述数量S个横向截面图像中的至少一个截面图像生成代理图像包括根据最接近相应深度平面深度的所述至少一个截面图像生成所述代理图像。

5.如权利要求1至4中任一项所述的方法，所述P个深度平面深度中的每一个大于或等于预定最小深度平面深度D_min并表示为D_k，k＝0,1,2,…,(P-1)，确定所述P个深度平面深度包括迭代地确定深度D_k+1＝D_k+ΔD_k。

6.如权利要求5的方法，间隔ΔD_k等于

7.如权利要求1至4中任一项所述的方法，进一步包括，针对所述p个代理图像中的每个代理图像I_k，k＝0,1,2,…,(P-1)：

将代理图像I_k的相应近似归一化深度平面深度D′_k确定为的线性函数，其中，m、n、c₁、c₂和c₃被选择为使得每个近似归一化深度平面深度D′_k是根据如权利要求5或权利要求6所述的方法确定的对应深度平面深度D_k的归一化值的近似值，并且其中，P_d＝(P-1)以及k/P_d表示归一化感知深度D_PQ的离散表示；

以根据所述近似归一化深度平面深度D′_k确定的深度平面深度显示代理图像I_k。

8.如权利要求7所述的方法，所述确定所述P个深度平面深度并生成所述代理三维数据集是由第一设备执行的，进一步包括：

将所述代理三维数据从所述第一设备传输到第二设备，所述第二设备执行所述确定所述相应近似归一化深度平面深度D′_k并显示所述代理图像。

9.如权利要求7或权利要求8所述的方法，P个均匀间隔的归一化深度平面深度的范围为从零到一，其中，c₃＝c₁+c₂-1并且c₂＝-c₁(D_min/D_max)ⁿ，其中，D_min和D_max分别是所述三维场景的最小场景深度和最大场景深度。

10.一种装置，包括：

处理器；以及

存储器，所述存储器存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器执行如权利要求1至9中任一项所述的方法。

11.一种显示设备，包括：

电子视觉显示器；

处理器；以及

存储器，所述存储器存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器执行如权利要求1至9中任一项所述的方法并且在所述电子视觉显示器上显示所生成的代理图像。

12.一种用于将场景深度映射到与三维场景的深度平面数据相关联的归一化感知深度的方法，所述方法包括：

接收最小场景深度D_min；

接收最大场景深度D_max；

针对多个二维图像中的每一个进行以下操作，所述多个二维图像中的每一个对应于所述三维场景内的多个场景深度D中的一个相应场景深度：

通过计算D/D_max来根据所述场景深度D确定归一化深度D′；

计算归一化感知深度D_PQ，其等于

将所述归一化感知深度D_PQ表示为二进制代码值D_B；

其中，m、n、c₁、c₂和c₃是根据如权利要求9所述的方法来确定的。

13.如权利要求12所述的方法，进一步包括将所述二进制代码值D_B存储在非暂态存储介质上。

14.一种用于将与三维场景的深度平面数据相关联的归一化感知深度映射到归一化深度距离值的方法，所述方法包括：

针对多个二维图像中的每一个进行以下操作，所述多个二维图像中的每一个对应于所述三维场景内的多个归一化感知深度D_PQ中的一个相应归一化感知深度：

将归一化深度距离值D′计算为的线性函数，其中，D_PQ是归一化值并且满足0≤D_PQ≤1；

其中，m、n、c₁、c₂和c₃是根据如权利要求9所述的方法来确定的。

15.一种装置，包括：非暂态存储介质；以及存储在所述非暂态存储介质上的比特流，所述比特流包括深度距离数据，其中，所述深度距离数据是用二进制代码值D_B编码的，所述二进制代码值表示根据如权利要求14所述的方法确定的归一化深度距离值D′。