CN113938665B - 用于传输缩减的深度信息的方法和电子装置 - Google Patents

Abstract

本公开的实施例提供一种用于传输缩减的深度信息的方法和一种电子装置。所述方法包含：获得图像帧的第一深度图，其中第一深度图包含对应于图像帧中的多个图像像素的多个第一深度像素；将第一深度图降尺度为第二深度图，其中第二深度图包含多个第二深度像素，且每个第二深度像素具有深度值；通过基于特定比率来升尺度每个第二深度像素的深度值而将第二深度图调整为第三深度图；将第三深度图划分为多个第四深度图；将第四深度图附加到图像帧；对附加有第四深度图的图像帧进行编码；以及将经过编码的图像帧传输到客户端装置。因此，可实现带宽与重投影结果之间的更平衡的折衷。

Description

用于传输缩减的深度信息的方法和电子装置

相关申请案的交叉参考

本申请案要求2020年7月14日申请的美国临时申请案第63/051,386号的优先权权益。上文所提到的专利申请案的全部内容特此以引用的方式并入本文中并且成为本说明书的一部分。

技术领域

本发明大体上涉及一种深度信息传输机制，具体地说，涉及一种用于传输缩减的深度信息的方法和一种电子装置。

背景技术

远程虚拟现实(virtual reality；VR)解决方案提供一种解决方案，其允许低端VR装置通过从远程大功率图形服务器流式传输来体验令人满意的质量的VR内容，例如在移动VR装置上播放SteamVR内容。在此解决方案中，延迟时间(latency)至关重要，且因此客户端装置依赖于重投影算法来缩短反应时间以获得更好的用户体验。一般来说，如果存在深度数据，那么重投影可能具有更好的结果。然而，由于视频流的带宽有限，传输深度数据将增加带宽的负担。

发明内容

因此，本公开涉及一种用于传输缩减的深度信息的方法和一种电子装置，其可用于解决上述技术问题。

本公开的实施例提供一种用于传输缩减的深度信息方法，包含：由远程服务器获得图像帧的第一深度图，其中第一深度图包含对应于图像帧中的多个图像像素的多个第一深度像素；由远程服务器将第一深度图降尺度为第二深度图，其中第二深度图包含多个第二深度像素，且每个第二深度像素具有深度值；由远程服务器通过基于特定比率来升尺度每个第二深度像素的深度值而将第二深度图调整为第三深度图；通过远程服务器将第三深度图划分为多个第四深度图；通过远程服务器将第四深度图附加到图像帧；通过远程服务器对附加有第四深度图的图像帧进行编码；以及通过远程服务器将经过编码的图像帧传输到客户端装置。

本公开的实施例提供一种包含远程服务器和客户端装置的电子系统，其中远程服务器配置成执行以下操作：获得图像帧的第一深度图，其中第一深度图包含对应于图像帧中的多个图像像素的多个第一深度像素；将第一深度图降尺度为第二深度图，其中第二深度图包含多个第二深度像素，且每个第二深度像素具有深度值；通过基于特定比率来升尺度每个第二深度像素的深度值而将第二深度图调整为第三深度图；将第三深度图划分为多个第四深度图；将第四深度图附加到图像帧；对附加有第四深度图的图像帧进行编码；以及将经过编码的图像帧传输到客户端装置。

附图说明

包含随附图式以提供对本发明的进一步理解，且随附图式并入本说明书中并构成本说明书的一部分。图式示出本发明的实施例，且与描述一起用来解释本发明的原理。

图1为根据本公开的实施例的电子系统的示意图。

图2为根据本公开的实施例的用于传输缩减的深度信息的方法的流程图。

图3为根据本公开的实施例的示出将第一深度图降尺度为第二深度图的示意图。

图4为根据本公开的实施例的示出升尺度深度值的示意图。

图5为根据本公开的实施例的示出梳理分别对应于左眼和右眼的第二像素的示意图。

图6为根据本公开的实施例的示出将第四深度图附加到图像帧的示意图。

附图标号说明

100：电子系统；

102：远程服务器；

104：客户端装置；

S210、S220、S230、S240、S250、S260、S270：步骤；

310：第一深度图；

311、321、331：第一区；

312、322、332：第二区；

320：第二深度图；

330：第三深度图；

500：组合深度数据；

501、502：第二像素；

501a、502a：区段；

611、612、613、614：第四深度图；

F1、F1'：图像帧；

H：高度；

V1：视觉内容；

W：宽度。

具体实施方式

现将详细地对本发明的目前优选实施例进行参考，所述实施例的实例在随附图式中示出。只要可能，相同附图标记用于图式和描述中以指代相同或类似部分。

参考图1，其绘示根据本公开的实施例的电子系统的示意图。在图1中，电子系统100可为VR远程渲染系统，其可包含远程服务器102和客户端装置104。在各种实施例中，客户端装置104可为可用于运行VR服务的任何装置，例如，独立头戴式显示器(head-mounteddisplay；HMD)、计算装置(例如，个人计算机或类似者)等，但本公开不限于此。

在本公开实施例中，与客户端装置104连接的远程服务器102可为配置有较高图形处理能力的任何装置，例如计算机、服务器或类似者。粗略地说，当客户端装置104运行VR服务以向用户提供视觉内容时，远程服务器102可帮助客户端装置104渲染VR服务的图像帧且将经过渲染的图像帧传输到客户端装置104。因此，客户端装置104可向客户端装置104的用户显示/提供经过渲染的图像帧作为视觉内容。

在本公开的实施例中，远程服务器102可将缩减的深度信息连同经过渲染的图像帧传输到客户端装置104，使得客户端装置104可实现更好的重投影结果。在下文中将提供详细论述。

参见图2，其绘示根据本公开的实施例的用于传输缩减的深度信息的方法的流程图。在本实施例中，图2的方法可由图1中的远程服务器102执行，且因此将结合图1中所绘示的元件来论述图2中的每个步骤的细节，但本公开不限于此。

在步骤S210中，远程服务器102获得图像帧F1的第一深度图。在一个实施例中，远程服务器102可通过渲染视觉内容的特定部分而产生客户端装置102的图像帧F1，其中视觉内容将由客户端装置104为用户呈现。在各种实施例中，视觉内容的特定部分可为视觉内容V1的背景部分、视觉内容V1的前景部分、所有视觉内容V1或设计者所需的视觉内容V1的任何部分，但本公开不限于此。

在一些实施例中，图像帧F1可包含多个图像像素，且每个图像像素可表征为N比特(N为正整数)。在一个实施例中，每个图像像素可用3个颜色通道(例如，RGB)来表征，且每个颜色通道可包含8比特。在此情况下，每个图像像素可由24比特(即，3×8)来表征。也就是说，在此情况下，N为24，但本公开不限于此。

在一个实施例中，第一深度图可包含对应于图像帧F1中的图像像素的多个第一深度像素。

在一个实施例中，图像帧F1可包含左眼帧部分和右眼帧部分，其分别对应于供客户端装置104呈现给用户的左眼图像和右眼图像。相应地，图像帧F1的第一深度图可具有分别对应于图像帧F1的左眼帧部分和右眼帧部分的第一区和第二区，但本公开不限于此。

接着，在步骤S220中，远程服务器102将第一深度图降尺度(downscale)为第二深度图，其中第二深度图可包含多个第二深度像素，且每个第二深度像素具有深度值。

参见图3，其绘示根据本公开的实施例的示出将第一深度图降尺度为第二深度图的示意图。在图3中，第一深度图310可包含分别对应于图像帧F1中的左眼帧部分和右眼帧部分的第一区311和第二区312。

在一个实施例中，远程服务器102可将第一深度图310降尺度为第二深度图320，其中第二深度图320亦包含分别对应于图像帧F1中的左眼帧部分和右眼帧部分的第一区321和第二区322。

在图3中，第一深度图310的大小可为W×H，其中W为第一深度图310的宽度，且H为第一深度图320的高度。在一个实施例中，远程服务器102可将第一深度图310的分辨率降尺度到其中a和b为比例因子。在各种实施例中，可基于设计者的需求选择a和b。在一个实施例中，可假设a和b为2，这使得第二深度图320的大小为/>但本公开不限于此。

在一个实施例中，远程服务器102可通过对第一深度图310执行双线性插值(bilinear interpolation)来降尺度第一深度图310的分辨率，但本公开不限于此。

接着，在步骤S230中，远程服务器102通过基于特定比率来升尺度(scale up)每个第二深度像素的深度值而将第二深度图320调整为第三深度图。

粗略地说，当用户观看由客户端装置104提供的视觉内容时，用户将对具有低深度的物体(即，近物体)更敏感。也就是说，具有较小深度值的第二深度像素(其可称为较接近的第二深度像素)可视为比具有较大深度值的第二深度像素(其可称为较远的第二深度像素)更为重要/有意义。因此，远程服务器102可经由步骤S230忽略具有较大深度值(即，较远的第二深度像素)的第二深度像素，使得客户端装置104将仅保留具有较小深度值的第二深度像素的深度信息。在下文中将提供详细论述。

在一个实施例中，每个第二深度像素的深度值可为在下限与上限之间的范围内的归一化深度值。在一些实施例中，下限可为0.0f，且上限可为1.0f(即，无限深度)，其中f表示浮点数，但本公开不限于此。

在一个实施例中，远程服务器102可经由将上限乘以预定因子而确定参考上限，其中预定因子可在0与1之间的范围内。在一个实施例中，假设预定因子为5％且上限为1.0f，那么远程服务器102可将参考上限确定为0.05f，但本公开不限于此。

接着，远程服务器102可基于预定因子来确定特定比率。在一个实施例中，特定比率可为预定因子的倒数或其它可能大于1的数目。

利用特定比率，远程服务器102可通过将每个第二深度像素的深度值乘以特定比率而产生第三深度图。在此情况下，对于初始深度值大于参考上限的那些第二深度像素(其可视为较远的第二深度像素)，其深度值将升尺度到超过1.0f。也就是说，较远的第二深度像素的深度值将经调整为对应于无限深度。从另一角度，远程服务器102可视为保留较接近的第二深度像素的深度值(即，原始深度值小于参考上限的那些第二深度像素)。

参见图4，其绘示根据本公开的实施例的示出升尺度深度值的示意图。在图4中，远程服务器102将参考上限(例如，0.05f)升尺度到新上限(即，1.0f)，使得仅有较接近的第二深度像素的深度值会被保留，但本公开不限于此。

在一个实施例中，第三深度图中的每个第二像素的深度值可表征为N/2比特深度数据。在此情况下，可将分别对应于左眼和右眼的第二像素组合为N比特数据。

参见图5，其绘示根据本公开的实施例的示出梳理分别对应于左眼和右眼的第二像素的示意图。在图5中，远程服务器102可通过基于以上教示升尺度第二深度图320中的每个第二深度像素的深度值而将第二深度图320调整为第三深度图330。因此，第三深度图330将亦包含分别对应于图像帧F1中的左眼帧部分和右眼帧部分的第一区331和第二区332。

在图5中，假设第一区331包含对应于左眼帧部分中的一个图像像素的第二像素501，且第二区332包含对应于右眼帧部分中的一个图像像素的第二像素502。在一个实施例中，第二像素501与第一区331之间的相对位置可与第二像素502与第一区332之间的相对位置相同，但本公开不限于此。

在一个实施例中，远程服务器102可将第二像素501的N/2比特深度数据与第二像素502的N/2比特深度数据组合为组合深度数据500。

在一个实施例中，大小为N比特的组合深度数据500可包含区段501a和区段502a，其中区段501a可承载对应于第二像素501的深度值的N/2比特(例如，12比特)深度数据，且区段502a可承载对应于第二像素502的深度值的N/2比特(例如，12比特)深度数据。

在此情况下，远程服务器102可通过使用与图像帧F1相同的流将组合深度数据500传输到客户端装置104，但本公开不限于此。

在获得第三深度图330之后，在步骤S240中，远程服务器102将第三深度图330划分为多个第四深度图。

在一个实施例中，由于第二深度图320的大小为第三深度图330亦为在一个实施例中，远程服务器102可将第三深度图330均匀地划分为c个部分，其中c为划分因子且可为整数。在此情况下，每个第四深度图的大小可为/>

举例来说，假设第三深度图330的大小为320×240且c为4，则每个第四深度图的大小可确定为320×60，但本公开不限于此。

接着，在步骤S250中，远程服务器102将第四深度图附加到图像帧F1。

参见图6，其绘示根据本公开的实施例的示出将第四深度图附加到图像帧的示意图。在图中6，假设远程服务器102将第三深度图330均匀地划分为4个第四深度图611到第四深度图614，且第四深度图611到第四深度图614个别的大小可为

在此情况下，远程服务器102可将第四深度图611到第四深度图614附加到图像帧F1。在一个实施例中，远程服务器102可在图像帧F1的尾部/底部处依序地附加第四深度图611到第四深度图614。在图6中，假设图像帧F1的大小为W′×H′，附加有第四深度图611到第四深度图614的图像帧F1的大小可为为简洁起见，附加有第四深度图611到第四深度图614的图像帧F1可称为图像帧F1'，但本公开不限于此。

接着，在步骤S260中，远程服务器102对附加有第四深度图611到第四深度图614的图像帧F1进行编码。也就是说，远程服务器102可对图像帧F1'进行编码。在各种实施例中，远程服务器102可基于任何适当的编码技术对图像帧F1'进行编码，本文中将不再进一步论述。

在步骤S270中，远程服务器102将经过编码的图像帧F1'传输到客户端装置104。

相应地，客户端装置104可从远程服务器102接收经过编码的图像帧F1'，且对经过编码的图像帧F1'进行解码以获得附加有第四深度图611到第四深度图614的图像帧F1。

在一个实施例中，客户端装置104可从图像帧F1'提取第四深度图611到第四深度图614。举例来说，由于第四深度图611到第四深度图614是假设为附加到图像帧F1的尾部，此表示第四深度图611到第四深度图614占据图像帧F1'的某个特定部分，也就是由图6中的第四深度图611到第四深度图614共同占据的区。在此情况下，客户端装置104可从图像帧F1'提取上述特定部分，且将此特定部分均匀地划分为4个(即，c)部分以获得第四深度图611到第四深度图614，其中每个部分的大小为

接着，客户端装置104可基于第四深度图611到第四深度图614构建第三深度图330。举例来说，基于远程服务器102将第三深度图330划分为图6中的第四深度图611到第四深度图614的方式，客户端装置104可依序堆叠第四深度图614到第四深度图611以恢复第三深度图330，但本公开不限于此。

之后，客户端装置104可基于图像帧F1和第三深度图330产生视觉内容V1。在一个实施例中，客户端装置104可基于图像帧F1和第三深度图330执行重投影(reprojection)以产生视觉内容V1以供用户观看，但本公开不限于此。

综上所述，在本公开的实施例中，由于第一深度图经降尺度为第二深度图，且第二深度图中的每个第二像素的深度值经升尺度以产生第三深度图，因此远程服务器可仅保留客户端装置的较接近像素的重要深度信息，使得客户端装置可获得更好的重投影结果。因此，可实现带宽与重投影结果之间的更平衡的折衷。

本领域的技术人员将显而易见，可在不脱离本发明的范围或精神的情况下对本发明的结构作出各种修改和变化。鉴于前文，希望本发明涵盖对本发明的修改和变化，限制条件是所述修改和变化落在所附权利要求书和其等效物的范围内。

Claims (15)

1.一种用于传输缩减的深度信息的方法，包括：

由远程服务器获得图像帧的第一深度图，其中所述第一深度图包括对应于所述图像帧中的多个图像像素的多个第一深度像素；

由所述远程服务器将所述第一深度图降尺度为第二深度图，其中所述第二深度图包括多个第二深度像素，且各所述第二深度像素具有深度值；

由所述远程服务器通过基于特定比率来升尺度各所述第二深度像素的所述深度值而将所述第二深度图调整为第三深度图；

由所述远程服务器将所述第三深度图划分为多个第四深度图；

由所述远程服务器将所述第四深度图附加到所述图像帧；

由所述远程服务器对附加有所述多个第四深度图的所述图像帧进行编码；以及

由所述远程服务器将经过编码的所述图像帧传输到客户端装置。

2.根据权利要求1所述的用于传输缩减的深度信息的方法，其中在获得所述图像帧的所述第一深度图的步骤之前，所述方法进一步包括：

由所述远程服务器通过渲染视觉内容的特定部分而产生用于所述客户端装置的所述图像帧。

3.根据权利要求1所述的用于传输缩减的深度信息的方法，其中所述第一深度图的大小为W×H，W为所述第一深度图的宽度，H为所述第一深度图的高度，且将所述第一深度图降尺度为所述第二深度图的步骤包括：

由所述远程服务器将所述第一深度图的分辨率降尺度到其中a和b为比例因子。

4.根据权利要求1所述的用于传输缩减的深度信息的方法，其中各所述第二深度像素的所述深度值是在下限与上限之间的范围内的归一化深度值，且通过基于所述特定比率来升尺度各所述第二深度像素的所述深度值而将所述第二深度图调整为所述第三深度图的步骤包括：

由所述远程服务器经由将所述上限乘以预定因子而确定参考上限，其中所述预定因子在0与1之间的范围内；

由所述远程服务器基于所述预定因子来确定所述特定比率；以及

由所述远程服务器通过将各所述第二深度像素的所述深度值乘以所述特定比率而产生所述第三深度图。

5.根据权利要求4所述的用于传输缩减的深度信息的方法，其中所述特定比率为所述预定因子的倒数。

6.根据权利要求1所述的用于传输缩减的深度信息的方法，其中所述第三深度图包括分别对应于所述图像帧的左眼帧部分和右眼帧部分的第一区和第二区，各所述图像像素表征为N比特，且所述第三深度图中的各第二像素的所述深度值表征为N/2比特。

7.根据权利要求1所述的用于传输缩减的深度信息的方法，其中所述第三深度图的大小为且各所述第四深度图的大小为/>其中a和b为比例因子，c为划分因子，而所述图像帧的大小为W′×H′，附加有所述第四深度图的所述图像帧的大小为

8.根据权利要求1所述的用于传输缩减的深度信息的方法，进一步包括：

由所述客户端装置从所述远程服务器接收经过编码的所述图像帧；

由所述客户端装置通过对经过编码的所述图像帧进行解码而获得附加有所述第四深度图的所述图像帧；

由所述客户端装置基于所述第四深度图来构建所述第三深度图；以及

由所述客户端装置基于所述图像帧和所述第三深度图来产生视觉内容。

9.一种电子系统，包括远程服务器和客户端装置，其中所述远程服务器经配置以执行以下操作：

获得图像帧的第一深度图，其中所述第一深度图包括对应于所述图像帧中的多个图像像素的多个第一深度像素；

将所述第一深度图降尺度为第二深度图，其中所述第二深度图包括多个第二深度像素，且各所述第二深度像素具有深度值；

通过基于特定比率来升尺度各所述第二深度像素的所述深度值而将所述第二深度图调整为第三深度图；

将所述第三深度图划分为多个第四深度图；

将所述多个第四深度图附加到所述图像帧；

对附加有所述第四深度图的所述图像帧进行编码；以及

将经过编码的所述图像帧传输到所述客户端装置。

10.根据权利要求9所述的电子系统，其中所述第一深度图的大小为W×H，W为所述第一深度图的宽度，H为所述第一深度图的高度，且所述远程服务器执行以下操作：

将所述第一深度图的分辨率降尺度到其中a和b为比例因子。

11.根据权利要求9所述的电子系统，其中各所述第二深度像素的所述深度值为在下限与上限之间的范围内的归一化深度值，且所述远程服务器执行以下操作：

经由将所述上限乘以预定因子而确定参考上限，其中所述预定因子在0与1之间的范围内；

基于所述预定因子来确定所述特定比率；以及

通过将各所述第二深度像素的所述深度值乘以所述特定比率而产生所述第三深度图。

12.根据权利要求11所述的电子系统，其中所述特定比率为所述预定因子的倒数。

13.根据权利要求9所述的电子系统，其中所述第三深度图包括分别对应于所述图像帧的左眼帧部分和右眼帧部分的第一区和第二区，各所述图像像素表征为N比特，且所述第三深度图中的各第二像素的所述深度值表征为N/2比特。

14.根据权利要求9所述的电子系统，其中所述第三深度图的大小为 且各所述第四深度图的大小为/>其中a和b为比例因子，c为划分因子，而所述图像帧的大小为W′×H′，附加有所述第四深度图的所述图像帧的大小为/>

15.根据权利要求9所述的电子系统，其中所述客户端装置执行以下操作：

从所述远程服务器接收所述经过编码的图像帧；

通过对所述经过编码的图像帧进行解码而获得附加有所述第四深度图的所述图像帧；

基于所述第四深度图来构建所述第三深度图；以及

基于所述图像帧及所述第三深度图来产生视觉内容。