CN117999582A - 多平面图像的生成、数据处理、编码和解码方法、装置 - Google Patents

多平面图像的生成、数据处理、编码和解码方法、装置 Download PDF

Info

Publication number
CN117999582A
CN117999582A CN202180102720.7A CN202180102720A CN117999582A CN 117999582 A CN117999582 A CN 117999582A CN 202180102720 A CN202180102720 A CN 202180102720A CN 117999582 A CN117999582 A CN 117999582A
Authority
CN
China
Prior art keywords
data
pmpi
smpi
frame
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180102720.7A
Other languages
English (en)
Inventor
杨铀
蒋小广
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117999582A publication Critical patent/CN117999582A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种多平面图像的生成、数据处理、编码和解码方法、装置，所述方法使用分块多平面图像PMPI来表征三维场景，所述PMPI包括多个子多平面图像sMPI以分别表征对三维场景划分得到的多个场景区域，多个sMPI的起始深度根据其表征的三维场景区域的深度信息确定，每一sMPI包括在所表征场景区域的不同深度采样得到的多个层。本公开的方法和装置可以提高采样效率和视频分辨率。

Description

多平面图像的生成、数据处理、编码和解码方法、装置 技术领域
本公开实施例涉及但不限于图像处理技术，更具体地，涉及一种多平面图像的生成、数据处理、编码和解码方法、装置。
背景技术
多平面图像(MPI：Multiplane image)是一种无冗余的场景表征方式。在一个给定的参考视点作为坐标原点的空间坐标系内，MPI将场景分解为一系列的层，这些层为平面层或球面层。以由平面层组成的MPI为例，如图1所示，多个平面层相对于参考视点正向平行并且位于不同的深度上。MPI的深度范围[dmin,dmax]需要根据场景的景深数据提前设定，其中，dmin为最小深度，即离参考视点最近的层到参考视点的距离，dmax为最大深度，即离参考视点最远的层到参考视点的距离。MPI中的每一个层分为两部分：颜色图(Color frame)和透明度图(Transparency frame)。一个层的颜色图和透明度图分别包含了场景在该平面层位置处的纹理信息和透明度信息，MPI可用于沉浸视频，但效果还有待提升。
发明概述
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开一实施例提供了一种多平面图像的生成方法，包括：
将三维场景划分成多个场景区域；及
生成分块多平面图像PMPI，所述PMPI包括用于分别表征多个所述场景区域的多个子多平面图像sMPI，所述sMPI的起始深度至少根据所述sMPI所表征场景区域的深度信息确定。
本公开实施例还提供了一种多平面图像的数据处理方法，包括：
获取分块多平面图像PMPI的原始存储数据，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域；
将所述PMPI的原始存储数据转换为封装压缩存储PCS数据，所述PCS数据用于确定所述PMPI中像素的有效层的深度及像素在有效层上的颜色和透明度。
本公开一实施例还提供了一种多平面图像的编码方法，包括：
接收分块多平面图像PMPI的封装压缩存储PCS数据，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域，所述PCS数据包括图像参数，及纹理属性部分和透明度属性部分的数据；
基于所述PCS数据对所述PMPI进行编码，得到编码后的图像参数和图集数据。
本公开一实施例还提供了一种多平面图像的解码方法，包括：
对分块多平面图像PMPI的编码码流进行解码，获取所述PMPI的图像参数，及纹理属性部分和透明度属性部分的数据；
其中，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域，所述编码码流中包括PMPI的图像参数和图集数据。
本公开一实施例还提供了一种码流，其中，所述码流通过对分块多平面图像PMPI编码生成，所述码流中包括所述PMPI的图像参数和图集数据；所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域。
本公开一实施例还提供了一种多平面图像的生成装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的生成方法。
本公开一实施例还提供了一种多平面图像的数据处理装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的数据处理方法。
本公开一实施例还提供了一种多平面图像的编码装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的编码方法。
本公开一实施例还提供了多平面图像的解码装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的解码方法。
本公开一实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的多平面图像的生成方法、数据处理方法、解码方法或编码方法。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图概述
附图用来提供对本公开实施例的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1是4个平面层组成的一示例性的MPI的结构示意图；
图2A至图2F是一个示例性的MPI中连续6个平面层的示意图，示出了每一平面层的颜色图和透明度图；
图3是使用普通MPI表征一个三维场景的示意图；
图4是使用本公开实施例PMPI表征一个三维场景的示意图；
图5是本公开一实施例PMPI生成方法的流程图；
图6是本公开一实施例通过池化确定sMPI的起始深度的示意图；
图7是使用本公开实施例生成的一示例性的PMPI的示意图；
图8是一种视频压缩处理过程的示意图；
图9是从MPI原始存储数据转换得到的一种PCS数据的示意图；
图10是本公开一实施例PMPI的数据处理方法的流程图；
图11是本公开实施例从PMPI原始存储数据转换得到的一种PCS数据的示意图；
图12是本公开实施例从PMPI原始存储数据转换得到的另一种PCS数据的示意图；
图13是本公开实施例从PMPI原始存储数据转换得到的又一种PCS数据的示意图；
图14是本公开一实施例PMPI编码装置的结构示意图；
图15是本公开一实施例PMPI编码方法的流程图；
图16是本公开一实施例PMPI解码方法的流程图；
图17是本公开一实施例PMPI的生成装置的示意图。
详述
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。
本公开的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开中被描述为“示例性的”或者“例如”的任何实施例不应被解释为比其他实施例更优选或更具优势。本文中的“和/或”是对关联对象的关联关系的一种描述，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。“多个”是指两个或多于两个。另外，为了便于清楚描述本公开实施例的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在描述具有代表性的示例性实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
多平面图像(MPI)是一种无冗余的三维场景的分层表征方式。三维场景被分解为一组平面或球面层，从给定参考点的不同深度采样。每一层通过将包含在层位置周围的3D场景部分投影到同一参考摄影机上获得。此参考摄影机位于给定的参考视点。使用平面层时，参考摄影机是透视摄影机；使用球形层时，参考摄影机是球形(通常为等矩形)摄影机。
请参照图1，在一个给定的参考视点(如参考相机)作为坐标原点的空间坐标系内，MPI将场景分解为一系列平面层或球面层。以由平面层组成的MPI为例，平面层相对于参考视点正向平行并且位于不同的深度上。平面层的深度范围[dmin,dmax]需要根据实际场景的深度范围提前设定。假定MPI包括S个平面层，每一平面层的大小为W×H，则MPI的大小可以表示为W×H×S。其中，W为MPI宽度方向上的像素个数，H为MPI高度方向上的像素个数，该MPI包含W×H个像素，平面图像分辨率为W×H。图1所示的示例性的MPI包括4个层，但MPI包括的平面层或球面层的个数即层数也可以是2个，3个，5个或5个以上，如100个、200个等等。MPI的每一层均包括一个颜色图和一个透明度图，用于记录像素在该层上的颜色和透明度，一个像素在不同层上可以具有不同的颜色和透明度。
在现实场景中，通常大部分空间区域中是没有可见表面的，即为有效区域。在MPI中直观体现为MPI多个层中的颜色图和透明度图的大部分区域为无效值，即不包含可见信息，如图2A至图2F所示是一个MPI的第40个平面层到第45个平面层共6个连续的平面层，其中图2A-1展示的是第40个平面层的颜色图，图2A-2展示的是第40个平面层的透明度图，图2B-1展示的是第41个平面层的颜色图，图2B-2展示的是第41个平面层的透明度图，其他图依此类推。其中，各透明度图中的黑色部分是无效区域。
MPI是三维场景的分层表征，也即对三维场景的采样，MPI平面层上的点是采样点，从图2A至图2F的示例可以看出，该MPI中的大部分采样点位于三维场景的无效位置，这些位置没有可见表面，透明度为0，只有小部分采样点位于三维场景的有效区域，这些有效区域所在位置存在可见表面，透明度不为0。MPI可用于沉浸视频，从沉浸式体验的角度而言，起决定性作用的是三维场景中的有效区域，而MPI的大部分采样点被浪费，导致采样效率低，最终呈现的沉浸视频分辨率也较低。
MPI的深度范围[dmin,dmax]根据场景的全局深度而设定，深度范围足以囊括场景大部分有效信息即可，其中，离参考视点最近的层的深度称为MPI的起始深度dmin，离参考视点最远的层的深度可以称为MPI的终止深度dmax。以图3所示的简单场景为例，图中的平行线用于指示MPI中各层在三维场景内的深度位置。由于该场景中有1个几何体离其他几何体较远，MPI为了表征该场景的主要信息(四个几何体)，必须采用较大的深度范围，由此得到的平面层(图中以4个为例)较为稀疏。对于位于远景区域的三个几何体而言，有效信息只会出现在MPI中深度较大的两个平面层上。MPI的采样效率较低。
为了解决MPI采样效率低的问题，本公开实施例提出一种具有深度自适应变化特性的MPI，为了区别于图1、图3所示的MPI，文中将图1、图3所示的MPI称为普通MPI，也即表征整个三维场景的MPI，将本公开实施例提出的MPI称为分块多平面图像(PMPI：Patch multiplane image)。本公开实施例的PMPI是这样的一种MPI：包括多个子多平面图像(sMPI：sub multiplane image)以分别表征三维场景划分成的多个场景区域，每一sMPI包括在该sMPI所表征场景区域的不同深度采样得到的多个层，每一sMPI的起始深度至少根据该sMPI所表征场景区域的深度信息确定。PMPI可以视为对普通MPI的扩展，普通MPI的基本单元是大小相同的多个层，用于表征一个完整的三维场景，而PMPI用多个sMPI分别表征对一个三维场景划分成的多个场景区域，每一个场景区域可以视为三维场景的一个块，而每一sMPI也可以视为PMPI的一个块，因此PMPI是三维场景的一种分层分块表征方式。
单个sMPI也是一种MPI，只是其表征的是三维场景划分成的场景区域，而场景区域也可视为一种三维场景，只是大小和形状与原始的三维场景不同。sMPI表征场景区域的方式仍可以采用普通MPI表征三维场景的方式，如一个sMPI包括在场景区域的不同深度采样的多个层，多个层的大小和形状相同，每一层包括一个颜色图和一个透明度图，多个层之间可以按设定规则(如等间距或等视距)分布，等等。与MPI类似，sMPI的深度范围也遵循包括场景区域中大部分有效信息的原则而设置。
PMPI中多个sMPI的终止深度可以设置为相同，而起始深度可以根据所表征场景区域的深度信息设置为不同，从而引入场景的深度信息，增加针对场景深度的自适应能力，使更多的采样点放置在场景的有效位置上。
图4所示的三维场景和参考视点与图3相同。采用本公开实施例的PMPI表征该三维场景时，假定将场景区域的个数设置为2，用一竖向平面将三维场景划分为两个场景区域，其中一个场景区域包括位于参考视点左侧的两个几何体，以下将该场景区域称为第一场景区域，第一场景区域中的一个几何体离参考视点最近，另一个几何体离参考视点较远。另一个场景区域包括位于参考视点右侧的两个几何体，以下将该场景区域称为第二场景区域，第二场景区域中的两个几何体均离参考视点较远，
在PMPI中，上述第一场景区域和第二场景区域分别用一个sMPI表征，每一sMPI包含4个平面层，因为第一场景区域中两个几何体的深度差异较大，用于表征该第一场景区域的sMPI的场景深度范围需要设置的较大。第二场景区域中两个几何体的深度差异较小且靠近后方，用于表征该第二场景区域的sMPI的深度范围范围可以设置的较小。在不同sMPI的终止深度设置为相同时，用于表征第一场景区域的sMPI的起始深度较小，而用于表征第二场景区域的sMPI的起始深度较大。由此得到的三维场景的PMPI表征如图4所示。从该图可以看出，用于表征第二场景区域的sMPI的4层之间变得密集且均位于几何体附近，因此与图3的MPI相比，PMPI有更多的采样点位于有效位置。也就是说，用分层分块的PMPI表征该场景，相对普通MPI的分层表征方式，采样效率更高。需要说明的是，图4所示的示例对三维场景的划分方式仅仅是示意性的，是为了用一个简单示例说明PMPI与普通MPI的不同。
本公开一实施例提供了一种多平面图像的生成方法，如图5所示，包括：
步骤310，将三维场景划分成多个场景区域；
步骤320，生成分块多平面图像PMPI，所述PMPI包括用于分别表征多个所述场景区域的多个子多平面图像sMPI，所述sMPI的起始深度至少根据所述sMPI所表征场景区域的深度信息确定。
在本公开一示例性的实施例中，所述sMPI的起始深度至少根据所述sMPI所表征场景区域的深度信息确定，包括：所述sMPI的起始深度根据第一区域的最小深度确定，所述第一区域为所述sMPI所表征场景区域，或者所述第一区域为所述sMPI所表征场景区域和所述sMPI所表征场景区域的相邻区域所共同组成的区域。其中，所述sMPI所表征场景区域的相邻区域可以包括所述三维场景中位于所述sMPI所表征场景区域周边的一个或多个场景区域，或者，相邻区域包括所述三维场景中位于所述sMPI所表征场景区域周边的多行像素和/或多列像素组成的区域，不要求是完整的场景区域。
本实施例的一个示例中，根据第一区域的最小深度确定所述sMPI的起始深度时，将所述sMPI的起始深度设置为所述第一区域的最小深度。在本实施例的另一示例中，根据第一区域的最小深度确定所述sMPI的起始深度时，也可以在第一区域的最小深度的基础上，取一个比该最小深度略小的深度作为所述sMPI的起始深度，例如用该最小深度的值减去一个设定的值，或者用该最小深度的值减去该值乘以一设定比例得到的值，使得确定的所述sMPI的起始深度具有一定的裕量。上述最小深度的取值可以是三维场景的深度图中所述sMPI所表征场景区域的最小深度值，也可以对深度图中的该最小深度值进行四舍五入、归一化等变换以便于编码。三维场景中的深度值可以用灰度值表示。
本实施例的一个示例中，第一区域为所述sMPI所表征场景区域，所述sMPI的起始深度是根据所述sMPI所表征场景区域的最小深度确定。考虑到三维场景深度图中的深度值可能会存在偏差，所以在本实施例的另一个示例中，根据所述sMPI所表征场景区域和所述sMPI所表征场景区域的相邻区域所共同组成的区域的最小深度确定所述sMPI的起始深度，此时确定的起始深度总是小于或等于仅仅根据所述sMPI所表征场景区域的最小深度确定的起始深度。能够尽量避免上述偏差带来的影响，使得sMPI能够完整采样到所表征场景区域中的有效区域。
在该另一示例中，实际运算时可以采用池化的方式来计算出每一个sMPI的起始深度。如图6所示，假定将一个三维场景用6×6的网格划分为36个场景区域，图6左侧的实线区域代表三维场景的原始深度图，该深度图也被划分成所述36个场景区域，图中每一个网格代表一个场景区域。每一个场景区域的最小深度均可以根据深度图中该场景区域的深度信息确定。本示例池化时的池化尺寸为5×5，池化步长为1。为了使池化后的深度图的网格数仍然是6x6，以原始深度图为中心进行扩展。如图6所示，扩展后的深度图包括10×10个网格，扩展出的网格用虚线表示，扩展出的每一网格的最小深度复制为距离该网格最近的原始深度图中的网格的最小深度(两个网格之间的距离可取为两个网格中心的连线的长度)。对网格的最小深度执行最小池化操作，得到图6右侧的池化后的深度图，该深度图中每一网格的最小深度等于原始深度图中以该网格为中心的5×5个网格的最小深度，将该最小深度设置为表征该网格(即该场景区域)的sMPI的起始深度。即实现了根据所述sMPI所表征场景区域和所述sMPI所表征场景区域的相邻区域所共同组成的区域的最小深度确定所述sMPI的起始深度的运算。
在本公开一示例性的实施例中，所述sMPI包括在所表征场景区域的不同深度采样得到的多个层，所述多个层均包括颜色图和透明度图。
本实施例中，采用以下步骤来生成PMPI：
步骤一，确定划分成的多个所述sMPI的起始深度和终止深度，其中，多个所述sMPI的起始深度至少根据各自所表征场景区域的深度信息分别确定，多个所述sMPI的终止深度设置为相同；
可以将PMPI视为普通MPI，按照普通MPI的终止深度的设置方式为PMPI中的多个sMPI共同设置一个终止深度。
步骤二，对多个所述sMPI中的每一sMPI，根据该sMPI的起始深度和终止深度，以及该sMPI的层数和层的分布规则确定该sMPI包括的每一层的深度，在该sMPI所表征场景区域的所述每一层的深度处采样，得到该sMPI包括的每一层的颜色图和透明度图。
本实施例中，多个所述sMPI与多个所述场景区域一一对应，多个所述sMPI的层数和层的分布规则设置为相同，以简化处理，提高编码效率。所述层的分布规则如可以是等间距分布或等视距分布。但本公开不局限于此，在其他实施例中，PMPI中多个sMPI的层数和层的分布规则也可以不同，此时会增加一些编码复杂度，但可以更为灵活地表征三维场景。
本实施例中，所述多个层可以为平面层或球面层。
在本公开一示例性的实施例中，所述将三维场景划分成多个场景区域，包括：根据预设的场景划分规则将三维场景划分成多个场景区域，其中，根据所述场景划分规则可以确定划分成的多个场景区域的以下一种或任意组合信息：场景区域的个数、场景区域的形状、场景区域的大小、场景区域的位置；其中，多个所述场景区域的大小相同或不同，多个所述场景区域的形状为规则形状或不规则形状中的一种或者组合，所述规则形状包括三角形、矩形、五边形、六边形中的一种或任意组合。
在本实施例的一个示例中，所述根据预设的场景划分规则将所述三维场景划分成多个场景区域，包括：使用M×N的网格将所述三维场景划分为M×N个场景区域，M,N为正整数，且M×N≥2。该示例中，划分出的M×N个场景区域为大小相同的矩形区域。这种划分方式根据像素的坐标即容易确定PMPI中每一像素所在的场景区域(如查表或者通过简单的公式计算)，可以不需要对像素所在的场景区域或者所属的sMPI加以额外标识。但本公开并不局限于此种划分方式。
在本公开一示例性的实施例中，所述生成的PMPI的原始存储数据包括PMPI帧的帧参数和帧数据；
其中，所述原始存储数据中的PMPI帧的帧参数包括以下参数中的一种或任意组合：
PMPI帧的分辩率；
PMPI帧中sMPI的个数；
为PMPI帧中sMPI统一设置的层数；
为PMPI帧中sMPI统一设置的层的分布规则；
为PMPI帧中sMPI统一设置的终止深度；
使用M×N网格划分三维场景时M,N的取值；
其中，所述原始存储数据中的每一PMPI帧的帧数据包括：该PMPI帧包括的每一sMPI中每一层的颜色图数据和透明度图数据。
相比于普通MPI，本公开实施例生成的PMPI的起始深度更加灵活多变，可以在场景不同区域的景深变化时自适应地变化。由此产生的结果是PMPI的采样点聚集于场景的可见表面，采样效率得到提升。在PMPI中sMPI的层数与普通MPI的层数相同的情况下，PMPI的 平面层分布在总体上更为密集，效果上相当于提供了更多层数的普通MPI，但采样点数没有增加。可参见图7，更密集的深度层使得根据PMPI生成的最终的沉浸视频的细节保留更多，质量更好。
MPI经过视频压缩后，可以展示为沉浸视频。图8展示了相应的视频处理过程。在编码端，视频采集装置采集的三维场景图像(如3D相机拍摄的图像)经过预处理得到MPI，MPI经压缩编码后作为码流传输。在解码端，对码流解码和后处理，以沉浸视频形式显示和播放。
在动态图像专家组(MPEG：Moving Picture Experts Group)关于沉浸视频的标准MPEG-I中，MPI的颜色图和透明度图等的原始存储(Raw storge)数据经过压缩之后得到的封装压缩存储(PCS)数据以及参考视点相机参数等图像数据可以作为MPEG中的沉浸式视频测试模型(TMIV：Test model of immersive video)的输入。MPI在输入TMIV之前，需要对其进行预处理，将其进行转换为PCS数据。
以图像分辨率为W×H，层数为S的MPI，即尺寸为W×H×S的MPI帧为例，可以转化为PCS数据形式，PCS数据中记录了MPI中每一像素的相关参数，包括：
N i,j：像素(i,j)的有效层的个数；
C i,j,k：像素(i,j)的第k个有效层位置处的颜色数据如颜色值；
D i,j,k：像素(i,j)的第k个有效层的索引(index)(D i,j,k∈[1,S])；
T i,j,k：像素(i,j)的第k个有效层位置处的透明度值。
对于普通MPI而言，像素(i,j)包含在MPI的S个层中，像素(i,j)的透明度值不为0的层为像素(i,j)的有效层。
图9所示是按照上述参数封装的MPI的PCS数据的一个示例。
可以看出，尺寸为W×H×S的MPI的原始存储数据并不会完全保留到PCS数据中。在实际情况中，一个像素(pixel)在一些平面层的值是无效的(即该像素是完全透明的，没有有效信息)。因而对于像素(i,j)，只需要将像素(i,j)在S个平面层的N i,j个有效平面层的信息保留下来即可。值得注意的是，每一个像素对应的有效平面层数是不确定的。显然，压缩后的PCS数据减少了MPI占用的存储空间。除此之外，PCS数据的存储方式减少了后续解码过程中的存储器访问次数。已知MPI每个平面的尺寸W×H，只需要两次存储器访问操作即可将整个MPI帧读取到内存中。
对于普通MPI而言，在设定时间内的多个MPI帧的起始深度和终止深度是相同的，且MPI中多个层的分布规则是已知的。根据起始深度和终止深度就可以计算得到MPI中每一层的深度。MPI帧的起始深度和终止深度可以记录在MPI帧的帧参数中，不需要写入到单个MPI帧的PCS数据中，因此单个MPI的PCS数据中并不需要额外地记录像素的有效层的深度信息。
PMPI与普通MPI一样，也可以作为视频帧进行压缩编码，PMPI可以根据三维场景的图像直接生成，也可以在普通MPI的基础上生成。对PMPI编码之前，也需要将PMPI的原始存储数据转换为PCS数据。
如上文可知，PMPI包括多个sMPI，每一sMPI包括的多个层中，离参考视点最近的一个层的深度为该sMPI的起始深度，离参考视点最远的一个层的深度为该sMPI的终止深度，其他层的深度介于该sMPI的起始深度和终止深度之间，多个层也可以按照设定的规则例如等间距或等视距分布。因此在获知sMPI的起始深度和终止深度后，可以计算出sMPI每一层的深度。不同PMPI中的sMPI的终止深度设置为相同。但是不同PMPI中sMPI的起始深度 与其表征的场景区域的深度信息有关，并不是预先设定的和固定不变的。因此将本公开实施例PMPI的原始存储数据转化为PCS数据时，需要提供起始深度信息以使解码端准确计算出像素的有效层的深度。
为此，本公开一实施例提供了一种多平面图像的数据处理方法，如图10所示，包括：
步骤410，获取分块多平面图像PMPI的原始存储数据，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域；
步骤420，将所述PMPI的原始存储数据转换为封装压缩存储PCS数据，所述PCS数据用于确定所述PMPI中像素的有效层的深度及像素在有效层上的颜色和透明度。
本公开一示例性的实施例中，所述PMPI采用如本公开任一实施例所述的生成方法生成，所述PMPI中的每一像素包含在一个sMPI中，且该sMPI包括的多个层均记录有该像素的颜色值和透明度值。普通PMI中的像素包含在普通PMI的所有层中，而PMPI是分块的，因此PMPI中的像素包含在一个sMPI的所有层中，文中将包含该像素的sMPI称为该像素所在的sMPI。在像素所在sMPI的所有层中均记录有该像素的颜色值和透明度值，但这些层中可能只有部分是该像素的有效层。在MPI的相关视频标准(如MPEG的沉浸式视频的相关标准)中，MPI中像素的有效层可以是MPI中该像素的透明度大于设定阈值(如0)的层。本公开实施例PMPI中像素的有效层可以遵循上述标准中的规定，例如，PMPI中像素的有效层指PMPI中包含该像素的sPMI中该像素的透明度大于设定阈值(如0)的层。一个像素的有效层可以有一层或多层，根据实际场景而定。
本公开一示例性的实施例中，所述PCS数据包括PMPI帧的帧数据和帧参数。
在本实施例的一个示例中，所述PCS数据中一个PMPI帧的帧数据包括：
该PMPI帧中每一sMPI的起始深度；及
该PMPI帧中每一像素的以下数据：该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在本实施例的另一示例中，所述PCS数据中一个PMPI帧的帧数据包括：
该PMPI帧中每一sMPI的起始深度；及
该PMPI帧中每一像素的以下数据：该像素所在sMPI的索引，该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在本实施例的又一示例中，所述PCS数据中一个PMPI帧的帧数据包括：该PMPI帧中每一像素的以下数据，该像素所在sMPI的起始深度；及该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在上述三个示例中，所述PCS数据中一个PMPI帧的帧数据均可以增加一个参数即：该PMPI帧中每一像素的有效层的个数。增加该参数有利于提高数据编码和解析的效率。
在本实施例的一个示例中，所述PCS数据还包括PMPI帧的帧参数，所述PCS数据中的PMPI帧的帧参数包括以下参数中的一种或任意组合：
PMPI帧的分辩率；
PMPI帧中sMPI的个数；
为PMPI帧中sMPI统一设置的层数；
为PMPI帧中sMPI统一设置的层的分布规则；
为PMPI帧中sMPI统一设置的终止深度；
使用M×N网格划分三维场景时M,N的取值。
本示例PMPI帧的帧参数可以适用于图11、图12和图13所示的实施例，以下不再重复说明。
本公开一示例性的实施例中，提出了第一种适用于本公开实施例PMPI的PCS数据格式，所述PCS数据中一个PMPI的帧数据包括：
所述PMPI中每一sMPI的起始深度；及
所述PMPI中每一像素的以下参数：
该像素的有效层的个数；
该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在本实施例中，假定PMPI的图像分辨率为W×H，采用M×N网格划分，PMPI包括的sMPI的个数为M×N，每一sMPI的层数均为S。则该PMPI的PCS数据格式如图11所示，PMPI中一个PMPI帧的帧数据包括：
DP x,y：用于表征网格(x,y)所代表场景区域的sMPI的起始深度，x∈[1,M]，y∈[1,N]；
N i,j：像素(i,j)的有效层的个数，i∈[1,H]，j∈[1,W]；
C i,j,k：像素(i,j)的第k个有效层位置处的颜色数据如颜色值；
D i,j,k：像素(i,j)的第k个有效层的索引(index)，D i,j,k∈[1,S]；
T i,j,k：像素(i,j)的第k个有效层位置处的透明度数据如透明度值。
本实施例在PMPI帧的帧数据中写入了PMPI帧中每一个sMPI的起始深度，而像素(i,j)所在的sMPI可以根据i,j和划分规则确定，结合帧参数中的sMPI的终止深度、层数和层的分布规则，可以计算出像素(i,j)所在sMPI的每一层的深度，再根据像素(i,j)的所有有效层的索引，就可以确定出像素(i,j)的每一个有效层的深度，用于后续的编码处理。
本公开一示例性的实施例中，提出了第二种适用于本公开实施例PMPI的PCS数据格式，所述PCS数据中一个PMPI的帧数据包括：
所述PMPI中每一sMPI的起始深度；及
所述PMPI中每一像素的以下参数：
该像素的有效层的个数；
该像素所在sMPI的索引；
该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在本实施例中，假定PMPI的图像分辨率为W×H，划分成的sMPI的个数为M，每一sMPI的层数均为S。则该PMPI的PCS数据格式如图12所示，PMPI中一个PMPI帧的帧数据包括：
DP m：第m个sMPI的起始深度，m∈[1,M]；
N i,j：像素(i,j)的有效层的个数，i∈[1,H]，j∈[1,W]；
I i,j：像素(i,j)所在的sMPI的索引；
C i,j,k：像素(i,j)的第k个有效层位置处的颜色数据如颜色值；
D i,j,k：像素(i,j)的第k个有效层的索引(index)，D i,j,k∈[1,S]；
T i,j,k：像素(i,j)的第k个有效层位置处的透明度数据如透明度值。
本实施例与上一实施例相比。在PMPI帧的帧数据中即写入了PMPI帧中每一个sMPI的起始深度，也写入了像素(i,j)所在的sMPI的索引，因而即可以适用于对三维场景用网格划分的情况，也可以适用于对三维场景非网格划分的情况。
本公开一示例性的实施例中，提出了第二种适用于本公开实施例PMPI的PCS数据格式，所述PCS数据中一个PMPI帧的帧数据包括该PMPI中每一像素的以下参数：
该像素的有效层的个数；
该像素所在sMPI的起始深度；
该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
在本实施例中，假定PMPI的图像分辨率为W×H，PMPI包括的sMPI的个数为M，每一sMPI的层数均为S。则该PMPI的PCS数据格式如图13所示，PMPI中一个PMPI帧的帧数据包括以下参数：
N i,j：像素(i,j)的有效层的个数，i∈[1,H]，j∈[1,W]；
E i,j：像素(i,j)所在sMPI的起始深度；
C i,j,k：像素(i,j)的第k个有效层位置处的颜色数据如颜色值；
D i,j,k：像素(i,j)的第k个有效层的索引(index)，D i,j,k∈[1,S]；
T i,j,k：像素(i,j)的第k个有效层位置处的透明度值。
在本实施例中，所述多个sMPI的起始深度的数据表现为PMPI中每一像素所在sMPI的起始深度，即像素所在sMPI的起始深度直接写入到PMPI帧的帧数据中，其便于确定像素的有效层的深度，但可能会影响编码的效率。
PMPI的PCS数据用于确定所述PMPI中像素的有效层的深度及像素在有效层上的颜色和透明度的参数，除了上述实施例提供的数据格式外，也可以采用其他的数据格式，本公开对此不做局限。
以上适用于PMPI的PCS数据格式通过在PCS数据中添加sMPI的起始深度的相关信息，使得解码端可以结合sMPI的起始深度计算出像素的有效层的深度，从而准确恢复出PMPI的图像。
图14所示是一个可以用于本公开实施例的MPI编码装置的架构图，MPI编码装置10的输入数据是源MPI(如PMPI)的PCS数据，PCS数据包括但不限于图像参数(View parameters)(也可以称为视图参数，如参考视点相机参数等)、纹理属性部分(Texture Attribute component)的数据和透明度属性部分(Transparency Attribute component)的数据等。
如图14所示，MPI编码装置10包括：
MPI掩膜生成(Create mask from MPI)单元101设置为根据输入数据生成MPI掩膜。在一个示例中，可以根据透明度的阈值对MPI层中的像素点(也可称为采样点)进行筛选，得到每一层的掩膜(mask)。这是为了将每一层上透明度大的位置(也可称为像素)和透明度小的位置(也可称为像素)进行区分，将透明度大的位置屏蔽掉，以减少数据量。MPI掩膜生成单元101对一段时间(intra-period)内的所有MPI帧实施上述操作。假设MPI帧尺寸为 W×H×S，一段时间(intra-period)内包含的帧数为M。则经过MPI掩膜生成单元101处理之后，得到M个W×H×S的掩膜(mask)。
MPI掩膜聚合(Aggregate MPI masks)单元103设置为对M个W×H×S的掩膜中位于相同层上的多个掩膜取并集，得到一个W×H×S的掩膜。
有效像素聚类(Cluster Active pixels)单元105设置为将每一层的掩膜中透明度大于阈值的区域(有效信息区域)聚类为一系列的簇(cluster)；
簇分割(Split Clusters)单元107设置为将有效像素聚类单元105聚类得到的簇进行分割，得到经过分割处理后的簇；
块封装(Pack patches)单元109设置为将每一个块(patch，如包含簇的矩形区域)对应的纹理图和透明度图重新组合成一张图，编码为图集(atlas)数据进行传输。
视频数据生成(Generate video data)单元111设置为根据块封装单元109输出的atlas数据生成视频数据进行传输，所述视频数据包括纹理属性视频数据(Texture attribute video data(raw))、透明度属性视频数据(Transparency attribute video data(raw))等。
参数编码单元113设置为根据源MPI数据编码，得到编码后图像参数，所述编码后图像参数可以包括图像参数列表(View parameters list)、参数集(Parameter set)等。
基于上述编码装置架构对MPI编码时，先将MPI中的采样点根据透明度的阈值进行筛选，得到每个平面层的掩膜(mask)。假设MPI的尺寸为W×H×S，设定的一段时间(intra-period)内包含的帧数为M，对所述一段时间内的所有MPI帧实施上述操作，得到M个W×H×S的掩膜(mask)。接着将相同平面层上的掩膜取并集，即得到一个W×H×S的掩膜。再将每一层的掩膜中透明度大于阈值的区域(有效信息区域)通过聚类、分割为一系列簇(cluster)。Cluster经过融合、分解等步骤得到小的块(patch)。然后将每一个块patch对应的纹理图(即颜色图)和透明度图分别重新组合成一张图，编码为atlas数据进行传输。
本公开一实施例提供了一种多平面图像的编码方法，可用于PMPI的编码，如图15所示，所述编码方法包括：
步骤510，接收PMPI的PCS数据，所述PMPI包括多个sMPI以分别表征三维场景划分成的多个场景区域，所述PCS数据包括图像参数，及纹理属性部分和透明度属性部分的数据；
步骤520，基于所述PCS数据对所述PMPI进行编码，得到编码后的图像参数和atlas数据。
本实施例中，所述PCS数据包含sMPI的起始深度信息，可以封装在图像参数和/或纹理属性部分和透明度属性部分的数据中，编码时将sMPI的起始深度信息写入码流，可以封装在编码后的图像参数和/或atlas数据中。
在本公开一示例性的实施例中，所述基于所述PCS数据对所述PMPI进行编码，包括：对所述PMPI包括的多个sMPI分别进行编码处理，其中，每一sMPI的编码可以按照与普通MPI(即表征整个三维场景)相同的编码方式进行编码处理，普通MPI的编码方式可以遵循相关标准中的规定。
在本公开一示例性的实施例中，所述PMPI的PCS数据按照本公开任一实施例所述的数据处理方法、从所述PMPI的原始存储数据转换得到。
在本公开一示例性的实施例中，
所述PCS数据中的图像参数和所述编码后的图像参数均包括以下数据中的至少一种：所述PCS数据中PMPI帧的部分或全部帧参数、PMPI帧中每一sMPI的起始深度；
所述PCS数据中的纹理属性部分和透明度属性部分的数据，包括所述PCS数据中PMPI 帧的部分或全部帧数据，所述纹理属性部分的数据包括颜色数据；
所述atlas数据包括编码时确定的块(patch)的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
在本公开实施例中，PMPI中的sMPI的起始深度可以写入到编码后的图像参数和/或atlas数据中。
本公开一实施例提供了一种多平面图像的解码方法，如图16所示，包括：
步骤610，接收分块多平面图像PMPI的编码码流，所述编码码流中包括PMPI的图像参数和atlas数据；
本实施例中，编码码流中的所述PMPI的图像参数和/或图集数据包含sMPI的起始深度信息。
步骤620，对所述编码码流进行解码，获取所述PMPI的图像参数，及纹理属性部分和透明度属性部分的数据；
其中，所述PMPI包括多个子多平面图像SMPI以分别表征三维场景划分成的多个场景区域。
在本公开一示例性的实施例中，所述PMPI的图像参数包括以下参数中的一种或任意组合：
PMPI帧的分辩率；
PMPI帧中sMPI的个数；
为PMPI帧中sMPI统一设置的层数；
为PMPI帧中sMPI统一设置的层的分布规则；
为PMPI帧中sMPI统一设置的终止深度；
使用M×N网格划分三维场景时M,N的取值；
PMPI帧中每一sMPI的起始深度。
在本公开一示例性的实施例中，所述atlas数据包括编码时确定的块的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
本公开一实施例还提供了一种码流，其中，所述码流通过对分块多平面图像PMPI编码生成，所述码流中包括所述PMPI的图像参数和atlas数据；所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域。本实施例中，码流中所述PMPI的图像参数和/或图集数据包含sMPI的起始深度信息。
在本公开一示例性的实施例中，所述PMPI的图像参数包括以下参数中的一种或任意组合：
PMPI帧的分辩率；
PMPI帧中sMPI的个数；
为PMPI帧中sMPI统一设置的层数；
为PMPI帧中sMPI统一设置的层的分布规则；
为PMPI帧中sMPI统一设置的终止深度；
使用M×N网格划分三维场景时M,N的取值；
PMPI帧中每一sMPI的起始深度。
在本公开一示例性的实施例中，所述atlas数据包括编码时确定的块的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
本公开一实施例还提供了一种多平面图像的生成装置，如图17所示，包括处理器5以及存储有可在所述处理器5上运行的计算机程序的存储器6，其中，所述处理器5执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的生成方法。
本公开一实施例还提供了一种多平面图像数据处理装置，也可参见图17，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的数据处理方法。
本公开一实施例还提供了一种多平面图像的编码装置，也可参见图17，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的编码方法。
本公开一实施例还提供了一种多平面图像的解码装置，也可参见图17，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的多平面图像的解码方法。
本公开一实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的多平面图像的生成方法、数据处理方法、编码方法或解码方法。
在一个或多个示例性实施例中，所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输，且由基于硬件的处理单元执行。计算机可读介质可包含对应于例如数据存储介质等有形介质的计算机可读存储介质，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何介质的通信介质。以此方式，计算机可读介质通常可对应于非暂时性的有形计算机可读存储介质或例如信号或载波等通信介质。数据存储介质可为可由一个或多个计算机或者一个或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
举例来说且并非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它介质。而且，还可以将任何连接称作计算机可读介质举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双纹线、DSL或例如红外线、无线电及微波等无线技术包含于介质的定义中。然而应了解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它瞬时(瞬态)介质，而是针对非瞬时有形存储介质。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘或蓝光光盘等，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读介质的范围内。
可由例如一个或多个数字信号理器(DSP)、通用微处理器、专用集成电路(ASIC)现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或多个电路或逻辑元件中。
本公开实施例的技术方案可在广泛多种装置或设备中实施，包含无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开实施例中描各种组件、模块或单元以强调经配置以执行所描述的技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或多个处理器)的集合结合合适软件和/或固件来提供。

Claims (30)

  1. 一种多平面图像的生成方法，包括：
    将三维场景划分成多个场景区域；及
    生成分块多平面图像PMPI，所述PMPI包括用于分别表征多个所述场景区域的多个子多平面图像sMPI，所述sMPI的起始深度至少根据所述sMPI所表征场景区域的深度信息确定。
  2. 根据权利要求1所述的生成方法，其中：
    所述sMPI的起始深度至少根据所述sMPI所表征场景区域的深度信息确定，包括：
    所述sMPI的起始深度根据第一区域的最小深度确定，所述第一区域为所述sMPI所表征场景区域，或者所述第一区域为所述sMPI所表征场景区域和所述sMPI所表征场景区域的相邻区域所共同组成的区域。
  3. 根据权利要求2所述的生成方法，其中：
    所述sMPI的起始深度根据第一区域的最小深度确定，包括：所述sMPI的起始深度设置为所述第一区域的最小深度。
  4. 根据权利要求2或3所述的生成方法，其中：
    所述sMPI所表征场景区域的相邻区域包括所述三维场景中位于所述sMPI所表征场景区域周边的一个或多个场景区域。
  5. 根据权利要求1所述的生成方法，其中：
    所述sMPI包括在所表征场景区域的不同深度采样得到的多个层，所述多个层均包括颜色图和透明度图。
  6. 根据权利要求5所述的生成方法，其中：
    所述生成PMPI，包括：
    确定多个所述sMPI的起始深度和终止深度，其中，多个所述sMPI的起始深度至少根据各自所表征场景区域的深度信息分别确定，多个所述sMPI的终止深度设置为相同；
    对多个所述sMPI中的每一sMPI，根据该sMPI的起始深度和终止深度，以及该sMPI的层数和层的分布规则确定该sMPI包括的每一层的深度，在该sMPI所表征场景区域的所述每一层的深度处采样，得到该sMPI包括的每一层的颜色图和透明度图。
  7. 根据权利要求6所述的生成方法，其中：
    多个所述sMPI与多个所述场景区域一一对应，多个所述sMPI的层数和层的分布规则设置为相同。
  8. 根据权利要求1所述的生成方法，其中：
    所述将三维场景划分成多个场景区域，包括：根据预设的场景划分规则将三维场景划分成多个场景区域，其中，根据所述场景划分规则可以确定划分成的多个场景区域的以下一种或任意组合信息：场景区域的个数、场景区域的形状、场景区域的大小、场景区域的 位置；
    其中，多个所述场景区域的大小相同或不同，多个所述场景区域的形状为规则形状或不规则形状中的一种或者组合，所述规则形状包括三角形、矩形、五边形、六边形中的一种或任意组合。
  9. 根据权利要求1或8所述的生成方法，其中：
    所述根据预设的场景划分规则将所述三维场景划分成多个场景区域，包括：使用M×N的网格将所述三维场景划分为M×N个场景区域，M,N为正整数，且M×N≥2。
  10. 根据权利要求1所述的生成方法，其中：
    所述生成的PMPI的原始存储数据包括PMPI帧的帧参数和帧数据；
    其中，所述原始存储数据中的PMPI帧的帧参数包括以下参数中的一种或任意组合：
    PMPI帧的分辩率；
    PMPI帧中sMPI的个数；
    为PMPI帧中sMPI统一设置的层数；
    为PMPI帧中sMPI统一设置的层的分布规则；
    为PMPI帧中sMPI统一设置的终止深度；
    使用M×N网格划分三维场景时M,N的取值；
    其中，所述原始存储数据中的每一PMPI帧的帧数据包括：该PMPI帧包括的每一sMPI中每一层的颜色图数据和透明度图数据。
  11. 一种多平面图像的数据处理方法，包括：
    获取分块多平面图像PMPI的原始存储数据，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域；
    将所述PMPI的原始存储数据转换为封装压缩存储PCS数据，所述PCS数据用于确定所述PMPI中像素的有效层的深度及像素在有效层上的颜色和透明度。
  12. 根据权利要求11所述的数据处理方法，其中：
    所述PMPI采用如权利要求1至10中任一所述的生成方法生成。
  13. 根据权利要求11所述的数据处理方法，其中：
    所述PCS数据包括PMPI帧的帧数据，所述PCS数据中一个PMPI帧的帧数据包括：
    该PMPI帧中每一sMPI的起始深度；及该PMPI帧中每一像素的以下数据：该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引；或者
    该PMPI帧中每一sMPI的起始深度；及该PMPI帧中每一像素的以下数据：该像素所在sMPI的索引，该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引；或者
    该PMPI帧中每一像素的以下数据，该像素所在sMPI的起始深度；及该像素在每一有效层上的颜色数据、透明度数据和该有效层在该像素所在sMPI中的层索引。
  14. 根据权利要求13所述的数据处理方法，其中：
    所述PCS数据中的一个PMPI帧的帧数据还包括：该PMPI帧中每一像素的有效层的个数。
  15. 根据权利要求11或12或13所述的数据处理方法，其中：
    所述PCS数据还包括PMPI帧的帧参数，所述PCS数据中的PMPI帧的帧参数包括以下参数中的一种或任意组合：
    PMPI帧的分辩率；
    PMPI帧中sMPI的个数；
    为PMPI帧中sMPI统一设置的层数；
    为PMPI帧中sMPI统一设置的层的分布规则；
    为PMPI帧中sMPI统一设置的终止深度；
    使用M×N网格划分三维场景时M,N的取值。
  16. 一种多平面图像的编码方法，包括：
    接收分块多平面图像PMPI的封装压缩存储PCS数据，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域，所述PCS数据包括图像参数，及纹理属性部分和透明度属性部分的数据；
    基于所述PCS数据对所述PMPI进行编码，得到编码后的图像参数和图集数据。
  17. 根据权利要求16所述的编码方法，其中：
    所述基于所述PCS数据对所述PMPI进行编码，包括：对所述PMPI包括的多个sMPI分别进行编码处理。
  18. 根据权利要求16或17所述的编码方法，其中：
    所述PMPI的PCS数据按照如权利要求11至15中任一项所述的数据处理方法、从所述PMPI的原始存储数据转换得到。
  19. 根据权利要求18所述的编码方法，其中：
    所述PCS数据中的图像参数和所述编码后的图像参数均包括以下数据中的至少一种：所述PCS数据中PMPI帧的部分或全部帧参数、PMPI帧中每一sMPI的起始深度；
    所述PCS数据中的纹理属性部分和透明度属性部分的数据，包括所述PCS数据中PMPI帧的部分或全部帧数据，所述纹理属性部分的数据包括颜色数据；
    所述图集数据包括编码时确定的块的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
  20. 一种多平面图像的解码方法，包括：
    对分块多平面图像PMPI的编码码流进行解码，获取所述PMPI的图像参数，及纹理属性部分和透明度属性部分的数据；
    其中，所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场 景区域，所述编码码流中包括PMPI的图像参数和图集数据。
  21. 根据权利要求20所述的解码方法，其中：
    所述PMPI的图像参数包括以下参数中的一种或任意组合：
    PMPI帧的分辩率；
    PMPI帧中sMPI的个数；
    为PMPI帧中sMPI统一设置的层数；
    为PMPI帧中sMPI统一设置的层的分布规则；
    为PMPI帧中sMPI统一设置的终止深度；
    使用M×N网格划分三维场景时M,N的取值；
    PMPI帧中每一sMPI的起始深度。
  22. 根据权利要求20或21所述的解码方法，其中：
    所述图集数据包括编码时确定的块的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
  23. 一种码流，其中，所述码流通过对分块多平面图像PMPI编码生成，所述码流中包括所述PMPI的图像参数和图集数据；所述PMPI包括多个子多平面图像sMPI以分别表征三维场景划分成的多个场景区域。
  24. 根据权利要求23所述的码流，其中：
    所述PMPI的图像参数包括以下参数中的一种或任意组合：
    PMPI帧的分辩率；
    PMPI帧中sMPI的个数；
    为PMPI帧中sMPI统一设置的层数；
    为PMPI帧中sMPI统一设置的层的分布规则；
    为PMPI帧中sMPI统一设置的终止深度；
    使用M×N网格划分三维场景时M,N的取值；
    PMPI帧中每一sMPI的起始深度。
  25. 根据权利要求23或24所述的码流，其中：
    所述图集数据包括编码时确定的块的数据和参数，所述数据包括颜色数据和透明度数据，所述参数包括以下一种或任意组合：数据所属层的标识信息、数据所属层的起始深度、数据所属sMPI的标识信息、数据所属sMPI的起始深度和数据所属PMPI的标识信息。
  26. 一种多平面图像的生成装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求1至10中任一所述的多平面图像的生成方法。
  27. 一种多平面图像的数据处理装置，包括处理器以及存储有计算机程序的存储器， 其中，所述处理器执行所述计算机程序时实现如权利要求11至15中任一所述的多平面图像的数据处理方法。
  28. 一种多平面图像的编码装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求16至19中任一所述的多平面图像的编码方法。
  29. 一种多平面图像的解码装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求20至22中任一所述的多平面图像的解码方法。
  30. 一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如权利要求1至22中任一所述的方法。
CN202180102720.7A 2021-09-30 2021-09-30 多平面图像的生成、数据处理、编码和解码方法、装置 Pending CN117999582A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/122390 WO2023050396A1 (zh) 2021-09-30 2021-09-30 多平面图像的生成、数据处理、编码和解码方法、装置

Publications (1)

Publication Number Publication Date
CN117999582A true CN117999582A (zh) 2024-05-07

Family

ID=85781177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180102720.7A Pending CN117999582A (zh) 2021-09-30 2021-09-30 多平面图像的生成、数据处理、编码和解码方法、装置

Country Status (6)

Country Link
US (1) US20240223767A1 (zh)
EP (1) EP4411650A1 (zh)
JP (1) JP2024535339A (zh)
KR (1) KR20240089119A (zh)
CN (1) CN117999582A (zh)
WO (1) WO2023050396A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143721A (zh) * 2020-05-06 2021-11-16 法商內數位Ｃｅ專利控股公司 具有阿爾法層的3d場景傳輸

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118905B2 (en) * 2011-12-30 2015-08-25 Google Inc. Multiplane panoramas of long scenes
US10911732B2 (en) * 2019-01-14 2021-02-02 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
US11330252B2 (en) * 2020-02-12 2022-05-10 At&T Intellectual Property I, L.P. Apparatus and method for providing content with multiplane image transcoding
CN112233165B (zh) * 2020-10-15 2024-06-21 大连理工大学 一种基于多平面图像学习视角合成的基线扩展实现方法

Also Published As

Publication number Publication date
JP2024535339A (ja) 2024-09-30
EP4411650A1 (en) 2024-08-07
US20240223767A1 (en) 2024-07-04
KR20240089119A (ko) 2024-06-20
WO2023050396A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
US12020461B2 (en) Method and apparatus for Haar-based point cloud coding
CN112017228B (zh) 一种对物体三维重建的方法及相关设备
US20240223767A1 (en) Method and apparatus for encoding and decoding multiplane image
US11711535B2 (en) Video-based point cloud compression model to world signaling information
JP7389751B2 (ja) 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
WO2023132919A1 (en) Scalable framework for point cloud compression
KR20220011180A (ko) 체적 비디오 인코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US20220180567A1 (en) Method and apparatus for point cloud coding
WO2023179710A1 (zh) 编码方法及终端
WO2023272510A1 (zh) 多平面图像的生成、数据处理、编码和解码方法、装置
CN116848553A (zh) 基于二维uv地图集采样的用于动态网格压缩的方法
WO2019211519A1 (en) A method and an apparatus for volumetric video encoding and decoding
US11727536B2 (en) Method and apparatus for geometric smoothing
WO2022257143A1 (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质
WO2023197990A1 (zh) 编码方法、解码方法及终端
WO2023179705A1 (zh) 编码、解码方法、装置及设备
WO2022183611A1 (zh) 帧内预测方法及装置、编解码器、设备、存储介质
US20230306648A1 (en) Mesh parameterization with temporally correlated uv atlases
WO2022116122A1 (zh) 帧内预测方法及装置、编解码器、设备、存储介质
KR20240001203A (ko) Tearing transform을 통한 학습 기반 포인트 클라우드 압축
CN117396923A (zh) 利用用于动态网格压缩的边界信息的三角形化方法
EP4449715A1 (en) Hybrid framework for point cloud compression
KR20240066268A (ko) 일반적인 토폴로지의 차트를 사용한 atlas 샘플링 기반 메시 압축
CN118119975A (zh) 编码和解码方法、编码器、解码器及软件，以对点云编码和解码
CN117896536A (zh) 点云解码、编码方法、介质、电子设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination