CN112470480A - 图像处理装置和方法 - Google Patents

Abstract

本公开内容涉及使得可以抑制针对点云的基于视频的方法中对编码数据的解码处理的负荷的增加的图像处理装置和方法。对与点云的多个点群模型相关的参数进行变换，对在其上投影有已经变换参数的多个点群模型的二维平面图像进行编码，并且生成包括二维图像的编码数据和变换信息的比特流，变换信息是与参数的变换相关的信息。本公开内容例如适用于信息处理装置、图像处理装置、电子设备、信息处理方法或程序。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置和方法，更特别地涉及能够防止针对点云的基于视频的方法中对编码数据的解码处理的负荷的增加的图像处理装置和方法。

背景技术

作为对表示诸如点云的三维结构的3D数据进行编码的方法，例如，已经存在使用诸如八叉树的体素的编码(例如，参见非专利文献1)。

近年来，提出了如下方法，例如，将关于点云的位置和颜色信息以小区域的形式投影到二维平面上并且通过用于二维图像的编码方法对位置和颜色信息进行编码(在下文中，该方法也将被称为基于视频的方法)(例如，参见非专利文献2至非专利文献4)。

在这样的编码中，当在点云中存在多个点云模型时，通过传统方法将点云模型彼此独立地编码并且转换为彼此不同的比特流。

引用列表

非专利文献

非专利文献1：R.Mekuria,Student Member IEEE,and K.Blom and P.Cesar.,Members IEEE,“Design,Implementation and Evaluation of a Point Cloud Codec forTele-Immersive Video”,tcsvt_paper_submitted_february.pdf

非专利文献2：Tim Golla and Reinhard Klein,“Real-time Point CloudCompression”,IEEE,2015

非专利文献3：K.Mammou,“Video-based and Hierarchical Approaches PointCloud Compression”,MPEG m41649,Oct.2017

非专利文献4：K.Mammou,“PCC Test Model Category 2v0”,N17248MPEG outputdocument,October 2017

发明内容

本发明要解决的问题

然而，在这种方法的情况下，当点云模型的数目增加时，解码器所需实例的数目可能将增加。

鉴于这样的情况而提出本公开内容，并且本公开内容旨在防止在基于视频的方法中对点云的编码数据进行解码所需的实例数目的增加，并且防止解码处理的负荷的增加。

问题的解决方案

本技术的一个方面的图像处理装置是包括以下单元的图像处理装置：变换单元，该变换单元对与点云的多个点云模型相关的参数进行变换；以及编码单元，该编码单元对在其上投影有具有由变换单元变换的参数的多个点云模型的二维平面图像进行编码，并且生成包含二维平面图像的编码数据和变换信息的比特流，变换信息是关于由变换单元变换的参数的变换的信息。

本技术的一个方面的图像处理方法是包括以下操作的图像处理方法：对与点云的多个点云模型相关的参数进行变换；以及对在其上投影有具有经变换的参数的多个点云模型的二维平面图像进行编码，并且生成包含二维平面图像的编码数据和变换信息的比特流，变换信息是关于参数的变换的信息。

本技术的另一方面的图像处理装置是包括以下单元的图像处理装置：解码单元，该解码单元对比特流进行解码并且生成在其上投影有多个点云模型的二维平面图像和变换信息，变换信息是关于多个点云模型中的每个点云模型的参数的变换的信息；以及重建单元，该重建单元根据由解码单元生成的二维平面图像重建多个点云模型中的每个点云模型，并且基于变换信息对多个点云模型中的每个点云模型的参数进行逆变换。

本技术的另一方面的图像处理方法是包括以下操作的图像处理方法：对比特流进行解码并且生成在其上投影有多个点云模型的二维平面图像和变换信息，变换信息是关于多个点云模型中的每个点云模型的参数的变换的信息；以及根据生成的二维平面图像重建多个点云模型中的每个点云模型，并且基于变换信息对多个点云模型中的每个点云模型的参数进行逆变换。

本技术的又一方面的图像处理装置是包括以下单元的图像处理装置：投影单元，该投影单元将构成点云模型的多个部分点云模型投影到彼此独立设置的投影平面上；以及编码单元，该编码单元对二维平面图像和占用地图进行编码并且生成比特流，在二维平面图像上投影有由投影单元投影到各个投影平面上的部分点云模型的补丁，占用地图包含投影平面信息，投影平面信息是关于投影平面的信息。

本技术的又一方面的图像处理方法是包括以下操作的图像处理方法：将构成点云模型的多个部分点云模型投影到彼此独立设置的投影平面上；以及对二维平面图像和占用地图进行编码并且生成比特流，在二维平面图像上投影有被投影到各个投影平面上的部分点云模型的补丁，占用地图包含投影平面信息，投影平面信息是关于投影平面的信息。

本技术的再一方面的图像处理装置是包括以下单元的图像处理装置：解码单元，该解码单元对比特流进行解码并且生成二维平面图像和占用地图，在二维平面图像上投影有点云模型，占用地图包含投影平面信息，投影平面信息是关于点云模型中包括的多个部分点云模型中的每个部分点云模型的投影平面的信息；以及重建单元，该重建单元基于解码单元生成的二维平面图像以及占用地图中包含的投影平面信息，重建点云模型。

本技术的再一方面的图像处理方法是包括以下操作的图像处理方法：对比特流进行解码并且生成二维平面图像和占用地图，在二维平面图像上投影有点云模型，占用地图包含投影平面信息，投影平面信息是关于点云模型中包括的多个部分点云模型中的每个部分点云模型的投影平面的信息；以及基于生成的二维平面图像和占用地图中包含的投影平面信息，重建点云模型。

在本技术的一个方面的图像处理装置和方法中，对与点云的多个点云模型相关的参数进行变换，对在其上投影有具有经变换的参数的多个点云模型的二维平面图像进行编码，并且生成包含二维平面图像的编码数据和变换信息的比特流，变换信息是关于参数的变换的信息。

在本技术的另一方面的图像处理装置和方法中，对比特流进行解码并且生成在其上投影有多个点云模型的二维平面图像和变换信息，变换信息是关于多个点云模型中的每个点云模型的参数的变换的信息，根据生成的二维平面图像重建多个点云模型中的每个点云模型，并且基于变换信息对多个点云模型中的每个点云模型的参数进行逆变换。

在本技术的又一方面的图像处理装置和方法中，将构成点云模型的多个部分点云模型投影到彼此独立设置的投影平面上，对二维平面图像和占用地图进行编码并且生成比特流，在二维平面图像上投影有被投影到各个投影平面上的部分点云模型的补丁，占用地图包含投影平面信息，投影平面信息是关于投影平面的信息。

在本技术的再一图像处理装置和方法中，对比特流进行解码并且生成二维平面图像和占用地图，在二维平面图像上投影有点云模型，占用地图包含投影平面信息，投影平面信息是关于点云模型中包括的多个部分点云模型中的每个部分点云模型的投影平面的信息，基于生成的二维平面图像以及占用地图中包含的投影平面信息重建点云模型。

本发明的有益效果

根据本公开内容，可以对图像进行处理。特别地，可以防止在针对点云的基于视频的方法中对编码数据的解码处理的负荷的增加。

附图说明

[图1]图1是概述本技术的主要特征的图。

[图2]图2是用于说明应用了本技术的点云编码和解码的概要的图。

[图3]图3是用于说明应用了本技术的点云编码和解码的概要的图。

[图4]图4是示出编码设备的典型示例配置的框图。

[图5]图5是用于说明编码处理中的示例流程的流程图。

[图6]图6是用于说明变换处理中的示例流程的流程图。

[图7]图7是用于说明边界框设置处理中的示例流程的流程图。

[图8]图8是用于说明打包处理中的示例流程的流程图。

[图9]图9是用于说明BB信息生成处理中的示例流程的流程图。

[图10]图10是示出解码设备的典型示例配置的框图。

[图11]图11是用于说明解码处理中的示例流程的流程图。

[图12]图12是概述本技术的主要特征的图。

[图13]图13是用于说明应用了本技术的点云编码和解码的概要的图。

[图14]图14是示出编码设备的典型示例配置的框图。

[图15]图15是示出补丁分离单元的典型示例配置的框图。

[图16]图16是用于说明编码处理中的示例流程的流程图。

[图17]图17是用于说明补丁分离处理中的示例流程的流程图。

[图18]图18是用于说明划分处理中的示例流程的流程图。

[图19]图19是用于说明打包处理中的示例流程的流程图。

[图20]图20是示出解码设备的典型示例配置的框图。

[图21]图21是用于说明解码处理中的示例流程的流程图。

[图22]图22是示出计算机的典型示例配置的框图。

具体实施方式

以下是用于执行本公开内容的模式的描述(这些模式在下文中将被称为实施方式)。注意，将按以下顺序进行说明。

1.点云模型的变换

2.部分解码

3.第一实施方式(编码设备)

4.第二实施方式(解码设备)

5.局部投影平面控制

6.第三实施方式(编码设备)

7.第四实施方式(解码设备)

8.注释

<1.点云模型的变换>

<支持技术内容和术语的文献等>

本技术公开的范围不仅包括实施方式中公开的内容，而且包括在提交时已知的下述非专利文献中公开的内容。

非专利文献1：(上述)

非专利文献2：(上述)

非专利文献3：(上述)

非专利文献4：(上述)

非专利文献5：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union),“Advanced video coding for genericaudiovisual services”,H.264,04/2017

非专利文献6：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union),“High efficiency video coding”,H.265,12/2016

非专利文献7：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,andJill Boyce,“Algorithm Description of Joint Exploration Test Model 4”,JVET-G1001_v1,Joint Video Exploration Team(JVET)of ITU-T SG 16WP3and ISO/IEC JTC1/SC 29/WG 11 7th Meeting:Torino,IT,13-21July 2017

即，上面列出的非专利文献中公开的内容也是用于确定支持要求的基础。例如，当在实施方式中未直接公开非专利文献6中公开的四叉树块结构和非专利文献7中公开的四叉树加二叉树(QTBT)块结构时，这些结构在本技术的范围内，并且满足权利要求的支持要求。此外，例如，即使在没有直接描述这些技术术语的情况下，诸如解析、语法和语义的技术术语也在本技术的公开内容的范围内，并且满足权利要求的支持要求。

<点云>

已经有了诸如点云和网格的数据，点云表示具有关于点云的位置信息、属性信息等的三维结构，网格由顶点、边和平面形成并且使用多边形表示来限定三维形状。

例如，在点云的情况下，三维结构表示为大量点的集合(点云)。即，点云的数据由关于该点云中的各个点的位置信息和属性信息(例如，颜色等)形成。因此，数据结构相对简单，并且可以通过使用足够多的点以足够高的准确度来表示任何期望的三维结构。

<基于视频的方法的概要>

已经提出了基于视频的方法，用于以小区域的形式将关于这样的点云的位置和颜色信息投影到二维平面上，并且通过用于二维图像的编码方法来对位置信息和颜色信息进行编码。

在这种基于视频的方法中，输入的点云被划分成多个分段(也称为区域)，并且被逐个区域地投影到二维平面上。注意，如上所述，每个位置处的点云的数据(其是每个点的数据)由位置信息(几何(也称为深度)和属性信息(纹理)形成，并且被逐个区域地投影到二维平面上。

然后，将投影到二维平面上的每个分段(也称为补丁)放置在二维图像中，并且例如通过用于二维平面图像的编码方法(例如高级视频编码(AVC)或高效视频编码(HEVC))进行编码。

<点云模型的编码>

存在这样的点云包括由密集点云形成的多个点云模型的情况。例如，当多个人分散在开放空间中时，当包括整个开放空间的三维空间转变成点云时，在每个人的部分处形成密集点云(点云模型)。也就是说，形成多个点云模型。

在这样的情况下，如果将整个点云视为一个大的点云模型并且对其进行编码，则由于存在点稀疏的许多部分，因此编码效率可能将会下降。因此，提出了如下方法，用于对点云中包括的多个点云模型中的每个点云模型彼此独立地(例如，针对每个人)进行编码。然而，在这种情况下，针对每个点云模型生成比特流。因此，如果点云模型的数目增加，则比特流的数目也将增加，可能会引起解码器所需的实例的数目增加。例如，当点云中存在数百个点云模型时，可能将需要比解码单个比特流所需的实例数目大数百倍的实例。由于解码处理的负荷以这种方式增加，所以解码器的成本可能变得更高，并且处理时间可能变得更长。

<比特流数目的减少>

因此，多个点云模型被存储到一个比特流中。例如，如图1中的表中的顶行所示，多个点云模型被变换并被组合成单个组，并且对该单个组进行编码，使得多个点云模型被存储到单个比特流中。

通过这样做，即使当点云中存在多个点云模型时，也可以防止比特流数目的增加，同时防止编码效率的降低。因此，可以防止解码所需的实例的数目的增加。即，可以防止解码处理的负荷的增加。因此，可以防止解码器的成本的增加。此外，可以防止解码处理的处理时间的增加。

<点云模型的变换>

更具体地，如图1中的表中的行#1所示，对与每个点云模型相关的参数进行变换，并且将点云模型组合成具有较少点稀疏部分的一个组(每个点云模型的变换)。即，该组被共同编码并被转变成单个比特流。

例如，如图2中的最左列所示，在点云中存在点云模型11-1至点云模型11-4，并且针对各个点云模型设置边界框12-1至边界框12-4。当在描述中未将点云模型11-1至点云模型11-4彼此区分时，这些点云模型被称为点云模型11。此外，当在描述中未将边界框12-1至边界框12-4彼此区分时，这些边界框被称为边界框12。即，这些点云模型11彼此相距一定距离，并且针对每个点云模型11设置边界框12。

在编码时，如图2中从左起第二列所示，变换和收集这些点云模型11的参数，以形成具有较少点稀疏部分的组。在图2所示的示例中，形成包括边界框12-1至边界框12-4的组，并且针对整个组设置用于编码的边界框13。

可以适当地选择该变换的细节(要变换的参数)。例如，如图1中的表所示，可以变换点云模型11的坐标。例如，作为坐标变换，可以将点云模型11的坐标进行移位(可以移动点云模型11的位置)。即，可以将图2中最左列所示的点云中的点云模型11-1至点云模型11-4的位置中的每个位置在空间上彼此分离。通过这样的变换，例如，可以使各个点云模型的位置彼此更接近，并且因此，可以减少组中的稀疏部分。

此外，可以旋转点云模型11的坐标(可以旋转点云模型11的姿势)。即，图2中最左列所示的点云中的点云模型11-1至点云模型11-4的姿势(取向)中的每个姿势(每个取向)可以彼此不同。通过这样的变换，例如，可以使各个点云模型的姿势一致，并且因此，可以减少组中的稀疏部分。

此外，如图1中的表所示，例如，可以变换点云模型11的时间(时间戳)。即，图2中最左列所示的点云中的点云模型11-1至点云模型11-4的位置中的每个位置可以在时间上彼此分离(点云模型可以包括在与其他点云模型不同的时间存在的点云模型)。通过这样的变换，例如，可以对准各个点云模型的时间，并且因此，可以将在不同时间处存在的点云模型组合成一个组。

此外，如图1中的表所示，例如，可以变换点云模型11的尺寸(规模)。即，图2中最左列所示的点云中的点云模型11-1至点云模型11-4的规模中的每个规模可以彼此不同。通过这样的变换，例如，可以使各个点云模型的尺寸(规模)一致，或者可以使空间方向上的分辨率一致。

此外，如图1中的表所示，例如，可以变换点云模型11的帧速率。即，图2中最左列所示的点云中的点云模型11-1至点云模型11-4的帧速率中的每个帧速率可以彼此不同。通过这样的变换，例如，可以使各个点云模型的帧速率(其是时间方向上的分辨率)一致。

在图2中，在编码时，将从左起第二列所示的用于编码的边界框13中的点云模型的组投影到二维平面上，并且将其打包到视频帧中。以这种方式，生成包含属性信息(纹理)的彩色视频帧14、包含位置信息(深度)的几何视频帧15和占用地图16，如从左起第三列所示。

然后，通过用于二维图像的编码方法对这些视频帧进行编码，使得生成2D比特流17(包括占用地图18和头部19)，如图2中的最右列所示。即，将点云模型11-1至点云模型11-4的编码数据存储到该单个2D比特流17中。

以这种方式，可以防止比特流数目的增加，并且可以防止解码处理的负荷的增加。

<变换信息的信号>

在解码的情况下，执行上述处理的逆处理。即，执行逆变换处理以使各个点云模型从图2中从左起第二列所示的组的状态返回到图2中最左列所示的原始状态。因此，为了使得能够在解码时进行该逆变换，如图1中的表中的行#1所示，生成变换信息，并且将(例如，包括在比特流中的)变换信息发送至解码侧(即，执行用信号通知变换信息)，变换信息指示编码时对点云模型执行的参数变换(从图2中的最左列所示的状态到从左起第二列所示的状态的变换)的细节。

该变换信息可以是指示变换的细节(变换参数的变化量)的任何信息。例如，如图1中的表所示，变换信息可以是指示变换参数(例如，移位、旋转、时间戳、规模、帧速率等)变换前与变换后的比率的信息。替选地，例如，如图1的表所示，变换信息可以是指示变换参数(例如，移位、旋转、时间戳、规模、帧速率等)变换前与变换后的差异的信息。

此外，可以使用任何适当的方法来发送该变换信息。例如，变换信息可以与包含点云模型的编码数据的比特流相关联，并且然后发送变换信息。例如，变换信息可以被包括在比特流中。如图2所示，例如，这样的变换信息可以作为BB信息21被包括在2D比特流17的头部19中。

例如，作为变换信息，BB信息21包含指示移位量的信息(移位x/y/z)、指示旋转量的信息(旋转x/y/z)、指示时间戳的变化量的信息(时间戳)、指示规模的变化量的信息(规模x/y/z)、指示帧速率的变化量的信息(帧速率)等。在编码时，生成该BB信息21并将其存储在头部19中。在解码时，从头部19中读取BB信息21并且将其用于逆变换。

<点云模型的投影平面设置>

注意，如图1中的表中的行#2所示，当图2中从左起第二列所示的点云模型的组被投影到二维平面上时，可以针对每个点云模型设置投影平面。以这种方式，可以将各个点云模型投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

例如，如图1中的表所示，可以使每个点云模型的六个正交方向上的投影平面能够旋转。以这种方式，可以相对容易地使投影平面更适合于点云模型(或者可以将投影平面转变成可以在其上执行有效投影的平面)。

此外，如图1中的表所示，可以设置(添加)任何投影平面。利用该布置，可以提高各个点云模型的投影平面的自由度，并且可以期待更高效的投影(或者可以期待编码效率的进一步提高)。

<投影平面信息的信号>

注意，当以这种方式针对每个点云模型设置投影平面时(当未设置组共有的投影平面时)，在解码时(当重建点云时)也需要关于投影平面的信息。因此，如图1中的表中的行#2所示，将作为关于如上所述设置的投影平面的信息的投影平面信息发送至解码侧(用信号通知投影平面信息)。

如图1中的表所示，该投影平面信息可以包含识别投影平面所需的任何信息。例如，如图2所示，该投影平面信息22可以被存储到占用地图16中(其是占用地图18)。

例如，投影平面信息22包含指示投影平面在六个正交方向上的移位量的信息(移位x/y/z)、指示规模的变化量的信息(规模x/y/z)、指示旋转量的信息(旋转x/y/z)等。例如，投影平面信息22还可以包含指示根据需要而添加的投影平面的信息。

在编码时，生成该投影平面信息22并且将其存储到占用地图16中。在解码时，从占用地图16中读取投影平面信息22，并且将其用于重建点云。

<2.部分解码>

<针对每个点云模型的补丁放置控制>

此外，如图1中的表中的行#3所示，当将每个点云模型的补丁放置在二维图像中并打包为视频帧时，可以针对每个点云模型来控制放置补丁的区域。例如，属于同一点云模型的补丁可以被放置在同一区域中。该区域可以是任何适当的区域。例如，该区域可以为可独立解码的编码单元。即，属于同一点云模型的补丁可以被放置在同一可独立解码的编码单元中。

该可独立解码的编码单元可以是任何适当的单元。例如，该单元可以是帧、片或图块，如图1中的表所示。

如图3的A所示，例如，点云模型31-1和点云模型31-2存在于点云中。针对点云模型31-1设置边界框32-1，并且针对点云模型31-2设置边界框32-2。即，这些点云模型彼此独立。当将点云模型31-1和点云模型31-2的补丁放置并打包在二维图像33中时，两个点云模型的补丁不是通过传统方法被划分为分离的区域，如图3的B所示。在图3的B中，补丁34-1至补丁34-4是点云模型31-1的补丁，并且补丁35-1至补丁35-5是点云模型31-2的补丁。另一方面，在图3的C中，例如，点云模型31-1的补丁34-1至补丁34-4被放置在二维图像33的片36-2中，并且点云模型31-2的补丁35-1至补丁35-5被放置在二维图像33的片36-1中。

由于针对每个点云模型控制其中放置了补丁的可独立解码的编码单元(属于同一点云模型的补丁被放置在同一可独立解码的编码单元中)，所以可以执行用于仅对点云模型中的一个点云模型进行解码和重建的所谓的“部分解码”。例如，在图3的C中所示的情况下，片36-1和片36-2是可以彼此独立地解码的编码单元。因此，可以仅对片36-1中的补丁35-1至补丁35-5进行解码，或者可以仅对片36-2中的补丁34-1至补丁34-4进行解码。即，可以仅对点云模型31-1进行解码和重建，或者可以仅对点云模型31-2进行解码和重建。

<模型信息的信号>

注意，为了执行这样的部分解码，解码侧需要理解哪些点云模型的补丁被放置在哪些区域(可独立解码的编码单元)中。因此，如图1中的表中的行#3所示，生成作为关于点云模型的信息的模型信息，并且将模型信息从编码侧发送(用信号通知)至解码侧。

该模型信息包含任何适当的信息。例如，如图1中的表所示，模型信息可以包含指示要打包在视频帧中的点云模型的数目的信息。此外，例如，如图1中的表所示，模型信息可以包含指示其中放置各个点云模型的补丁的区域(可独立解码的编码单元)的信息。

注意，该模型信息通过任何适当的方法来发送。例如，模型信息可以与包含点云模型的编码数据的比特流相关联，并且然后被发送。例如，模型信息可以被包括在比特流中。例如，如图2所示，这样的模型信息可以作为BB信息21被包括在2D比特流17的头部19中。

例如，BB信息21包含模型信息，该模型信息是关于模型的数目和各个点云模型的补丁放置区域的信息。在编码时，生成该BB信息21并将其存储在头部19中。在解码时，从头部19中读取BB信息21并且将其用于部分解码。

<3.第一实施方式>

<编码设备>

接下来，描述用于实现上述技术中的每个技术的配置。图4是示出作为应用了本技术的图像处理装置的实施方式的编码设备的示例配置的框图。图4中示出的编码设备100是将诸如点云的3D数据投影到二维平面上并且通过用于二维图像的编码方法来执行编码的设备(应用了基于视频的方法的编码设备)。

注意，图4示出了诸如处理单元和数据流的主要部件和方面，但不一定示出每个方面。即，在编码设备100中，可以存在图4中未示出为块的处理单元，或者可以存在图4中未由箭头等指示的处理或数据流。这也适用于用于解释编码设备100中的处理单元等的其他附图。

如图4所示，编码设备100包括模型变换单元111、补丁分离单元112、打包单元113、辅助补丁信息压缩单元114、视频编码单元115、视频编码单元116、OMap编码单元117、复用器118和BB信息生成单元119。

模型变换单元111执行与关于点云模型的参数变换相关的处理。例如，模型变换单元111获取输入到编码设备100并且指示三维结构的3D数据(例如，点云)。模型变换单元111还对与获取的点云中包括的点云模型相关的参数进行变换。此时，模型变换单元111通过以上在<比特流数目的减少>和<点云模型的变换>中描述的方法对与各个点云模型相关的参数进行变换，并且将多个点云模型组合到一个组中。模型变换单元111向补丁分离单元112提供其参数经过变换的点云模型，这些点云模型是包括被组合到一个组中的点云模型的点云。

模型变换单元111还通过以上在<变换信息的信号>中描述的方法生成关于变换的变换信息。模型变换单元111将所生成的变换信息提供给BB信息生成单元119。

补丁分离单元112执行与3D数据的分离相关的处理。例如，补丁分离单元112获取从模型变换单元111提供的点云(包括被组合到一个组中的多个点云模型的点云)。补丁分离单元112还将获取的点云分离成多个分段，针对每个分段将点云投影到二维平面上，并且生成位置信息的补丁和属性信息的补丁。补丁分离单元112将关于每个生成的补丁的信息提供给打包单元113。补丁分离单元112还将作为关于分离的信息的辅助补丁信息提供给辅助补丁信息压缩单元114。

打包单元113执行与数据打包相关的处理。例如，打包单元113从补丁分离单元112获取关于指示点的位置的位置信息(几何)的补丁的信息以及关于要被添加到位置信息的诸如颜色信息的属性信息(纹理)的补丁的信息。

打包单元113还将获取的补丁中的每个补丁放置在二维图像中，以将补丁打包为视频帧。例如，打包单元113将位置信息的补丁布置在二维图像中，以将这些补丁打包为位置信息的视频帧(也称为几何视频帧)。例如，打包单元113还将属性信息的补丁布置在二维图像中，以将这些补丁打包为属性信息的视频帧(也称为彩色视频帧)。

在进行这些打包处理时，打包单元113通过以上在<针对每个点云模型的补丁布置控制>中描述的方法，控制针对每个点云模型布置补丁的区域(可独立解码的编码单元)。然后，打包单元113通过以上在<模型信息的信号>中描述的方法生成模型信息。打包单元113将生成的模型信息提供给BB信息生成单元119。

打包单元113还生成与这些视频帧相关联的占用地图。打包单元113还对彩色视频帧执行膨胀(dilation)处理。

打包单元113将以这种方式生成的几何视频帧提供给视频编码单元115。打包单元113还将以这种方式生成的彩色视频帧提供给视频编码单元116。打包单元113还将以这种方式生成的占用地图提供给OMap编码单元117。打包单元113还将关于这样的打包的控制信息提供给复用器118。

辅助补丁信息压缩单元114执行与辅助补丁信息的压缩相关的处理。例如，辅助补丁信息压缩单元114获取从补丁分离单元112提供的数据。辅助补丁信息压缩单元114对所获取的数据中包括的辅助补丁信息进行编码(压缩)。辅助补丁信息压缩单元114将得到的辅助补丁信息的编码数据提供给复用器118。

视频编码单元115执行与位置信息(几何)的视频帧的编码相关的处理。例如，视频编码单元115获取从打包单元113提供的几何视频帧。例如，视频编码单元115还通过用于二维图像的适当编码方法(例如AVC或HEVC)来对所获取的几何视频帧进行编码。视频编码单元115将通过编码获得的编码数据(几何视频帧的编码数据)提供给复用器118。

视频编码单元116执行与属性信息(纹理)的视频帧的编码相关的处理。例如，视频编码单元116获取从打包单元113提供的彩色视频帧。例如，视频编码单元116还通过用于二维图像的适当编码方法(例如AVC或HEVC)来对所获取的彩色视频帧进行编码。视频编码单元116将通过编码获得的编码数据(彩色视频帧的编码数据)提供给复用器118。

OMap编码单元117执行与占用地图的编码相关的处理。例如，OMap编码单元117获取从打包单元113提供的占用地图。例如，OMap编码单元117还通过诸如算术编码的适当编码方法对所获取的占用地图进行编码。OMap编码单元117将通过编码获得的编码数据(占用地图的编码数据)提供给复用器118。

复用器118执行与复用相关的处理。例如，复用器118获取从辅助补丁信息压缩单元114提供的辅助补丁信息的编码数据。复用器118还获取从打包单元113提供的关于打包的控制信息。复用器118还获取从视频编码单元115提供的几何视频帧的编码数据。复用器118还获取从视频编码单元116提供的彩色视频帧的编码数据。复用器118还获取从OMap编码单元117提供的占用地图的编码数据。复用器118还获取从BB信息生成单元119提供的BB信息。

复用器118对这些获取的信息进行复用以生成比特流(Bitstream)。复用器118将所生成的比特流输出至编码设备100的外部。

BB信息生成单元119执行与BB信息的生成相关的处理。例如，BB信息生成单元119获取从模型变换单元111提供的变换信息。BB信息生成单元119还获取从打包单元113提供的模型信息。BB信息生成单元119生成包含所获取的变换信息和模型信息的BB信息。BB信息生成单元119将生成的BB信息提供给复用器118。即，BB信息被发送至解码侧。

利用这样的配置，编码设备100可以将点云的多个点云模型变换并组合成一个组，对该组进行编码，并且将结果存储到一个比特流中。即，即使当点云中存在多个点云模型时，也可以防止比特流的数目的增加，同时防止编码效率的降低。因此，编码设备100可以防止解码所需的实例的数目的增加。即，可以防止解码处理的负荷的增加。因此，可以防止解码器的成本的增加。此外，可以防止解码处理的处理时间的增加。

<编码处理中的流程>

接下来，参照图5所示的流程图，描述要由编码设备100执行的编码处理中的示例流程。

当编码处理开始时，在步骤S101中，编码设备100的模型变换单元111执行变换处理，以将点云中包括的多个点云模型变换并组合成一个组。模型变换单元111还生成关于变换的变换信息。

在步骤S102中，补丁分离单元112将在步骤S101中组合的多个点云模型(的组)投影到二维平面上，并且将点云模型分离成补丁。在这样做时，例如，补丁分离单元112可以通过以上<点云模型投影平面设置>等中描述的方法来为每个点云模型设置投影平面。以这种方式，补丁分离单元112可以将每个点云模型投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

例如，补丁分离单元112还可以通过以上<投影平面信息的信号>等中描述的方法生成关于投影平面的设置的投影平面信息，并且将投影平面信息发送至解码侧。因此，解码侧可以执行正确的解码(正确地重建点云)。

补丁分离单元112还生成关于分离的辅助补丁信息。

在步骤S103中，辅助补丁信息压缩单元114对在步骤S102中生成的辅助补丁信息进行压缩(编码)。

在步骤S104中，打包单元113执行打包处理，以将在步骤S102中生成的位置信息和属性信息的各个补丁布置在二维图像中，并且将这些补丁打包为视频帧。打包单元113还生成模型信息和占用地图。打包单元113还对彩色视频帧执行膨胀处理。打包单元113还生成关于这样的打包的控制信息。

在步骤S105中，BB信息生成单元119执行BB信息生成处理，以生成包含在步骤S101中生成的变换信息、在步骤S104中生成的模型信息等的BB信息。

在步骤S106中，视频编码单元115通过用于二维图像的编码方法对在步骤S104中生成的几何视频帧进行编码。在这样做时，视频编码单元115根据在步骤S104中布置了各个点云模型补丁并且能够被独立解码的编码单元的设置(编码单元区域设置)来对几何视频帧进行编码。即，例如，当设置片或图块时，逐个片或逐个图块地对几何视频帧进行独立编码。

在步骤S107中，视频编码单元116通过用于二维图像的编码方法对在步骤S104中生成的彩色视频帧进行编码。在这样做时，视频编码单元116根据在步骤S104中布置了各个点云模型补丁并且能够被独立解码的编码单元的设置(编码单元区域设置)来对彩色视频帧进行编码。即，例如，当设置片或图块时，逐个片或逐个图块地对彩色视频帧进行独立编码。

在步骤S108中，OMap编码单元117通过预定的编码方法，对在步骤S104中生成的占用地图进行编码。

在步骤S109中，复用器118对如上所述生成的各种信息(例如，在步骤S103中生成的辅助补丁信息的编码数据、在步骤S104中生成的关于打包的控制信息、在步骤S105中生成的BB信息、在步骤S106中生成的几何视频帧的编码数据、在步骤S107中生成的彩色视频帧的编码数据、在步骤S108中生成的占用地图的编码数据等)进行复用，以生成包含这些信息片段的比特流。

在步骤S110中，复用器118将在步骤S109中生成的比特流输出至编码设备100的外部。

当步骤S110中的处理完成时，编码处理结束。

<变换处理中的流程>

接下来，参照图6所示的流程图来描述在图5的步骤S101中执行的变换处理中的示例流程。

当变换处理开始时，在步骤S131中，模型变换单元111执行边界框设置处理，以针对每个点云模型设置边界框。

在步骤S132中，模型变换单元111对在步骤S131中设置的每个边界框(每个点云模型)的参数进行变换。例如，模型变换单元111对以上<点云模型的变换>等中描述的诸如移位、旋转、时间戳、规模或帧速率的参数进行变换。通过这样做，即使当点云中存在多个点云模型时，模型变换单元111也可以防止比特流数目的增加，同时防止编码效率的降低。因此，模型变换单元111可以防止解码所需的实例的数目的增加。即，可以防止解码处理的负荷的增加。因此，可以防止解码器的成本的增加。此外，可以防止解码处理的处理时间的增加。

在步骤S133中，模型变换单元111生成如以上<变换信息的信号>等中描述的关于每个边界框的参数的变换信息。例如，模型变换单元111生成指示变换前后的比率、差异等的变换信息。通过这样做，模型变换单元111可以使得解码侧能够执行正确的逆变换。

当步骤S133中的处理完成时，变换处理结束。

<边界框设置处理中的流程>

接下来，参照图7所示的流程图来描述在图6的步骤S131中执行的边界框设置处理中的示例流程。

当边界框设置处理开始时，在步骤S141中，模型变换单元111得到点云中包括的每个点云模型的部分的法线向量。

在步骤S142中，模型变换单元111设置边界框，使得在步骤S141中得到的法线方向上具有大的分布的边界框与正交投影向量匹配。当步骤S142中的处理完成时，边界框设置处理结束，并且处理返回至图6。

<打包处理中的流程>

接下来，参照图8所示的流程图来描述在图5的步骤S104中执行的打包处理中的示例流程。

当打包处理开始时，在步骤S151中，打包单元113根据点云模型设置编码单元区域，以将不同的编码单元区域分配给各个点云模型。

在步骤S152中，对于每个点云模型的每个补丁，打包单元113搜索在步骤S151中分配给点云模型的编码单元区域中的最佳位置，并且将补丁放置在最佳位置处。

即，打包单元113通过以上<针对每个点云模型的补丁布置控制>等中描述的方法，将属于同一点云模型的补丁放置在同一可独立解码的编码单元中。通过这样做，打包单元113生成几何视频帧和彩色视频帧。因此，解码侧可以通过仅对点云模型进行部分解码来执行所谓的“部分解码”以用于重建。

在步骤S153中，打包单元113通过以上<模型信息的信号>中描述的方法，生成关于步骤S152中的点云模型放置的模型信息。因此，解码侧可以通过仅对点云模型进行部分解码来执行所谓的“部分解码”以用于重建。

在步骤S154中，打包单元113生成占用地图。

在步骤S155中，打包单元113对彩色视频帧执行膨胀处理。

当步骤S155中的处理完成时，打包处理结束，并且处理返回至图5。

<BB信息生成处理中的流程>

接下来，参照图9所示的流程图来描述在图5的步骤S105中执行的BB信息生成处理中的示例流程。

当BB信息生成处理开始时，在步骤S161中，BB信息生成单元119获取在图6的步骤S133中生成的变换信息。

在步骤S162中，BB信息生成单元119获取在图8的步骤S153中生成的模型信息。

在步骤S163中，BB信息生成单元119生成包含变换信息和模型信息的BB信息。在步骤S109(图5)中，复用器118将该BB信息与编码数据等进行复用。

当步骤S163中的处理完成时，BB信息生成处理结束，并且处理返回至图5。

根据以上述方式执行各个处理，可以防止比特流的数目的增加，并且可以防止解码处理的负荷的增加。

<4.第二实施方式>

<解码设备>

图10是示出作为应用了本技术的图像处理装置的实施方式的解码设备的示例配置的框图。图10所示的解码设备200是进行以下操作的设备(应用了基于视频的方法的解码设备)：通过用于二维图像的解码方法对通过将诸如点云的3D数据投影到二维平面上而生成的编码数据进行解码，并且将获得的数据投影到三维空间中。例如，解码设备200对编码设备100(图4)通过对点云进行编码而生成的比特流进行解码，并且重建该点云。

注意，图10示出了诸如处理单元和数据流的主要部件和方面，但不一定示出每个方面。即，在解码设备200中，可以存在图10中未示出为块的处理单元，或者可以存在图10中未由箭头等指示的处理或数据流。这也适用于用于解释解码设备200中的处理单元等的其他附图。

如图10所示，解码设备200包括解复用器211、辅助补丁信息解码单元212、点云模型选择单元213、视频解码单元214、视频解码单元215、OMap解码单元216、解包单元217和3D重建单元218。

解复用器211执行与数据解复用相关的处理。例如，解复用器211获取输入到解码设备200的比特流。例如，比特流是从编码设备100提供的。解复用器211对该比特流进行解复用，提取辅助补丁信息的编码数据，并且将所提取的编码数据提供给辅助补丁信息解码单元212。解复用器211还通过解复用从比特流中提取几何视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元214。解复用器211还通过解复用从比特流中提取彩色视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元215。解复用器211还通过解复用从比特流中提取占用地图的编码数据，并且将所提取的编码数据提供给OMap解码单元216。解复用器211还通过解复用从比特流中提取关于打包的控制信息，并且将所提取的控制信息提供给解包单元217。解复用器211还通过解复用从比特流中提取BB信息，并且将所提取的BB信息提供给点云模型选择单元213和3D重建单元218。

辅助补丁信息解码单元212执行与对辅助补丁信息的编码数据的解码相关的处理。例如，辅助补丁信息解码单元212获取从解复用器211提供的辅助补丁信息的编码数据。辅助补丁信息解码单元212还对包括在所获取的数据中的辅助补丁信息的编码数据进行解码(扩展)。辅助补丁信息解码单元212将通过解码获得的辅助补丁信息提供给3D重建单元218。

点云模型选择单元213执行与要被部分解码的点云模型的选择相关的处理。例如，点云模型选择单元213从解复用器211获取BB信息。点云模型选择单元213还基于BB信息中包含的模型信息，接收由用户等输入的点云模型指定。例如，点云模型选择单元213将模型信息中包含的点云模型作为选项呈现给用户等，并且使用户等选择要被解码的点云模型。点云模型选择单元213向视频解码单元214、视频解码单元215和OMap解码单元216提供指定与所选择的点云模型相对应的区域(可独立解码的编码单元)的信息(所选择的点云模型的补丁被放置在该区域中)。

视频解码单元214执行与对几何视频帧的编码数据的解码相关的处理。例如，视频解码单元214获取从解复用器211提供的几何视频帧的编码数据。例如，视频解码单元214通过用于二维图像的适当解码方法(例如AVC或HEVC)来对几何视频帧的编码数据进行解码。

注意，视频解码单元214可以对由点云模型选择单元213指定的区域(可独立解码的编码单元)进行部分解码。例如，当由点云模型选择单元213指定要被解码的区域时，视频解码单元214通过用于二维图像的适当解码方法(例如AVC或HEVC)对几何视频帧的编码数据中的指定区域进行解码。例如，视频解码单元214对几何视频帧的编码数据中的由点云模型选择单元213指定的帧、片、图块等进行解码。

以上述方式，视频解码单元214可以对几何视频帧进行部分解码。视频解码单元214将通过解码获得的几何视频帧(或其中的区域)提供给解包单元217。

视频解码单元215执行与对彩色视频帧的编码数据的解码相关的处理。例如，视频解码单元215获取从解复用器211提供的彩色视频帧的编码数据。例如，视频解码单元215通过用于二维图像的适当解码方法(例如AVC或HEVC)来对彩色视频帧的编码数据进行解码。

注意，视频解码单元215可以对由点云模型选择单元213指定的区域(可独立解码的编码单元)进行部分解码。例如，当由点云模型选择单元213指定要被解码的区域时，视频解码单元215通过用于二维图像的适当解码方法(例如AVC或HEVC)对彩色视频帧的编码数据中的指定区域进行解码。例如，视频解码单元215对彩色视频帧的编码数据中的由点云模型选择单元213指定的帧、片、图块等进行解码。

以上述方式，视频解码单元215可以对彩色视频帧进行部分解码。视频解码单元215将通过解码获得的彩色视频帧(或其中的区域)提供给解包单元217。

OMap解码单元216执行与对占用地图的编码数据的解码相关的处理。例如，OMap解码单元216获取从解复用器211提供的占用地图的编码数据。OMap解码单元216通过与编码方法兼容的适当解码方法对占用地图的编码数据进行解码。

注意，OMap解码单元216可以对由点云模型选择单元213指定的区域(可独立解码的编码单元)进行部分解码。例如，当由点云模型选择单元213指定要被解码的区域时，OMap解码单元216通过与编码方法兼容的适当解码方法来对占用地图的编码数据中的指定区域进行解码。例如，OMap解码单元216对占用地图的编码数据中的由点云模型选择单元213指定的帧、片、图块等进行解码。

以上述方式，OMap解码单元216可以对占用地图进行部分解码。OMap解码单元216将通过解码获得的占用地图(或其中的区域)提供给解包单元217。

解包单元217执行与解包相关的处理。例如，解包单元217从视频解码单元214获取几何视频帧，从视频解码单元215获取彩色视频帧，并且从OMap解码单元216获取占用地图。解包单元217还基于关于打包的控制信息来对几何视频帧和彩色视频帧进行解包。解包单元217向3D重建单元218提供由解包单元217执行解包获得的位置信息(几何)的数据(几何补丁等)、属性信息(纹理)的数据(纹理补丁等)、占用地图等。

3D重建单元218执行与点云的重建相关的处理。例如，3D重建单元218基于从解复用器211提供的BB信息、从辅助补丁信息解码单元212提供的辅助补丁信息、以及从解包单元217提供的位置信息(几何)的数据(几何补丁等)、属性信息(纹理)的数据(纹理补丁等)、占用地图等，来重建点云。

例如，基于投影平面信息，3D重建单元218识别与组中的各个点云模型相对应的投影平面，并且通过使用投影平面根据补丁等重建点云。因此，解码设备200可以将每个点云模型投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

例如，3D重建单元218还可以使用BB信息中包含的变换信息来对重建的点云模型进行逆变换。因此，3D重建单元218可以执行逆变换，以便正确地应对在编码侧执行的变换处理。

3D重建单元218将重建的点云输出至解码设备200的外部。例如，该点云被提供给显示单元并且转变成图像。然后该图像被显示，被记录在记录介质上，或者经由通信被提供给另一设备。

利用这样的配置，解码设备200可以对被分组为一个比特流的多个点云模型进行正确解码。因此，即使在点云中存在多个点云模型的情况下，解码设备200也可以防止比特流的数目的增加，同时防止编码效率的降低。因此，解码设备200可以防止解码设备所需的实例的数目的增加。即，可以防止解码处理的负荷的增加。因此，可以防止解码器的成本的增加。此外，可以防止解码处理的处理时间的增加。

<解码处理中的流程>

接下来，参照图11所示的流程图，描述要由解码设备200执行的解码处理中的示例流程。

当解码处理开始时，在步骤S201中，解码设备200的解复用器211对比特流进行解复用。

在步骤S202中，辅助补丁信息解码单元212对在步骤S201中从比特流中提取的辅助补丁信息进行解码。

在步骤S203中，点云模型选择单元213接收要被解码的点云模型的指定。

在步骤S204中，基于BB信息，点云模型选择单元213选择与接收到的点云模型的指定相对应且可独立解码的编码单元(其是放置了指定的点云模型的补丁且可以独立解码的编码单元)。

注意，当不执行部分解码时，或者在对整个视频帧进行解码的情况下，可以跳过步骤S203和步骤S204中的处理。

在步骤S205中，视频解码单元214对在步骤S201中从比特流中提取的几何视频帧(位置信息的视频帧)的编码数据进行解码。

注意，当执行部分解码时，或者在步骤S203中接收到要被解码的点云模型的指定并且在步骤S204中选择了要被解码的编码单元的情况下，视频解码单元214对几何视频帧中的在步骤S204中选择的编码单元(例如，诸如帧、片或图块)进行解码。

在步骤S206中，视频解码单元215对在步骤S201中从比特流中提取的彩色视频帧(属性信息的视频帧)的编码数据进行解码。

注意，当执行部分解码时，视频解码单元215对彩色视频帧中的在步骤S204中选择的编码单元(例如，诸如帧、片或图块)进行解码。

在步骤S207中，OMap解码单元216对在步骤S201中从比特流中提取的占用地图的编码数据进行解码。

注意，当执行部分解码时，OMap解码单元216对占用地图中的在步骤S204中选择的编码单元(例如，诸如帧、片或图块)进行解码。

在步骤S208中，解包单元217执行解包。例如，解包单元217对从步骤S205中解码的编码数据获得的几何视频帧进行解包，以生成几何补丁。解包单元217还对从步骤S206中解码的编码数据获得的彩色视频帧进行解包，以生成纹理补丁。解包单元217还对从步骤S207中解码的编码数据获得的占用地图进行解包，以提取与几何补丁和纹理补丁相关联的占用地图。

在步骤S209中，3D重建单元218基于在步骤S202中获得的辅助补丁信息以及在步骤S208中获得的几何补丁、纹理补丁、占用地图等来重建点云(每个点云模型)。

在步骤S210中，基于BB信息中包含的变换信息，3D重建单元218对每个重建的点云模型执行逆变换处理，逆变换处理是通过编码侧执行的变换处理的逆处理。

当步骤S210中的处理完成时，解码处理结束。

通过以上述方式执行各个处理，解码设备200可以防止比特流的数目的增加以及解码处理的负荷的增加。

<5.局部投影平面控制>

当点云模型具有点稀疏的部分时，针对整个点云模型设置的投影平面不一定是针对点云模型中包括的点密集部分(这样的点密部分也称为部分点云模型)最佳的投影方向。即，可能会将部分点云模型投影到无效的方向，从而导致编码效率降低。

<对投影平面的局部控制>

因此，如图12中的表的从顶部起的第一行所示，可以对点云模型的投影平面进行局部控制。例如，如图12中的表的从顶部起的第二行所示，可以将包括点稀疏的部分的点云模型划分成多个部分点云模型，并且可以针对部分点云模型中的每个部分点云模型设置投影平面。

可以采用任何适当的方法来划分投影模型。例如，如图12中的表所示，可以将包括在点云模型中的密集点云彼此分离以形成部分点云模型。

例如，如图13的最左侧所示，与边界框312相对应的点云模型包括点稀疏的部分，并且还包括点密集的部分点云模型311-1和部分点云模型311-2。在这样的情况下，划分部分点云模型311-1和部分点云模型311-2，并且针对每个部分点云模型独立地设置投影平面。例如，如图13中的从左起第二列所示，设置与部分点云模型311-1正交的六个方向上的投影平面313-1，并且设置与部分点云模型311-2正交的六个方向上的投影平面313-2。然后在投影平面上执行投影，并且生成补丁并将其放置在二维图像中。以这种方式，如图13的从左起第三列所示，生成彩色视频帧(纹理)314、几何视频帧(深度)315和占用地图(占用地图)315。然后对它们进行编码，并且生成2D比特流317和占用地图318。在解码时，执行这些处理的逆处理。

由于可以以这种方式针对每个部分点云模型设置投影平面，因此可以将每个部分点云模型投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

例如，如图12中的表所示，可以使每个部分点云模型的六个正交方向上的投影平面能够旋转。以这种方式，可以相对容易地使投影平面更适合于部分点云模型(或者可以将投影平面转变成可以在其上执行有效投影的平面)。

此外，如图12中的表所示，例如，可以设置(添加)任何投影平面。利用这种布置，可以提高各个部分点云模型的投影平面的自由度，并且可以期待更高效的投影(或者可以期待编码效率的进一步提高)。

<投影平面信息的信号>

注意，当以这种方式针对每个部分点云模型设置投影平面时(当未设置整个点云模型的投影平面时)，在解码时(当重建点云时)也需要关于投影平面的信息。因此，如图12中的表的从顶部起的第二行所示，生成作为关于如上所述设置的投影平面的信息的投影平面信息，并且然后将其发送至解码侧(用信号通知投影平面信息)。

例如，当如图13中从左起第二列所示针对各个部分点云模型设置投影平面(投影平面313-1和投影平面313-2)时，针对这些投影平面生成投影平面信息321。

例如，如图12中的表所示，该投影平面信息可以包含用于识别投影平面所需的任何信息。在图13所示的情况下，例如，投影平面信息321包含指示投影平面的旋转量的信息(旋转x/y/z)等。除此之外，例如，投影平面信息321当然可以包含指示六个正交方向上的投影平面的移位量的信息(移位x/y/z)、指示规模的变化量的信息(规模x/y/z)等。例如，投影平面信息321还可以包含指示根据需要而添加的投影平面的信息。

此外，如图12中的表所示，例如，该投影平面信息可以存储在占用地图中。例如，在图13所示的情况下，投影平面信息321被存储在占用地图316中(其是占用地图318)。在编码时，生成该投影平面信息321并将其存储到占用地图16中。在解码时，从占用地图316中读取投影平面信息321，并且将其用于重建点云。

<6.第三实施方式>

<编码设备>

接下来，描述用于实现上述技术的配置。图14是示出作为应用了本技术的图像处理装置的实施方式的编码设备的示例配置的框图。图14所示的编码设备400是类似于编码设备100(图4)的设备，并且是将3D数据(例如点云)投影到二维平面上并通过用于二维图像的编码方法执行编码的设备(应用了基于视频的方法的编码设备)。

注意，图14示出了诸如处理单元和数据流的主要部件和方面，但不一定示出每个方面。即，在编码设备400中，可以存在图14中未示出为块的处理单元，或者可以存在图14中未由箭头等指示的处理或数据流。这也适用于用于解释编码设备400中的处理单元等的其他附图。

如图14所示，编码设备400包括补丁分离单元411、打包单元412、辅助补丁信息压缩单元413、视频编码单元414、视频编码单元415、OMap编码单元416和复用器417。

补丁分离单元411执行与3D数据的分离相关的处理。例如，补丁分离单元411获取输入到编码设备400的点云。补丁分离单元411还将获取的点云分离成多个分段，针对每个分段将点云投影到二维平面上，并且生成位置信息的补丁和属性信息的补丁。补丁分离单元411将关于每个生成的补丁的信息提供给打包单元412。补丁分离单元411还将作为关于分离的信息的辅助补丁信息提供给辅助补丁信息压缩单元413。

打包单元412执行与数据打包相关的处理。例如，打包单元412从补丁分离单元411获取关于指示点的位置的位置信息(几何)的补丁的信息以及关于要被添加到位置信息的诸如颜色信息的属性信息(纹理)的补丁的信息。

打包单元412还将获取的补丁中的每个补丁放置在二维图像中，以将补丁打包为视频帧。例如，打包单元412将位置信息的补丁布置在二维图像中，以将补丁打包为几何视频帧。例如，打包单元412还将属性信息的补丁布置在二维图像中，以将补丁打包为彩色视频帧。打包单元412还生成与这些视频帧相关联的占用地图。打包单元412还对彩色视频帧执行膨胀处理。

打包单元412将以这种方式生成的几何视频帧提供给视频编码单元414。打包单元412还将以这种方式生成的彩色视频帧提供给视频编码单元415。打包单元412还将以这种方式生成的占用地图提供给OMap编码单元416。打包单元412还将关于这样的打包的控制信息提供给复用器417。

辅助补丁信息压缩单元413执行与辅助补丁信息的压缩相关的处理。例如，辅助补丁信息压缩单元413获取从补丁分离单元411提供的数据。辅助补丁信息压缩单元413对所获取的数据中包括的辅助补丁信息进行编码(压缩)。辅助补丁信息压缩单元413将获得的辅助补丁信息的编码数据提供给复用器417。

视频编码单元414执行与位置信息(几何)的视频帧的编码相关的处理。例如，视频编码单元414获取从打包单元412提供的几何视频帧。例如，视频编码单元414还通过用于二维图像的适当编码方法(例如AVC或HEVC)来对所获取的几何视频帧进行编码。视频编码单元414将通过编码获得的编码数据(几何视频帧的编码数据)提供给复用器417。

视频编码单元415执行与属性信息(纹理)的视频帧的编码相关的处理。例如，视频编码单元415获取从打包单元412提供的彩色视频帧。例如，视频编码单元415还通过用于二维图像的适当编码方法(例如AVC或HEVC)来对所获取的彩色视频帧进行编码。视频编码单元415将通过编码获得的编码数据(彩色视频帧的编码数据)提供给复用器417。

OMap编码单元416执行与占用地图的编码相关的处理。例如，OMap编码单元416获取从打包单元412提供的占用地图。例如，OMap编码单元416还通过诸如算术编码的适当编码方法对所获取的占用地图进行编码。OMap编码单元416将通过编码获得的编码数据(占用地图的编码数据)提供给复用器417。

复用器417执行与复用相关的处理。例如，复用器417获取从辅助补丁信息压缩单元413提供的辅助补丁信息的编码数据。复用器417还获取从打包单元412提供的关于打包的控制信息。复用器417还获取从视频编码单元414提供的几何视频帧的编码数据。复用器417还获取从视频编码单元415提供的彩色视频帧的编码数据。复用器417还获取从OMap编码单元416提供的占用地图的编码数据。

复用器417对这些获取的信息片段进行复用以生成比特流(Bitstream)。复用器417将所生成的比特流输出至编码设备400的外部。

<补丁分离单元>

图15是示出图14所示的补丁分离单元411的典型示例配置的框图。如图15所示，补丁分离单元411包括模型划分单元431、部分点云模型投影平面设置单元432、投影平面信息生成单元433、部分点云模型投影单元434和投影平面信息添加单元435。

模型划分单元431执行与点云模型的划分相关的处理。例如，模型划分单元431获取输入到编码设备400的点云(的点云模型)。例如，模型划分单元431还通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，将点云模型中包括的点密集部分设置为部分点云模型并且将点云模型划分成这样的部分点云模型。模型划分单元431将关于所设置的部分点云模型中的每个部分点云模型的信息提供给部分点云模型投影平面设置单元432。

部分点云模型投影平面设置单元432对每个部分点云模型执行与投影平面设置相关的处理。例如，部分点云模型投影平面设置单元432获取关于从模型划分单元431提供的部分点云模型的信息。例如，部分点云模型投影平面设置单元432还通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，针对各个部分点云模型设置投影平面。部分点云模型投影平面设置单元432将与以这种方式设置的各个部分点云模型的投影平面有关的信息提供给投影平面信息生成单元433以及部分点云模型投影单元434。

投影平面信息生成单元433执行与投影平面信息的生成相关的处理。例如，投影平面信息生成单元433获取从部分点云模型投影平面设置单元432提供的关于针对各个部分点云模型设置的投影平面的信息。例如，投影平面信息生成单元433还通过以上<5.局部投影平面控制>中的<投影平面信息的信号>中描述的方法等，生成关于每个投影平面的投影平面信息。投影平面信息生成单元433将所生成的投影平面信息提供给投影平面信息添加单元435。

部分点云模型投影单元434执行与每个部分点云模型的投影相关的处理。例如，部分点云模型投影单元434获取从部分点云模型投影平面设置单元432提供的关于针对各个部分点云模型设置的投影平面的信息。例如，使用获取的关于投影平面的信息，部分点云模型投影单元434还通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，将每个部分点云模型投影到针对每个小区域的投影平面上。通过这样做，部分点云模型投影单元434生成补丁。部分点云模型投影单元434将所生成的补丁提供给投影平面信息添加单元435。

投影平面信息添加单元435执行与投影平面信息的添加相关的处理。例如，投影平面信息添加单元435获取从投影平面信息生成单元433提供的投影平面信息。投影平面信息添加单元435还获取从部分点云模型投影单元434提供的补丁等。例如，通过以上<5.局部投影平面控制>中的<投影平面信息的信号>中描述的方法等，投影平面信息添加单元435将关于用于生成补丁的投影平面的投影平面信息添加到从部分点云模型投影单元434获取的补丁。投影平面信息添加单元435还将添加了投影平面信息的补丁提供给打包单元412。注意，打包单元412将添加到补丁的投影平面信息存储到占用地图中。

利用这样的配置，编码设备400可以对点云的多个部分点云模型的每个部分点云模型彼此独立地设置投影平面并且执行投影。因此，每个部分点云模型可以被投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

<编码处理中的流程>

接下来，参照图16所示的流程图，描述要由编码设备400执行的编码处理中的示例流程。

当编码处理开始时，在步骤S401中，编码设备400的补丁分离单元411执行补丁分离处理，以将点云模型分离成补丁。补丁分离单元411还生成关于分离的辅助补丁信息。

在步骤S402中，辅助补丁信息压缩单元413对在步骤S401中生成的辅助补丁信息进行压缩(编码)。

在步骤S403中，打包单元412执行打包处理，以将在步骤S401中生成的位置信息和属性信息的各个补丁布置在二维图像中，并且将这些补丁打包为视频帧。打包单元412还生成模型信息和占用地图。打包单元412还对彩色视频帧执行膨胀处理。打包单元412还生成关于这样的打包的控制信息。

在步骤S404中，视频编码单元414通过用于二维图像的编码方法对在步骤S403中生成的几何视频帧进行编码。

在步骤S405中，视频编码单元415通过用于二维图像的编码方法对在步骤S403中生成的彩色视频帧进行编码。

在步骤S406中，OMap编码单元416通过预定的编码方法，对在步骤S403中生成的占用地图进行编码。

在步骤S407中，复用器417对如上所述生成的各种信息(例如，在步骤S402中生成的辅助补丁信息的编码数据、在步骤S403中生成的关于打包的控制信息、在步骤S404中生成的几何视频帧的编码数据、在步骤S405中生成的彩色视频帧的编码数据、在步骤S406中生成的占用地图的编码数据等)进行复用，以生成包含这些信息的比特流。

在步骤S408中，复用器417将在步骤S407中生成的比特流输出至编码设备400的外部。

当步骤S408中的处理完成时，编码处理结束。

<补丁分离处理中的流程>

接下来，参照图17所示的流程图来描述在图16的步骤S401中执行的补丁分离处理中的示例流程。

当补丁分离处理开始时，在步骤S421中，模型划分单元431例如通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，将包括点稀疏部分的处理目标点云模型划分成多个部分点云模型。

在步骤S422中，部分点云模型投影平面设置单元432例如通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，设置在步骤S421中设置的各个部分点云模型的投影平面。

在步骤S423中，投影平面信息生成单元433例如通过以上<5.局部投影平面控制>中的<投影平面信息的信号>中描述的方法等，生成关于在步骤S422中设置的各个部分点云模型的投影平面的投影平面信息。

在步骤S424中，部分点云模型投影单元434例如通过以上<5.局部投影平面控制>中的<对投影平面的局部控制>中描述的方法等，将各个部分点云模型投影到在步骤S422中设置的投影平面上，并且生成补丁。

在步骤S425中，投影平面信息添加单元435例如通过以上<5.局部投影平面控制>中的<投影平面信息的信号>中描述的方法等，将在步骤S423中生成的投影平面信息给予(添加)到在步骤S424中生成的补丁。由打包单元412将给予到补丁的该投影平面信息存储到占用地图中。

当步骤S425中的处理完成时，补丁分离处理结束，并且处理返回至图16。

<划分处理中的流程>

接下来，参照图18所示的流程图来描述在图17的步骤S421中执行的划分处理中的示例流程。

当划分处理开始时，在步骤S441中，模型划分单元431从处理目标点云模型的直方图中识别密集点云。

在步骤S442中，模型划分单元431基于点的法线向量估计在步骤S441中识别的每个密集点云的投影方向。

在步骤S443中，模型划分单元431将在步骤S442中估计出的投影方向彼此不同的密集点云设置为部分点云模型。

当步骤S443中的处理完成时，划分处理结束，并且处理返回至图17。

<打包处理中的流程>

接下来，参照图19所示的流程图来描述在图16的步骤S403中执行的打包处理中的示例流程。

当打包处理开始时，在步骤S461中，打包单元412将每个部分点云模型的每个补丁放置在二维图像中。

在步骤S462中，打包单元412生成包含图17的步骤S423中生成的投影平面信息的占用地图。

在步骤S463中，打包单元412对彩色视频帧执行膨胀处理。

当步骤S463中的处理完成时，打包处理结束，并且处理返回至图16。

当如上所述地执行各个处理时，可以针对点云中的多个部分点云模型中的每个部分点云模型独立地设置投影平面，并且可以将每个部分点云模型投影到更适当的投影平面上。因此，可以防止由于点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

<7.第四实施方式>

<解码设备>

图20是示出作为应用了本技术的图像处理装置的实施方式的解码设备的示例配置的框图。图20所示的解码设备500是类似于解码设备200(图10)的设备，并且是进行以下操作的设备(应用了基于视频的方法的解码设备)：通过用于二维图像的解码方法对通过将诸如点云的3D数据投影到二维平面上而生成的编码数据进行解码，并且将获得的数据投影到三维空间中。例如，解码设备500对编码设备400(图14)通过对点云进行编码而生成的比特流进行解码，并且重建该点云。

注意，图20示出了诸如处理单元和数据流的主要部件和方面，但不一定示出每个方面。即，在解码设备500中，可以存在图20中未示出为块的处理单元，或者可以存在图20中未由箭头等指示的处理或数据流。这也适用于用于解释解码设备500中的处理单元等的其他附图。

如图20所示，解码设备500包括解复用器511、辅助补丁信息解码单元512、视频解码单元513、视频解码单元514、OMap解码单元515、解包单元516和3D重建单元517。

解复用器511执行与数据解复用相关的处理。例如，解复用器511获取输入到解码设备500的比特流。例如，比特流是从编码设备400提供的。解复用器511对该比特流进行解复用，提取辅助补丁信息的编码数据，并且将所提取的编码数据提供给辅助补丁信息解码单元512。解复用器511还通过解复用从比特流中提取几何视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元513。解复用器511还通过解复用从比特流中提取彩色视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元514。解复用器511还通过解复用从比特流中提取占用地图的编码数据，并且将所提取的编码数据提供给OMap解码单元515。解复用器511还通过解复用从比特流中提取关于打包的控制信息，并且将所提取的控制信息提供给解包单元516。

辅助补丁信息解码单元512执行与对辅助补丁信息的编码数据的解码相关的处理。例如，辅助补丁信息解码单元512获取从解复用器511提供的辅助补丁信息的编码数据。辅助补丁信息解码单元512还对包括在所获取的数据中的辅助补丁信息的编码数据进行解码(扩展)。辅助补丁信息解码单元512将通过解码获得的辅助补丁信息提供给3D重建单元517。

视频解码单元513执行与对几何视频帧的编码数据的解码相关的处理。例如，视频解码单元513获取从解复用器511提供的几何视频帧的编码数据。例如，视频解码单元513通过用于二维图像的适当解码方法(例如AVC或HEVC)来对几何视频帧的编码数据进行解码。视频解码单元513将通过解码获得的几何视频帧(或其中的区域)提供给解包单元516。

视频解码单元514执行与对彩色视频帧的编码数据的解码相关的处理。例如，视频解码单元514获取从解复用器511提供的彩色视频帧的编码数据。例如，视频解码单元514通过用于二维图像的适当解码方法(例如AVC或HEVC)来对彩色视频帧的编码数据进行解码。视频解码单元514将通过解码获得的彩色视频帧(或其中的区域)提供给解包单元516。

OMap解码单元515执行与对占用地图的编码数据的解码相关的处理。例如，OMap解码单元515获取从解复用器511提供的占用地图的编码数据。OMap解码单元515通过与编码方法兼容的适当解码方法对占用地图的编码数据进行解码。

OMap解码单元515将通过解码获得的占用地图(或其中的区域)提供给解包单元516。

解包单元516执行与解包相关的处理。例如，解包单元516从视频解码单元513获取几何视频帧，从视频解码单元514获取彩色视频帧，并且从OMap解码单元515获取占用地图。解包单元516还基于关于打包的控制信息来对几何视频帧和彩色视频帧进行解包。解包单元516向3D重建单元517提供由解包单元516执行解包获得的位置信息(几何)的数据(几何补丁等)、属性信息(纹理)的数据(纹理补丁等)、占用地图等。

3D重建单元517执行与点云的重建相关的处理。例如，3D重建单元517基于从辅助补丁信息解码单元512提供的辅助补丁信息，以及从解包单元516提供的位置信息(几何)的数据(几何补丁等)、属性信息(纹理)的数据(纹理补丁等)、占用地图等，来重建点云。

例如，基于投影平面信息，3D重建单元517识别与各个部分点云模型相对应的投影平面，并且通过使用投影平面根据补丁等重建点云。因此，解码设备500可以根据投影到更适当的投影平面上的补丁重建每个部分点云模型。因此，可以防止由于部分点云模型的投影的低效率而导致的编码效率的降低(可以提高编码效率)。

3D重建单元517将重建的点云输出至解码设备500的外部。例如，该点云被提供给显示单元并且转变成图像。然后该图像被显示，被记录在记录介质上，或者经由通信被提供给另一设备。

利用这样的配置，即使当点云中存在多个部分点云模型时，解码设备500也可以防止编码效率的降低。

<解码处理中的流程>

接下来，参照图21所示的流程图，描述由解码设备500执行的解码处理中的示例流程。

当解码处理开始时，在步骤S501中，解码设备500的解复用器511对比特流进行解复用。

在步骤S502中，辅助补丁信息解码单元512对在步骤S501中从比特流中提取的辅助补丁信息进行解码。

在步骤S503中，视频解码单元513对在步骤S501中从比特流中提取的几何视频帧(位置信息的视频帧)的编码数据进行解码。

在步骤S504中，视频解码单元514对在步骤S501中从比特流中提取的彩色视频帧(属性信息的视频帧)的编码数据进行解码。

在步骤S505中，OMap解码单元515对在步骤S501中从比特流中提取的占用地图的编码数据进行解码。该占用地图可以包含以上描述的投影平面信息。

在步骤S506中，解包单元516执行解包。例如，解包单元516对从步骤S503中解码的编码数据获得的几何视频帧进行解包，以生成几何补丁。解包单元516还对从步骤S504中解码的编码数据获得的彩色视频帧进行解包，以生成纹理补丁。解包单元516还对从步骤S505中解码的编码数据获得的占用地图进行解包，以提取与几何补丁和纹理补丁相关联的占用地图。

在步骤S507中，3D重建单元517基于在步骤S502中获得的辅助补丁信息以及在步骤S506中获得的几何补丁、纹理补丁、占用地图、占用地图中包含的投影平面信息等，重建点云(每个点云模型)。

当步骤S507中的处理完成时，解码处理结束。

通过以上述方式执行各个处理，解码设备500可以防止编码效率的降低。

<8.注释>

<控制信息>

可以从编码侧向解码侧发送根据上述实施方式中的每个实施方式中描述的本技术的控制信息。例如，可以发送用于控制是否允许(或禁止)上述本技术的应用的控制信息(例如，enabled_flag)。此外，例如，可以发送指定允许(或禁止)应用上述本技术的范围(例如，块尺寸、片、图片、序列、部件、视图、层等的上限和/或下限)的控制信息。

<计算机>

上述一系列处理可以由硬件来执行或者可以由软件来执行。当一系列处理要由软件执行时，将形成软件的程序安装到计算机中。此处，例如，计算机可以是结合到专用硬件中的计算机，或者可以是当在其中安装各种程序时可以执行各种功能的通用个人计算机等。

图22是示出根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。

在图22所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。

输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。

输入单元911例如由键盘、鼠标、麦克风、触摸面板、输入端等形成。输出单元912例如由显示器、扬声器、输出端等形成。存储单元913例如由硬盘、RAM盘、非易失性存储器等形成。通信单元914例如由网络接口形成。驱动器915对可移除介质921如磁盘、光盘、磁光盘或半导体存储器进行驱动。

在具有上述配置的计算机中，CPU 901例如经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中，并且执行程序，使得执行上述一系列处理。RAM 903还根据需要存储CPU 901执行各种处理等所需的数据。

例如，可以将由计算机(CPU 901)执行的程序记录在作为要使用的封装介质等的可移除介质921上。在这种情况下，当可移除介质921被安装在驱动器915上时，可以经由输入/输出接口910将程序安装到存储单元913中。

替选地，可以经由有线或无线传输介质如局域网、因特网或数字卫星广播来提供该程序。在这种情况下，可以通过通信单元914来接收程序，并且可以将程序安装到存储单元913中。

此外，可以将该程序预先安装到ROM 902或存储单元913中。

<应用本技术的目标>

尽管到目前为止已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，而是可以被应用于任何标准的3D数据的编码和解码。即，可以采用诸如编码和解码处理的各种处理以及诸如3D数据和元数据的各种数据的任何规范，只要上述本技术不矛盾即可。此外，只要本技术不矛盾，可以省略上述一些处理和规范。

本技术可以应用于任何适当的配置。例如，本技术可以应用于各种电子装置例如卫星广播中的发射机和接收机(例如电视接收机或便携式电话设备)、诸如有线电视的有线广播、经由因特网的分发、经由蜂窝通信向终端的分发等；以及例如在诸如光盘、磁盘和闪速存储器的介质上记录图像并从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。

本技术还可以被实现为装置的部件，例如用作系统LSI(大规模集成)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或具有添加到单元的其他功能的设备(例如，视频设备)。

本技术还可以应用于例如使用多个设备形成的网络系统。例如，本技术可以被实现为经由网络由多个设备共享和联合处理的云计算。例如，本技术可以在云服务中实现，该云服务向诸如计算机、音频视频(AV)设备、便携式信息处理终端和IoT(物联网)设备的任何种类的终端提供与图像(视频图像)相关的服务。

注意，在本说明书中，系统是指多个部件(设备、模块(零件)等)的组件，并且并非所有部件都需要设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此连接的多个设备形成系统，并且具有容纳在一个壳体中的多个模块的一个设备也是系统。

<可以应用本技术的领域和用途>

例如，应用本技术的系统、装置、处理单元等可以用于任何适当的领域，例如运输、医疗、犯罪预防、农业、畜牧业、采矿、美容护理、工厂、家用电器、气象学或自然观察。本技术也可以用于任何适当的目的。

<其他方面>

注意，在本说明书中，“标志”是用于识别多个状态的信息，并且其不仅包括用于识别真(1)或假(0)的两个状态的信息，而且还包括可以识别三个或更多个状态的信息。因此，该“标志”可以具有的值可以是例如“1”和“0”这两个值，或者三个或更多个值。即，该“标志”可以由任何数目的位形成，并且可以由一个位或多个位形成。此外，关于识别信息(包括标志)，不仅识别信息而且关于识别信息与参考信息的差异信息也可以被包括在比特流中。因此，在本说明书中，“标志”和“识别信息”不仅包括信息，还包括相对于参考信息的差异信息。

此外，可以以与编码数据相关联的任何模式来发送或记录关于编码数据(比特流)的各种信息(例如元数据)。此处，术语“关联”是指例如在处理数据时能够使用其他数据(或链接到其他数据)。即，彼此相关联的数据片段可以被整合为一个数据片段，或者可以被视为单独的数据片段。例如，可以通过与编码数据(图像)不同的发送路径发送与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)不同的记录介质中(或者在相同记录介质的不同记录区域中)。注意，该“关联”可以适用于某些数据，而不是整个数据。例如，对于任何适当的单元，例如对于多个帧、每个帧或每个帧中的一些部分，图像和与图像对应的信息可以彼此相关联。

注意，在本说明书中，例如，术语“组合”、“复用”、“添加”、“整合”、“包括”、“存储”、“包含”、“合并”、“插入”等意指将多个对象组合成一个，例如将编码数据和元数据组合成一个数据片段，并且意指上述“关联”的方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下对其进行各种修改。

例如，以上描述为一个设备(或一个处理单元)的任何配置可以被划分成多个设备(或处理单元)。相反，以上描述为多个设备(或处理单元)的任何配置可以被组合成一个设备(或一个处理单元)。此外，当然可以将除上述部件之外的部件添加到每个设备(或每个处理单元)的配置。此外，设备(或处理单元)的一些部件可以并入另一设备(或处理单元)的配置中，只要整个系统的配置和功能保持基本相同即可。

此外，例如，上述程序可以在任何设备中执行。在这种情况下，仅要求设备具有必要的功能(功能块等)，使得可以获得必要的信息。

此外，例如，一个设备可以执行一个流程图中的每个步骤，或者多个设备可以执行每个步骤。此外，当一个步骤包括多个处理时，多个处理可以由一个设备执行或者可以由多个设备执行。换言之，一个步骤中包括的多个处理可以作为多个步骤中的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤共同执行。

此外，例如，由计算机执行的程序可以是用于按照本说明书中描述的顺序按时间顺序根据程序执行步骤中的处理的程序，或者可以是用于并行执行处理或必要时执行处理(例如存在调用时)的程序。即，只要不存在矛盾，则可以以与上述顺序不同的顺序执行相应步骤中的处理。此外，根据该程序的步骤中的处理可以与根据另一程序的处理并行执行，或者可以与根据另一程序的处理组合执行。

此外，例如，只要不存在矛盾，就可以独立地实现根据本技术的多种技术中的每一种。当然也可以实现根据本技术的多种技术中的一些技术的组合。例如，在实施方式之一中描述的本技术的部分或全部可以与在实施方式中的另一实施方式中描述的本技术的部分或全部组合实现。此外，上述本技术的部分或全部可以与以上未描述的一些其他技术组合实现。

附图标记列表

100 编码设备

111 模型变换单元

112 补丁分离单元

113 打包单元

114 辅助补丁信息压缩单元

115 视频编码单元

116 视频编码单元

117 OMap编码单元

118 复用器

119 BB信息生成单元

200 解码设备

211 解复用器

212 辅助补丁信息解码单元

213 点云模型选择单元

214 视频解码单元

215 视频解码单元

216 OMap解码单元

217 解包单元

218 3D重建单元

400 编码设备

411 补丁分离单元

412 打包单元

413 辅助补丁信息压缩单元

414 视频编码单元

415 视频编码单元

416 OMap编码单元

417 复用器

431 模型划分单元

432 部分点云模型投影平面设置单元

433 投影平面信息生成单元

434 部分点云模型投影单元

435 投影平面信息添加单元

500 解码设备

511 解复用器

512 辅助补丁信息解码单元

513 视频解码单元

514 视频解码单元

515 OMap解码单元

516 解包单元

517 3D重建单元

Claims (20)

1.一种图像处理装置，包括：

变换单元，其对与点云的多个点云模型相关的参数进行变换；以及

编码单元，其对在其上投影有具有由所述变换单元变换的参数的所述多个点云模型的二维平面图像进行编码，并且生成包含所述二维平面图像的编码数据和变换信息的比特流，所述变换信息是关于由所述变换单元变换的所述参数的变换的信息。

2.根据权利要求1所述的图像处理装置，其中，

所述变换单元将所述点云模型的坐标作为所述参数来对其进行变换。

3.根据权利要求2所述的图像处理装置，其中，

所述变换单元在变换所述坐标时对所述坐标进行移位、旋转或者移位并旋转。

4.根据权利要求1所述的图像处理装置，其中，

所述变换单元将所述点云模型的时间作为所述参数来对其进行变换。

5.根据权利要求1所述的图像处理装置，其中，

所述变换单元将所述点云模型的规模作为所述参数来对其进行变换。

6.根据权利要求1所述的图像处理装置，其中，

所述变换单元将所述点云模型的帧速率作为所述参数来对其进行变换。

7.根据权利要求1所述的图像处理装置，其中，

所述变换信息包含指示由所述变换单元变换的所述参数的变化量的信息。

8.根据权利要求1所述的图像处理装置，还包括：

打包单元，其将所述点云模型的补丁针对各个点云模型放置在不同的区域中，并且将所述补丁打包为视频帧，

其中，所述编码单元对所述打包单元打包了所述补丁的所述视频帧进行编码，并且生成还包含模型信息的所述比特流，所述模型信息是关于所述点云模型的信息。

9.根据权利要求8所述的图像处理装置，其中，

所述区域是能够独立解码的编码单元。

10.根据权利要求8所述的图像处理装置，其中，

所述模型信息包含指示所述比特流中包括的点云模型的数目以及放置各个点云模型的补丁的区域的信息。

11.一种图像处理方法，包括：

对与点云的多个点云模型相关的参数进行变换；以及

对在其上投影有具有经变换的参数的所述多个点云模型的二维平面图像进行编码，并且生成包含所述二维平面图像的编码数据和变换信息的比特流，所述变换信息是关于所述参数的变换的信息。

12.一种图像处理装置，包括：

解码单元，其对比特流进行解码并且生成在其上投影有多个点云模型的二维平面图像和变换信息，所述变换信息是关于所述多个点云模型中的每个点云模型的参数的变换的信息；以及

重建单元，其根据由所述解码单元生成的所述二维平面图像重建所述多个点云模型中的每个点云模型，并且基于所述变换信息对所述多个点云模型中的每个点云模型的参数进行逆变换。

13.一种图像处理方法，包括：

对比特流进行解码并且生成在其上投影有多个点云模型的二维平面图像和变换信息，所述变换信息是关于所述多个点云模型中的每个点云模型的参数的变换的信息；以及

根据生成的二维平面图像重建所述多个点云模型中的每个点云模型，并且基于所述变换信息对所述多个点云模型中的每个点云模型的参数进行逆变换。

14.一种图像处理装置，包括：

投影单元，其将构成点云模型的多个部分点云模型投影到彼此独立设置的投影平面上；以及

编码单元，其对二维平面图像和占用地图进行编码并且生成比特流，在所述二维平面图像上投影有由所述投影单元投影到各个投影平面上的所述部分点云模型的补丁，所述占用地图包含投影平面信息，所述投影平面信息是关于所述投影平面的信息。

15.根据权利要求14所述的图像处理装置，其中，

所述投影平面信息包含指示所述投影平面的旋转量的信息。

16.根据权利要求14所述的图像处理装置，还包括：

划分单元，其将所述点云模型划分为所述多个部分点云模型；以及

设置单元，其针对所述多个部分点云模型中的每个部分点云模型设置投影平面。

17.根据权利要求16所述的图像处理装置，其中，

所述划分单元

根据所述点云模型的直方图识别密集点云，

基于法线向量估计所述密集点云中的每个密集点云的投影方向，以及

将具有不同投影方向的密集点云设置为部分点云模型。

18.一种图像处理方法，包括：

将构成点云模型的多个部分点云模型投影到彼此独立设置的投影平面上；以及

对二维平面图像和占用地图进行编码并且生成比特流，在所述二维平面图像上投影有被投影到各个投影平面上的所述部分点云模型的补丁，所述占用地图包含投影平面信息，所述投影平面信息是关于所述投影平面的信息。

19.一种图像处理装置，包括：

解码单元，其对比特流进行解码并且生成二维平面图像和占用地图，在所述二维平面图像上投影有点云模型，所述占用地图包含投影平面信息，所述投影平面信息是关于所述点云模型中包括的多个部分点云模型中的每个部分点云模型的投影平面的信息；以及

重建单元，其基于所述解码单元生成的所述二维平面图像以及所述占用地图中包含的所述投影平面信息，重建所述点云模型。

20.一种图像处理方法，包括：

对比特流进行解码并且生成二维平面图像和占用地图，在所述二维平面图像上投影有点云模型，所述占用地图包含投影平面信息，所述投影平面信息是关于所述点云模型中包括的多个部分点云模型中的每个部分点云模型的投影平面的信息；以及

基于生成的二维平面图像以及所述占用地图中包含的所述投影平面信息，重建所述点云模型。

Images