CN112204985A - 图像处理设备和方法 - Google Patents

Abstract

本公开内容涉及使得能够抑制编码效率的降低的图像处理设备和方法。基于对在3D数据的编码中执行的预测的结果的评估将面片布置在帧图像中并进行打包，所述面片是通过将指示三维结构的3D数据投射在二维平面上获得的图像，并且通过预测的方式对其中布置了面片并进行打包的帧图像进行编码。本公开内容可以应用于例如信息处理设备、图像处理设备、电子装置、信息处理方法或程序。

Description

图像处理设备和方法

[技术领域]

本公开内容涉及图像处理装置和方法，并且特别地，涉及使得可以抑制编码效率的降低的图像处理装置和方法。

[背景技术]

传统地，例如，作为用于表示三维结构的3D数据(例如，点云(Point cloud))的编码方法，例如使用诸如八叉树的体素(Voxel)的编码(例如，参照NPL 1)是可用的。

近年来，作为不同的编码方法，例如，已经提出了下述方法：针对每个小区域，将关于点云的位置和颜色的多条信息分别投射在二维平面上，并且通过用于二维图像的编码方法对所述多条信息进行编码(在下文中，该方法也称为基于视频的方法(Video-Basedapproach))。在这种方法的情况下，为了通过2D视频编解码器对投射的面片进行压缩，将其打包在2D平面上。

[引用列表]

[非专利文献]

[NPL 1]

R.Mekuria,Student Member IEEE,K.Blom,P.Cesar.,Member,IEEE,“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo,”tcsvt_paper_submitted_february.pdf

[发明内容]

[技术问题]

然而，在传统方法中，在进行这种打包时，将面片按大小以降序顺序地放置在平面上的能够放置面片的位置处。特别地，由于在不考虑2D视频编解码器的情况下放置面片，因此在2D视频编解码器中存在编码效率降低的可能性。

鉴于上述这样的情况做出了本公开内容，并且本公开内容可以抑制编码效率的降低。

[问题的解决方案]

本技术的一个方面的图像处理装置是一种图像处理装置，其包括：打包部，所述打包部被配置成基于在3D数据的编码中执行的预测的结果的评估来将面片放置并打包在帧图像中，所述面片是其中将表示三维结构的3D数据投射在二维平面上而得到的图像；以及编码部，其被配置成通过使用预测对由打包部放置面片并进行打包的帧图像进行编码。

本技术的一个方面的图像处理方法是下述的一种图像处理方法，包括：基于在3D数据的编码中执行的预测的结果的评估来将面片放置在帧图像中并进行打包，所述面片是其中将表示三维结构的3D数据投射在二维平面上而得到的图像；以及通过使用预测对将面片放置在其中并进行打包的帧图像进行编码。

本技术的另一方面的图像处理装置是下述的一种图像处理装置，包括：解码部，其被配置成对其中基于在3D数据的编码中执行的预测的结果的评估而将面片放置在帧图像中并进行打包的帧图像的编码数据进行解码，所述面片是其中将表示三维结构的3D数据投射在二维平面上而得到的图像；以及解包部，其被配置成基于指示面片的位置的面片放置信息，对由解码部生成的帧图像进行解包。

本技术的不同方面的图像处理方法是下述的一种图像处理方法，包括：对其中基于在3D数据的编码中执行的预测的结果的评估而将面片放置在帧图像中并进行打包的帧图像的编码数据进行解码，所述面片是其中将表示三维结构的3D数据投射在二维平面上而得到的图像；以及基于指示面片的位置的面片放置信息来对所生成的帧图像进行解包。

在本技术的一个方面的图像处理装置和方法中，基于在3D数据的编码中执行的预测的结果的评估将面片放置在帧图像上并进行打包，所述面片是其中将表示三维结构的3D数据投射在二维平面上而得到的图像，并且使用预测对将面片放置在其中并进行打包的帧图像进行编码。

在根据本技术的不同方面的图像处理装置和方法中，其中基于在3D数据的编码中执行的预测的结果的评估来放置面片并进行打包，所述面片是表示将三维结构的3D数据投射在二维平面上而得到的图像，对帧图像的编码数据进行解码，并且基于指示面片的位置的面片放置信息对所生成的帧图像进行解包。

[发明的有益效果]

利用本公开内容，可以处理图像。特别地，可以抑制编码效率的降低。

[附图说明]

[图1]图1描绘了示出点云的示例的图。

[图2]图2是示出基于视频的方法的概要的示例的视图。

[图3]图3是概括与本技术有关的主要特征的图。

[图4]图4描绘了示出膨胀处理的概要的图。

[图5]图5是示出放置面片以提高帧内预测精度的情况的视图。

[图6]图6是示出放置面片以提高帧间预测精度的另一情况的视图。

[图7]图7是描绘编码装置的主要部件的示例的框图。

[图8]图8是示出打包部的主要部件的示例的视图。

[图9]图9是描绘解码装置的主要部件的示例的框图。

[图10]图10是示出编码处理的流程的示例的流程图。

[图11]图11是示出打包处理的流程的示例的流程图。

[图12]图12是示出最佳位置搜索处理的流程的示例的流程图。

[图13]图13是示出搜索算法的示例的视图。

[图14]图14是示出解码处理的流程的示例的流程图。

[图15]图15是描绘编码装置的主要部件的示例的框图。

[图16]图16是描绘解码装置的主要部件的示例的框图。

[图17]图17是示出打包处理的流程的示例的流程图。

[图18]图18是示出最佳帧搜索处理的流程的示例的流程图。

[图19]图19是示出解码处理的流程的示例的流程图。

[图20]图20是示出打包处理的流程的示例的流程图。

[图21]图21是示出最佳帧位置搜索处理的流程的示例的流程图。

[图22]图22是描绘计算机的主要部件的示例的框图。

[具体实施方式]

在下文中，描述了用于执行本公开内容的模式(在下文中被称为实施方式)。注意，按以下顺序给出描述。

1.基于视频的方法

2.第一实施方式(帧内预测精度提高)

3.第二实施方式(帧间预测精度提高)

4.第三实施方式(帧内预测和帧间预测精度提高)

5.说明

<1.基于视频的方法>

<支持技术内容和技术术语的文献等>

本技术中公开的范围不仅包括在实施方式的描述中描述的内容，而且包括以下的在申请时公开已知的多篇NPL中描述的内容。

NPL 1：(如上所述)

NPL 2：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(InternationalTelecommunication Union),“Advanced video coding for generic audiovisualservices,”H.264,04/2017

NPL 3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(InternationalTelecommunication Union),“High efficiency video coding,”H.265,12/2016

NPL 4：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,JillBoyce,“Algorithm Description of Joint Exploration Test Model 4,”JVET-G1001_v1,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC29/WG 11 7th Meeting:Torino,IT,13-21 July 2017

换句话说，在上述多篇NPL中描述的内容也用作用于确定支持需求的依据。例如，即使实施方式中没有直接描述NPL 3中描述的四叉树块结构和NPL 4中描述的QTBT(四叉树加二叉树)块结构，但是它们落入本技术的公开范围内，并且满足权利要求的支持需求。此外，类似地，例如，同样关于技术术语例如解析(Parsing)、语法(Syntax)和语义(Semantics)，即使在实施方式的描述中没有直接描述这样的术语，但是它们在本技术的公开范围内并且满足权利要求的支持要求。

<点云>

传统地，存在通过点云的位置信息、属性信息等来表示三维结构的数据(例如，点云)或包括顶点、边缘和面并且通过使用多边形表示来定义三维形状的网格。

例如，在点云的情况下，如图1的A中所描绘的三维结构被表示为如图1的B中所描绘的大量点的聚集(点云)。特别地，点云的数据包括点云的每个点的位置信息和属性信息(例如，颜色等)。因此，数据结构相对简单，并且通过使用足够多的点可以以足够的精度来表示任何固体结构。

<基于视频的方法的概要>

已经提出了基于视频的方法(Video-Based approach)，其中，针对每个小区域，将关于如上所述的点云的位置和颜色的多条信息分别投射在二维平面上，并且通过用于二维图像的编码方法对其进行编码。

例如，在基于视频的方法中，如图2所描绘的，将输入的点云(Point cloud)分割为多个分段(也称为区域)，并且针对每个区域将其投射在二维平面上。注意，点云的每个位置的数据(即，每个点的数据)包括如上所述的位置信息(几何结构(也称为深度))和属性信息(纹理)，并且根据每个区域将其投射在二维平面上。

然后，例如，将投射在二维平面上的每个分段(也称为面片)放置在二维图像上并进行打包，并且然后通过用于二维平面图像的编码方法(例如，AVC(高级视频编码)或HEVC(高效率视频编码))对每个分段进行编码。

然而，在传统方法中，在进行打包时，将面片按大小以降序顺序放置在平面上的能够放置面片的位置处。特别地，由于在不考虑2D视频编解码器的情况下放置面片，因此在2D视频编解码器中存在编码效率降低的可能性。

例如，如果彼此相邻的面片的彼此相对的轮廓(边缘部分)的像素值彼此不同，则存在帧内预测精度降低并且编码效率降低的可能性。此外，例如，如果与放置在作为处理目标的当前帧中的面片具有高的相似度的不同面片没有放置在参考帧中，则存在帧间预测精度降低的可能性。

<基于预测结果的评估的面片放置>

因此，基于在3D数据的编码中执行的预测结果的评估，将面片放置在帧图像上并进行打包并且使用预测对将面片放置其中并进行打包的帧图像进行编码，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像。

例如，图像处理装置包括打包部，该打包部基于在3D数据的编码中执行的预测的结果的评估将面片放置在帧图像上并进行打包，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及编码部，该编码部通过使用预测对由打包部放置面片并进行打包的帧图像进行编码。

这使得编码装置100可以基于预测的结果的评估对帧图像执行放置和打包。因此，可以放置面片以提高预测精度。因此，可以增加2D视频编解码器的编码效率。换句话说，可以抑制编码效率的降低。

此外，对帧图像的编码数据进行解码并且基于指示面片的位置的面片放置信息对所生成的帧图像进行解包，在帧图像中基于在3D数据的编码中执行的预测的结果的评估来放置面片并进行打包，所述面片是表示三维结构的3D数据投射在二维平面上而得到的图像。

例如，图像处理装置包括解码部，该解码部对帧图像的编码数据进行解码，在帧图像中基于在3D数据的编码中执行的预测的结果的评估放置面片并进行打包，所述面片是表示三维结构的3D数据投射在二维平面上而得到的图像；以及解包部，该解包部基于指示面片的位置的面片放置信息，对由解码部对生成的帧图像进行解包。

这使得解码装置200可以基于面片放置信息，对帧图像的编码数据进行正确地解码，在帧图像中基于预测的结果的评估来放置面片并进行打包。因此，可以实现预测精度的提高。因此，可以增加2D视频编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<与基于视频的方法有关的本技术>

描述了与如上所述的基于视频的方法有关的本技术。在本技术中，基于预测的结果的评估来放置面片，以提高预测精度，如图3的表11中所描绘的那样。

<帧内预测精度提高>

例如，预测精度可以是帧内预测精度。

通常，在打包时，在放置面片之后执行膨胀处理。膨胀处理是使用面片的轮廓的像素值填充已放置的面片之间的空间的处理。例如，在面片31和面片32放置在帧图像30中的情况下，如图4的A所描绘的，通过执行膨胀处理，每个面片的右侧轮廓的像素值沿水平方向扩展至右侧，以填充其中未放置面片的部分，如图4的B所描绘的。由于这引起了每个面片与其右侧周围区域之间的像素值的连续性，因此与执行膨胀处理之前(图4的A)相比，在执行膨胀处理之后(图4的B)，帧内预测的预测精度提高了。

然而，在传统方法的情况下，由于面片的放置未考虑到帧内预测，因此同样在执行了膨胀处理之后(图4的B)，存在像素值在每个面片与面片的左侧周围区域之间是连续的并且预测精度降低的可能性。

因此，基于帧内预测的结果的评估来放置面片以提高帧内预测精度。例如，可以将面片放置在对帧内预测结果的评估最佳的位置处。虽然可以提前知道其中对帧内预测结果的评估最佳的位置，但是可以基于帧内预测结果的评估来搜索其中对帧内预测结果的评估最佳的位置，使得将面片放置在搜索出的位置处。

<评估方法>

可以自由选择帧内预测的结果的评估方法。例如，可以在所有模式下执行帧内预测以评估预测结果。作为替选，可以在沿与膨胀处理的方向相同的方向的模式下执行帧内预测以评估预测结果。作为另一替选，可以在沿与膨胀处理的方向相同的方向的模式中的预定模式下执行帧内预测以评估预测结果。例如，在如图4的示例中沿水平方向执行膨胀处理的情况下，仅可以评估INTRA_ANGULAR10的模式的预测结果。

此外，在其中放置面片的状态下基于像素值，可以通过比上述执行帧内预测的方法更简单的方法来执行评估。

例如，在图4的示例的情况下，在执行膨胀处理之后(图4的B)的状态下，在面片31和另一面片32的相对面即面片31的右侧轮廓的像素值和面片32的左侧轮廓的像素值彼此一致或彼此接近的情况下(具有连续性)，在面片32与面片32的左侧周围之间产生像素值的连续性，并且可以增加帧内预测精度。

因此，例如，作为简化方法，可以评估作为用于搜索放置位置的目标的当前面片与已经放置的周围面片的相对面的像素值之间的差，以便搜索对帧内预测结果的评估最佳的位置。例如，针对可以放置当前面片的每个位置，可以临时放置当前面片。在这种情况下，替代帧内预测结果，评估当前面片与位于临时放置的当前面片的周围的周围面片的互相相对的面的像素值之间的差，并且然后，基于评估结果来评估其中对帧内预测结果的评估最佳的位置。

例如，如图5所描绘的，假设面片31和面片32已经放置在帧图像30中，并且如由双箭头标记41所示，沿水平方向执行膨胀处理。在如刚刚描述的帧图像30中，在将当前面片40临时放置在如图5所描绘的位置处的情况下，如由双箭头标记42所示，评估当前面片40的左侧轮廓的像素值与沿与当前面片40的膨胀处理的方向相同的方向(水平方向)位于周围的面片31的右侧轮廓的像素值之间的差。此外，如由双箭头标记43所示，评估当前面片40的右侧轮廓的像素值与沿与当前面片40的膨胀处理的方向相同的方向(水平方向)位于周围的面片32的左侧轮廓的像素值之间的差。差的评估结果用作在临时放置当前面片40的位置处的帧内预测结果的评估。

对于可以放置当前面片40的每个位置，以这种方式评估当前面片与周围面片的相对面的像素值之间的差，并且基于这样的评估结果来评估对帧内预测结果的评估最佳的位置。这使得在无需执行帧内预测的情况下可以通过简单的方法搜索出对帧内预测结果的评估最佳的位置。换句话说，可以抑制由于搜索引起的负荷的增加。

<搜索方法>

注意，可以自由选择要放置当前面片的位置的搜索方法。例如，可以将当前面片临时放置在可以放置当前面片的区域内的所有位置处，使得针对每个位置，评估帧内预测的结果。作为替选，可以将当前面片仅临时放置在可以放置当前面片的区域内的一部分(代表部分)位置处，使得针对这样的位置中的每一个，评估帧内预测的结果。作为另一替选，可以基于针对每个位置的帧内预测的结果的评估来限制搜索范围，使得再次执行搜索。

此外，关于面片旋转的状态，可以搜索对帧内预测结果的评估最佳的位置。这种情况下，可以自由选择旋转角度。此外，可以使用单个旋转角度，或者可以使用多个旋转角度。特别地，关于面片以每个角度旋转的状态，可以搜索对帧内预测结果的评估最佳的位置。

此外，关于面片反转的状态(例如，竖直反转、水平反转等)，可以搜索对帧内预测结果的评估最佳的位置。在这种情况下，可以自由选择反转方向。此外，可以使用单个反转方向(例如，仅竖直反转方向、水平反转方向等)，或者可以使用多个反转方向(例如，竖直反转方向、水平反转方向等)。换句话说，关于面片沿每个反转方向反转的状态，可以搜索对帧内预测结果的评估最佳的位置。

<帧间预测精度提高>

例如，预测精度可以是帧间预测精度。

通常，帧间预测的预测精度高于帧内预测的预测精度。因此，可以将面片放置在多个帧图像中，使得可以使用帧间预测。

例如，图6中的上侧描绘的帧图像50是在时间t＝n处的帧图像。在帧图像50中，通过传统的打包方法放置在预定时间处的预定3D数据的面片51至面片56。类似地，帧图像60是在时间t＝n+1处的帧图像。在帧图像60中，通过传统的打包方法放置在与帧图像50的时间点不同的时间点处的3D数据的面片61至面片66，或者与帧图像50的3D数据不同的3D数据的面片61至面片66。

以这种方式，在传统方法中，如图6中的下侧所描绘的，将放置在一个帧图像中的面片放置在多个帧图像中。注意，图6中的不同帧图像之间的大小的差异是为了便于图示，并且帧图像的大小可以彼此相等。

在图6的示例的情况下，将帧图像50的面片放置在帧图像71至帧图像73中。更具体地，将面片51和面片54放置在帧图像71中，将面片52和面片55放置在帧图像72中，并且将面片53和面片56放置在帧图像73中。此外，将帧图像60的面片放置在帧图像74至帧图像76中。更具体地，将面片61和面片64放置在帧图像74中，将面片62和面片65放置在帧图像75中，并且将面片63和面片66放置在帧图像76中。

以这种方式，将传统上已经放置在一个帧图像中的面片在如由虚线81表示划分的预定范围(时间)内放置在多个帧图像中。由于帧图像71至帧图像76是相同序列的帧图像，因此可以沿时间方向应用预测(帧间预测)。特别地，通过将形状等彼此类似的面片放置在彼此不同的帧图像中，可以使用面片来执行帧间预测，并且与帧内预测的情况相比提高了预测精度。

注意，虽然在图6的示例的描述中描述了如由虚线81所示对序列进行划分并且在预定范围内将面片放置在帧图像中，但是序列可以不以这种方式进行划分，并且可以允许将面片放置在自由选择的帧图像或自由选择的多个帧图像中。然而，在划分序列的情况下，帧结构可以相当简化并且可以抑制用于向解码侧发布帧结构的通知的信息量的增加。

此外，虽然图6的示例被描述为使得将面片放置在一个序列的帧图像中，但是例如，可以将传统上已经放置在一个帧图像中的面片放置在多个层或多个视图的帧图像中。

此外，对于每个传统的一个帧，可以改变要放置面片的层或视图。例如，在图6的情况下，可以将面片51至面片56和面片61至面片66放置在彼此不同的层(或视图)的多个帧图像中。

如上所述，当将面片放置在多个帧图像中时，基于帧间预测的结果的评估来放置每个面片。例如，可以将面片放置在帧间预测结果的评估中最佳的帧图像中。虽然可以提前知道在帧间预测结果的评估中最佳的帧图像，但是可以基于帧间预测结果的评估来搜索在帧间预测结果的评估中最佳的帧图像，以便将面片放置在搜索出的帧图像中。

<评估方法>

可以自由选择帧间预测的结果的评估方法，例如，可以在所有模式下执行帧间预测以评估预测结果。替选地，可以在一些模式下执行帧间预测以评估预测结果。

<搜索方法>

注意，可以自由选择要放置当前面片的帧图像的搜索方法。例如，可以将当前面片临时放置在可以放置当前面片的所有帧图像中，使得关于帧图像来评估帧间预测的结果。作为替选，可以将当前面片临时放置在可以放置当前面片的帧图像中的仅一些帧图像(代表性帧图像)中，使得关于帧图像来评估帧间预测的结果。作为另一替选，可以基于帧图像的帧间预测的结果的评估来缩小搜索范围，以再次执行搜索。

此外，同样关于面片旋转的状态，可以搜索出在帧间预测结果的评估中最佳的帧图像。这种情况下，可以自由选择旋转角度。此外，可以使用单个旋转角度，或者可以使用多个旋转角度。换句话说，关于面片以每个角度旋转的状态，可以搜索对帧间预测结果的评估最佳的帧图像。

此外，同样关于面片反转的状态(例如，竖直反转、水平反转等)，可以搜索在帧间预测结果的评估中最佳的帧图像。在这种情况下，可以自由选择反转方向。此外，可以使用单个反转方向(例如，仅竖直反转、仅水平反转等)，或者可以使用多个反转方向(例如，竖直反转、水平反转等)。换句话说，关于面片沿每个反转方向反转的状态，可以搜索出在帧间预测结果的评估中最佳的帧图像。

<帧内预测和帧间预测>

注意，例如，上述预测精度可以是帧内预测精度和帧间预测精度两者。特别地，可以应用基于上述帧内预测精度的面片的放置位置控制和基于帧间预测精度的面片的放置帧图像控制两者。

在这种情况下，关于帧内预测和帧间预测中的每一个，可以搜索出对如上所述的预测结果的评估最佳的帧图像或位置，使得将面片放置在搜索出的帧图像或位置中。

<其他>

注意，上述面片可以是位置信息(几何结构)的面片或属性信息(纹理)(例如，要添加至位置信息的颜色信息)的面片。

通过如上所述的各种方法控制面片的放置，可以提高预测精度，并且可以抑制编码效率的降低。

<2.第一实施方式>

<编码装置>

现在，描述用于实现如上所述的各种技术的配置。图7是描绘作为应用了本技术的一个模式的图像处理装置的编码装置的配置的示例的框图。图7中描绘的编码装置100是将如点云的3D数据投射在二维平面上以通过用于二维图像的编码方法来执行编码的装置(应用基于视频的方法的编码装置)。在这种情况下，编码装置100搜索帧内预测结果的评估是佳的位置，并且将面片放置在搜索出的位置处。

注意，图7描绘了处理部、数据流等的主要部分，并且在图7中未描绘所有的这些处理部和数据流。换句话说，编码装置100可以包括没有如图7中的框所描绘的任何处理部，或者可以包括没有如图7中的箭头标记等所描绘的任何处理或任何数据流。这同样地适用于描述编码装置100中的处理部等的其他图。

如图7所描绘的，编码装置100包括面片分解部111、打包部112、辅助面片信息压缩部113、视频编码部114、另一视频编码部115、占用图编码部116和复用器117。

面片分解部111执行与3D数据的分解有关的处理。例如，面片分解部111获取输入至编码装置100并且表示三维结构的3D数据(例如，点云(Point Cloud))和与视图方向有关的信息(视图信息(View Info))。此外，面片分解部111将所获取的3D数据分解为多个分段，并且通过分段中的每一个将3D数据投射在二维平面上，以生成面片。面片分解部111将与所生成的面片有关的信息提供给打包部112。此外，面片分解部111将辅助面片信息提供给辅助面片信息压缩部113，所述辅助面片信息是与分解有关的信息。

打包部112执行与数据的打包有关的处理。例如，打包部112获取从面片分解部111提供的通过每个区域将3D数据投射在其上的二维平面而得到的数据(面片)。此外，打包部112将所获取的面片放置在二维图像中并且将它们打包作为视频帧。例如，打包部112将指示点的位置的位置信息(几何结构)的面片放置在二维图像中，将添加至位置信息的诸如颜色信息的属性信息(纹理)的面片放置在二维图像中，并且将二维图像单独打包为视频帧。

此后，打包部112基于帧内预测结果的评估来搜索对帧内预测结果的评估最佳的位置，并且将面片放置在搜索出的位置处。此外，同样关于面片旋转的状态和面片反转的状态，打包部112搜索对帧内预测结果的评估最佳的位置。

注意，打包部112还执行指示在每个位置处数据存在或不存在的占用图(Occupancy Map)的生成以及膨胀处理。在后续阶段中，打包部112将经过该处理的各种类型的数据提供给处理部。例如，打包部112将位置信息(几何结构)的视频帧提供给视频编码部114。此外，例如，打包部112将属性信息(纹理)的视频帧提供给视频编码部115。此外，例如，打包部112将占用图提供给占用图编码部116。

此外，打包部112将与打包有关的控制信息提供给复用器117。例如，打包部112生成指示面片所放置的位置的面片放置信息作为控制信息，并且将面片放置信息提供给复用器117。此外，例如，打包部112生成指示放置的面片的旋转状态(面片是否旋转，并且在面片旋转的情况下，旋转角度等)和反转状态(面片是否反转，并且在面片反转的情况下，反转方向等)的反转-旋转参数作为控制信息，并且将它们提供给复用器117。

辅助面片信息压缩部113执行与辅助面片信息的压缩有关的处理。例如，辅助面片信息压缩部113获取从面片分解部111提供的数据。辅助面片信息压缩部113对包括在所获取的数据中的辅助面片信息进行编码(压缩)。辅助面片信息压缩部113将所获得的辅助面片信息的编码数据提供给复用器117。

视频编码部114执行与位置信息(几何结构)的视频帧的编码有关的处理。例如，视频编码部114获取从打包部112提供的位置信息(几何结构)的视频帧。此外，例如，视频编码部114通过用于二维图像的任何编码方法(例如，AVC或HEVC)对所获取的位置信息(几何结构)的视频帧进行编码。视频编码部114将通过编码获得的编码数据(位置信息(几何结构)的视频帧的编码数据)提供给复用器117。

视频编码部115执行与属性信息(纹理)的视频帧的编码有关的处理。例如，视频编码部115获取从打包部112提供的属性信息(纹理)的视频帧。此外，例如，视频编码部115通过用于二维图像的任何编码方法(例如，AVC或HEVC)对所获取的属性信息(纹理)的视频帧进行编码。视频编码部115将通过编码获得的编码数据(属性信息(纹理)的视频帧的编码数据)提供给复用器117。

占用图编码部116执行与指示每个位置数据的存在或不存在的占用图的编码有关的处理。例如，占用图编码部116获取从打包部112提供的占用图。此外，例如，占用图编码部116通过任何编码方法(例如，算术编码)对所获取的占用图进行编码。占用图编码部116将通过编码获得的占用图的编码数据提供给复用器117。

复用器117执行与多路复用有关的处理。例如，复用器117获取从辅助面片信息压缩部113提供的辅助面片信息的编码数据。此外，复用器117获取与从打包部112提供的打包有关的控制信息(包括面片放置信息和反转旋转参数)。此外，复用器117获取从视频编码部114提供的位置信息(几何结构)的视频帧的编码数据。此外，复用器117获取从视频编码部115提供的属性信息(纹理)的视频帧的编码数据。此外，复用器117获取从占用图编码部116提供的占用图的编码数据。

复用器117对如上所提及的获取的信息进行多路复用以生成比特流(Bitstream)。复用器117将所生成的比特流提供给编码装置100的外部。

<打包部>

图8是描绘打包部112的主要部件的示例的框图。如图8所描绘的，打包部112包括面片放置部151、优化处理部152、占用图生成部153以及膨胀处理部154。

面片放置部151执行与面片的放置有关的处理。例如，面片放置部151获取从面片分解部111提供的数据。面片放置部151将通过面片分解部111生成的面片放置在二维图像中。此时，面片放置部151通过使用优化处理部152来搜索对帧内预测结果的评估最佳的位置，并且将面片放置在搜索出的位置处。面片放置部151将其中放置有这样的面片的二维图像提供给占用图生成部153。此外，面片放置部151还将与面片的放置有关的控制信息(例如，面片放置信息)和反转-旋转参数提供给占用图生成部153。

优化处理部152执行与面片的位置的优化有关的处理。例如，优化处理部152从面片放置部151获取必要的信息，并且通过面片放置部151搜索关于面片的放置对帧内预测结果的评估最佳的位置。优化处理部152将搜索的结果返回给面片放置部151。

占用图生成部153执行与占用图的生成有关的处理。例如，占用图生成部153获取从面片放置部151提供的数据。此外，占用图生成部153基于信息生成占用图。占用图生成部153将从面片放置部151提供的数据和所生成的占用图提供给膨胀处理部154。

膨胀处理部154执行与膨胀处理有关的处理。例如，膨胀处理部154获取从占用图生成部153提供的数据。此外，膨胀处理部154对于其中放置有位置信息的面片的二维图像以及其中放置有属性信息的面片的另一二维图像执行膨胀处理。例如，膨胀处理部154在预定方向上扩展放置在二维图像中的每个面片的轮廓的像素值，以填充二维图像的其中未放置面片的部分，与在图4的B的帧图像30中一样。膨胀处理部154输出从占用图生成部153提供的数据(例如，占用图等)、经过膨胀处理的二维图像(例如，位置信息的视频帧和属性信息的视频帧)等。

例如，膨胀处理部154将经过膨胀处理并且其中放置有位置信息(几何结构)的面片的二维图像作为位置信息(几何结构)的视频帧提供给视频编码部114。此外，膨胀处理部154将经过膨胀处理并且其中放置有属性信息(纹理)的面片的二维图像作为属性信息(纹理)的视频帧提供给视频编码部115。此外，膨胀处理部154将占用图提供给占用图编码部116。

此外，膨胀处理部154将面片放置信息和反转-旋转参数作为与打包有关的控制信息提供给复用器117。

<解码装置>

图9是描绘作为应用了本技术的模式的图像处理装置的解码装置的配置的示例的框图。图9中描绘的解码装置200是如下装置：其通过用于二维图像的解码方法对通过将诸如点云的3D数据投射在二维平面上并进行编码而获得的编码数据进行解码并且将解码的数据投射在三维空间中(应用了基于视频的方法的解码装置)。

注意，图9描绘了处理部、数据流等的主要部分，并且在图9中未描绘所有的处理部和数据流。换句话说，解码装置200可以包括如图9中的框未描绘的处理部，或者可以包括如图9中的箭头标记等未描绘的处理或数据流。这同样适用于描述解码装置200中的处理部等的其他图。

如图9所描绘的，解码装置200包括解复用器211、辅助面片信息解码部212、视频解码部213、另一视频解码部214、占用图解码部215、解包部216和3D重建部217。

解复用器211执行与数据的解复用有关的处理。例如，解复用器211获取输入至解码装置200的比特流。例如，该比特流由编码装置100提供。解复用器211对比特流进行解复用，以提取辅助面片信息的编码数据，并且将该编码数据提供给辅助面片信息解码部212。此外，解复用器211通过解复用从比特流中提取位置信息(几何结构)的视频帧的编码数据，并且将该编码数据提供给视频解码部213。此外，解复用器211通过解复用从比特流中提取属性信息(纹理)的视频帧的编码数据，并且将该编码数据提供给视频解码部214。此外，解复用器211通过解复用从比特流中提取占用图的编码数据，并且将该编码数据提供给占用图解码部215。

此外，解复用器211将与打包有关的控制信息(包括面片放置信息和反转-旋转参数)提供给解包部216。

辅助面片信息解码部212执行与辅助面片信息的编码数据的解码有关的处理。例如，辅助面片信息解码部212获取从解复用器211提供的辅助面片信息的编码数据。此外，辅助面片信息解码部212对包括在所获取的数据中的辅助面片信息的编码数据进行解码。辅助面片信息解码部212将通过解码获得的辅助面片信息提供给3D重建部217。

视频解码部分213执行与位置信息(几何结构)的视频帧的编码数据的解码有关的处理。例如，视频解码部213获取从解复用器211提供的位置信息(几何结构)的视频帧的编码数据。此外，视频解码部213对从解复用器211所获取的编码数据进行解码，以获得位置信息(几何结构)的视频帧。视频解码部213将位置信息(几何结构)的视频帧提供给解包部216。

视频解码部214执行与属性信息(纹理)的视频帧的编码数据的解码有关的处理。例如，视频解码部214获取从解复用器211提供的属性信息(纹理)的视频帧的编码数据。此外，视频解码部214对从解复用器211所获取的编码数据进行解码，以获得属性信息(纹理)的视频帧。视频解码部214将属性信息(纹理)的视频帧提供给解包部216。

占用图解码部215执行与占用图的编码数据的解码有关的处理。例如，占用图解码部215获取从解复用器211提供的占用图的编码数据。此外，占用图解码部215对从解复用器211获取的编码数据进行解码，以获得占用图。占用图解码部215将占用图提供给解包部216。

解包部216执行与解包有关的处理。例如，解包部216从视频解码部213获取位置信息(几何结构)的视频帧、从视频解码部214获取属性信息(纹理)的视频帧以及从占用图解码部215获取占用图。此外，解包部216获取与打包有关的控制信息，包括从解复用器211提供的面片放置信息和反转-旋转参数。

解包部216基于与打包有关的控制信息(面片放置信息和反转-旋转参数)对位置信息的视频帧和属性信息的视频帧进行解包。解包部216将通过解包获得的位置信息(几何结构)的面片和属性信息(纹理)的面片的各种数据以及占用图的各种数据等提供给3D重建部217。

3D重建部217执行与3D数据的重建有关的处理。例如，3D重建部217基于从辅助面片信息解码部212提供的辅助面片信息以及从解包部216提供的位置信息(几何结构)的面片、属性信息(纹理)的面片、占用图等来重建3D数据(点云(Point Cloud))。3D重建部217将通过如上所述的处理而获得的3D数据输出至解码装置200的外部。

例如，将3D数据提供给显示部，使得显示其图像、将其图像记录在记录介质上或者将其图像通过通信提供给不同的装置。

通过提供如上所述的部件，可以基于预测的结果的评估将面片放置在帧图像中并进行打包。此外，基于面片放置信息，可以对帧图像的编码数据进行正确地解码，在帧图像中基于预测的结果的评估放置面片并对面片进行打包。因此，可以提高预测精度，并且可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<编码处理的流程>

现在，参照图10的流程图描述由编码装置100执行的编码处理的流程的示例。

当编码处理开始时，在步骤S101中，编码装置100的面片分解部111将3D数据投射在二维平面上以将3D数据分解为面片。

在步骤S102中，辅助面片信息压缩部113对通过步骤S101中的处理获得的辅助面片信息进行压缩。

在步骤S103中，打包部112将在步骤S101中生成的面片放置在二维图像中，以将它们打包为视频帧。

在步骤S104中，视频编码部114通过用于二维图像的编码方法对几何结构视频帧进行编码，所述几何结构视频帧是通过步骤S103中的处理获得的位置信息的视频帧。

在步骤S105中，视频编码部115通过用于二维图像的编码方法对颜色视频帧进行编码，所述颜色视频帧是通过步骤S103中的处理获得的属性信息的视频帧。

在步骤S106中，占用图编码部116通过预定的编码方法对通过步骤S103中的处理获得的占用图进行编码。

在步骤S107中，复用器117多路复用以上描述的方式生成的各种信息，以生成包括所述信息的比特流。特别地，该比特流包括位置信息、属性信息、占用图等的编码数据，并且还包括与打包有关的控制信息(包括面片放置信息和反转-旋转参数)。

在步骤S108中，复用器117将通过步骤S107中的处理生成的比特流输出至编码装置100的外部。

当步骤S108中的处理结束时，编码处理结束。

<打包处理的流程>

现在，参照图11的流程图描述在图10的步骤S103中执行的打包处理的流程的示例。

当打包处理开始时，在步骤S121中，面片放置部151选择未处理的面片作为处理目标(当前面片)。

在步骤S122中，面片放置部124指定二维图像中的其中可以放置当前面片的区域。

在步骤S123中，优化处理部152搜索放置当前面片的最佳位置。在搜索结束之后，处理进行至步骤S124。

在步骤S124中，面片放置部151确定是否在当前面片关于所有反转方向反转的状态下执行了搜索。在确定仍然存在尚未执行搜索处理的反转方向的情况下，处理进行至步骤S125。

在步骤S125中，面片放置部151沿尚未执行搜索处理的反转方向反转面片。在步骤S125中的处理结束之后，处理返回至步骤S122，并且重复随后的处理。简而言之，关于各个反转方向执行步骤S122至步骤S125中的处理。然后，在步骤S124中确定已经在所有反转状态下执行了搜索的情况下，处理进行至步骤S126。

在步骤S126中，面片放置部151确定是否在当前面片以所有旋转角度旋转的状态下执行了搜索。在确定仍然存在尚未执行处理的旋转角度的情况下，处理进行至步骤S127。

在步骤S127中，面片放置部151以尚未执行处理的旋转角度旋转面片。在步骤S127中的处理结束之后，处理返回至步骤S122，并且重复随后的处理。简而言之，对于每个旋转角度，执行步骤S122至步骤S127中的处理。然后，在步骤S126中确定已经在所有旋转状态下执行了搜索的情况下，处理进行至步骤S128。

在步骤S128中，面片放置部151将当前面片放置在步骤S123中搜索出的最佳位置处。

在步骤S129中，面片放置部151确定是否所有面片已经放置在二维图像中。在确定仍然存在未处理的面片的情况下，处理返回至步骤S121，并且执行随后的处理。简而言之，执行步骤S121至步骤S129中的处理。然后，在步骤S129中确定已经放置了所有面片的情况下，处理进行至步骤S130。

在步骤S130中，面片放置部151生成关于所放置的面片的面片放置信息。

在步骤S131中，面片放置部151为所放置的面片中的每一个设置反转-旋转参数。

在步骤S132中，占用图生成部153生成占用图。

在步骤S133中，膨胀处理部154对其中放置有位置信息的面片的二维图像和其中放置有属性信息的面片的二维图像执行膨胀处理。

当步骤S133中的处理结束时，打包处理结束并且处理返回至图10。

<最佳位置搜索处理的流程>

现在，参照图12的流程图描述在图11的步骤S123中执行的最佳位置搜索处理的流程的示例。

当最佳位置搜索处理开始时，在步骤S151中，优化处理部152将当前面片临时放置在二维图像的其中可以放置当前面片的区域中的新位置处。

在步骤S152中，优化处理部152确定面片是否放置在二维图像中的临时放置当前面片的位置(临时位置)的左侧的区域(左区域)中。在确定面片存在于临时位置的左区域中的情况下，处理进行至步骤S153。

在步骤S153中，优化处理部152评估左区域中的面片的右端处的像素与当前面片的左端处的像素之间的差。在步骤S153中的处理结束之后，处理进行至步骤S154。另一方面，在步骤S152中确定面片不存于临时位置的左区域中的情况下，处理进行至步骤S154。

在步骤S154中，优化处理部152确定面片是否放置在二维图像中的临时放置当前面片的位置(临时位置)的右侧的区域(右区域)中。在确定面片存在于临时位置的右区域中的情况下，处理进行至步骤S155。

在步骤S155中，优化处理部152评估右区域中的面片的左端处的像素与当前面片的右端处的像素之间的差。在步骤S155中的处理结束之后，处理进行至步骤S156。另一方面，在步骤S154中确定面片不存于在临时位置的右区域中的情况下，处理进行至步骤S156。

在步骤S156中，优化处理部152确定是否已经对可以放置面片的所有位置执行了评估。在确定仍然存在尚未执行处理的位置的情况下，处理返回至步骤S151，并且重复随后的处理。简而言之，针对可以放置面片的位置，执行步骤S151至步骤S156中的处理。然后，在步骤S156中确定已经针对所有位置执行了评估的情况下，处理进行至步骤S157。

在步骤S157中，优化处理部152基于以上面描述的方式获得的评估结果来设置最佳位置。例如，优化处理部152将预测精度最高处的位置，(即上述差指示最小值处的位置设置)为最佳位置。

当步骤S157中的处理结束时，最佳位置搜索处理结束，并且处理返回至图11。

通过以如上所述的方式执行处理，编码装置100可以基于预测的结果的评估将面片放置在帧图像中并进行打包。因此，可以放置面片以提高预测精度。因此，可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

注意，虽然在参照图12描述了使用其中评估当前面片与周围面片的相对面的像素值之间的差的简单且容易的方法(简单且容易的搜索)进行评估的情况，但是如上所述可以自由选择评估方法并且不限于该示例。例如，评估方法可以是：如图13所示，在所有模式下执行帧内预测并评估预测的结果的方法(完全搜索)；在沿与膨胀处理的方向相同的方向的模式下执行帧内预测并评估预测的结果的方法(有限搜索1)；或者在沿与膨胀处理的方向相同的方向的模式中的预定模式下(例如，帧内_角度10(INTRA_ANGULAR10))执行帧内预测并评估预测的结果的方法(有限搜索2)。

比较上述方法，通常，在完全搜索中预测精度最高，在有限搜索1中预测精度第二高，在有限搜索2中预测精度第三高，以及在简单且容易的搜索中预测精度最低。在简单且容易的搜索中，处理速度最高，在有限搜索2中处理速度第二高，在有限搜索1中处理速度第三高，以及在完全搜索中处理速度最低。

<解码处理的流程>

现在，参照图14的流程图描述由解码装置200执行的解码处理的流程的示例。

当解码处理开始时，在步骤S201中，解码装置200的解复用器211对比特流进行解复用。

在步骤S202中，辅助面片信息解码部212对在步骤S201中从比特流中提取的辅助面片信息进行解码。

在步骤S203中，视频解码部213对在步骤S201中从比特流中提取的几何结构的视频帧(位置信息的视频帧)的编码数据进行解码。

在步骤S204中，视频解码部214对在步骤S201中从比特流中提取的颜色视频帧(属性信息的视频帧)的编码数据进行解码。

在步骤S205中，占用图解码部215对在步骤S201中从比特流中提取的占用图的编码数据进行解码。

在步骤S206中，解包部216基于在步骤S201中从比特流中提取的与打包有关的控制信息(包括面片放置信息和反转-旋转参数)对几何结构视频帧和颜色视频帧进行解包，以提取面片。

在步骤S207中，3D重建部217基于在步骤S202中获得的辅助面片信息、在步骤S206中获得的面片等来对例如点云等的3D数据进行重建。

当步骤S207中的处理结束时，解码处理结束。

通过以如上所述的方式执行解码处理，解码装置200可以基于面片放置信息对帧图像的编码数据进行正确地解码，其中，在帧图像中基于预测的结果的评估来放置面片并进行打包。因此，可以实现预测精度的提高。因此，可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<3.第二实施方式>

<编码装置>

接下来描述搜索在帧间预测结果的评估中最佳的帧图像，并且将面片放置在搜索出的帧图像中的情况。图15是描绘在这种情况下编码装置100的主要部件的示例的框图。如图15所描绘的，同样在这种情况下，编码装置100具有与图7的情况的配置基本类似的配置。

然而，在打包时，打包部112基于帧间预测结果的评估来搜索在帧间预测结果的评估中最佳的帧图像，并且将面片放置在搜索出的帧图像中。

为此，除了面片放置信息和反转-旋转参数之外，打包部112还生成指示其中放置有面片的帧图像的结构的帧结构信息，作为与打包有关的控制信息，并且将所生成的帧结构信息提供给复用器117。

复用器117对与打包有关的控制信息(包括面片放置信息、反转-旋转参数和帧结构信息)与视频帧和占用图等的编码数据一起进行复用以生成比特流(Bitstream)。复用器117将所生成的比特流输出至编码装置100的外部。

注意，同样在这种情况下，打包部112具有与图8的情况的配置类似的配置。然而，在这种情况下，优化处理部152从面片放置部151获取必要的信息，并且通过面片放置部151搜索关于放置面片的帧间预测结果的评估中最佳的帧图像。优化处理部152将搜索的结果返回至面片放置部151。

面片放置部151将面片放置在由优化处理部152搜索出的作为帧内预测结果的评估中最佳的帧图像中。此外，除了面片放置信息和反转-旋转参数之外，面片放置部151还生成帧结构信息，作为与打包有关的控制信息。

<解码装置>

图16是描绘解码装置200的主要部件的示例的框图。如图16所描绘的，同样在这种情况下，解码装置200具有与图9的情况的配置基本类似的配置。

然而，解复用器211将通过解复用从比特流中提取的与打包有关的控制信息(包括面片放置信息、反转-旋转参数和帧结构信息)提供给解包部216。

解包部216基于与打包有关的控制信息(包括面片放置信息、反转-旋转参数和帧结构信息)对位置信息(几何结构)的视频帧和属性信息(纹理)的视频帧进行解包。解包部216将通过解包获得的位置信息(几何结构)的面片和属性信息(纹理)的面片以及占用图的各种类型的数据等提供给3D重建部217。

由于解包部216具有如刚刚所述的配置，因此可以基于预测的结果的评估将面片放置在帧图像中并进行打包。此外，可以基于面片放置信息对帧图像的编码数据进行正确地解码，在帧图像中基于预测的结果的评估放置面片并进行打包。因此，可以提高预测精度，并且可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<打包处理的流程>

同样在帧间预测的情况下，与在第一实施方式(图10)的情况下类似地执行编码处理。

参照图17的流程图描述在这种情况下的打包处理的流程。当打包处理开始时，在步骤S301中，面片放置部151选择未处理的面片作为处理目标(当前面片)。

在步骤S302中，面片放置部124指定其中可以将当前面片放置在二维图像中的帧。

在步骤S303中，优化处理部152搜索对于放置当前面片最佳的帧。在搜索结束之后，处理进行至步骤S304。

在步骤S304中，面片放置部151确定是否在沿所有反转方向反转当前面片的状态下执行了搜索。在确定仍然存在尚未执行处理的反转方向的情况下，处理进行至步骤S305。

在步骤S305中，面片放置部151沿尚未执行处理的方向反转面片。在步骤S305中的处理结束之后，处理返回至步骤S302，并且重复随后的处理。简而言之，关于每个反转方向执行步骤S302至步骤S305中的处理。然后，在步骤S304中确定已经在所有反转状态下执行了搜索的情况下，处理进行至步骤S306。

在步骤S306中，面片放置部151确定是否在当前面片以所有旋转角度旋转的状态下执行了搜索。在确定仍然存在尚未执行处理的旋转角度的情况下，处理进行至步骤S307。

在步骤S307中，面片放置部151以尚未执行处理的旋转角度旋转面片。在步骤S307中的处理结束之后，处理返回至步骤S302，并且重复随后的处理。简而言之，对于每个旋转角度，执行步骤S302至步骤S307中的处理。然后，在步骤S306中确定已经在所有旋转状态下执行了搜索的情况下，处理进行至步骤S308。

在步骤S308中，面片放置部151将当前面片放置在步骤S303中搜索出的最佳帧图像中。

在步骤S309中，面片放置部151确定是否所有面片放置在二维图像中。在仍然存在未处理的面片的情况下，则处理返回至步骤S301，并且执行随后的处理。简而言之，针对每个面片，执行步骤S301至步骤S309中的处理。然后，在步骤S309中确定放置了所有面片的情况下，处理进行至步骤S310。

在步骤S310中，面片放置部151生成关于所放置的面片的面片放置信息。

在步骤S311中，面片放置部151为所放置的面片中的每一个设置反转-旋转参数。

在步骤S312中，面片放置部151设置关于放置有面片的帧图像的帧结构信息。

在步骤S313中，占用图生成部153生成占用图。

在步骤S314中，膨胀处理部154对放置有位置信息的面片的二维图像和放置有属性信息的面片的二维图像执行膨胀处理。

当步骤S314中的处理结束时，打包处理结束并且处理返回至图10。

<最佳帧搜索处理的流程>

现在，参照图18的流程图描述图17的步骤S303中执行的最佳帧搜索处理的流程的示例。

当最佳帧搜索处理开始时，在步骤S331中，优化处理部152将当前面片临时放置在帧图像中的可以放置面片的新帧图像中。

在步骤S332中，使用已经放置有面片并且与放置有当前面片的帧图像不同的帧图像中的每一个作为参考帧，优化处理部152执行关于参考图像的运动预测并且评估预测的结果。换句话说，针对每个参考帧，评估帧间预测的结果。

在步骤S333中，优化处理部152从参考帧的帧间预测结果的评估中保留最佳评估结果。

在步骤S334中，优化处理部152确定是否关于允许在其中放置面片的所有帧执行了评估。在确定仍然存在未临时放置面片的未处理帧的情况下，处理返回至步骤S331，并且执行随后的处理。简而言之，针对允许在其中放置面片的帧图像中的每一个执行步骤S331至步骤S334中的处理。然后，在步骤S334中确定已经关于允许放置面片的所有帧图像执行了评估(针对其中临时放置面片的每个帧图像，已经获取了最佳评估结果)的情况下，处理进行至步骤S335。

在步骤S335中，优化处理部152基于以如上所述的方式获得的评估结果设置最佳位置。例如，优化处理部152将在其中保留的评估结果中具有最高预测精度的帧图像设置为最佳帧图像。

当步骤S335中的处理结束时，最佳帧搜索处理结束，并且处理返回至图17。

通过以如上所述的方式执行处理，编码装置100可以基于预测的结果的评估来将面片放置在帧图像中并进行打包。因此，可以放置面片以提高预测精度。因此，可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<解码处理的流程>

现在，参照图19的流程图描述这种情况下的解码处理的流程的示例。

当解码处理开始时，在步骤S401中，解码装置200的解复用器211对比特流进行解复用。

在步骤S402中，辅助面片信息解码部212对在步骤S401中从比特流中提取的辅助面片信息进行解码。

在步骤S403中，视频解码部213对在步骤S401中从比特流中提取的几何结构视频帧(位置信息的视频帧)的编码数据进行解码。

在步骤S404中，视频解码部214对在步骤S401中从比特流中提取的颜色视频帧(属性信息的视频帧)的编码数据进行解码。

在步骤S405中，占用图解码部215对在步骤S401中从比特流中提取的占用图的编码数据进行解码。

在步骤S406中，解包部216基于在步骤S401中从比特流中提取的与打包有关的控制信息(包括面片放置信息、反转-旋转参数和帧结构信息)对几何结构视频帧和颜色视频帧进行解包，以提取面片。

在步骤S407中，3D重建部217基于在步骤S402中获得的辅助面片信息、在步骤S406中获得的面片等，对例如点云等的3D数据进行重建。

当步骤S407中的处理结束时，解码处理结束。

通过以如上所述的方式执行解码处理，解码装置200可以基于面片放置信息，对帧图像的编码数据进行正确地解码，其中在帧图像中基于预测的结果的评估放置面片并进行打包。因此，可以实现预测精度的提高。因此，可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<4.第三实施方式>

<帧内预测和帧间预测>

现在描述以下情况：其中搜索对帧内预测结果的评估最佳的位置和在帧间预测结果的评估中最佳的帧图像，选择它们之间最佳的一个，并且然后将面片放置在所选择的帧图像或位置中。

同样在这种情况下，编码装置100的配置和解码装置200的配置与第二实施方式的情况下的配置类似。

此外，在这种情况下编码处理的流程与在第一实施方式的情况下(图10)的流程类似。另外，在这种情况下解码处理的流程与在第二实施方式的情况下(图19)的流程类似。

<打包处理的流程>

参照图20的流程图描述在这种情况下的打包处理的流程的示例。

当打包处理开始时，在步骤S501中，面片放置部151选择未处理的面片作为处理目标(当前面片)。

在步骤S502中，面片放置部124指定其中可以将当前面片放置在二维图像中的帧和位置。

在步骤S503中，优化处理部152搜索用于放置当前面片的最佳的帧和位置。在搜索结束之后，处理进行至步骤S504。

在步骤S504中，面片放置部151确定是否已经在反转状态下沿所有反转方向搜索了当前面片。在确定仍然存在尚未执行处理的反转方向的情况下，处理进行至步骤S505。

在步骤S505中，面片放置部151沿尚未执行处理的反转方向反转面片。在步骤S505中的处理结束之后，处理返回至步骤S502，并且重复随后的处理。简而言之，关于每个反转方向执行步骤S502至步骤S505中的处理。然后，在步骤S504中确定已经在所有反转状态下执行了搜索的情况下，处理进行至步骤S506。

在步骤S506中，面片放置部151确定是否在当前面片以所有旋转角度旋转的状态下执行了搜索。在确定仍然存在尚未执行处理的旋转角度的情况下，处理进行至步骤S507。

在步骤S507中，面片放置部151以尚未执行处理的旋转角度旋转面片。在步骤S507中的处理结束之后，处理返回至步骤S502，并且重复随后的处理。简而言之，关于每个旋转角度，执行步骤S502至步骤S507中的处理。然后，在步骤S506中确定已经在所有旋转状态下执行了搜索的情况下，处理进行至步骤S508。

在步骤S508中，面片放置部151将当前面片放置在步骤S303中搜索出的最佳帧图像或最佳位置中。

在步骤S509中，面片放置部151确定是否所有面片都放置在二维图像中。在确定仍然存在未处理的面片的情况下，处理返回至步骤S501，并且执行随后的处理。简而言之，针对每个面片，执行步骤S501至步骤S509中的处理。然后，在步骤S509中确定放置了所有面片的情况下，处理进行至步骤S510。

在步骤S510中，面片放置部151生成关于所放置的面片的面片放置信息。

在步骤S511中，面片放置部151为所放置的面片设置反转-旋转参数。

在步骤S512中，面片放置部151设置关于其中放置有面片的帧图像的帧结构信息。

在步骤S513中，占用图生成部153生成占用图。

在步骤S514中，膨胀处理部154对放置有位置信息的面片的二维图像和放置有属性信息的面片的二维图像执行膨胀处理。

当步骤S514中的处理结束时，打包处理结束并且处理返回至图10。

<最佳帧位置搜索处理的流程>

现在，参照图21的流程图描述在图20的步骤S503中执行的最佳帧位置搜索处理的流程的示例。

当最佳帧位置搜索处理开始时，在步骤S531中，优化处理部152执行最佳位置搜索处理(图12)以搜索最佳位置。

在步骤S532中，优化处理部152执行最佳帧搜索处理(图18)以搜索最佳帧图像。

在步骤S533中，优化处理部152将步骤S531中的搜索结果与步骤S532中的搜索结果彼此进行比较，以设置最佳位置或最佳帧。

当步骤S533中的处理结束时，最佳帧位置搜索处理结束，并且处理返回至图20。

通过以如上所述的方式执行处理，编码装置100可以基于预测的结果的评估将面片放置在帧图像中并进行打包。因此，可以放置面片以提高预测精度。因此，可以提高2D移动图像编解码器的编码效率。换句话说，可以抑制编码效率的降低。

<5.说明>

<控制信息>

结合实施方式描述的与本技术有关的控制信息可以从编码侧发送至解码侧。例如，可以发送用于控制是否允许(或禁止)上述本技术的应用的控制信息(例如，enabled_flag)。此外，例如，可以发送用于指定允许(或禁止)应用上述本技术的范围的控制信息(例如，面片大小的上限或下限或者上限和下限两者、片、图片、序列、部件、视图、层等)。

<计算机>

虽然上述一系列处理可以由硬件执行，但是其另外也可以由软件执行。在由软件执行一系列处理的情况下，将构建软件的程序安装在计算机中。此处，计算机可以并入专用硬件、可以通过在个人计算机中安装各种程序来执行各种功能的通用个人计算机等中。

图22是描绘根据程序执行上文所述的一系列处理的计算机的硬件配置的示例的框图。

在图22中描绘的计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903通过总线904彼此连接。

此外，输入/输出接口910连接至总线904。输入部911、输出部912、存储部913、通信部914和驱动器915连接至输入/输出接口910。

例如，输入部911包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出部912包括显示器、扬声器、输出端子等。例如，存储部913包括硬盘、RAM盘、非易失性存储器等。例如，通信部914包括网络接口。驱动器915驱动可移动介质921，例如磁盘、光盘、磁光盘或半导体存储器。

在以如上所述的方式配置的计算机中，CPU 901通过输入/输出接口910和总线904将例如存储在存储部913中的程序加载至RAM 903中，并且执行该程序以执行上述一系列处理。CPU 901执行各种处理所需的数据等也适当地存储在RAM 903中。

例如，要由计算机(CPU 901)执行的程序可以记录在作为封装介质的可移动介质921上，并且用作移动除介质921。在这种情况下，通过将可移动介质921安装在驱动器915上，可以通过输入/输出接口910将程序安装在存储部913中。

此外，可以通过有线或无线传输介质(例如，局域网、因特网或数字卫星广播)提供该程序。在这种情况下，可以通过通信部914接收程序并且将其安装在存储部913中。

替选地，也可以预先将程序安装在ROM 902或存储部913中。

<本技术的应用目标>

虽然前述描述涉及本技术应用于点云数据的编码-解码的情况，但是本技术不限于那些示例，并且可以应用于任何标准的3D数据的编码-解码。换句话说，除非诸如编码方法和解码方法的各种处理的说明以及诸如3D数据和元数据的各种数据与上述本技术矛盾，否则可以自由地选择。此外，除非上述处理和说明的一部分与本技术矛盾，否则可以省略上述处理和说明的一部分。

此外，虽然前述描述涉及作为本技术的应用示例的编码装置100和解码装置200，但是本技术可以应用于任何配置。

例如，本技术可以应用于各种类型的电子设备，例如，卫星广播、有线电视的有线广播、因特网等上的传送、或者通过蜂窝通信传送至终端中的发射器和接收器(例如，电视接收器和便携式电话机)，或者应用于在诸如光盘、磁盘或闪速存储器的介质上记录图像或从这样的记录介质(例如，硬盘记录器和摄像装置)再现图像的装置。

此外，例如，本技术可以作为诸如系统LSI(大规模集成)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)或者其中向单元添加其他功能的集合(例如，视频集合)的装置的一部分的配置来执行。

此外，例如，本技术还可以应用于由多个装置配置的网络系统。例如，本技术可以在云计算中执行，通过该云计算，装置也可以通过网络进行共享和协作以进行处理。例如，本技术可以在云服务中执行，该云服务向任何终端例如计算机、AV(视听)设备、便携式信息处理终端或IoT(物联网)设备提供与图像(移动图像)有关的服务。

注意，在本说明书中，术语“系统”用于表示多个部件(设备、模块(部分)等)的集合，并且所有部件是否容纳在同一壳体中并不重要。因此，容纳在分开的壳体中并且通过网络彼此连接的多个装置是系统，并且其中多个模块容纳在单个壳体中的一个装置也是系统。

<本技术适用的领域和用途>

应用本技术的系统、装置、处理部等可以用于任何领域，例如，用于运输、医疗护理、犯罪预防、农业、畜牧业、采矿工业、美容护理、工厂、家用电器、天气和自然监视。也可以自由选择它们的用途。

<其他>

注意，本说明书中的术语“标志”表示用于识别多个状态的信息，并且不仅包括要识别真(1)和假(0)的两个状态时要使用的信息，而且还包括能够识别三个或更多个状态的信息。因此，可以由“标志”采用的值可以是例如1/0的两个值，或者可以是三个或更多个值。换句话说，可以自由选择构成“标志”的比特数，并且可以是1比特或多个比特。此外，假定识别信息(包括标志)不仅具有识别信息被包括在比特流中的形式，而且具有识别信息相对于变成特定参考的信息的差异信息被包括在比特流中的形式。因此，在本说明书中，“标志”和“识别信息”不仅包括如上所述的信息，而且包括这样的信息相对于参考信息的差异信息。

此外，可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等)，如果它们与编码数据关联的话。此处，例如，术语“关联”表示当要处理一个数据时，可以使用(链接)另一数据。简而言之，彼此相关联的多个数据可以放在一起作为一个数据，或者可以是单独的单个数据。例如，与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输线路不同的传输线路上传输。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质分开的记录介质上(或者在同一记录介质的不同记录区域中)。注意，可以不对整个数据而是对这样的数据的一部分进行这种“关联”。例如，图像和对应于图像的信息可以以任意单位(例如，多个帧、一个帧或帧中的一部分)彼此相关联。

注意，在本说明书中，诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“提出”、“放入”和“插入”的术语表示将多个事物组合成一个，例如，将编码数据和元数据组合成一个数据，并且表示上述“关联”中的一种方法。

此外，本技术的实施方式不限于上文描述的实施方式，并且在不脱离本技术的主题的情况下允许各种改变。

例如，可以划分被描述为一个装置(或一个处理部)的配置，以配置多个装置(或处理部)。相反，可以将在前述描述中描述为多个装置(或处理部)的配置放在一起，以配置单个装置(或处理部)。此外，可以将上文未描述的配置自然地添加至装置(或处理部)的配置。此外，如果整个系统的配置或操作基本相同，则特定装置(或处理部)的部件中的一些可以包括在另一装置(或另一处理部)的配置中。

此外，例如，可以由任意装置执行上述程序。在这种情况下，如果该装置具有必要的功能(功能块等)并且可以获得必要的信息就足够了。

此外，一个流程图的步骤中的每一个可以由单个装置执行，或者可以由多个装置共享并执行。此外，在多个处理包括在一个步骤中的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享并执行。换句话说，还可以执行包括在一个步骤中的多个处理作为多个步骤的处理。相反，还可以将描述为多个步骤的处理作为一个步骤来共同执行。

此外，例如，在要由计算机执行的程序中，步骤中的描述该程序的处理可以以如本说明书中描述的顺序按时间序列进行，或者可以并行地或者在必要的时刻(例如，调用该处理时)单独执行。简而言之，除非步骤中的处理发生矛盾，否则可以以与上文描述的顺序不同的顺序执行步骤中的处理。此外，步骤中描述该程序的处理可以与其他程序的处理并行执行，或者可以与其他装置的处理组合地执行。

此外，例如，除非与本技术有关的多个技术发生矛盾，否则可以单独地和彼此独立地执行与本技术有关的多个技术。自然地，可以一起执行自由选择的多个本技术。例如，还可以结合实施方式中的不同的一个或多个实施方式描述的本技术的全部或部分来执行结合实施方式中的任何实施方式描述的本技术的全部或部分。此外，可以与上文未描述的其他技术一起执行本技术的自由选择的全部或部分。

注意，本技术还可以采用如下所述的配置。

(1)一种图像处理装置，包括：

打包部，其被配置成基于对在3D数据的编码中执行的预测的结果的评估来将面片放置在帧图像中并进行打包，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

编码部，其被配置成通过使用预测对由所述打包部放置了所述面片并打包了的帧图像进行编码。

(2)根据(1)所述的图像处理装置，其中，

所述打包部基于对帧内预测的结果的评估，将所述面片放置在帧图像中。

(3)根据(2)所述的图像处理装置，其中，

所述打包部将所述面片放置在所述帧图像的、对所述帧内预测的结果的评估最佳的位置处。

(4)根据(3)所述的图像处理装置，其中，

所述打包部搜索对所述帧内预测的结果的评估最佳的位置，并且将所述面片放置在所搜索出的位置处。

(5)根据(4)所述的图像处理装置，其中，

所述打包部评估当前面片与周围面片的相对面的像素值之间的差，以搜索对所述帧内预测的结果的评估最佳的位置。

(6)根据(4)所述的图像处理装置，其中，

所述打包部评估评估所述帧内预测的在所有模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

(7)根据(4)所述的图像处理装置，其中，

所述打包部评估所述帧内预测的在沿与膨胀处理的方向相同的方向的模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

(8)根据(4)所述的图像处理装置，其中，

所述打包部评估所述帧内预测的在沿与膨胀处理的方向相同的方向的模式中的预定模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

(9)根据(4)所述的图像处理装置，其中，

在使所述面片旋转的状态下，所述打包部搜索对所述帧内预测的结果的评估最佳的位置。

(10)根据(4)所述的图像处理装置，其中，

在使所述面片反转的状态下，所述打包部搜索对所述帧内预测的结果的评估最佳的位置。

(11)根据(2)所述的图像处理装置，还包括：

比特流生成部，其被配置成生成比特流，所述比特流包括指示由所述打包部放置的所述面片的位置的面片放置信息和由所述编码部生成的所述帧图像的编码数据。

(12)根据(1)所述的图像处理装置，其中，

所述打包部基于对帧间预测结果的评估，将所述面片放置在帧图像中。

(13)根据(12)所述的图像处理装置，其中，

所述打包部将所述面片放置在对所述帧间预测结果的评估中是最佳的帧图像中。

(14)根据(13)所述的图像处理装置，其中，

所述打包部搜索对所述帧间预测结果的评估最佳的帧图像，并且将所述面片放置在所搜索出的帧图像中。

(15)根据(14)所述的图像处理装置，其中，

在使所述面片旋转的状态下，所述打包部搜索对所述帧间预测结果的评估最佳的帧图像。

(16)根据(14)所述的图像处理装置，其中，

在使所述面片反转的状态下，所述打包部搜索对所述帧间预测结果的评估最佳的帧图像。

(17)根据(12)所述的图像处理装置，还包括：

比特流生成部，其被配置成生成比特流，所述比特流包括指示其中由所述打包部放置了所述面片的帧图像的结构的帧结构信息和由所述编码部生成的所述帧图像的编码数据。

(18)一种图像处理方法，包括：

基于对在3D数据的编码中执行的预测的结果的评估来将面片放置在帧图像中并进行打包，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

通过使用预测对放置了所述面片并打包了的帧图像进行编码。

(19)一种图像处理装置，包括：

解码部，其被配置成对基于对在3D数据的编码中执行的预测的结果的评估而将面片放置在其中并进行打包的帧图像的编码数据进行解码，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

解包部，其被配置成基于指示所述面片的位置的面片放置信息，对由所述解码部生成的帧图像进行解包。

(20)一种图像处理方法，包括：

对基于对在3D数据的编码中执行的预测的结果的评估而将面片放置在其中并进行打包的帧图像的编码数据进行解码，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

基于指示所述面片的位置的面片放置信息对所生成的帧图像进行解包。

[附图标记列表]

100编码装置，111面片分解部，112打包部，113辅助面片信息压缩部，114视频编码部，115视频编码部，116占用图编码部，117复用器，151面片放置部，152优化处理部，153占用图生成部，154膨胀处理部，200解码装置，211解复用器，212辅助面片信息解码部，213视频解码部，214视频解码部，215占用图解码部，216解包部，217 3D重建部。

Claims (20)

1.一种图像处理装置，包括：

打包部，其被配置成基于对在3D数据的编码中执行的预测的结果的评估将面片放置在帧图像中并进行打包，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

编码部，其被配置成通过使用预测对由所述打包部放置了所述面片并打包了的帧图像进行编码。

2.根据权利要求1所述的图像处理装置，其中，

所述打包部基于对帧内预测的结果的评估，将所述面片放置在帧图像中。

3.根据权利要求2所述的图像处理装置，其中，

所述打包部将所述面片放置在所述帧图像的、对所述帧内预测的结果的评估最佳的位置处。

4.根据权利要求3所述的图像处理装置，其中，

所述打包部搜索对所述帧内预测的结果的评估最佳的位置，并且将所述面片放置在所搜索出的位置处。

5.根据权利要求4所述的图像处理装置，其中，

所述打包部评估当前面片与周围面片的相对面的像素值之间的差，以搜索对所述帧内预测的结果的评估最佳的位置。

6.根据权利要求4所述的图像处理装置，其中，

所述打包部评估所述帧内预测的在所有模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

7.根据权利要求4所述的图像处理装置，其中，

所述打包部评估所述帧内预测的在沿与膨胀处理的方向相同的方向的模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

8.根据权利要求4所述的图像处理装置，其中，

所述打包部评估所述帧内预测的在沿与膨胀处理的方向相同的方向的模式中的预定模式下的结果，以搜索对所述帧内预测的结果的评估最佳的位置。

9.根据权利要求4所述的图像处理装置，其中，

在使所述面片旋转的状态下，所述打包部搜索对所述帧内预测的结果的评估最佳的位置。

10.根据权利要求4所述的图像处理装置，其中，

在使所述面片反转的状态下，所述打包部搜索对所述帧内预测的结果的评估最佳的位置。

11.根据权利要求2所述的图像处理装置，还包括：

比特流生成部，其被配置成生成比特流，所述比特流包括指示由所述打包部放置的面片的位置的面片放置信息和由所述编码部生成的帧图像的编码数据。

12.根据权利要求1所述的图像处理装置，其中，

所述打包部基于对帧间预测结果的评估将所述面片放置在帧图像中。

13.根据权利要求12所述的图像处理装置，其中，

所述打包部将所述面片放置在对所述帧间预测结果的评估最佳的帧图像中。

14.根据权利要求13所述的图像处理装置，其中，

所述打包部搜索对所述帧间预测结果的评估最佳的帧图像，并且将所述面片放置在所搜索出的帧图像中。

15.根据权利要求14所述的图像处理装置，其中，

在使所述面片旋转的状态下，所述打包部搜索对所述帧间预测结果的评估最佳的帧图像。

16.根据权利要求14所述的图像处理装置，其中，

在使所述面片反转的状态下，所述打包部搜索对所述帧间预测结果的评估最佳的帧图像。

17.根据权利要求12所述的图像处理装置，还包括：

比特流生成部，其被配置成生成比特流，所述比特流包括指示由所述打包部放置了所述面片的帧图像的结构的帧结构信息和由所述编码部生成的帧图像的编码数据。

18.一种图像处理方法，包括：

基于对在3D数据的编码中执行的预测的结果的评估将面片放置在帧图像中并进行打包，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

通过使用预测对放置了所述面片并打包了的帧图像进行编码。

19.一种图像处理装置，包括：

解码部，其被配置成对基于对在3D数据的编码中执行的预测的结果的评估而将面片放置在其中并打包了的帧图像的编码数据进行解码，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

解包部，其被配置成基于指示所述面片的位置的面片放置信息，对由所述解码部生成的帧图像进行解包。

20.一种图像处理方法，包括：

对基于对在3D数据的编码中执行的预测的结果的评估而将面片放置在其中并打包了的帧图像的编码数据进行解码，所述面片是将表示三维结构的3D数据投射在二维平面上而得到的图像；以及

基于指示所述面片的位置的面片放置信息对所生成的帧图像进行解包。

Images