CN113261297A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN113261297A
CN113261297A CN201980087460.3A CN201980087460A CN113261297A CN 113261297 A CN113261297 A CN 113261297A CN 201980087460 A CN201980087460 A CN 201980087460A CN 113261297 A CN113261297 A CN 113261297A
Authority
CN
China
Prior art keywords
correction
information
data
unit
blank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980087460.3A
Other languages
English (en)
Inventor
隈智
中神央二
矢野幸司
加藤毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113261297A publication Critical patent/CN113261297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本公开内容涉及一种能够抑制图像质量降低的图像处理装置和方法。生成校正信息，校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息，并且对所生成的校正信息进行编码。此外，对校正信息的编码数据进行解码，并且使用2D数据以及通过对校正信息的编码数据进行解码而生成的校正信息来构建3D数据，校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息。本公开内容可以应用于例如信息处理装置、图像处理装置、电子设备、信息处理方法以及程序。

Description

图像处理装置和方法
技术领域
本公开内容涉及图像处理装置和方法，并且更具体地涉及能够抑制图像质量降低的图像处理装置和方法。
背景技术
常规地，例如，作为对诸如点云的表示三维结构的3D数据进行编码的方法，例如已经存在诸如八叉树的使用体素的编码(例如，参见非专利文献1)。
近年来，例如，已经提出如下方法(在下文中也被称为基于视频的方法)作为另一种编码方法：针对每个小区域将点云的位置信息和属性信息投影在二维平面上；将投影在二维平面上的图像(面片(patch))布置在帧图像中；以及使用用于二维图像的编码方法对帧图像进行编码。
在这种基于视频的方法中，在使用指示帧图像的各个位置处是否存在面片的占据地图的情况下，可以通过降低分辨率和减少信息量来提高编码效率。
然而，如果降低占据地图的分辨率，则存在如下可能性：占据地图所指示的面片范围与实际面片范围可能不一致，并且可能在3D数据的重构期间生成原本不存在的点。因此，考虑通过平滑来校正这样的点的位置的方法。然而，即使执行这样的平滑，存在峰值信噪比(PSNR)可能劣化的可能性。因此，已经考虑去除通过降低占据地图的分辨率(N×N精度)而生成的空白部分的方法(例如，参见非专利文献5)。
此外，在没有面片交叠的高分辨率占据地图(1×1精度)的情况下，存在如下可能性：如果面片边界点的位置被扭曲，则在相邻面片之间可能形成间隙，并且间隙在根据3D数据生成的用于显示的二维图像中可能变为孔(缺失部分)。因此，还考虑了拓宽高分辨率占据地图(1×1精度)的边界的方法(例如，参见非专利文献6)。
引用列表
非专利文献
非专利文献1：R.Mekuria，IEEE研究成员，K.Blom，P.Cesar.，IEEE成员，“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo”，tcsvt_paper_submitted_february.pdf。
非专利文献2：Tim Golla和Reinhard Klein，“Real-time Point CloudCompression”，IEEE，2015。
非专利文献3：K.Mammou，“Video-based and Hierarchical Approaches PointCloud Compression”，MPEG m41649，2017年10月。
非专利文献4：K.Mammou，“PCC Test Model Category 2v0”，N17248MPEG输出文件，2017年10月。
非专利文献5：Dejun Zhang，Zheng Liu，Vladyslav Zakharchenko，Jianle Chen，Kangying Cai，“[VPCC]New proposal of an adaptive outlier removing method”，ISO/IEC JTC1/SC29/WG11 MPEG2018/m44766，2018年10月，中国澳门。
非专利文献6：Dejun Zhang，Zheng Liu，Vladyslav Zakharchenko，Jianle Chen，Kangying Cai，“[VPCC]New proposal of an adaptive hole filling method forreconstructed point cloud”，ISO/IEC JTC1/SC29/WG11MPEG2018/m44767，2018年10月，中国澳门。
发明内容
本发明要解决的问题
然而，由于在非专利文献5和非专利文献6中描述的方法中对占据地图进行校正，因此存在如下可能性：在指示一个面片的存在的区域中可能包括另一面片并且构建的3D数据可能劣化。因此，存在如下可能性：通过将3D数据投影在二维平面上而获得的显示图像的主观图像质量可能降低。
鉴于这种情况作出本公开内容，并且本公开内容可以抑制用于显示3D数据的二维图像的图像质量的降低。
问题的解决方案
根据本技术的一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：校正信息生成单元，其生成校正信息，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及校正信息编码单元，其对由校正信息生成单元生成的校正信息进行编码。
根据本技术的一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：生成校正信息，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及对所生成的校正信息进行编码。
根据本技术的另一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：校正信息解码单元，其对校正信息的编码数据进行解码，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及构建单元，其通过使用2D数据和通过由校正信息解码单元对校正信息的编码数据进行解码而生成的校正信息来构建3D数据。
根据本技术的另一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：对校正信息的编码数据进行解码，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及通过使用2D数据和通过对校正信息的编码数据进行解码而生成的校正信息来构建3D数据。
在根据本技术的一方面的图像处理装置和图像处理方法中，生成校正信息并且对所生成的校正信息进行编码，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息。
在根据本技术的另一方面的图像处理装置和图像处理方法中，对校正信息的编码数据进行解码，并且使用2D数据以及通过对校正信息的编码数据进行解码而生成的校正信息来构建3D数据，该校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息。
附图说明
图1是用于说明由占据地图指示的面片范围与实际面片范围之间的关系的示例的图。
图2是用于说明校正方法的示例的图。
图3是示出去除方式的候选示例的图。
图4是示出去除量的示例的图。
图5是示出语法的示例的图。
图6是示出编码装置的主要配置示例的框图。
图7是示出校正信息生成单元的主要配置示例的框图。
图8是用于说明编码处理的流程的示例的流程图。
图9是用于说明校正信息生成处理的流程的示例的流程图。
图10是示出解码装置的主要配置示例的框图。
图11是示出3D重构单元的主要配置示例的框图。
图12是用于说明解码处理的流程的示例的流程图。
图13是用于说明3D数据重构处理的流程的示例的流程图。
图14是示出计算机的主要配置示例的框图。
具体实施方式
以下描述将说明用于执行本公开内容的方式(其在下文中将被称为实施方式)。注意，将按以下顺序给出描述。
1.3D数据重构的校正
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.附录
<1.3D数据重构的校正>
<支持技术内容和技术术语的文件等>
本技术中所公开的范围不仅包括在实施方式中描述的内容，而且包括在提交时已知的在以下非专利文献中描述的内容。
非专利文献1：(如上所述)
非专利文献2：ITU(国际电信联盟)的电信标准化部门，“Advanced video codingfor generic audiovisual services”，H.264，04/2017
非专利文献3：ITU(国际电信联盟)的电信标准化部门，“High efficiency videocoding”，H.265，12/2016
非专利文献4：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,Jill Boyce,“Algorithm Description of Joint Exploration Test Model 4,”JVET-G1001_v1,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11第七次会议：Torino,IT,13-21 2017年7月
也就是说，上述非专利文献中描述的内容也用作确定支持要求的基础。例如，在实施方式中没有直接描述非专利文献3中描述的四叉树块结构和非专利文献4中描述的四叉树加二叉树(QTBT)块结构的情况也落入本技术的公开内容的范围内，并且应当满足权利要求的范围的支持要求。此外，例如，在实施方式中也类似地没有直接描述诸如解析、语法或语义的技术术语的情况也落入本技术的公开内容的范围内，并且应当满足权利要求的范围的支持要求。
<点云>
常规地，已经存在诸如点云的数据，点云基于点组的位置信息、属性信息等表示三维结构。点云具有相对简单的数据结构，并且可以通过使用足够多的点以足够的精度表达任意三维结构。
<基于视频的方法的概述>
已经提出了基于视频的方法，该方法针对每个小区域将这样的点云的位置信息或属性信息投影在二维平面上，将投影在二维平面上的图像(面片)布置在帧图像中，并使用用于二维图像的图像编码方法对帧图像进行编码。
在这种基于视频的方法中，输入的点云被分成多个小区域，并且针对每个小区域将每个点投影在二维平面上(生成面片)。由于点云被配置有每个点的位置信息(几何)和属性信息(纹理)，因此对位置信息和属性信息中的每一个执行二维平面上的投影。
然后，该面片被布置在帧图像(二维图像)中。也就是说，生成布置了位置信息的面片的帧图像(也被称为几何视频帧)和布置了属性信息的面片的帧图像(也被称为颜色视频帧)。
注意，在几何视频帧中，点的位置信息被表示为深度方向上的位置信息(深度值(深度))。也就是说，帧图像中的每个像素值指示该深度值。
例如，使用诸如高级视频编码(AVC)或高效视频编码(HEVC)的用于二维平面图像的编码方法对这些帧图像中的每一帧图像进行编码。
以这种方式生成的编码数据被发送至解码侧，并且在解码侧被解码以生成帧图像。然后，从帧图像中提取每个面片，并根据每个面片(位置信息和属性信息)重构3D数据(点云等)。
<占据地图>
此外，在这样的基于视频的方法的情况下还可以使用占据地图。占据地图是指示几何视频帧的具有预定像素精度的投影图像(面片)是否存在在的地图信息。例如，占据地图指示具有N×N像素精度(也就是说，每个区域有N×N个像素)的面片是否存在。例如，在占据地图中，由值“1”指示其中存在面片的N×N个像素的区域，而由值“0”指示其中不存在面片的N×N个像素的区域。
这样的占据地图被编码为独立于几何视频帧或颜色视频帧的数据，并且被发送至解码侧。由于解码器可以通过参考该占据地图来掌握在区域中是否存在面片，因此可以抑制通过编码/解码产生的噪声等的影响并更精确地恢复3D数据。例如，即使深度值由于编码/解码而改变，解码器也可以通过参考占据地图来忽略不存在面片的区域的深度值(不将深度值作为3D数据的位置信息进行处理)。
在使用这样的占据地图的情况下，可以通过降低分辨率并减少信息量来提高编码效率。
然而，如果占据地图的分辨率降低，则存在如下可能性：由占据地图指示的面片范围与实际面片范围可能不一致，并且可能在3D数据的重构期间生成原本不存在的点。例如，当如图1的A所示针对由小方块指示的在位置信息的面片边界附近的像素11生成具有较低分辨率的占据地图12时，存在如下可能性：面片可能扩展，并且可能形成空白，该空白是原本不存在面片的区域(图1的A中以灰色示出的部分)。因此，已经考虑通过执行平滑来移动这样的点的位置以减小空白的方法。然而，即使执行平滑，存在峰值信噪比(PSNR)可能劣化的可能性。
因此，如非专利文献5中所述，已经考虑去除由降低占据地图的分辨率(N×N精度)而形成的空白部分的方法。然而，尽管可以使用非专利文献5中描述的方法来去除空白部分，但空白部分不能增加(扩展)，并且难以减小由于面片等之间的间隙而在显示图像中形成的孔(缺失部分)。而且，由于通过减小空白部分抑制了面片的交叠，因此存在可能形成面片等之间的间隙的可能性。
因此，如非专利文献6中所述，还考虑拓宽高分辨率占据地图(1×1精度)的边界的方法。然而，如上所述，存在如下可能性：具有1×1精度的占据地图可能增加信息量。
因此，可想到的是：如在非专利文献5中描述的方法中减小面片边界部分处的空白部分，并且如在非专利文献6中描述的方法中进一步拓宽边界。然而，由于在非专利文献5和非专利文献6中描述的方法中对占据地图进行校正，因此存在如下可能性：在指示一个面片的存在的区域中可能包括另一面片并且重构的3D数据可能劣化。例如，如图1的B所示，在面片21和面片22的位置彼此靠近的情况下，当占据地图中的区域被放大时，如虚线圆圈23所示，面片21所在的区域与面片22交叠。在这样的情况下，由于虚线圆圈23作为面片21所在的区域被截取，因此存在如下可能性：根据面片21重构的3D数据可能包括面片22的信息。因此，存在如下可能性：通过在二维平面上投影重构的3D数据而获得的图像(也被称为显示图像)的主观图像质量可能降低。
此外，由于非专利文献6中描述的方法不支持平滑，因此难以抑制由于通过平滑引起的点位置移动而导致的面片之间的间隙的形成。因此，存在如下可能性：间隙可能降低显示图像的主观图像质量。
<方法1>
因此，如在图2的表中的方法1中，在从2D数据到3D数据的转换(3D数据的重构)中执行校正，以抑制由于面片等之间的间隙而导致的孔的形成等。例如，生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息，并且对所生成的校正信息进行编码。例如，图像处理装置包括：校正信息生成单元，其生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及校正信息编码单元，其对由校正信息生成单元生成的校正信息进行编码。
此外，例如，对校正信息的编码数据进行解码，并且使用2D数据和通过对校正信息的编码数据进行解码而生成的校正信息来构建3D数据，校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息。例如，图像处理装置包括：校正信息解码单元，其对校正信息的编码数据进行解码，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及构建单元，其通过使用2D数据和通过由校正信息解码单元对校正信息的编码数据进行解码而生成的校正信息来构建3D数据。
以这种方式，可以通过3D数据的校正来实现面片边界的校正。因此，如在对占据地图进行校正的情况下，可以抑制3D数据的劣化，诸如在3D数据的重构期间从要处理的面片添加关于其他面片的信息。也就是说，可以抑制显示图像的主观图像质量的降低。
该校正信息可以基于具有1×1精度的占据地图和具有N×N精度的占据地图来生成。例如，占据地图在精度上从1×1精度减小到N×N精度并被编码，并且基于编码之前的具有1×1精度的占据地图和通过对占据地图的编码数据进行解码而生成的具有N×N精度的占据地图来生成校正信息。通过以这种方式减小占据地图的精度并对占据地图进行编码，可以抑制编码效率的降低。此外，在编码期间执行的平滑可以通过使用编码前后的占据地图生成校正信息而被反映在校正信息中。因此，可以抑制由于平滑而导致的显示图像的主观图像质量的降低。
此外，还可以基于余量来生成校正信息，余量是空白的尺寸的设置值，该空白是3D数据的通过占据地图放大的部分。如此，还可以通过设置值“余量”来控制空白的校正量。例如，根据3D数据，可能在显示图像中形成通过比较简单编码前后的占据地图也难以处理的缺失部分。因此，可以通过独立于占据地图的比较结果来设置余量来抑制这样的缺失部分的形成。也就是说，可以进一步抑制显示图像的主观图像质量的降低。注意，设置该余量的方法是任意的。例如，该余量可以基于来自外部例如用户的指示来设置，可以基于要被编码的3D数据的分析结果来设置，或者可以基于其他信息来设置。
此外，校正信息可以包括关于空白的校正的信息，所述空白是3D数据的通过占据地图放大的部分。如此，基于该校正信息，可以将空白的校正反映在3D数据的校正中。也就是说，可以通过3D数据的校正来实现面片边界的校正。因此，可以抑制显示图像的主观图像质量的降低。
<方法1-1>
例如，关于该空白的校正的信息可以包括指示空白的去除方式的信息(指示如何去除空白的信息)。也就是说，可以如图2的表中所示的方法1-1中那样发送校正方法。通过将这样的信息置于校正信息中，可以控制如何去除空白。
此外，指示该空白的去除方式的信息可以具有任何内容，并且可以包括例如指示从候选中选择的空白的去除方式的模式的信息。例如，可以预先准备多个“空白的去除方式的模式”作为候选，可以针对每个局部区域从候选中选择“空白的去除方式的模式”，并且校正信息(指示空白的去除方式的信息)可以包括指示针对每个局部区域所选择的候选的信息(例如，所选择的候选的标识信息等)。通过将这样的信息置于校正信息中，可以通过更简单的信息来控制如何去除空白。例如，与以一个像素为单位具体指定所有局部区域的去除方式的情况相比，可以抑制代码量的增加。
<方法1-2>
此外，例如，关于空白的校正的信息可以包括指示空白的校正量的信息(指示多少空白要被校正的信息)。也就是说，可以如图2的表中所示的方法1-2那样发送校正量。通过将这样的信息置于校正信息中，可以控制多少空白要被校正。
注意，指示空白的校正量的信息可以包括指示空白的去除量的信息。通过这些信息，可以控制多少空白要被去除。此外，指示空白的校正量的信息可以包括指示空白的增加量的信息。通过这些信息，可以控制多少空白要被增加(增多)。
<方法1-3和方法1-4>
此外，用于重构要基于解码侧的校正信息被校正的3D数据的占据地图的精度是任意的。例如，可以采用N×N精度。也就是说，可以如图2的表中所示的方法1-3中那样对使用具有N×N精度的占据地图的转换(3D数据的重构)进行校正。此外，可以采用1×1精度。也就是说，可以如图2的表中所示的方法1-4中那样对使用具有1×1精度的占据地图的转换(3D数据的重构)进行校正。
<空白的去除方式的模式>
接下来，将描述<方法1-1>中说明的“空白的去除方式的模式”的候选。作为候选的模式(去除方式)可以是任何模式。数量也是任意的。例如，如图3的A至图3的H中所示的八个模式可以是候选。
图3的A至图3的H各自示出了空白的去除方式的模式的示例。在图3的A至图3的H中的每一个中，每个方块指示作为占据地图的数据单元的块(例如，像素)，并且黑色块是要从空白中去除的块。也就是说，该黑色块是空块，即，为其设置指示面片不存在的值的块。
例如，图3的A示出了要处理的局部部分的右下角被去除的模式。类似地，图3的B示出了右上方被去除的模式，图3的C示出了左上方被去除的模式，并且图3的D示出了左下方被去除的模式。
此外，例如，图3的E示出了要处理的局部部分的右侧被去除的模式，图3的F示出了上侧被去除的模式，图3的G示出了左侧被去除的模式，并且图3的H示出了下侧被去除的模式。注意，图中的灰色块是完全占据的块或空块。
也就是说，在该示例的情况下，根据选择哪个候选来选择要去除哪个部分。
<空白的校正量>
接下来，将描述<方法1-2>中说明的“空白的去除量”。该空白的去除量可以是任意值。例如，在图4的A中所示的右侧被去除的模式(图3的E中的模式)的情况下以及在包括4×4像素的要处理的区域(当前区域)的空白的校正量为“0”(即，初始值(Default))的情况下，如图4的B所示，去除右半像素(右侧的2×4像素区域)。类似地，在空白的校正量为“-1”的情况下，如图4的C所示，去除当前区域的最右边的像素串(最右边的1×4像素区域)。类似地，在空白的校正量为“-2”的情况下，如图4的D所示，当前区域未被校正(最右边的0×4像素区域被去除)。此外，在空白的校正量为“-3”的情况下，如图4的E所示，向当前区域的右端添加1×4像素区域。也就是说，空白被扩展。
以这种方式，空白的校正量可以指示空白的去除量或空白的增加量。
<语法>
在图5的A中示出了用于上述校正信息的语法的示例。灰色部分是与校正信息相关的语法。通过omapFilterTypeFrameLevel/omapFilterTypePatchLevel用信令通知帧级别、面片级别的空白的去除方式(类型)以及每种类型的处理。此外，通过omapFilterValueFrameLevel/patchList[i].omapFilterValue用信令通知帧级别和每个面片的校正量(要去除的量/要增加的量)。如在图5的B示出的转换表中所示，该值可以用作表示与初始值(Default)的差的索引。
<2.第一实施方式>
<编码装置>
图6是示出作为应用了本技术的图像处理装置的一方面的编码装置的配置的示例的框图。图6所示的编码装置100是将诸如点云的3D数据投影在二维平面上并且使用用于二维图像的编码方法对其进行编码的装置(应用了基于视频的方法的编码装置)。
注意，图6示出了主要处理单元、主要数据流等，并且可以不全部示出。也就是说，在编码装置100中，可以存在未在图6中以框的形式示出的处理单元，或者可以存在未在图6中以箭头等形式示出的处理或数据流。这在用于说明编码装置100中的处理单元等的其他图中是类似的。
如图6所示，编码装置100包括面片分解单元111、打包单元112、辅助面片信息压缩单元113、视频编码单元114、视频编码单元115、OMap编码单元116、复用器117、解码单元118和校正信息生成单元119。
面片分解单元111执行与3D数据的分解相关的处理。例如，面片分解单元111获取表示被输入至编码装置100的三维结构的3D数据(例如，点云)(箭头121)。此外，面片分解单元111将所获取的3D数据分解为多个小区域(连通分量)，针对每个小区域将3D数据投影在二维平面上，并且生成位置信息的面片或属性信息的面片。
面片分解单元111将关于每个生成的面片的信息提供给打包单元112(箭头122)。此外，面片分解单元111将作为关于分解的信息的辅助面片信息提供给辅助面片信息压缩单元113(箭头123)。
打包单元112执行与数据打包相关的处理。例如，打包单元112获取关于从面片分解单元111提供的面片的信息(箭头122)。此外，打包单元112将所获取的每个面片布置在二维图像上，并将其打包为视频帧。例如，打包单元112将指示点的位置的位置信息(几何)的面片打包为视频帧，并生成几何视频帧。此外，打包单元112将被添加至位置信息的诸如颜色信息的属性信息(纹理)的面片打包为视频帧，并生成颜色视频帧。此外，打包单元112生成指示是否存在面片的具有1×1精度的占据地图。
打包单元112将它们提供给后续的处理单元(箭头124)。例如，打包单元112将几何视频帧提供给视频编码单元114，将颜色视频帧提供给视频编码单元115，并且将具有1×1精度的占据地图(1×1Omap)提供给OMap编码单元116。此外，打包单元112将关于打包的控制信息提供给复用器117(箭头125)。此外，打包单元112将具有1×1精度的占据地图提供给校正信息生成单元119。
辅助面片信息压缩单元113执行与辅助面片信息的压缩相关的处理。例如，辅助面片信息压缩单元113获取从面片分解单元111提供的辅助面片信息(箭头123)。此外，辅助面片信息压缩单元113获取从校正信息生成单元119提供的校正信息(箭头133)。辅助面片信息压缩单元113对所获取的辅助面片信息进行编码(压缩)，并生成辅助面片信息的编码数据。此外，辅助面片信息压缩单元113对所获取的校正信息进行编码(压缩)以生成校正信息的编码数据，并且将校正信息的编码数据置于辅助面片信息的编码数据中。辅助面片信息压缩单元113将以此方式生成的辅助面片信息的编码数据提供给复用器117(箭头126)。
视频编码单元114执行与几何视频帧的编码相关的处理。例如，视频编码单元114获取从打包单元112提供的几何视频帧(箭头124)。此外，例如，视频编码单元114使用诸如AVC或HEVC的用于二维图像的任何编码方法对所获取的几何视频帧进行编码，并生成几何视频帧的编码数据。视频编码单元114将所生成的几何视频帧的编码数据提供给复用器117(箭头127)。此外，视频编码单元114将几何视频帧的编码数据提供给解码单元118(箭头134)。
视频编码单元115执行与颜色视频帧的编码相关的处理。例如，视频编码单元115获取从打包单元112提供的颜色视频帧(箭头124)。此外，视频编码单元115获取从解码单元118提供的解码后的几何视频帧(箭头135)。然后，视频编码单元115通过使用所获取的几何视频帧对所获取的颜色视频帧重新着色，并使属性信息与解码之后的位置信息对应。也就是说，视频编码单元115使属性信息与通过编码中的平滑而更新的位置信息相关联。此外，例如，视频编码单元115使用诸如AVC或HEVC的用于二维图像的任何编码方法对以此方式重新着色的颜色视频帧进行编码，并生成颜色视频帧的编码数据。视频编码单元115将所生成的颜色视频帧的编码数据提供给复用器117(箭头128)。
OMap编码单元116执行与占据地图的视频帧的编码相关的处理。例如，OMap编码单元116获取从打包单元112提供的具有1×1精度的占据地图(箭头124)。OMap编码单元116将所获取的具有1×1精度的占据地图的精度缩小，并生成具有N×N精度的占据地图。然后，例如，OMap编码单元116使用诸如算术编码的任何编码方法对所生成的具有N×N精度的占据地图进行编码，并生成具有N×N精度的占据地图的编码数据。此外，OMap编码单元116将所生成的具有N×N精度的占据地图的编码数据提供给复用器117(箭头129)。此外，OMap编码单元116还将编码数据提供给解码单元118(箭头131)。
复用器117执行与复用相关的处理。例如，复用器117获取从辅助面片信息压缩单元113提供的辅助面片信息的编码数据(箭头126)。此外，例如，复用器117获取从打包单元112提供的关于打包的控制信息(箭头125)。此外，例如，复用器117获取从视频编码单元114提供的几何视频帧的编码数据(箭头127)。此外，例如，复用器117获取从视频编码单元115提供的颜色视频帧的编码数据(箭头128)。此外，例如，复用器117获取从OMap编码单元116提供的占据地图的编码数据(箭头129)。
复用器117对所获取的信息进行复用以生成比特流。复用器117将所生成的比特流输出至编码装置100的外部。
解码单元118执行与如上所述生成的编码数据的解码相关的处理。例如，解码单元118获取从OMap编码单元116提供的具有N×N精度的占据地图的编码数据(箭头131)。此外，解码单元118获取从视频编码单元114提供的几何视频帧的编码数据(箭头134)。然后，解码单元118具有与稍后描述的解码装置200的配置类似的配置，并且执行类似的处理。例如，解码单元118对具有N×N精度的占据地图的编码数据进行解码，并生成具有N×N精度的占据地图。解码单元118将具有N×N精度的占据地图提供给校正信息生成单元119(箭头132)。此外，解码单元118对几何视频帧的编码数据进行解码并生成几何视频帧。解码单元118将几何视频帧提供给视频编码单元115(箭头135)。
校正信息生成单元119执行与校正信息的生成相关的处理，所述校正信息是关于使用表示二维图像的2D数据重构的表示三维结构的3D数据的校正的信息。例如，校正信息生成单元119获取从打包单元112提供的具有1×1精度的占据地图(箭头124)。此外，校正信息生成单元119获取从解码单元118提供的具有N×N精度的占据地图(箭头132)。此外，校正信息生成单元119获取要从外部(例如，用户等)输入的余量的设置(未示出)。校正信息生成单元119基于信息生成校正信息。例如，校正信息生成单元119生成校正信息，所述校正信息包括关于空白的校正的信息，所述空白是3D数据的通过占据地图放大的部分。校正信息生成单元119将所生成的校正信息提供给辅助面片信息压缩单元113(箭头133)。
以这种方式，编码装置100可以使解码侧基于该校正信息校正3D数据。因此，可以抑制3D数据的劣化，并且可以抑制显示图像的主观图像质量的降低。
注意，这些处理单元(从面片分解单元111到校正信息生成单元119)具有任何配置。例如，每个处理单元可以配置有实现上述处理的逻辑电路。此外，每个处理单元可以具有例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且使用它们来执行程序以实现上述处理。当然，每个处理单元可以具有这两种配置，并且上述处理的一部分可以通过逻辑电路来实现，而另一部分可以通过执行程序来实现。各个处理单元的配置可以彼此独立，并且例如，上述处理的一部分可以通过一些处理单元的逻辑电路来实现，上述处理可以通过执行程序的一些其他处理单元来实现，并且上述处理可以通过执行逻辑电路和程序两者的另外的其他处理单元来实现。
<校正信息生成单元>
图7是示出校正信息生成单元119的主要配置示例的框图。如图7所示，校正信息生成单元119具有类型设置单元151和去除量设置单元152。
类型设置单元151设置空白的去除方式(空白的校正类型)。例如，类型设置单元151从预先准备的“空白的去除方式的模式”的候选中选择最佳模式。例如，类型设置单元151基于如上所述的占据地图的比较结果或余量的设置来选择这样的模式(选择类型)。
去除量设置单元152设置空白的校正量(多少空白要被校正)。例如，去除量设置单元152设置空白的去除量(多少空白要被去除)。此外，例如，去除量设置单元152设置空白的增加量(多少空白要被增加)。去除量设置单元152基于如上所述的占据地图的比较结果或余量的设置来设置这样的校正量。
校正信息生成单元119将指示如上所述的空白的校正类型或校正量的信息作为校正信息提供给辅助面片信息压缩单元113。
<编码处理的流程>
将描述要由这样的编码装置100执行的处理。首先，将参照图8的流程图描述编码处理的流程的示例。
当编码处理开始时，在步骤S101中，编码装置100的面片分解单元111执行面片分解处理，将3D数据分解为面片，并将每个面片的数据投影在二维平面上。
在步骤S102中，打包单元112针对通过分解单元111的每个面片将在二维平面上投影的3D数据打包，并生成几何视频帧或颜色视频帧。此外，打包单元112生成具有1×1精度的占据地图。
在步骤S103中，OMap编码单元116将在步骤S102中生成的具有1×1精度的占据地图在精度上减小，以生成具有N×N精度的占据地图，并且对具有N×N精度的占据地图进行编码以生成具有N×N精度的占据地图的编码数据。
在步骤S104中，解码单元118对在步骤S103中生成的具有N×N精度的占据地图的编码数据进行解码，并生成具有N×N精度的占据地图。
在步骤S105中，校正信息生成单元119执行校正信息生成处理，并且基于在步骤S102中生成的具有1×1精度的占据地图、在步骤S104中生成的解码之后的具有N×N精度的占据地图以及余量来生成校正信息。稍后将描述该校正信息生成处理。
在步骤S106中，打包单元112对在步骤S102中生成的几何视频帧进行扩展。
在步骤S107中，视频编码单元114对在步骤S106中扩展的几何视频帧进行编码，并生成几何视频帧的编码数据。
在步骤S108中，视频编码单元114对在步骤S107中生成的几何视频帧的编码数据进行解码，并生成解码之后的几何视频帧。
在步骤S109中，打包单元112对在步骤S102中生成的颜色视频帧进行扩展。
在步骤S110中，视频编码单元115通过使用在步骤S108中生成的解码之后的几何视频帧对在步骤S109中扩展的颜色视频帧重新着色，并使属性信息与解码之后的位置信息对应。85
在步骤S111中，视频编码单元115对在步骤S110中重新着色的颜色视频帧进行编码，并生成颜色视频帧的编码数据。
在步骤S112中，辅助面片信息压缩单元113对包括由步骤S105的处理生成的校正信息的辅助面片信息进行编码(压缩)，并生成编码数据。
在步骤S113中，复用器117对如上所述生成的各种信息进行复用，并生成包括信息的比特流。在步骤S114中，复用器117将由步骤S113的处理生成的比特流输出至编码装置100的外部。当步骤S113的处理完成时，编码处理完成。
<校正信息生成处理的流程>
将参照图9的流程图来描述要在图8的步骤S105中执行的校正信息生成处理的流程的示例。当校正信息生成处理开始时，在步骤S131中，校正信息生成单元119的类型设置单元151设置空白的校正类型。在步骤S132中，去除量设置单元152设置空白的校正量(例如，去除量)。在步骤S133中，校正信息生成单元119将这样的信息设置为校正信息，并将该信息提供给辅助面片信息压缩单元113。
当步骤S133的处理结束时，校正信息生成处理结束，并且处理返回到图8。
通过执行如上所述的每个处理，编码装置100可以生成3D数据的校正信息，并且使解码侧基于校正信息校正3D数据。因此，可以抑制3D数据的劣化，并且可以抑制显示图像的主观图像质量的降低。
<3.第二实施方式>
<解码装置>
图10是示出作为应用了本技术的图像处理装置的一方面的解码装置的配置的示例的框图。图10所示的解码装置200是使用用于二维图像的解码方法对通过在二维平面上投影诸如点云的3D数据而获得的编码数据进行解码并重构3D数据的装置(应用了基于视频的方法的解码装置)。该解码装置200是与图6中的编码装置100对应的解码装置，并且可以对由编码装置100生成的比特流进行解码，以重构3D数据。
注意，图10示出了主要处理单元、主要数据流等，并且可以不全部示出。也就是说，在解码装置200中，可以存在未在图10中以框的形式示出的处理单元，或者可以存在未在图10中以箭头等形式示出的处理或数据流。这在用于说明解码装置200中的处理单元等的其他图中是类似的。
如图10所示，解码装置200包括解复用器211、辅助面片信息解码单元212、视频解码单元213、视频解码单元214、OMap解码单元215、拆包单元216和3D重构单元217。
解复用器211执行与数据解复用相关的处理。例如，解复用器211获取被输入至解码装置200的比特流。该比特流例如从编码装置100提供。解复用器211对该比特流进行解复用，提取辅助面片信息的编码数据，并将其提供给辅助面片信息解码单元212。此外，解复用器211通过解复用从比特流提取几何视频帧的编码数据，并将其提供给视频解码单元213。此外，解复用器211通过解复用从比特流提取颜色视频帧的编码数据，并将其提供给视频解码单元214。此外，解复用器211通过解复用从比特流提取占据地图的编码数据，并将其提供给OMap解码单元215。此外，解复用器211通过解复用从比特流提取关于打包的控制信息，并将其提供给拆包单元216。
辅助面片信息解码单元212执行与辅助面片信息的编码数据(包括校正信息的编码数据)的解码相关的处理。例如，辅助面片信息解码单元212获取从解复用器211提供的辅助面片信息的编码数据。此外，辅助面片信息解码单元212对编码数据进行解码，并生成辅助面片信息或校正信息。该校正信息是在编码侧生成并从编码侧发送的信息，并且包括例如关于空白的校正的信息，所述空白是3D数据的通过占据地图放大的部分。辅助面片信息解码单元212将辅助面片信息提供给3D重构单元217。
视频解码单元213执行与几何视频帧的编码数据的解码相关的处理。例如，视频解码单元213获取从解复用器211提供的几何视频帧的编码数据。此外，例如，视频解码单元213对编码数据进行解码并生成几何视频帧。视频解码单元213将几何视频帧提供给拆包单元216。
视频解码单元214执行与颜色视频帧的编码数据的解码相关的处理。例如，视频解码单元214获取从解复用器211提供的颜色视频帧的编码数据。此外，例如，视频解码单元214对编码数据进行解码并生成颜色视频帧。视频解码单元214将颜色视频帧提供给拆包单元216。
OMap解码单元215执行与占据地图的编码数据的解码相关的处理。例如，OMap解码单元215获取从解复用器211提供的占据地图的编码数据。此外，例如，OMap解码单元215对编码数据进行解码并生成占据地图。OMap解码单元215将占据地图提供给拆包单元216。
拆包单元216执行与拆包相关的处理。例如，拆包单元216获取从解复用器211提供的关于打包的控制信息。此外，拆包单元216获取从视频解码单元213提供的几何视频帧。此外，拆包单元216获取从视频解码单元214提供的颜色视频帧。此外，拆包单元216获取从OMap解码单元215提供的占据地图。拆包单元216基于所获取的控制信息或占据地图对几何视频帧或颜色视频帧进行拆包，并提取位置信息或属性信息的面片等。拆包单元216将位置信息或属性信息的面片等提供给3D重构单元217。
3D重构单元217执行与3D数据的重构相关的处理。例如，3D重构单元217获取从辅助面片信息解码单元212提供的辅助面片信息和校正信息。此外，3D重构单元217获取从拆包单元216提供的位置信息或属性信息的面片等。此外，3D重构单元217基于这样的信息重构3D数据(例如，点云)。例如，3D重构单元217基于辅助面片信息、位置信息或属性信息的面片等重构3D数据，并基于校正信息进一步校正3D数据。3D重构单元217将通过这样的处理获得的3D数据输出至解码装置200的外部。
例如，该3D数据被提供给显示单元，使得图像被显示、记录在记录介质上，或者通过通信被提供给另一设备。
如此，解码装置200可以基于从编码侧提供的校正信息来校正3D数据。因此，可以抑制3D数据的劣化，并且可以抑制显示图像的主观图像质量的降低。
注意，这些处理单元(从解复用器211到3D重构单元217)具有任何配置。例如，每个处理单元可以配置有实现上述处理的逻辑电路。此外，每个处理单元可以例如具有CPU、ROM、RAM等，并且使用它们来执行程序，以实现上述处理。当然，每个处理单元可以具有这两种配置，并且上述处理的一部分可以通过逻辑电路来实现，而另一部分可以通过执行程序来实现。各个处理单元的配置可以彼此独立，并且例如，上述处理的一部分可以通过一些处理单元的逻辑电路来实现，上述处理可以通过执行程序的一些其他处理单元来实现，并且上述处理可以通过执行逻辑电路和程序两者的另外的其他处理单元来实现。
<3D重构单元>
图11是示出图10中的3D重构单元217的主要配置示例的框图。如图11所示，3D重构单元217具有校正设置单元251和重构单元252。
校正设置单元251执行与3D数据的校正的控制相关的处理。例如，校正设置单元251获取从OMap解码单元215提供的解码之后的具有N×N精度的占据地图。此外，校正设置单元251获取从辅助面片信息解码单元212提供的校正信息。
该校正信息可以包括例如指示设置的空白的去除方式(空白的校正类型)的信息。例如，该校正信息可以包括指示从预先准备的“空白的去除方式的模式”的候选中选择的最佳模式的信息。
此外，该校正信息可以包括例如指示设置的空白的校正量(例如，去除量或增加量，或者两者)的信息。
校正设置单元251基于该信息设置如何执行校正。校正设置单元251生成控制信息以根据设置实现校正，并将控制信息提供给重构单元252。
重构单元252执行与3D数据的重构相关的处理。例如，重构单元252基于从拆包单元216提供的几何视频帧中提取的位置信息或从拆包单元216提供的颜色视频帧中提取的属性信息来重构3D数据。此外，重构单元252根据校正设置单元251的控制(根据从校正设置单元251提供的控制信息)来校正3D数据。重构单元252将所生成的(所校正的)3D数据输出至解码装置200的外部。
<解码处理的流程>
将描述要由这样的解码装置200执行的处理。首先，将参照图12的流程图来描述解码处理的流程的示例。
当解码处理开始时，在步骤S201中，解码装置200的解复用器211对比特流进行解复用。
在步骤S202中，辅助面片信息解码单元212对从通过步骤S201的处理得到的比特流提取的辅助面片信息的编码数据进行解码，并生成辅助面片信息和校正信息。
在步骤S203中，OMap解码单元215对从通过步骤S201的处理得到的比特流提取的占据地图的编码数据进行解码。
在步骤S204中，视频解码单元213对从通过步骤S201的处理得到的比特流提取的几何视频帧的编码数据进行解码，并生成几何视频帧。
在步骤S205中，视频解码单元214对从通过步骤S201的处理得到的比特流提取的颜色视频帧的编码数据进行解码，并生成颜色视频帧。
在步骤S206中，拆包单元216基于关于打包的控制信息和占据地图来对几何视频帧和颜色视频帧中的每一个进行拆包。
在步骤S207中，3D重构单元217执行3D数据重构处理，并且例如基于在步骤S202中生成的辅助面片信息和在步骤S203至S205中生成的各种信息来重构诸如点云的3D数据。此外，3D重构单元217基于在步骤S202中生成的校正信息来校正重构的3D数据。当步骤S207的处理完成时，解码处理完成。
<3D数据重构处理的流程>
接下来，将参照图13的流程图描述要在图12的步骤S207中执行的3D数据重构处理的流程的示例。
当3D数据重构处理开始时，校正设置单元251基于解码之后的具有N×N精度的占据地图和校正信息在步骤S221中设置与3D数据重构相关的校正方法，并生成控制信息。
在步骤S222中，重构单元252通过使用位置信息(几何数据)、属性信息(图片数据)和在步骤S221中设置的校正方法来重构诸如点云的3D数据。更具体地，重构单元252基于位置信息(几何数据)、属性信息(图片数据)、辅助面片信息等重构3D数据。然后，重构单元252根据从校正设置单元251提供的控制信息对重构的3D数据进行校正。
通过执行如上所述的每个处理，解码装置200可以基于从编码侧提供的校正信息来校正3D数据。因此，可以抑制3D数据的劣化，并且可以抑制显示图像的主观图像质量的降低。
<4.附录>
<控制信息>
可以从编码侧向解码侧发送与在上述每个实施方式中描述的本技术相关的控制信息。例如，可以发送用于控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以发送指定允许(或禁止)应用上述本技术的范围(例如，块大小的上限或下限或两者、片、图片、序列、组件、视图、层等)的控制信息。
<计算机>
上述一系列处理可以由硬件或软件执行。在由软件执行一系列处理的情况下，构成软件的程序安装在计算机上。在此，计算机例如包括嵌入在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图14是示出以编程的方式执行上述一系列处理的计算机的硬件的配置示例的框图。
在图14所示的计算机900中，经由总线904将中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903彼此连接。
输入/输出接口910还与总线904耦接。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915与输入/输出接口910连接。
输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元912包括例如显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘和非易失存储器等。通信单元914包括例如网络接口。驱动器915驱动可移动介质921如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，例如，CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载至RAM 903中并且执行该程序，以执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所需的数据等。
计算机要执行的程序例如可以记录并且应用于作为封装介质等的可移动介质921中。在这种情况下，可以通过将可移动介质921安装在驱动器915中经由输入/输出接口910将程序安装在存储单元913中。
此外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下，程序可以通过通信单元914接收并被安装在存储单元913中。
此外，还可以将该程序预先安装在ROM 902或存储单元913中。
<本技术的应用对象>
尽管以上描述说明了将本技术应用于点云数据的编码/解码的情况，但是本技术不限于这些示例，并且可以被应用于任何标准的3D数据的编码/解码。也就是说，只要不与上述本技术存在矛盾，诸如编码/解码方法的各种处理以及诸如3D数据或元数据的各种数据的规范都是任意的。此外，只要不与本技术存在矛盾，就可以省略上述处理和规范的一部分。
此外，尽管以上描述说明了作为本技术的应用示例的编码装置100和解码装置200，但是本技术可以应用于任何配置。
例如，本技术可以应用于诸如发射机或接收机(例如，电视接收机或移动电话)的各种电子设备，所述发射机或接收机用于卫星广播、诸如有线TV的有线广播、因特网上分发以及通过蜂窝通信分发到终端等，或者本技术可以应用于在诸如光盘、磁盘和闪存的介质上记录图像或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。
此外，例如，本技术可以被实现为下述装置的配置的一部分，例如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者其他功能被进一步添加到单元的集合(例如，视频集合)。
此外，例如，本技术还可以应用于配置有多个设备的网络系统。例如，本技术可以实现为由多个设备经由网络共享和联合处理的云计算。例如，本技术可以在用于向诸如计算机、视听(AV)装置、便携式信息处理终端和物联网(IoT)设备的任何终端提供与图像(运动图像)相关的服务的云服务中实现。
注意，在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否放置在同一壳体中并不重要。因此，被容纳在单独壳体中并经由网络连接的多个装置以及多个模块被容纳在一个壳体中的一个装置都是系统。
<本技术可以应用的领域和应用>
应用了本技术的系统、装置、处理单元等可以在任何领域中使用，例如运输、医疗保健、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气或自然监测。此外，其应用也是任意的。
<其他>
注意，在本说明书中，“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)或假(0)的两个状态的信息，而且包括能够标识三个或更多个状态的信息。因此，该“标志”可以取例如两个值1/0或者3个或更多个值。换言之，配置该“标志”的位数是任意的，并且可以是一位或多位。此外，由于假设标识信息(包括标志)不仅包括比特流中包括的标识信息，而且还包括标识信息相对于比特流中包括的特定参考信息的差异信息，因此本说明书中的“标志”和“标识信息”不仅包括信息，而且还包括相对于参考信息的差异信息。
此外，可以以任何形式发送或记录关于编码数据(比特流)的各种信息(元数据等)，只要信息与编码数据相关联即可。在此，术语“关联”意味着例如使其他数据可用于(可链接于)处理一个数据。换句话说，彼此相关联的数据可以被组合为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，可以在与编码数据(图像)的记录介质不同的记录介质(或同一记录介质的另一记录区域)上记录与编码数据(图像)相关联的信息。注意，该“关联”可以是数据的一部分，而不是整个数据。例如，图像和与图像对应的信息可以在任何单元诸如多个帧、一个帧或一部分帧中彼此相关联。
注意，本说明书中诸如“合成“、“复用”、“添加”、“集成”，“放入”、“存储”、“带入”、“接受”和“插入”的术语意味着将多个对象组合成一个对象，例如，将编码数据和元数据组合成一个数据，并且意味着上述“关联”的一种方法。
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。
例如，被描述为一个设备(或处理单元)的配置可以被划分以被配置为多个设备(或处理单元)。相反，以上被描述为多个设备(或处理单元)的配置可以被组合以被配置为一个设备(或处理单元)。此外，当然，也可以向每个设备(或每个处理单元)的配置添加除上述配置以外的配置。此外，一个设备(或处理单元)的配置的一部分可以被包括在另一个设备(或另一个处理单元)的配置中，只要作为整个系统的配置和操作基本上相同。
此外，例如，上述程序可以在任何设备中执行。在这种情况下，设备只需要具有必要的功能(功能块等)以便能够获得必要的信息。
此外，例如，一个流程图的每个步骤可以由一个设备执行，或者可以由多个设备共享和执行。此外，在一个步骤包括多个处理的情况下，多个处理可以由一个设备执行，或者由多个设备共享和执行。换言之，在一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理也可以作为一个步骤共同执行。
此外，在由计算机执行的程序中，例如，描述程序的步骤的处理可以以本说明书中描述的顺序按时间顺序执行，或者可以并行地执行，或者在要求的定时(例如在进行调用时)单独执行。也就是说，只要不存在矛盾，就可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
此外，例如，只要不存在矛盾，可以各自单独地和独立地实现与本技术相关的多种技术。当然，也可以组合实现任何多种本技术。例如，可以结合另一实施方式中描述的本技术的一部分或全部来实现在任何实施方式中描述的本技术的一部分或全部。此外，还可以结合上面未描述的其他技术来实现上面描述的任何本技术的一部分或全部。
注意，本技术可以具有以下配置。
(1)一种图像处理装置，包括：
校正信息生成单元，其生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
校正信息编码单元，其对由所述校正信息生成单元生成的所述校正信息进行编码。
(2)根据(1)所述的图像处理装置，
其中，所述校正信息生成单元基于具有1×1精度的占据地图和具有N×N精度的占据地图生成所述校正信息。
(3)根据(2)所述的图像处理装置，
其中，所述校正信息生成单元还基于余量来生成所述校正信息，所述余量是空白的尺寸的设置值，所述空白是所述3D数据的通过占据地图放大的部分。
(4)根据(1)所述的图像处理装置，
其中，所述校正信息包括关于空白的校正的信息，所述空白是所述3D数据的通过占据地图放大的部分。
(5)根据(4)所述的图像处理装置，
其中，关于空白的校正的信息包括指示所述空白的去除方式的信息。
(6)根据(5)所述的图像处理装置，
其中，关于空白的校正的信息包括指示从候选中选择的所述空白的去除方式的模式的信息。
(7)根据(4)所述的图像处理装置，
其中，关于空白的校正的信息包括指示所述空白的校正量的信息。
(8)根据(7)所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的去除量的信息。
(9)根据(7)所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的增加量的信息。
(10)一种图像处理方法，包括：
生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
对所生成的校正信息进行编码。
(11)一种图像处理装置，包括：
校正信息解码单元，其对校正信息的编码数据进行解码，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
构建单元，其通过使用2D数据和通过由所述校正信息解码单元对所述校正信息的编码数据进行解码而生成的校正信息来构建3D数据。
(12)根据(11)所述的图像处理装置，
其中，所述校正信息包括关于空白的校正的信息，所述空白是所述3D数据的通过占据地图放大的部分。
(13)根据(12)所述的图像处理装置，
其中，关于空白的校正的信息包括指示所述空白的去除方式的信息。
(14)根据(13)所述的图像处理装置，
其中，关于空白的校正的信息包括指示从候选中选择的所述空白的去除方式的模式的信息。
(15)根据(12)所述的图像处理装置，
其中，关于空白的校正的信息包括指示所述空白的校正量的信息。
(16)根据(15)所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的去除量的信息。
(17)根据(15)所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的增加量的信息。
(18)根据(11)所述的图像处理装置，还包括：
视频解码单元，其对2D数据的编码数据进行解码；
其中，所述构建单元通过使用由所述视频解码单元解码并生成的所述2D数据以及通过由所述校正信息解码单元对编码数据进行解码而生成的所述校正信息来构建3D数据。
(19)根据(11)所述的图像处理装置，还包括：
OMap解码单元，其对占据地图的编码数据进行解码；
其中，所述构建单元通过使用由所述校正信息解码单元对所述校正信息的编码数据进行解码而生成的所述校正信息来校正空白，所述空白是在从2D数据到3D数据的构建期间通过由所述OMap解码单元解码并生成的占据地图放大的部分。
(20)一种图像处理方法，包括：
对校正信息的编码数据进行解码，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
通过使用2D数据和通过对所述校正信息的编码数据进行解码而生成的所述校正信息来构建3D数据。
附图标记列表
100 编码装置
111 面片分解单元
112 打包单元
113 辅助面片信息压缩单元
114 视频编码单元
115 视频编码单元
116 OMap编码单元
117 复用器
118 解码单元
119 校正信息生成单元
151 类型设置单元
152 去除量设置单元
200 解码装置
211 解复用器
212 辅助面片信息解码单元
213 视频解码单元
214 视频解码单元
215 OMap解码单元
216 拆包单元
217 3D重构单元
251 校正设置单元
252 重构单元

Claims (20)

1.一种图像处理装置，包括：
校正信息生成单元，其生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
校正信息编码单元，其对由所述校正信息生成单元生成的所述校正信息进行编码。
2.根据权利要求1所述的图像处理装置，
其中，所述校正信息生成单元基于具有1×1精度的占据地图和具有N×N精度的占据地图生成所述校正信息。
3.根据权利要求2所述的图像处理装置，
其中，所述校正信息生成单元还基于余量来生成所述校正信息，所述余量是空白的尺寸的设置值，所述空白是所述3D数据的通过占据地图放大的部分。
4.根据权利要求1所述的图像处理装置，
其中，所述校正信息包括关于空白的校正的信息，所述空白是所述3D数据的通过占据地图放大的部分。
5.根据权利要求4所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示所述空白的去除方式的信息。
6.根据权利要求5所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示从候选中选择的所述空白的去除方式的模式的信息。
7.根据权利要求4所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示所述空白的校正量的信息。
8.根据权利要求7所述的图像处理装置，
其中，指示所述空白的校正量的信息包括指示所述空白的去除量的信息。
9.根据权利要求7所述的图像处理装置，
其中，指示所述空白的校正量的信息包括指示所述空白的增加量的信息。
10.一种图像处理方法，包括：
生成校正信息，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
对生成的所述校正信息进行编码。
11.一种图像处理装置，包括：
校正信息解码单元，其对校正信息的编码数据进行解码，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
构建单元，其通过使用所述2D数据和通过由所述校正信息解码单元对所述校正信息的编码数据进行解码而生成的所述校正信息来构建所述3D数据。
12.根据权利要求11所述的图像处理装置，
其中，所述校正信息包括关于空白的校正的信息，所述空白是所述3D数据的通过占据地图放大的部分。
13.根据权利要求12所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示所述空白的去除方式的信息。
14.根据权利要求13所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示从候选中选择的所述空白的去除方式的模式的信息。
15.根据权利要求12所述的图像处理装置，
其中，所述关于空白的校正的信息包括指示所述空白的校正量的信息。
16.根据权利要求15所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的去除量的信息。
17.根据权利要求15所述的图像处理装置，
其中，指示空白的校正量的信息包括指示所述空白的增加量的信息。
18.根据权利要求11所述的图像处理装置，还包括：
视频解码单元，其对所述2D数据的编码数据进行解码；
其中，所述构建单元通过使用由所述视频解码单元解码并生成的所述2D数据以及通过由所述校正信息解码单元对所述编码数据进行解码而生成的所述校正信息来构建所述3D数据。
19.根据权利要求11所述的图像处理装置，还包括：
OMap解码单元，其对占据地图的编码数据进行解码；
其中，所述构建单元通过使用由所述校正信息解码单元对所述校正信息的编码数据进行解码而生成的所述校正信息来校正空白，所述空白是在从2D数据到3D数据的构建期间通过由所述OMap解码单元解码并生成的占据地图放大的部分。
20.一种图像处理方法，包括：
对校正信息的编码数据进行解码，所述校正信息是关于使用表示二维图像的2D数据构建的表示三维结构的3D数据的校正的信息；以及
通过使用所述2D数据和通过对所述校正信息的编码数据进行解码而生成的所述校正信息来构建3D数据。
CN201980087460.3A 2019-01-07 2019-12-24 图像处理装置和方法 Pending CN113261297A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-000627 2019-01-07
JP2019000627 2019-01-07
PCT/JP2019/050453 WO2020145117A1 (ja) 2019-01-07 2019-12-24 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN113261297A true CN113261297A (zh) 2021-08-13

Family

ID=71520351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087460.3A Pending CN113261297A (zh) 2019-01-07 2019-12-24 图像处理装置和方法

Country Status (6)

Country Link
US (1) US11915390B2 (zh)
EP (1) EP3905696A4 (zh)
JP (1) JP7396302B2 (zh)
KR (1) KR20210109538A (zh)
CN (1) CN113261297A (zh)
WO (1) WO2020145117A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7396302B2 (ja) * 2019-01-07 2023-12-12 ソニーグループ株式会社 画像処理装置および方法
WO2023095625A1 (ja) * 2021-11-24 2023-06-01 ソニーグループ株式会社 情報処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1261212A2 (en) * 2001-04-24 2002-11-27 Monolith Co., Ltd. Method and apparatus for coding and decoding image data
CN103499585A (zh) * 2013-10-22 2014-01-08 常州工学院 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353156B (zh) 2015-11-11 2020-10-16 索尼公司 图像处理装置和图像处理方法
EP3349182A1 (en) 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) * 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11412198B2 (en) * 2018-05-31 2022-08-09 Intel Corporation Bit depth coding mechanism
US11044478B2 (en) * 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
WO2020012968A1 (ja) * 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
CN112385217A (zh) * 2018-07-11 2021-02-19 索尼公司 图像处理装置和图像处理方法
US11138762B2 (en) * 2018-07-11 2021-10-05 Samsung Electronics Co., Ltd. Visual quality of video based point cloud compression using one or more additional patches
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
US10922832B2 (en) * 2018-07-31 2021-02-16 Intel Corporation Removal of projection noise and point-based rendering
US11178373B2 (en) * 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10887574B2 (en) * 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
CN110944187B (zh) * 2018-09-19 2022-05-10 华为技术有限公司 点云编码方法和编码器
US11057631B2 (en) * 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US10735766B2 (en) * 2018-12-17 2020-08-04 Sony Corporation Point cloud auxiliary information coding
JP7396302B2 (ja) * 2019-01-07 2023-12-12 ソニーグループ株式会社 画像処理装置および方法
CN113615199A (zh) * 2019-03-20 2021-11-05 交互数字Vc控股公司 处理点云的缺失点

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1261212A2 (en) * 2001-04-24 2002-11-27 Monolith Co., Ltd. Method and apparatus for coding and decoding image data
CN103499585A (zh) * 2013-10-22 2014-01-08 常州工学院 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIDA FAKOUR SEVOM: "Geometry-Guided 3D Data Interpolation for Projection-Based Dynamic Point Cloud Coding", 2018 7TH EUROPEAN WORKSHOP ON VISUAL INFORMATION PROCESSING (EUVIP) 26-28 NOVEMBER, 2018, TAMPERE, FINLAND, pages 2 - 3 *

Also Published As

Publication number Publication date
EP3905696A4 (en) 2022-06-08
WO2020145117A1 (ja) 2020-07-16
KR20210109538A (ko) 2021-09-06
US20220012849A1 (en) 2022-01-13
EP3905696A1 (en) 2021-11-03
US11915390B2 (en) 2024-02-27
JP7396302B2 (ja) 2023-12-12
JPWO2020145117A1 (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111566702B (zh) 图像处理装置和方法
US11611774B2 (en) Image processing apparatus and image processing method for 3D data compression
US20210027505A1 (en) Image processing apparatus and method
KR20210028606A (ko) 화상 처리 장치 및 방법
EP2916543B1 (en) Method for coding/decoding depth image and coding/decoding device
US11399189B2 (en) Image processing apparatus and method
WO2020026846A1 (ja) 画像処理装置および方法
US11917201B2 (en) Information processing apparatus and information generation method
CN113261297A (zh) 图像处理装置和方法
US11948337B2 (en) Image processing apparatus and method
US20220191519A1 (en) Processing the in-between points of a point cloud
KR20220062556A (ko) 중간 샘플들에 대한 패치들을 사용하는 포인트 클라우드의 인코딩 및 디코딩
US20230370636A1 (en) Image processing device and method
US20230419557A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2020137603A1 (ja) 画像処理装置および方法
CN115398916A (zh) 信息处理装置和信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination