CN112385217A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN112385217A
CN112385217A CN201980045106.4A CN201980045106A CN112385217A CN 112385217 A CN112385217 A CN 112385217A CN 201980045106 A CN201980045106 A CN 201980045106A CN 112385217 A CN112385217 A CN 112385217A
Authority
CN
China
Prior art keywords
point cloud
unit
processing
information
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980045106.4A
Other languages
English (en)
Inventor
矢野幸司
加藤毅
隈智
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112385217A publication Critical patent/CN112385217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容涉及图像处理装置和方法，其允许抑制用于对点云数据执行的滤波处理的处理时间的增加。使用针对三维空间被划分成的每个局部区域的点云数据的代表值来执行滤波处理，对其上投影有经受滤波处理的点云数据的二维平面图像进行编码，并且生成比特流。本公开内容可应用于例如信息处理装置、图像处理装置、电子设备、信息处理方法和程序等。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法，并且更特别地涉及能够抑制针对点云数据的滤波处理的处理时间的增加的图像处理装置和图像处理方法。
背景技术
常规上，作为用于对表示三维结构的3D数据(例如，点云)进行编码的方法，已经使用体素(例如，八叉树)进行编码(例如，参见非专利文献1)。
近年来，作为另一种编码方法，例如，提出了一种方法，在该方法中将关于点云的位置和颜色信息分别投影到每个小区域的二维平面上，并且通过针对二维图像的编码方法(在下文中，也被称为基于视频的方法)进行编码(例如，参见非专利文献2至4)。
在这样的编码中，为了抑制在对从解码的二维图像恢复的点云进行成像时主观图像质量的下降，已经考虑一种通过最近邻搜索来获取外围点并应用三维平滑滤波的方法。
引文列表
非专利文献
非专利文献1：R.Mekuria,Student Member IEEE,K.Blom,P.Cesar.,Member,IEEE,“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video”,tcsvt_paper_submitted_february.pdf
非专利文献2：Tim Golla and Reinhard Klein,“Real-time Point CloudCompression,”IEEE，2015
非专利文献3：K.Mammou,“Video-based and Hierarchical Approaches PointCloud Compression”，MPEG m41649，2017年10月
非专利文献4：K.Mammou,“PCC Test Model Category 2v0”,N17248MPEG outputdocument，2017年10月
发明内容
本发明要解决的问题
然而，通常，点云包含大量点，并且最近邻搜索的处理负担变得非常重。为此，存在该方法会使处理时间增加的可能性。
本公开内容是鉴于这种情况而做出的，并且本公开内容的目的是使得能够以比常规方法更高的速度对点云数据执行滤波处理，并且抑制处理时间的增加。
问题的解决方案
本技术的一个方面的图像处理装置是一种图像处理装置，该图像处理装置包括：滤波处理单元，其使用通过划分三维空间获得的每个局部区域的点云数据的代表值对点云数据执行滤波处理；以及编码单元，其对其上投影有经受由滤波处理单元进行的滤波处理的点云数据的二维平面图像进行编码并且生成比特流。
本技术的一个方面的图像处理方法是一种图像处理方法，该图像处理方法包括：使用通过划分三维空间获得的每个局部区域的点云数据的代表值对点云数据执行滤波处理；以及对其上投影有经受滤波处理的点云数据的二维平面图像进行编码并且生成比特流。
本技术的另一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：解码单元，其对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及滤波处理单元，其使用通过划分三维空间获得的每个局部区域的点云数据的代表值，对从解码单元生成的二维平面图像恢复的点云数据执行滤波处理。
本技术另一方面的图像处理方法是一种图像处理方法，包括：对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及使用通过划分三维空间获得的每个局部区域的点云数据的代表值，对从所生成的二维平面图像恢复的点云数据执行滤波处理。
本技术的另一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：滤波处理单元，其对点云数据中的一些点执行滤波处理；以及编码单元，其对其上投影有经受由滤波处理单元进行的滤波处理的点云数据的二维平面图像进行编码并且生成比特流。
本技术的又一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：对点云数据中的一些点执行滤波处理；以及对其上投影有经受滤波处理的点云数据的二维平面图像进行编码并且生成比特流。
本技术的又一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：解码单元，其对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及滤波处理单元，其对从由解码单元生成的二维平面图像恢复的点云数据中的一些点执行滤波处理。
本技术的又一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及对从所生成的二维平面图像恢复的点云数据中的一些点执行滤波处理。
在本技术的一个方面的图像处理装置和图像处理方法中，使用针对通过划分三维空间获得的每个局部区域的点云数据的代表值，对点云数据执行滤波处理，并且对投影由经受滤波处理的点云数据的二维平面图像进行编码，并且生成比特流。
在本技术的另一方面的图像处理装置和图像处理方法中，对比特流进行解码，并且生成其上投影有点云数据的二维平面图像的编码数据，并且使用针对通过划分三维空间获得的每个局部区域的点云数据的代表值，对从所生成的二维平面图像恢复的点云数据执行滤波处理。
在本技术的又一方面的图像处理装置和图像处理方法中，对点云数据中的一些点执行滤波处理，并且对其上投影有经受滤波处理的点云数据的二维平面图像进行编码，并且生成比特流。
在本技术的又一方面的图像处理装置和图像处理方法中，对比特流进行解码，并且生成其上投影有点云数据的二维平面图像的编码数据，并且对从所生成的二维平面图像恢复的点云数据中的一些点执行滤波处理。
本发明的有益效果
根据本公开内容，可以对图像进行处理。特别地，可以抑制针对点云数据的滤波处理的处理时间的增加。
附图说明
图1是说明平滑处理的示例的图。
图2是概述与本技术有关的主要特征的图。
图3是说明最近邻搜索的图。
图4是说明使用本技术的滤波处理的概要的示例的图。
图5是说明处理时间的比较的图。
图6是说明局部区域划分技术的示例的图。
图7是说明与局部区域有关的参数的图。
图8是说明信息的发送的图。
图9是说明滤波处理的目标的图。
图10是说明得出代表值的方法的图。
图11是说明滤波处理的算术运算的图。
图12是说明滤波处理的目标范围的图。
图13是说明应用于使用最近邻搜索的滤波处理的情况的图。
图14是说明应用于使用针对每个局部区域的代表值的滤波处理的情况的图。
图15是说明处理时间的比较的图。
图16是示出编码装置的主要配置示例的框图。
图17是说明补丁分解单元的主要配置示例的图。
图18是说明三维位置信息平滑处理单元的主要配置示例的图。
图19是说明编码处理的流程的示例的流程图。
图20是说明补丁分解处理的流程的示例的流程图。
图21是说明平滑处理的流程的示例的流程图。
图22是说明平滑范围设置处理的流程的示例的流程图。
图23是示出解码装置的主要配置示例的框图。
图24是说明3D重建单元的主要配置示例的图。
图25是说明三维位置信息平滑处理单元的主要配置示例的图。
图26是用于说明解码处理的流程的示例的流程图。
图27是说明点云重建处理的流程的示例的流程图。
图28是说明平滑处理的流程的示例的流程图。
图29是示出计算机的主要配置示例的框图。
具体实施方式
下面将描述用于执行本公开内容的模式(在下文中被称为实施方式)。注意，按如下顺序给出描述。
1.加速滤波处理
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.变型
5.补充说明
<1.加速滤波处理>
<支持技术内容和术语的文献等>
本技术中所公开的范围不仅包括实施方式中描述的内容，而且包括在提交时已知的下述非专利文献中描述的内容。
非专利文献1：(如上所描述的)
非专利文献2：(如上所描述的)
非专利文献3：(如上所描述的)
非专利文献4：(如上所描述的)
非专利文献5：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union)，“Advanced video coding for genericaudiovisual services”，H.264，04/2017
非专利文献6：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union)，“High efficiency video coding”，H.265，12/2016
非专利文献7：Jianle Chen，Elena Alshina，Gary J.Sullivan，Jens-Rainer，Jill Boyce，“Algorithm Description of Joint Exploration Test Model 4”，JVET-G1001_v1，Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11第七次会议：都灵，意大利，2017年7月13日至7月21日
换言之，以上提及的非专利文献中描述的内容也是说明支持要求的基础。例如，即使在实施方式中未直接描述非专利文献6中描述的四叉树块结构和非专利文献7中描述的四叉树加二叉树(QTBT)块结构，这些技术也被解释为在本技术的公开内容的范围内并且满足权利要求的支持要求。此外，类似地，例如，即使在实施方式中未直接描述，诸如解析、语法和语义的技术术语也被解释为在本技术的公开内容的范围内并且满足权利要求的支持要求。
<点云>
常规上，存在诸如由点云位置信息或属性信息等表示三维结构的点云以及由顶点、边和面构成并使用多边形表示来限定三维形状的网格的数据。
例如，在点云的情况下，空间结构被表达为大量点的集合(点云)。换言之，点云的数据由关于该点云中的每个点的位置信息和属性信息(例如，颜色)构成。因此，数据结构相对简单，并且可以通过使用足够大量的点来以足够的精度表示任何立体结构。
<基于视频的方法的概要>
已经提出了一种基于视频的方法，在该方法中将关于这样的点云的位置信息和颜色信息分别针对每个小区域被投影到二维平面上，并且通过对二维图像的编码方法进行编码。
在该基于视频的方法中，输入点云被划分成多个分段(也被称为区域)，并且每个区域均被投影到二维平面上。注意，如上所述，针对每个位置的点云的数据(即，每个点的数据)由位置信息(几何(也被称为深度))和属性信息(纹理)构成，并且位置信息和属性信息分别针对每个区域被投影到二维平面上。
然后，将投影在二维平面上的这些分段(也被称为补丁)中的每个分段布置在二维平面图像上，并且例如，通过用于二维平面图像的编码技术(例如，高级视频编码(AVC)或高效视频编码(HEVC))进行编码。
<占用地图>
当使用基于视频的方法将3D数据投影到二维平面上时，除了如上所述的那样投影有位置信息的二维平面图像(也称为几何图像)和投影有属性信息的二维平面图像(也称为纹理图像)之外，还生成占用地图。占用地图是指示位置信息和属性信息在二维平面上的每个位置处的存在或不存在的地图信息。更具体地，在占用地图中，针对被称为精度的每个区域，指示位置信息和属性信息的存在或不存在。
由于点云(点云的每个点)是以由占用地图的该精度限定的块为单位恢复的，因此，该块的尺寸越大，点的分辨率越粗糙。因此，由于该精度的大尺寸，因此存在对通过基于视频的方法编码和解码的点云进行成像时的主观图像质量会降低的可能性。
例如，在通过基于视频的方法编码和解码的点云被成像的情况下，当精度的尺寸大时，在白色部分与黑色部分之间的边界处形成像锯齿的细小缺口，如图1的A所示的那样，并且存在主观图像质量会降低的可能性。
因此，已经考虑了一种方法，在该方法中通过最近邻搜索(也被称为最近邻(NN))获取要处理的点周围的点，并且使用所获取的点将三维平滑滤波应用于要处理的点。通过应用这样的三维平滑滤波，如图1的B所示，抑制了白色部分与黑色部分之间的边界处的缺口并且获得了平滑的线性形状，使得可以抑制主观图像质量的降低。
然而，通常，点云包含大量点，并且最近邻搜索的处理负担变得非常重。为此，存在该方法会使处理时间增加的可能性。
由于这种处理时间的增加，例如，难以立即(实时地)执行如上所述的基于视频的方法(例如，以对每秒60帧的运动图像进行编码)。
作为用于加速NN的一般方案，考虑了通过近似(近似NN)进行搜索的方法、使用能够进行高速处理的硬件的方法等，但是即使使用这些方法，立即处理实际上也是困难的。
<加速三维滤波处理>
<#1.使用针对每个局部区域的代表值进行加速>
因此，三维平滑滤波处理被加速。例如，如图2中的#1的部分所示，将三维空间划分成局部区域，针对每个局部区域计算出点云的代表值，并且将针对每个局部区域的代表值用作滤波处理中的参考值。
例如，当点如图3的A所示的那样分布并且将三维平滑滤波应用于在中心的黑点(curPoint)时，通过参考黑点周围的灰点(nearPoint)的数据(用作参考值)来执行平滑。
在图3的B中示出了常规方法的伪代码。在常规情况下，使用最近邻搜索(NN)来解析处理目标点(curPoint)的外围点(nearPoint)(nearPoint＝NN(curPoint))，并且当所有外围点都不属于同一补丁(if(！all same patch(nearPoints)))时，也就是说，当处理目标点位于补丁的末端时，使用外围点的数据的平均值(curPoint＝average(nearPoints))使处理处理目标点进行平滑。
与此相比之下，如图4的A中的四边形所指示的，将三维空间划分成局部区域，针对每个局部区域得出点云的代表值(x)，并且使用得出的代表值使处理目标点(黑点)平滑。该过程的伪代码在图4的B中被示出。在这种情况下，首先，得出局部区域中的点的平均值(Average Point)，作为每个局部区域(栅格)的代表值。然后，指定位于处理目标点所属的栅格(处理目标网格)周围的外围栅格(附近栅格)。
作为外围栅格，选择具有关于处理目标栅格预先建立的预定位置关系的栅格。例如，可以将与处理目标栅格相邻的栅格用作外围栅格。例如，在图4的A的情况下，当中心处的正方形假设作为处理目标栅格时，将围绕处理目标栅格的八个栅格采用作为外围栅格。
然后，当所有外围点彼此不属于同一补丁(if(！all same patch(nearPoints)))时，即，当处理目标点位于补丁的末端时，通过使用这些外围栅格的代表值的集合(averagePoints＝AveragePoint(near grid))的三线性滤波，对处理目标点点执行三维平滑滤波处理(curPoint＝trilinear(averagePoints))。
通过以这种方式执行该处理，可以在不执行承载大负荷的最近邻搜索(NN)的情况下实现滤波处理(三维平滑滤波处理)。因此，可以实现与常规三维平滑滤波的效果等效的平滑效果，同时可以显着减少滤波处理的处理时间。图5示出了使用最近邻搜索时的三维平滑滤波(NN)的处理时间与应用本技术的三维平滑滤波(三线性)的处理时间之间的比较的示例。这表明，通过应用本技术，如图5的左侧的图所示的所需要的处理时间可以如图5的右侧的图所示的那样被缩短。
在下文中，将参照图6至图15描述图2中的每个部分。
<#1-1.局部区域划分技术>
划分三维空间的方式(局部区域的划分技术)是可选的。例如，可以将三维空间均匀地划分成N×N×N个立方体区域，如图6的表的ID列中的具有“1”的行中那样。通过以这种方式划分三维空间，可以容易地将三维空间划分成局部区域，使得可以抑制滤波处理的处理时间的增加(可以加速滤波处理)。
此外，例如，可以将三维空间均匀地划分成M×N×L个长方体区域，如在图6的表的ID列中的具有“2”的行中那样。通过以这种方式划分三维空间，可以容易地将三维空间划分成局部区域，使得可以抑制滤波处理的处理时间的增加(可以加速滤波处理)。此外，由于与将三维空间划分成立方体区域的情况相比，提高了局部区域形状的自由度，因此可以在各个局部区域之间使处理负荷进一步平滑(可以抑制负荷不平衡)。
此外，例如，可以对三维空间进行划分，使得每个局部区域中的点的数量恒定，如图6的表的ID列中的具有“3”的行中那样。通过以这种方式划分三维空间，与将三维空间划分成立方体区域或长方体区域的情况相比，可以在各个局部区域之间使处理负荷和资源使用平滑(可以抑制负荷不平衡)。
此外，例如，可以在三维空间中的任何位置处设置具有任何形状和尺寸的局部区域，如在图6的表的ID列中的具有“4”的行中那样。通过以这种方式设置局部区域，即使对于具有复杂的三维形状的对象，也可以执行更适合于特定形状的平滑处理，并且与以上方法中的每个方法相比，可以实现更多的平滑。
此外，例如，可以实现从具有ID“1”至“4”的上述各个方法之中的选择，如在图6的表的ID列中的具有“5”的行中那样。通过以这种方式实现选择，可以在不同情况下执行更适当的平滑处理，并且实现更多的平滑。注意，如何进行该选择(基于选择内容)是可选的。此外，可以从编码侧向解码侧发送指示已选择哪种方法的信息(方法选择信息的信号)。
<#1-2.局部区域参数设置>
此外，这样的局部区域的设置参数的方法和内容是可选的。例如，划分三维空间的局部区域(例如，图6中的L、M、N)的形状和尺寸可以具有固定值，如图7中的表的ID列中的具有“1”的行中那样。例如，可以根据标准等预先设置这些值。通过以这种方式设置值，可以省略设置局部区域的形状和尺寸，使得可以进一步加速滤波处理。
此外，例如，可以实现根据点云和情况对局部区域的形状和尺寸的设置，如在图7的表的ID列中的具有“2”的行中那样。即，可以使局部区域的参数可变。通过以这种方式采用可变参数，可以根据情况形成更适当的局部区域，使得可以更适当地执行滤波处理。例如，可以进一步加快该处理，可以抑制该处理中的不平衡，并且可以实现更多的平滑。
例如，可以使局部区域的尺寸(例如，图6中的L、M、N)可变，如在图7的表的ID列中的具有“2-1”的行中那样。此外，例如，可以使局部区域中包含的点数可变，如在ID列中的具有“2-2”的行中那样。此外，例如，可以使局部区域的形状和位置可变，如在ID列中的具有“2-3”的行中那样。此外，例如，可以允许用户等选择局部区域的设置方法，如在ID列中的具有“2-4”的行中那样。例如，可以允许用户等判定从图6的表中的具有ID“1”至“4”的方法之中选择哪个方法。
<#1-3.信号>
此外，关于滤波处理的信息可以从编码侧被发送至解码侧或者可以不从编码侧被发送至解码侧。例如，如在图8的表的ID列中的具有“1”的行中那样，可以通过标准等预先设置与滤波处理有关的所有参数，使得不发送关于滤波处理的信息。通过以这种方式预先设置所有参数，由于要发送的信息量减少，因此可以提高编码效率。此外，由于参数的得出是不必要的，因此可以减轻滤波处理的负荷，并且可以进一步加速滤波处理。
此外，例如，如在图8的表的ID列中的具有“2”的行中那样，可以实现从其他内部参数(例如，占用地图的精度)得出与滤波处理有关的所有参数的最佳值，使得不发送关于滤波处理的信息。通过以这种方式实现最佳值的得出，由于要发送的信息量减少，因此可以提高编码效率。此外，可以设置更适合于该情况的局部区域。
此外，例如，关于滤波处理的信息可以在比特流的头部中发送，如在图8的表的ID列中的具有“3”的行中那样。在那种情况下，参数在比特流中具有固定值。通过以这种方式在比特流的头部中发送信息，要发送的信息量可以相对小，使得可以抑制编码效率的降低。此外，由于参数在比特流中具有固定值，因此可以抑制滤波处理的负荷的增加。
此外，例如，关于滤波处理的信息可以在帧的头部中发送，如在图8的表的ID列中的具有“4”的行中那样。在那种情况下，可以使参数对于每个帧是可变的。因此，可以设置更适合该情况的局部区域。
<#1-4.滤波处理目标>
滤波处理的目标是可选的。例如，可以将关于点云的位置信息作为目标，如在图9的表的ID列中的具有“1”的行中那样。换言之，对关于处理目标点的位置信息执行三维平滑滤波处理。通过以这种方式执行平滑滤波处理，可以实现点云的各个点之间的位置的平滑。
此外，例如，可以将与点云有关的属性信息(颜色等)作为目标，例如，如在图9的表的ID列中的具有“2”的行中那样。换言之，对关于处理目标点的位置信息执行三维平滑滤波处理。通过以这种方式执行平滑滤波处理，可以实现点云中的各个点之间的颜色等的平滑。
<#1-5.代表值得出方法>
得出每个局部区域的代表值的方法是可选的。例如，如在图10的表的ID列中的具有“1”的行中那样，局部区域内(包含在局部区域中)的点的数据的平均值可以用作代表值。由于可以通过简单的算术运算来计算平均值，因此可以通过以这种方式将平均值用作代表值来以较高的速度来计算代表值。即，可以进一步加速滤波处理。
此外，例如，如在图10的表的ID列中的具有“2”的行中那样，局部区域内(包含在局部区域中)的点的数据的中位数可以用作代表值。由于中位数不太易受到特有数据的影响，因此即使存在噪声，也可以获得更稳定的结果。即，可以获得更稳定的滤波处理结果。
当然，得出代表值的方法可以不同于这些示例。此外，例如，可以通过多种方法来得出代表值，使得能够选择更有利的值。此外，例如，对于每个局部区域可以允许不同的得出方法。例如，可以根据由点云表示的三维结构的特征来选择得出方法。例如，代表值可以通过包括很多噪音的具有细小形状的部分(例如头发)的中位数来得出，而代表值可以通过具有清晰边界的部分(例如衣服)的平均值来得出。
<#1-6.滤波处理算术运算>
滤波处理(三维平滑滤波)的算术运算是可选的。例如，如在图11的表的ID列中的具有“1”的行中那样，可以使用三线性内插。三线性内插在处理速度与处理结果的质量之间具有良好的平衡。替选地，例如，可以使用三元三次内插，如在图11的表的ID列中的具有“2”的行中那样。三元三次内插可以获得比三线性内插的处理结果更高质量的处理结果。此外，例如，可以使用最近邻搜索(NN)，如在图11的表的ID列中的具有“3”的行中那样。该方法可以以比三线性内插的速度高的速度获得处理结果。当然，可以通过除这些方法之外的任何算术运算来实现三维平滑滤波。
<#2.三维滤波处理的简化>
此外，如图2中的#2部分所示，可以仅在部分区域中执行滤波处理。图12是示出占用地图的示例的图。在图12所示的占用地图51中，白色部分指示在与点云有关的位置信息被投影在二维平面上的几何图像中具有数据以及在与点云有关的属性信息被投影在二维平面上的纹理图像中具有数据的区域(精度)，并且黑色部分指示在几何图像或纹理图像中没有数据的区域。换言之，白色部分指示点云的补丁被投影的区域，黑色部分指示点云的补丁未被投影的区域。
如图12中的箭头52所指出的，如图1的A中所示的缺口出现在补丁之间的边界处。因此，如图2中的#2-1部分所示，可以仅对与补丁之间的这样的边界部分对应的点(占用地图中的补丁的末端)执行三维平滑滤波处理。换言之，占用地图中的补丁的端部可以用作在其上执行三维平滑滤波处理的部分区域。
通过以这种方式将补丁的端部用作部分区域，可以仅在一些区域上执行三维平滑滤波处理。换言之，由于可以减小执行三维平滑滤波处理的区域，因此可以进一步加速三维平滑滤波处理。
该方法可以与如图13的A中所示的常规最近邻搜索相结合。换言之，如在图13的B中所示的伪代码中那样，可以仅在处理目标点的位置对应于补丁的末端(if(is_Boundary(curPos)))时，才包括最近邻搜索(k最近邻)的三维平滑滤波处理。
此外，如图14的A所示，可以结合使用以上在#1中描述的应用本技术的滤波处理。换言之，如在图14的B中所示的伪代码中那样，可以仅在处理目标点的位置对应于补丁的末端(if(is_Boundary(curPos)))时，才执行通过使用局部区域的代表值的三线性内插进行的三维平滑滤波处理。
图15示出了各个方法之间的处理时间的比较的示例。从左起的第一个图示出了使用常规最近邻搜索的平滑滤波处理的处理时间。从左起的第二个图示出了通过使用局部区域的代表值的三线性内插进行的三维平滑滤波处理的处理时间。从左起的第三个图示出了仅对占用地图中的与补丁的端部对应的点执行使用常规最近邻搜索的平滑滤波处理时的处理时间。从左起的第四个图示出了仅对占用地图中的与补丁的端部对应的点执行通过使用局部区域的代表值的三线性内插进行的三维平滑滤波处理时的处理时间。以这种方式，通过仅在一些区域上执行三维平滑滤波，可以减少处理时间，而与滤波处理的方法无关。
<2.第一实施方式>
<编码装置>
接下来，将描述实现如以上提及的每个方案的配置。图16是示出作为应用本技术的图像处理装置的示例性形式的编码装置的配置的示例的框图。图16所示的编码装置100是将诸如点云的3D数据投影到二维平面上并且通过用于二维图像的编码方法对投影的3D数据进行编码的装置(应用基于视频方法的编码装置)。
注意，图16示出了处理单元、数据流等的主要部分，并且图16不一定示出它们中的全部。换言之，在编码装置100中，可以存在在图16中未示出为块的处理单元，或者可以存在在图16中未示出为箭头等的处理或数据流。类似地，这也适用于说明编码装置100中的处理单元等的其他附图。
如图16所示，编码装置100包括补丁分解单元111、打包单元112、OMap生成单元113、辅助补丁信息压缩单元114、视频编码单元115、视频编码单元116和OMap编码单元117和复用器118。
补丁分解单元111执行与3D数据的分解有关的处理。例如，补丁分解单元111获取表示三维结构的3D数据(例如，点云)，该3D数据已被输入至编码装置100。此外，补丁分解单元111将获取的3D数据分解成多个分段以将3D数据投影到每个分段的二维平面上，并且生成位置信息的补丁和属性信息的补丁。
补丁分解单元111将关于每个生成的补丁的信息提供给打包单元112。此外，补丁分解单元111将作为关于分解的信息的辅助补丁信息提供给辅助补丁信息压缩单元114。
打包单元112执行与数据打包有关的处理。例如，打包单元112获取从补丁分解单元111提供的、针对每个区域投影3D数据的二维平面的数据(补丁)。此外，打包单元112将每个获取的补丁布置在二维图像上，并且将获得的二维图像打包为视频帧。例如，打包单元112将指示点的位置的位置信息(几何)的补丁和添加到位置信息的诸如颜色信息的属性信息(纹理)的补丁分别作为视频帧进行打包。
打包单元112将所生成的视频帧提供给OMap生成单元113。此外，打包单元112将关于打包的控制信息提供给复用器118。
OMap生成单元113执行与占用地图的生成有关的处理。例如，OMap生成单元113获取从打包单元112提供的数据。此外，OMap生成单元113生成与位置信息和属性信息对应的占用地图。OMap生成单元113将所生成的占用地图和从打包单元112获取的各种信息提供给后续处理单元。例如，OMap生成单元113将位置信息(几何)的视频帧提供给视频编码单元115。此外，例如，OMap生成单元113将属性信息(纹理)的视频帧提供给视频编码单元116。此外，例如，OMap生成单元113将占用地图提供给OMap编码单元117。
辅助补丁信息压缩单元114执行与辅助补丁信息的压缩有关的处理。例如，辅助补丁信息压缩单元114获取从补丁分解单元111提供的数据。辅助补丁信息压缩单元114对所获取的数据中包括的辅助补丁信息进行编码(压缩)。辅助补丁信息压缩单元114将所获得的辅助补丁信息的编码数据提供给复用器118。
视频编码单元115执行与位置信息(几何)的视频帧的编码有关的处理。例如，视频编码单元115获取从OMap生成单元113提供的位置信息(几何)的视频帧。此外，例如，视频编码单元115通过用于二维图像的任何编码方法(例如，AVC或HEVC)对所获取的位置信息(几何)的视频帧进行编码。视频编码单元115将通过编码获得的编码数据(位置信息(几何)的视频帧的编码数据)提供给复用器118。
视频编码单元116执行与属性信息(纹理)的视频帧的编码有关的处理。例如，视频编码单元116获取从OMap生成单元113提供的属性信息(纹理)的视频帧。此外，例如，视频编码单元116通过用于二维图像的任何编码方法(例如，AVC或HEVC)对所获取的属性信息(纹理)的视频帧进行编码。视频编码单元116将通过编码获得的编码数据(属性信息(纹理)的视频帧的编码数据)提供给复用器118。
OMap编码单元117执行与占用地图的编码有关的处理。例如，OMap编码单元117获取从OMap生成单元113提供的占用地图。此外，OMap编码单元117例如通过诸如算术编码的任何编码方法对所获取的占用地图进行编码。OMap编码单元117将通过编码获得的编码数据(占用地图的编码数据)提供给复用器118。
复用器118执行与复用有关的处理。例如，复用器118获取从辅助补丁信息压缩单元114提供的辅助补丁信息的编码数据。此外，复用器118获取从打包单元112提供的关于打包的控制信息。此外，复用器118获取从视频编码单元115提供的位置信息(几何)的视频帧的编码数据。此外，复用器118获取从视频编码单元116提供的属性信息(纹理)的视频帧的编码数据。此外，复用器118获取从OMap编码单元117提供的占用地图的编码数据。
复用器118对所获取的信息进行复用以生成比特流。复用器118将所生成的比特流输出至编码装置100的外部。
在这样的编码装置100中，补丁分解单元111从OMap生成单元113获取由OMap生成单元113生成的占用地图。此外，补丁分解单元111从视频编码单元115获取由视频编码单元115生成的位置信息(几何)的视频帧的编码数据(也被称为几何图像)。
然后，补丁分解单元111使用这些数据来对点云执行三维平滑滤波处理。换言之，补丁分解单元111将经受三维平滑滤波处理的3D数据投影到二维平面上，并且生成位置信息的补丁和属性信息的补丁。
<补丁分解单元>
图17是示出图16中的补丁分解单元111的主要配置示例的框图。如图17所示，补丁分解单元111包括补丁分解处理单元131、几何解码单元132、三维位置信息平滑处理单元133和纹理校正单元134。
补丁分解处理单元131获取点云以将获取的点云分解成多个分段，并且针对每个分段将点云投影到二维平面上，以生成位置信息的补丁(几何补丁)和属性信息的补丁(纹理补丁)。补丁分解处理单元131将生成的几何补丁提供给打包单元112。此外，补丁分解处理单元131将生成的纹理补丁提供给纹理校正单元134。
几何解码单元132获取几何图像的编码数据(几何编码数据)。通过将由补丁分解处理单元131生成的几何补丁在打包单元112中打包成视频帧并且在视频编码单元115中对该视频帧进行编码，获得几何图像的该编码数据。几何解码单元132对通过与视频编码单元115的编码技术对应的解码技术来对几何编码数据进行解码。此外，几何解码单元132从通过对几何编码数据进行解码获得的几何图像中重建点云(关于点云的位置信息)。几何解码单元132将所获得的关于点云(几何点云)的位置信息提供给三维位置信息平滑处理单元133。
三维位置信息平滑处理单元133获取从几何解码单元132提供的关于点云的位置信息。此外，三维位置信息平滑处理单元133获取占用地图。该占用地图已由OMap生成单元113生成。
三维位置信息平滑处理单元133对关于点云(几何点云)的位置信息执行三维平滑滤波处理。此时，如上所述，三维位置信息平滑处理单元133使用针对通过划分三维空间获得的每个局部区域的代表值来执行三维平滑滤波处理。此外，三维位置信息平滑处理单元133使用所获取的占用地图来仅对与获取的占用地图中的补丁的末端对应的部分区域中的点执行三维平滑滤波处理。通过以这种方式执行三维平滑滤波处理，三维位置信息平滑处理单元133可以以较高的速度执行滤波处理。
三维位置信息平滑处理单元133将经受滤波处理的几何点云(也被称为已平滑几何点云)提供给补丁分解处理单元131。补丁分解处理单元131将所提供的已平滑几何点云分解成多个分段以针对每个分段将点云投影到二维平面上，并且生成位置信息的补丁(已平滑几何补丁)，以将所生成的补丁提供给打包单元112。
此外，三维位置信息平滑处理单元133还将已平滑几何点云提供给纹理校正单元134。
纹理校正单元134获取从补丁分解处理单元131提供的纹理补丁。此外，纹理校正单元134获取从三维位置信息平滑处理单元133提供的已平滑几何点云。纹理校正单元134使用所获取的已平滑几何点云来校正纹理补丁。当由于三维平滑而改变关于点云的位置信息时，投影在二维平面上的补丁的形状也可以改变。换言之，纹理校正单元134在属性信息的补丁(纹理补丁)中反映由于三维平滑而引起的关于点云的位置信息的改变。
纹理校正单元134将校正之后的纹理补丁提供给打包单元112。
打包单元112将从补丁分解单元111提供的已平滑几何补丁和经校正纹理补丁分别打包成视频帧，并且生成位置信息的视频帧和属性信息的视频帧。
<三维位置信息平滑处理单元>
图18是示出图17中的三维位置信息平滑处理单元133的主要配置示例的框图。如图18所示，三维位置信息平滑处理单元133包括区域划分单元141、区域内代表值得出单元142、处理目标区域设置单元143、平滑处理单元144和发送信息生成单元145。
区域划分单元141获取从几何解码单元132提供的关于点云(几何点云)的位置信息。区域划分单元141划分包括所获取的几何点云的三维空间的区域，并且设置局部区域(栅格)。此时，区域划分单元141通过以上在<#1.使用针对每个局部区域的代表值进行加速>描述的方法划分三维空间并且设置局部区域。
区域划分单元141将关于所设置的局部区域的信息(例如，关于局部区域的形状和尺寸的信息)和关于几何点云的信息提供给区域内代表值得出单元142。此外，当将关于局部区域的信息发送至解码侧时，区域划分单元141将关于局部区域的信息提供给发送信息生成单元145。
区域内代表值得出单元142获取从区域划分单元141提供的关于局部区域和几何点云的信息。区域内代表值得出单元142基于这些信息而得出由区域划分单元141设置的每个局部区域中的几何点云的代表值。此时，区域内代表值得出单元142通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来得出代表值。
区域内代表值得出单元142将关于局部区域、几何点云的信息和针对每个局部区域得出的代表值提供给平滑处理单元144。此外，当针对每个局部区域得出的代表值将被发送至解码侧时，指示每个局部区域的代表值的信息被提供给发送信息生成单元145。
处理目标区域设置单元143获取占用地图。处理目标区域设置单元143基于所获取的占用地图来设置要被应用滤波处理的区域。此时，处理目标区域设置单元143通过以上在＜#2.三维滤波处理的简化>中描述的方法来设置区域。换言之，处理目标区域设置单元143将与占用地图中的补丁的末端对应的部分区域设置为用于滤波处理的处理目标区域。
处理目标区域设置单元143将指示所设置的处理目标区域的信息提供给平滑处理单元144。此外，当指示处理目标区域的信息要发送至解码侧时，处理目标区域设置单元143将指示处理目标区域的信息提供给发送信息生成单元145。
平滑处理单元144获取从区域内代表值得出单元142提供的关于局部区域、几何点云和针对每个局部区域的代表值的信息。此外，平滑处理单元144获取已经从处理目标区域设置单元143提供的指示处理目标区域的信息。
平滑处理单元144基于这些信息来执行三维平滑滤波处理。换言之，如以上在<加速三维滤波处理>中所描述的，平滑处理单元144使用每个局部区域的代表值作为参考值，对处理目标区域中的几何点云的点执行三维平滑滤波处理。因此，平滑处理单元144可以以较高的速度执行三维平滑滤波处理。
平滑处理单元144将经受三维平滑滤波处理的几何点云(已平滑几何点云)提供给补丁分解处理单元131和纹理校正单元134。
发送信息生成单元145获取从区域划分单元141提供的关于局部区域的信息、指示已经从区域内代表值得出单元142提供的针对每个局部区域的代表值的信息、以及已经从处理目标区域设置单元143提供的指示处理目标区域的信息。发送信息生成单元145生成包括这些信息的发送信息。发送信息生成单元145将所生成的发送信息提供给例如辅助补丁信息压缩单元114，并且使辅助补丁信息压缩单元114将所提供的发送信息作为辅助补丁信息发送至解码侧。
<编码处理的流程>
将参照图19中的流程图来描述由编码装置100执行的编码处理的流程的示例。
一旦开始编码处理，则在步骤S101中，编码装置100的补丁分解单元111将点云投影到二维平面上，并且将投影的点云分解成补丁。
在步骤S102中，辅助补丁信息压缩单元114对在步骤S101中生成的辅助补丁信息进行压缩。
在步骤S103中，打包单元112将在步骤S101中生成的位置信息和属性信息的每个补丁打包为视频帧。此外，OMap生成单元113生成与位置信息和属性信息的视频帧对应的占用地图。
在步骤S104中，视频编码单元115通过用于二维图像的编码方法对作为在步骤D103中生成的位置信息的视频帧的几何视频帧进行编码。
在步骤S105中，视频编码单元116通过用于二维图像的编码方法对作为在步骤S103中生成的属性信息的视频帧的彩色视频帧进行编码。
在步骤S106中，OMap编码单元117通过预定的编码方法对在步骤S103中生成的占用地图进行编码。
在步骤S107中，复用器118对如上所述生成的各种信息进行复用，并且生成包括这些信息的比特流。
在步骤S108中，复用器118将在步骤S107中生成的比特流输出至编码装置100的外部。
一旦步骤S108中的处理结束，则编码处理结束。
<补丁分解处理的流程>
接下来，将参照图20中的流程图来描述图19中的步骤S101中执行的补丁分解处理的流程的示例。
一旦开始补丁分解处理，补丁分解处理单元131在步骤S121中将点云分解成补丁，并且生成几何补丁和纹理补丁。
在步骤S122中，几何解码单元132对通过将在步骤S121中生成的几何补丁打包成视频帧并且对视频帧进行编码而获得的几何编码数据进行解码，并且重建点云以生成几何的点云。
在步骤S123中，三维位置信息平滑处理单元133执行平滑处理，并且对在步骤S122中生成的几何的点云执行三维平滑滤波处理。
在步骤S124中，纹理校正单元134使用通过步骤S123中的处理获得的已平滑几何点云来校正在步骤S121中生成的纹理补丁。
在步骤S125中，补丁分解处理单元131将通过步骤S123中的处理获得的已平滑几何点云分解成补丁，并且生成已平滑几何补丁。
一旦步骤S136中的处理结束，则补丁分解处理结束，并且处理返回至图19。
<平滑处理的流程>
接下来，将参照图21中的流程图来描述在图20的步骤123中执行的平滑处理的流程的示例。
一旦开始平滑处理，则在步骤S141中，区域划分单元141将包括点云的三维空间划分成局部区域。区域划分单元141通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来划分三维空间并且设置局部区域。
在步骤S142中，区域内代表值得出单元142针对在步骤S141中设置的每个局部区域得出点云的代表值。区域内代表值得出单元142通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来得出代表值。
在步骤S143中，处理目标区域设置单元143设置用于执行平滑处理的范围。处理目标区域设置单元143通过以上在＜#2.三维滤波处理的简化>中描述的方法来设置区域。换言之，处理目标区域设置单元143将与占用地图中的补丁的末端对应的部分区域设置为用于滤波处理的处理目标区域。
在步骤S144中，平滑处理单元144通过参考每个区域的代表值，对在步骤S143中设置的处理目标范围执行平滑处理。如以上在<加速三维滤波处理>中所描述的，平滑处理单元144使用每个局部区域的代表值作为参考值来对处理目标区域中的几何点云的点执行三维平滑滤波处理。因此，平滑处理单元144可以以较高的速度执行三维平滑滤波处理。
在步骤S145中，发送信息生成单元145生成关于平滑的发送信息，以将所生成的发送信息提供给例如辅助补丁信息压缩单元114，并且使辅助补丁信息压缩单元114发送所提供的发送信息作为辅助补丁信息。
一旦步骤S145中的处理结束，平滑处理处理结束，并且处理返回至图20。
<平滑范围设置处理的流程>
接下来，将参照图22中的流程图描述在图21的步骤S143中执行的平滑范围设置处理的流程的示例。
一旦开始平滑范围设置处理，则处理目标区域设置单元143在步骤S161中确定占用地图中的当前位置(x，y)(处理目标块)是否位于占用地图的末端。例如，当将占用地图的横向宽度假设为宽度并且将纵向宽度假设为高度时，进行以下确定。
x！＝0&y！＝0&x！＝宽度-1&y！＝高度-1
当确定该确定为真即当前位置未位于占用地图的末端时，处理进行至步骤S162。
在步骤S162中，处理目标区域设置单元143确定占用地图中的当前位置的外围部分的所有值是否都具有1。当确定占用地图中的当前位置的外围部分的所有值都具有1，即，所有外围部分都具有位置信息和属性信息并且不位于具有位置信息和属性信息的部分与不具有位置信息或属性信息的部分之间的边界附近时，处理进行至步骤S163。
在步骤S163中，处理目标区域设置单元143确定当前位置的外围部分所属的所有补丁是否与当前位置所属的补丁一致。当并排放置补丁时，占用地图的值具有1的部分连续。因此，即使在步骤S162中确定当前位置的所有外围部分都具有数据的情况下，多个补丁彼此相邻的部分也可能是具有数据的情况，并且当前位置仍可能位于补丁的末端。然后，由于图像在不同的补丁之间基本上不连续，因此即使在多个补丁彼此相邻的部分中，也可能由于占用地图的精度的大尺寸而形成如图1中的A的缺口。因此，如上所述，确定当前位置的外围部分所属的所有补丁是否与当前位置所属的补丁一致。
当确定所有外围部分和当前位置彼此属于同一补丁，即，当前位置不位于多个补丁彼此相邻的部分中并且不位于补丁的端部处时，处理进行至步骤S164。
在步骤S164中，处理目标区域设置单元143将从当前位置(x，y)恢复的三维点(与处理目标块对应的点云的点)确定为将不经受平滑滤波处理的点。换言之，当前位置被排除在平滑处理操纵范围之外。一旦步骤S164中的处理结束时，则处理进行至步骤S166。
此外，当在步骤S161中确定以上确定为假，即当前位置位于占用地图的末端时，处理进行至步骤S165。
此外，当在步骤S162中确定存在占用地图的值不具有1的外围部分——即，存在不具有位置信息或属性信息的外围部分——并且当前位置位于补丁的末端时，处理进行至步骤S165。
此外，当在步骤S163中确定存在属于与当前位置所属的补丁不同的补丁的外围部分，即，当前位置位于多个补丁彼此相邻的部分中时，处理进行至步骤S165。
在步骤S165中，处理目标区域设置单元143将从当前位置(x，y)恢复的三维点(与处理目标块对应的点云的点)确定为要经受平滑滤波处理的点。换言之，当前位置被设置为平滑处理操纵范围。一旦步骤S165中的处理结束时，则处理进行至步骤S166。
在步骤S166中，处理目标区域设置单元143确定是否已经处理占用地图中的所有位置(块)。当确定存在未处理的位置(块)时，处理返回至步骤S161，并且针对分配为处理目标块的未处理的块重复随后的处理。换言之，针对每个块重复步骤S161至S166中的处理。
然后，当在步骤S166中确定已经处理占用地图中的所有位置(块)时，平滑范围设置处理结束，并且处理返回至图21。
通过执行如上所述的每个处理，可以抑制对点云数据的滤波处理的处理时间的增加(可以以较高的速度执行滤波处理)。
<3.第二实施方式>
<解码装置>
接下来，将描述实现如以上提及的每个方案的配置。图23是示出作为应用本技术的图像处理装置的示例性形式的解码装置的配置的示例的框图。图23中示出的解码装置200是通过用于二维图像的解码方法对通过将诸如点云的3D数据投影在二维平面上并且对投影的3D数据进行编码而获得的编码数据进行解码，并且将解码数据投影在三维空间中的装置(应用基于视频的方法的解码装置)。例如，解码装置200对由对点云进行编码的编码装置100(图16)生成的比特流进行解码，并且重建该点云。
注意，图23示出了处理单元、数据流等的主要部分，并且图23不一定示出它们中的全部。换言之，在解码装置200中，可以存在在图23中未示出为块的处理单元，或者可以存在在图23中未示出为箭头等的处理或数据流。类似地，这也适用于说明解码装置200中的处理单元等的其他附图。
如图23所示，解码装置200包括解复用器211、辅助补丁信息解码单元212、视频解码单元213、视频解码单元214、OMap解码单元215、解包单元216和3D重建单元217。
解复用器211执行与数据解复用有关的处理。例如，解复用器211获取输入至解码装置200的比特流。该比特流是从例如编码装置100提供的。解复用器211对该比特流进行解复用，并且提取辅助补丁信息的编码数据以将所提取的编码数据提供给辅助补丁信息解码单元212。此外，解复用器211通过进行解复用从比特流中提取位置信息(几何)的视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元213。此外，解复用器211通过进行解复用从比特流中提取属性信息(纹理)的视频帧的编码数据，并且将所提取的编码数据提供给视频解码单元214。此外，解复用器211通过进行解复用从比特流中提取占用地图的编码数据，并且将提取的编码数据提供给OMap解码单元215。此外，解复用器211通过进行解复用从比特流中提取关于打包的控制信息，并且将提取的控制信息提供给解包单元216。
辅助补丁信息解码单元212执行与对辅助补丁信息的编码数据的解码有关的处理。例如，辅助补丁信息解码单元212获取从解复用器211提供的辅助补丁信息的编码数据。此外，辅助补丁信息解码单元212对包括在所获取的数据中的辅助补丁信息的编码数据进行解码(解压缩)。辅助补丁信息解码单元212将通过解码获得的辅助补丁信息提供给3D重建单元217。
视频解码单元213执行与对位置信息(几何)的视频帧的编码数据的解码有关的处理。例如，视频解码单元213获取从解复用器211提供的位置信息(几何)的视频帧的编码数据。此外，视频解码单元213通过用于二维图像的任何解码方法(例如，AVC或HEVC)对获取的编码数据进行解码，例如以获得位置信息(几何)的视频帧。视频解码单元213将所获得的位置信息(几何)的视频帧提供给解包单元216。
视频解码单元214执行与对属性信息(纹理)的视频帧的编码数据的解码有关的处理。例如，视频解码单元214获取从解复用器211提供的属性信息(纹理)的视频帧的编码数据。此外，视频解码单元214通过用于二维图像的任何解码方法(例如，AVC或HEVC)对获取的编码数据进行解码，例如以获得属性信息(纹理)的视频帧。视频解码单元214将所获得的属性信息(纹理)的视频帧提供给解包单元216。
OMap解码单元215执行与对占用地图的编码数据的解码有关的处理。例如，OMap解码单元215获取从解复用器211提供的占用地图的编码数据。此外，例如，OMap解码单元215通过诸如与算术编码对应的算术解码的任何解码方法对所获取的编码数据进行解码，以获得占用地图。OMap解码单元215将所获得的占用地图提供给解包单元216。
解包单元216执行与解包有关的处理。例如，解包单元216从视频解码单元213获取位置信息(几何)的视频帧，从视频解码单元214获取属性信息(纹理)的视频帧，并且从OMap解码单元215获取占用地图。此外，解包单元216基于关于打包的控制信息来解包位置信息(几何)的视频帧和属性信息(纹理)的视频帧。解包单元216将通过解包获得的位置信息(几何)的数据(例如，几何补丁)、属性信息(纹理)的数据(例如，纹理补丁)、占用地图等提供给3D重建单元217。
3D重建单元217执行与点云的重建有关的处理。例如，3D重建单元217基于从辅助补丁信息解码单元212提供的辅助补丁信息、从解包单元216提供的位置信息(几何)的数据(例如，几何补丁)、属性信息(纹理)的数据(例如，纹理补丁)、占用地图等来重建点云。3D重建单元217将重建的点云输出至解码装置200的外部。
该点云例如被提供给显示单元并且被成像，并且该图像被显示、记录在记录介质上或者经由通信被提供给另一装置。
在这样的解码装置200中，3D重建单元217对重建的点云执行三维平滑滤波处理。
<3D重建单元>
图24是示出图23中的解码单元217的主要配置示例的框图。如图24所示，3D重建单元217包括几何点云(PointCloud)生成单元231、三维位置信息平滑处理单元232和纹理合成单元233。
几何点云生成单元231执行与几何点云的生成有关的处理。例如，几何点云生成单元231获取从解包单元216提供的几何补丁。此外，几何点云生成单元231使用所获取的几何补丁以及诸如辅助补丁信息的其他信息来重建几何点云(关于点云的位置信息)。几何点云生成单元231将所生成的几何点云提供给三维位置信息平滑处理单元232。
三维位置信息平滑处理单元232执行与三维平滑滤波处理有关的处理。例如，三维位置信息平滑处理单元232获取从几何点云生成单元231提供的几何点云。此外，三维位置信息平滑处理单元232获取从解包单元216提供的占用地图。
三维位置信息平滑处理单元232对所获取的几何点云执行三维平滑滤波处理。此时，如上所述，三维位置信息平滑处理单元232使用针对通过划分三维空间获得的每个局部区域的代表值来执行三维平滑滤波处理。此外，三维位置信息平滑处理单元232使用所获取的占用地图来仅对与获取的占用地图中的补丁的末端对应的部分区域中的点执行三维平滑滤波处理。通过以这种方式执行三维平滑滤波处理，三维位置信息平滑处理单元232可以以较高的速度执行滤波处理。
三维位置信息平滑处理单元232将经受滤波处理的几何点云(已平滑几何点云)提供给纹理合成单元233。
纹理合成单元233执行与几何和纹理合成有关的处理。例如，纹理合成单元233获取从三维位置信息平滑处理单元232提供的已平滑几何点云。此外，纹理合成单元233获取从解包单元216提供的纹理补丁。纹理合成单元233将纹理补丁(即，属性信息)合成到已平滑几何点云中，并且重建点云。已平滑几何点云的位置信息由于三维平滑而改变。换言之，严格来讲，可能存在位置信息与属性信息不相互对应的部分。因此，纹理合成单元233将从纹理补丁获得的属性信息合成到已平滑几何点云中，同时将位置信息的改变反映在经受三维平滑的部分上。
纹理合成单元233将重建的点云输出至解码装置200的外部。
<三维位置信息平滑处理单元>
图25是示出图24中的三维位置信息平滑处理单元232的主要配置示例的框图。如图25所示，三维位置信息平滑处理单元232包括发送信息获取单元251、区域划分单元252、区域内代表值得出单元253、处理目标区域设置单元254和平滑处理单元255。
当存在从编码侧发送的发送信息时，发送信息获取单元251获取作为辅助补丁信息等提供的发送信息。发送信息获取单元251根据需要将获取的发送信息提供给区域划分单元252、区域内代表值得出单元253和处理目标区域设置单元254。例如，当提供关于局部区域的信息作为发送信息时，发送信息获取单元251将所提供的关于局部区域的信息提供给区域划分单元252。此外，当指示针对每个局部区域的代表值的信息被提供作为发送信息时，发送信息获取单元251将指示针对每个局部区域的代表值的所提供的信息提供给区域内代表值得出单元253。此外，当指示处理目标区域的信息被提供作为发送信息时，发送信息获取单元251将指示处理目标区域的所提供的信息提供给处理目标区域设置单元254。
区域划分单元252获取从几何点云生成单元231提供的关于点云(几何点云)的位置信息。区域划分单元252划分包括所获取的几何点云的三维空间的区域，并且设置局部区域(栅格)。此时，区域划分单元141通过以上在<#1.使用针对每个局部区域的代表值进行加速>描述的方法划分三维空间并且设置局部区域。注意，当从发送信息获取单元251提供从编码侧发送的关于局部区域的信息时，区域划分单元252采用由提供的信息指示的局部区域的设置(例如，局部区域的形状和尺寸)。
区域划分单元252将关于所设置的局部区域的信息(例如，关于局部区域的形状和尺寸的信息)和关于几何点云的信息提供给区域内代表值得出单元253。
区域内代表值得出单元253获取从区域划分单元252提供的关于局部区域和几何点云的信息。区域内代表值得出单元253基于这些信息而得出由区域划分单元252设置的每个局部区域中的几何点云的代表值。此时，区域内代表值得出单元253通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来得出代表值。注意，当从发送信息获取单元251提供已经从编码侧发送的、指示针对每个局部区域的代表值的信息时，区域内代表值得出单元253采用由提供的信息指示的针对每个局部区域的代表值。
区域内代表值得出单元142将关于局部区域、几何点云的信息和针对每个局部区域得出的代表值提供给平滑处理单元255。
处理目标区域设置单元254获取占用地图。处理目标区域设置单元254基于所获取的占用地图来设置要被应用滤波处理的区域。此时，处理目标区域设置单元254通过以上在＜#2.三维滤波处理的简化>中描述的方法来设置区域。换言之，处理目标区域设置单元254将与占用地图中的补丁的末端对应的部分区域设置为用于滤波处理的处理目标区域。注意，当从发送信息获取单元251提供已经从编码侧发送的、指示处理目标区域的信息时，处理目标区域设置单元254采用由提供的信息指示的处理目标区域。
处理目标区域设置单元254将指示所设置的处理目标区域的信息提供给平滑处理单元255。
平滑处理单元255获取从区域内代表值得出单元253提供的关于局部区域、几何点云和针对每个局部区域的代表值的信息。此外，平滑处理单元255获取已经从处理目标区域设置单元254提供的指示处理目标区域的信息。
平滑处理单元255基于这些信息来执行三维平滑滤波处理。换言之，如以上在<加速三维滤波处理>中所描述的，平滑处理单元255使用每个局部区域的代表值作为参考值，对处理目标区域中的几何点云的点执行三维平滑滤波处理。因此，平滑处理单元255可以以较高的速度执行三维平滑滤波处理。
平滑处理单元255将经受三维平滑滤波处理的几何点云(已平滑几何点云)提供给纹理合成单元233。
<解码处理的流程>
接下来，将参照图26的流程图描述由解码装置200执行的解码处理的流程的示例。
一旦开始解码处理，则解码装置200的解复用器211在步骤S201中对比特流进行解复用。
在步骤S202中，辅助补丁信息解码单元212对从步骤S201中的比特流中提取的辅助补丁信息进行解码。
在步骤S203中，视频解码单元213对从步骤S201中的比特流中提取的几何视频帧(位置信息的视频帧)的编码数据进行解码。
在步骤S204中，视频解码单元214对从步骤S201中的比特流中提取的彩色视频帧(属性信息的视频帧)的编码数据进行解码。
在步骤S205中，OMap解码单元215对从步骤S201中的比特流中提取的占用地图的编码数据进行解码。
在步骤S206中，解包单元216解包通过在步骤S203中对编码数据进行解码而获得的几何视频帧，以生成几何补丁。此外，解包单元216对通过在步骤S204中对编码数据进行解码而获得的彩色视频帧进行解包，以生成纹理补丁。此外，解包单元216对通过在步骤S205中对编码数据进行解码而获得的占用地图进行解包，以提取与几何补丁和纹理补丁对应的占用地图。
在步骤S207中，3D重建单元217基于在步骤S202中获得的辅助补丁信息以及在步骤S206中获得的几何补丁、纹理补丁、占用地图等来重建点云。
一旦步骤S207中的处理结束，则解码处理结束。
<点云重建处理的流程>
接下来，将参照图27的流程图描述在图26的步骤S207中执行的点云重建处理的流程的示例。
一旦开始点云重建处理，则在步骤S221中，3D重建单元217的几何点云生成单元231重建几何点云。
在步骤S222中，三维位置信息平滑处理单元232执行平滑处理，并且对在步骤S221中生成的几何点云执行三维平滑滤波处理。
在步骤S223中，纹理合成单元233将纹理补丁合成到已平滑几何点云中。
一旦步骤S223中的处理结束，则点云重建处理结束，并且处理返回至图26。
<平滑处理的流程>
接下来，将参照图28的流程图来描述在图27的步骤S222中执行的平滑处理的流程的示例。
一旦开始平滑处理，则发送信息获取单元251在步骤S241中获取关于平滑的发送信息。注意，当不存在发送信息时，该处理被省略。
在步骤S242中，区域划分单元252将包括点云的三维空间划分成局部区域。区域划分单元252通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来划分三维空间并且设置局部区域。注意，当在步骤S241中获取了关于局部区域的信息作为发送信息时，区域划分单元252采用由所获取的信息指示的局部区域(局部区域的形状、尺寸等)的设置。
在步骤S243中，区域内代表值得出单元253针对在步骤S242中设置的每个局部区域得出点云的代表值。区域内代表值得出单元253通过以上在<#1.使用针对每个局部区域的代表值进行加速>中描述的方法来得出代表值。注意，当在步骤S241中获取了指示针对每个局部区域的代表值的信息作为发送信息时，区域内代表值得出单元253采用由所获取的信息指示的针对每个局部区域的代表值。
在步骤S244中，处理目标区域设置单元254设置用于执行平滑处理的范围。处理目标区域设置单元254通过以上在＜#2.三维滤波处理的简化>中描述的方法来设置区域。换言之，处理目标区域设置单元254执行参照图22中的流程图描述的平滑范围设置处理，并且设置用于滤波处理的处理目标范围。注意，当在步骤S241中获取了指示处理目标区域的信息作为发送信息时，处理目标区域设置单元254采用由所获取的信息指示的处理目标区域的设置。
在步骤S245中，平滑处理单元255通过参考每个区域的代表值，对在步骤S244中设置的处理目标范围执行平滑处理。如以上在<加速三维滤波处理>中所描述的，平滑处理单元255使用每个局部区域的代表值作为参考值来对处理目标区域中的几何点云的点执行三维平滑滤波处理。因此，平滑处理单元255可以以较高的速度执行三维平滑滤波处理。
一旦步骤S245中的处理结束，平滑处理处理结束，并且处理返回至图27。
通过执行如上所述的每个处理，可以抑制对点云数据的滤波处理的处理时间的增加(可以以较高的速度执行滤波处理)。
<4.变型>
在第一实施方式和第二实施方式中，已经描述了对与点云有关的位置信息执行三维平滑滤波处理，但是也可以对与点云有关的属性信息执行三维平滑滤波处理。在这种情况下，例如由于属性信息已平滑，因此点的颜色等也改变。
例如，在编码装置100的情况下，仅需要在补丁分解单元111(图17)中提供对提供给纹理校正单元134的纹理补丁执行平滑处理的平滑处理单元(例如，三维属性信息平滑处理单元)。
此外，例如，在解码装置200的情况下，仅需要在在3D重建单元217(图24)中提供对提供给纹理合成单元233的纹理补丁执行平滑处理的平滑处理单元(例如，三维属性信息平滑处理单元)。
<5.补充说明>
<控制信息>
可以将与在上述实施方式中的每一个中描述的本技术有关的控制信息从编码侧发送至解码侧。例如，可以发送控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以发送指定允许(或禁止)应用上述本技术的范围(例如，块尺寸的上限或下限，或者上限和下限两者、切片、图片、序列、分量、视图、层等)的控制信息。
<计算机>
上述一系列处理同样可以通过使用硬件执行并且也可以通过使用软件来执行。当一系列处理由软件执行时，构成软件的程序被安装在计算机中。此处，计算机包括内置到专用硬件中的计算机、当安装有各种程序时能够执行各种功能的计算机，例如通用个人计算机等。
图29是示出使用程序执行上述一系列处理的计算机的硬件配置示例的框图。
在图29中所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902以及随机存取存储器(RAM)903经由总线904互连。
此外，输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
例如，输入单元911包括键盘、鼠标、麦克风、触摸板、输入终端等。例如，输出单元912包括显示器、扬声器、输出终端等。例如，存储单元913包括硬盘、RAM盘、非易失性存储器等。例如，通信单元914包括通信接口。驱动器915驱动可移除介质921例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，例如，执行上述系列处理使得CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中以用于执行。由CPU901在执行各种处理时所需的数据等也被适当地存储在RAM 903中。
例如，可以通过将由计算机(CPU 901)执行的程序记录在用作封装介质等的可移除介质921中来对其进行应用。在那种情况下，通过将可移除介质921安装在驱动器915中，可以经由输入/输出接口910将程序安装在存储单元913中。
此外，该程序也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。在那种情况下，可以通过通信单元914来接收程序以将程序安装至存储单元913。
作为替选方式，该程序也可以被预先安装在ROM 902或存储单元913中。
<本技术的应用目标>
在上面，已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，并且可以应用于任何标准的3D数据的编码和解码。换言之，只要与上述本技术没有矛盾，诸如编码和解码技术的各种处理以及诸如3D数据和元数据的各种数据的规范是可选的。此外，只要与本技术没有矛盾，可以省略以上提及的处理和规范中的一些。
本技术可以应用于任何配置。例如，本技术可以应用于各种各样的电子设备，本技术可以应用于各种电子设备，例如，用于卫星广播、诸如有线电视的有线广播、因特网上的分发、通过蜂窝通信向终端的分发等的发送器和接收器(例如，电视接收器和移动电话)，或者在诸如光盘、磁盘和闪速存储器的介质上记录图像并且再现来自这些存储介质的图像的装置(例如，硬盘记录器和摄像装置)。
此外，例如，本技术还可以作为诸如用作系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或将另一功能进一步添加到单元的集合等(例如，视频集合)的装置的部分配置来执行。
此外，例如，本技术还可以应用于由多个装置构成的网络系统。例如，本技术可以被实现为云计算，其中，由多个装置经由网络来共享并协同地执行处理。例如，本技术可以在云服务中执行，该云服务向诸如计算机、视听(AV)设备、便携式信息处理终端和物联网(IoT)设备的任何终端提供与图像(运动图像)有关的服务。
注意，在本说明书中，系统是指多个构成部件(例如，装置和模块(部件))的集合，并且不认为所有构成部件是否布置在同一机柜内是重要的。因此，容置在单独的机柜中以便经由网络彼此连接的多个装置和多个模块被容置在一个机柜中的一个装置两者都是系统。
<可以应用本技术的领域和使用目的>
例如，应用本技术的装置、处理单元等可以用在诸如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、气象和自然监视的任意领域中。此外，以上系统等的使用目的也是可选的。
<其他>
注意，在本说明书中，“标志”是指用于在多个状态之间进行标识的信息，并且不仅包括在标识真(1)与假(0)的两个状态时所使用的信息，而且还包括能够标识三个或更多个状态的信息。因此，该“标志”可以采用的值可以是例如1或0的二进制值，或三进制或更多的值。即，构成该“标志”的位数是任意的，并且可以采用1位或多位。此外，假设标识信息(包括标志)不仅具有标识信息被包括在比特流中的形式，而且具有标识信息相对于特定参考信息的差异信息被包括在比特流中的形式。因此，在本说明书中，“标志”和“标识信息”不仅隐含其中的全部信息，而且还隐含相对于参考信息的差异信息。
此外，可以以任何形式发送或记录关于编码数据(比特流)的各种信息(元数据等)，只要信息与编码数据相关联即可。此处，术语“关联”意味着例如确保当处理另一数据时一个数据可用(可链接)。换言之，可以将彼此相关联的数据收集为一个数据，或者可以将彼此相关联的数据分别处理为单独的数据。例如，可以在与关联的编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录在与关联的编码数据(图像)的记录介质不同的记录介质(或同一记录介质的记录区域)上。注意，该“关联”可以在数据的一部分而不是整个数据上进行。例如，图像与对应于该图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。
此外，在本说明书中，诸如“合成”、“复用”、“添加”、“集成”、“包括”、“保存”、“合并”、“放入”、“插入”的术语意味着将多个对象收集为一个对象，例如将编码数据和元数据收集为一个数据，并且意味着上述一种“关联”方法。
此外，根据本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种修改。
例如，被描述为一个装置(或处理单元)的配置可以被划分以配置为多个装置(或处理单元)。相比之下，上文中被描述为多个装置(或处理单元)的配置可以被收集以被配置为一个装置(或一个处理单元)。此外，当然，可以将不同于以上所述的那些配置之外的配置添加到各个装置(或各个处理单元)的配置。此外，特定装置(或特定处理单元)的一部分配置可以被包括在另一装置(或另一处理单元)的配置中，只要系统的配置和操作总的来说基本上保持不变即可。
此外，例如，上述程序可以由任何装置执行。在那种情况下，那些装置仅需要具有必要的功能(功能块等)使得可以获得那些必要的信息。
此外，例如，一个装置可以执行一个流程图的每个步骤，或者多个装置可以共享并执行这些步骤。此外，当一个步骤中包括多个处理时，多个处理可以由单个装置执行，或者可以由多个装置共享并执行。在不同方面，也可以执行一个步骤中包括的多个处理作为具有多个步骤的处理。相比之下，描述为多个步骤的处理也可以被收集为一个步骤来执行。
此外，例如，由计算机执行的程序可以被设计成使得描述程序的步骤的处理根据本说明书中描述的顺序沿着时间序列执行，或者在必要的定时(例如，当被调用时)并行地或单独地执行。换言之，只要不存在矛盾，各个步骤的处理可以以与上述顺序不同的顺序执行。此外，描述该程序的步骤的这些处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
此外，例如，只要不存在不一致，可以单独地独立执行与本技术有关的多种技术中的每一个。当然，也可以同时实施任意多个本技术。例如，任何实施方式中描述的本技术的一部分或全部可以与另一实施方式中描述的本技术的一部分或全部组合执行。此外，可以同时利用上文未提及的另一技术来执行上述本技术中的任意一个的一部分或全部。
附图标记列表
100 编码装置
111 补丁分解单元
112 打包单元
113 OMap生成单元
114 辅助补丁信息压缩单元
115 视频编码单元
116 视频编码单元
117 OMap编码单元
118 复用器
131 补丁分解处理单元
132 几何解码单元
133 三维位置信息平滑处理单元
134 纹理校正单元
141 区域划分单元
142 区域内代表值得出单元
143 处理目标区域设置单元
144 平滑处理单元
145 发送信息生成单元
200 解码装置
211 解复用器
212 辅助补丁信息解码单元
213 视频解码单元
214 视频解码单元
215 OMap解码单元
216 解包单元
217 3D重建单元
231 几何点云生成单元
232 三维位置信息平滑处理单元
233 纹理合成单元
251 发送信息获取单元
252 区域划分单元
253 区域内代表值得出单元
254 处理目标区域设置单元
255 平滑处理单元

Claims (20)

1.一种图像处理装置，包括：
滤波处理单元，使用通过划分三维空间获得的每个局部区域的点云数据的代表值对所述点云数据执行滤波处理；以及
编码单元，对其上投影有经受由所述滤波处理单元进行的所述滤波处理的所述点云数据的二维平面图像进行编码并且生成比特流。
2.根据权利要求1所述的图像处理装置，其中，
所述局部区域包括具有预定尺寸的立方体区域。
3.根据权利要求1所述的图像处理装置，其中，
所述局部区域包括具有预定尺寸的长方体区域。
4.根据权利要求1所述的图像处理装置，其中，
所述局部区域包括通过划分所述三维空间使得每个区域包含所述点云数据中的预定数量的点而获得的区域。
5.根据权利要求1所述的图像处理装置，其中，
所述编码单元生成包括关于所述局部区域的信息的所述比特流。
6.根据权利要求5所述的图像处理装置，其中，
关于所述局部区域的信息包括关于所述局部区域的尺寸的信息、或者关于所述局部区域的形状的信息、或者关于所述局部区域的尺寸和形状的信息。
7.根据权利要求1所述的图像处理装置，其中，
所述代表值包括所述局部区域中包含的所述点云数据的平均值。
8.根据权利要求1所述的图像处理装置，其中，
所述代表值包括所述局部区域中包含的所述点云数据的中位数。
9.根据权利要求1所述的图像处理装置，其中，
所述滤波处理包括平滑处理，所述平滑处理使用所述点云数据中的处理目标点周围的所述局部区域的代表值来使所述处理目标点的数据平滑。
10.根据权利要求1所述的图像处理装置，其中，
所述滤波处理单元对与所述点云数据中的点有关的位置信息执行滤波处理。
11.根据权利要求1所述的图像处理装置，其中，
所述滤波处理单元对与所述点云数据中的点有关的属性信息执行滤波处理。
12.一种图像处理方法，包括：
使用通过划分三维空间获得的每个局部区域的点云数据的代表值对所述点云数据执行滤波处理；以及
对其上投影有经受所述滤波处理的所述点云数据的二维平面图像进行编码并且生成比特流。
13.一种图像处理装置，包括：
解码单元，其对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及
滤波处理单元，其使用通过划分三维空间获得的每个局部区域的所述点云数据的代表值，对从所述解码单元生成的所述二维平面图像恢复的所述点云数据执行滤波处理。
14.一种图像处理方法，包括：
对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及
使用通过划分三维空间获得的每个局部区域的所述点云数据的代表值，对从所生成的二维平面图像恢复的所述点云数据执行滤波处理。
15.一种图像处理装置，包括：
滤波处理单元，其对点云数据中的一些点执行滤波处理；以及
编码单元，其对其上投影有经受由所述滤波处理单元进行的所述滤波处理的所述点云数据的二维平面图像进行编码并且生成比特流。
16.根据权利要求15所述的图像处理装置，其中，
所述滤波处理单元对与所述二维平面图像中包括的补丁的端部对应的所述点云数据中的点执行所述滤波处理。
17.根据权利要求15所述的图像处理装置，其中，
所述滤波处理包括平滑处理，所述平滑处理使用所述点云数据中的处理目标点周围的点的数据来使所述处理目标点的数据平滑。
18.一种图像处理方法，包括：
对点云数据中的一些点执行滤波处理；以及
对其上投影有经受所述滤波处理的所述点云数据的二维平面图像进行编码并且生成比特流。
19.一种图像处理装置，包括：
解码单元，其对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及
滤波处理单元，其对从所述解码单元生成的所述二维平面图像恢复的所述点云数据中的一些点执行滤波处理。
20.一种图像处理方法，包括：
对比特流进行解码并且生成其上投影有点云数据的二维平面图像的编码数据；以及
对从所生成的二维平面图像恢复的所述点云数据中的一些点执行滤波处理。
CN201980045106.4A 2018-07-11 2019-06-27 图像处理装置和图像处理方法 Pending CN112385217A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018131295 2018-07-11
JP2018-131295 2018-07-11
PCT/JP2019/025557 WO2020012967A1 (ja) 2018-07-11 2019-06-27 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN112385217A true CN112385217A (zh) 2021-02-19

Family

ID=69141440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045106.4A Pending CN112385217A (zh) 2018-07-11 2019-06-27 图像处理装置和图像处理方法

Country Status (11)

Country Link
US (2) US11741575B2 (zh)
EP (1) EP3823280A1 (zh)
JP (2) JP7384159B2 (zh)
KR (1) KR20210028606A (zh)
CN (1) CN112385217A (zh)
AU (1) AU2019302074B2 (zh)
BR (1) BR112021000038A2 (zh)
CA (1) CA3106233A1 (zh)
MX (1) MX2020013705A (zh)
PH (1) PH12021550062A1 (zh)
WO (1) WO2020012967A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123471A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
JP7396302B2 (ja) * 2019-01-07 2023-12-12 ソニーグループ株式会社 画像処理装置および方法
JP7477528B2 (ja) 2019-03-22 2024-05-01 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 点群の処理
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) * 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
CN116250008A (zh) * 2020-09-30 2023-06-09 Oppo广东移动通信有限公司 点云的编码、解码方法、编码器、解码器以及编解码系统
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
WO2023095625A1 (ja) * 2021-11-24 2023-06-01 ソニーグループ株式会社 情報処理装置および方法
WO2023123467A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130181983A1 (en) * 2010-06-25 2013-07-18 Kabushiki Kaisha Topcon Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283540A (ja) 2007-05-11 2008-11-20 Mitsubishi Electric Corp 画像処理装置および画像処理方法
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US10066925B2 (en) * 2016-02-02 2018-09-04 The Boeing Company Point cloud processing apparatus and method
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10474524B2 (en) * 2017-07-12 2019-11-12 Topcon Positioning Systems, Inc. Point cloud filter method and apparatus
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN107578391A (zh) 2017-09-20 2018-01-12 广东电网有限责任公司机巡作业中心 一种基于二维二值图像处理进行三维点云降噪的方法
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10909726B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) * 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11367224B2 (en) * 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11348284B2 (en) * 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130181983A1 (en) * 2010-06-25 2013-07-18 Kabushiki Kaisha Topcon Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123471A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Also Published As

Publication number Publication date
AU2019302074B2 (en) 2023-01-12
BR112021000038A2 (pt) 2021-06-22
PH12021550062A1 (en) 2021-12-06
US11741575B2 (en) 2023-08-29
JP7384159B2 (ja) 2023-11-21
EP3823280A4 (en) 2021-05-19
US20230377100A1 (en) 2023-11-23
JP2023184727A (ja) 2023-12-28
MX2020013705A (es) 2021-03-02
JPWO2020012967A1 (ja) 2021-08-05
US20210217139A1 (en) 2021-07-15
KR20210028606A (ko) 2021-03-12
WO2020012967A1 (ja) 2020-01-16
AU2019302074A1 (en) 2021-01-28
EP3823280A1 (en) 2021-05-19
CA3106233A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN112385217A (zh) 图像处理装置和图像处理方法
WO2019198523A1 (ja) 画像処理装置および方法
KR102596507B1 (ko) 화상 처리 장치 및 방법
US11699248B2 (en) Image processing apparatus and method
KR20200140256A (ko) 화상 처리 장치 및 방법
US11399189B2 (en) Image processing apparatus and method
CN112425175A (zh) 图像处理装置和方法
WO2020188932A1 (ja) 情報処理装置および情報生成方法
JP7396302B2 (ja) 画像処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
EP3996045A1 (en) Information processing device and method
CN115066902A (zh) 图像处理装置和方法
US11995873B2 (en) Image processing apparatus and method
KR20240032738A (ko) 정보 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination