CN111133478A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN111133478A
CN111133478A CN201880061353.9A CN201880061353A CN111133478A CN 111133478 A CN111133478 A CN 111133478A CN 201880061353 A CN201880061353 A CN 201880061353A CN 111133478 A CN111133478 A CN 111133478A
Authority
CN
China
Prior art keywords
point
attribute information
information
compared
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880061353.9A
Other languages
English (en)
Inventor
隈智
加藤毅
中神央二
矢野幸司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111133478A publication Critical patent/CN111133478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本公开内容涉及可以抑制主观图像质量的降低的信息处理装置和方法。从位置信息更新之前的点云数据中检索作为要与当前点(作为已经更新位置信息的点云数据中的要处理的点)进行比较的点的比较对象点，将检索到的比较对象点与当前点进行比较，并且设置当前点的属性信息。本公开内容可以应用于信息处理装置、图像处理装置、电子设备、信息处理方法、程序等。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法，并且具体地，涉及可以抑制主观图像质量的降低的信息处理装置和方法。
背景技术
已经存在使用诸如八叉树的体素(voxel)的量化，作为点云或网格的顶点数据的压缩方法，其中，点云使用点群的位置信息、属性信息等来表示三维结构，网格包括顶点、边和面并且借助于多边形表示来限定三维形状(例如，参见NPTL 1)。
引用列表
非专利文献
NPTL 1：R.Mekuria、Student Member IEEE、K.Blom、P.Cesar.，Member，IEEE，“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video(用于远程沉浸式视频的点云编解码器的设计、实现方式和评估)”，tcsvt_paper_submitted_february.pdf
发明内容
然而，通常，这样的位置信息的量化可能引起几何信息失真并且点的位置移位。因此，诸如颜色信息的属性信息的位置关系也失真，并且要比较的点被改变，或者要比较的点的数目增加或减少，并且因此有可能降低峰值信噪比(PSNR)。即，有可能降低点云的主观图像质量。
本公开内容是鉴于这样的情况而进行的，并且使得可以抑制主观图像质量的降低。
根据本技术的方面的信息处理装置是一种信息处理装置，包括：搜索部，其从位置信息更新之前的点云数据中搜索要比较的点，要比较的点为要与当前点进行比较的点，当前点为具有更新的位置信息的点云数据的处理目标点；以及属性信息设置部，其将由搜索部检索的要比较的点与当前点进行比较，并且设置当前点的属性信息。
根据本技术的方面的信息处理方法是一种信息处理方法，包括：从位置信息更新之前的点云数据中搜索要比较的点，要比较的点为要与当前点进行比较的点，当前点为具有更新的位置信息的点云数据的处理目标点；并且将检索到的要比较的点与当前点进行比较，并且设置当前点的属性信息。
根据根据本技术的方面的信息处理装置和方法，从位置信息更新之前的点云数据中搜索要比较的点，并且将检索到的要比较点与当前点进行比较，并且设置当前点的属性信息，其中，要比较的点为要与当前点进行比较的点，当前点为具有更新的位置信息的点云数据的处理目标点。
跟据本公开内容，可以处理信息。具体地，可以抑制主观图像质量的降低。
附图说明
图1是描述点云的示例的图。
图2是描述由于量化等而引起的点的改变的示例的图。
图3是描述由于量化等而引起的点的改变的示例的图。
图4是描述由于量化等而引起的点的改变的示例的图。
图5是示出编码装置的主要配置的示例的框图。
图6是描述编码的概要的示例的图。
图7是示出编码器的主要配置的示例的框图。
图8是示出属性信息更新部的主要配置的示例的框图。
图9是示出控制器的主要配置的示例的框图。
图10是示出点的位置如何改变的示例的图。
图11是描述属性信息确定方法的控制的示例的图。
图12是描述编码处理的流的示例的流程图。
图13是描述信号流编码处理的流的示例的流程图。
图14是描述属性信息更新处理的流的示例的流程图。
图15是描述控制处理的流的示例的流程图。
图16是描述PSNR的比较的示例的图。
图17是示出解码装置的主要配置的示例的框图。
图18是示出解码器的主要配置的示例的框图。
图19是描述解码处理的流的示例的流程图。
图20是描述比特流解码处理的流的示例的流程图。
图21是描述如何设置多条属性信息的示例的图。
图22是描述如何分配属性信息的示例的图。
图23是描述如何分配属性信息的示例的图。
图24是描述如何设置属性信息的示例的图。
图25是描述属性信息更新处理的流的示例的流程图。
图26是示出显示装置的主要配置的示例的框图。
图27是描述显示处理的流的示例的流程图。
图28是示出图像处理装置的主要配置的示例的框图。
图29是描述点的内插和重采样的示例的图。
图30是描述图像处理的流的示例的流程图。
图31是示出计算机的主要配置的示例的框图。
具体实施方式
下面描述用于实施本公开内容的一些形式(在下文中，被称为实施方式)。要注意的是，以下列顺序给出描述。
1.对更新了位置信息的点设置单条属性信息
2.第一实施方式(编码装置：单条属性信息的设置)
3.第二实施方式(解码装置：单条属性信息的设置)
4.第三实施方式(编码装置：多条属性信息的设置)
5.第四实施方式(显示装置：多条属性信息的设置)
6.第五实施方式(图像处理装置)
7.其他
<1.对更新了位置信息的点设置单条属性信息>
<点云>
已经存在诸如点云或网格的数据，其中，点云使用点群的位置信息、属性信息等来表示三维结构，网格包括顶点、边和面并且借助于多边形表示来限定三维形状。
例如，在点云的情况下，图1的A部分中示出的三维结构被表示为图1的B部分中示出的许多点(点数据)的集(点群)。即，点云的数据包括关于该点群的点的各条位置信息和属性信息(例如，颜色等)。因此，点云的数据具有相对简单的数据结构，并且允许通过使用足够多的点以足够的精度表示任何三维结构。
然而，这样的点云和网格等的数据的数据量相对大；因此，需要通过编码等的数据量的压缩。例如，可以实现使用诸如八叉树或k-d树的体素的编码方法。体素是用于量化要编码的对象的位置信息的数据结构。
<位置信息的量化中的属性信息的设置>
通常，这样的位置信息的量化可能引起几何信息失真以及点的位置移位。对每个点，属性信息也与位置信息(几何信息)一起设置。因此，由于这样的量化，诸如颜色信息的属性信息的位置关系也失真，并且要比较的点改变，或者要比较的点的数目增加或减少，并且因此有可能降低峰值信噪比(PSNR)。即，有可能降低点云的主观图像质量。
因此，配置成：从位置信息更新之前的点云数据中搜索要比较的点，并且将由搜索而识别到的要比较的点与当前点进行比较，并且设置当前点的属性信息，其中，要比较的点为要与当前点进行比较的点，当前点为具有更新的位置信息的点云数据的处理目标点。
例如，信息处理装置包括：搜索部，其从位置信息更新之前的点云数据中搜索要比较的点，要比较的点为要与当前点进行比较的点，当前点为具有更新的位置信息的点云数据的处理目标点；以及属性信息设置部，其将由搜索部检索到的要比较的点与当前点进行比较，并且设置当前点的属性信息。
以此方式，通过考虑位置信息的改变来识别要比较的点，并且使用要比较的点的属性信息来设置作为处理目标的当前点的属性信息，这可以抑制随位置信息的改变的属性信息(颜色信息等)的改变。因此，可以抑制PSNR的降低，并且抑制点云的主观图像质量(外观的改变)的降低。
<设置的概要>
参照图2至图4描述这样的设置的概况。图2至图4各自示出了如何通过位置信息的量化来改变点。这些附图的A部分各自示意性地示出了量化之前的点云。此外，这些图的B部分示意性地示出了量化之后的点云。A至B中的每个箭头指示在以量化之后为参考的情况下，在量化之前的点与量化之后的点之间的对应关系；B至A中的每个剪头指示在相反情况下(即，在以量化之前为参考的情况下)在量化之前的点与量化之后的点之间的对应关系。
例如，图2示出了位置和点的数目通过量化基本保持不变的情况的示例。在该情况下，在A至B中，要与量化之后的点13进行比较的对象是位于与点13大致相同的位置处的量化之前的点11(量化之后的点13与量化之前的点11对应)。此外，在B至A中，要与量化之前的点11进行比较的对象是位于与点11大致相同的位置处的量化之后的点13(量化之前的点11与量化之后的点13对应)。
同样，在A至B中，要与量化之后的点14进行比较的对象是位于与点14大致相同的位置处的量化之前的点12。在B至A中，要与量化之前的点12进行比较的对象是位于与点12大致相同的位置处的量化之后的点14。
即，在该情况下，在两个方向A至B和B至A上，点之间的对应关系不改变。因此，对点13的属性信息(i')设置与点11的属性信息(i)大致相同的值。同样，对点14的属性信息(j')设置与点12的属性信息(j)大致相同的值。
例如，图3示出了通过量化减少点的数目的情况的示例。在该情况下，在A至B中，要与量化之后的点23进行比较的对象是量化之前的点21和22(量化之后的点23与量化之前的点21和22对应)。此外，在B至A中，要与量化之前的点21进行比较的对象是位于与点21大致相同的位置处的量化之后的点23(量化之前的点21与量化之后的点23对应)。
因此，对点23的属性信息(i')设置通过使用点21的属性信息(i)和点22的属性信息(j)生成的值或与点21的属性信息(i)大致相同的值。
例如，图4示出了由于量化而引起的点的数目增加或点的位置移位的情况的示例。在该情况下，在A至B中，要与量化之后的点33进行比较的对象是量化之前的点32(量化之后的点33与量化之前的点32对应)。此外，在B至A中，要与量化之前的点31进行比较的对象是量化之后的点34(量化之前的点31与量化之后的点34对应)。
因此，对点33的属性信息(i')设置与点32的属性信息(j)大致相同的值。此外，对点34的属性信息(j')设置与点31的属性信息(i)大致相同的值。
通过以此方式考虑位置的改变来搜索要比较的对象，可以对每个点设置属性信息，以使得抑制点云的主观图像质量的降低。
要注意的是，在下面，以点云作为要处理的数据的示例来描述本技术；然而，本技术不限于点云，并且只要要处理的对象的数据表示诸如网格的三维结构则能够应用于任何要处理的对象，并且允许属性信息的设置。此外，该要处理的对象可以是运动图像，或者可以是静止图像。
<2.第一实施方式>
<编码装置>
图5是示出作为应用了本技术的信息处理装置的实施方式的编码装置的主要配置的示例的框图。图5中示出的编码装置100通过使用体素对作为要编码的对象输入的点云的数据进行编码，并且输出获得的编码数据等。此时，编码装置100通过如下所述应用了本技术的方法来执行该编码。
如图5所示，编码装置100包括控制器101、预处理部111、边界框设置部112、体素设置部113、信号流生成器114和编码器115。
控制器101执行与编码装置100中的每个处理部的控制有关的处理。例如，控制器101控制每个处理部的处理的执行或跳过(省略)。例如，控制器101基于预定的控制信息来执行这样的控制。通过这样做，控制器101能够抑制不必要的处理的执行，并且因此抑制负荷的增加。
控制器101可以具有任何配置；例如，控制器101可以包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中，并且执行程序，从而执行处理。
预处理部111由控制器101控制，并且对被输入到编码装置100的要编码的对象(点云的数据)执行预定处理作为预处理，并且将经处理的数据提供给边界框设置部112。
例如，根据许可或禁止预处理的执行的控制信息，在许可(不禁止)预处理的执行的情况下，控制器101使预处理部111执行预处理。此外，例如，根据指示经许可或禁止预处理执行的要编码的对象的区域的控制信息，控制器101使预处理部111对许可(不禁止)对其执行预处理的要编码的对象执行预处理。此外，例如，根据指定许可或禁止执行的处理的内容的控制信息，控制器101使预处理部111执行许可(不禁止)执行的处理。通过这样做，可以抑制不必要的预处理的执行，并且因此可以抑制负荷的增加。
要注意的是，预处理的内容是可选的。例如，预处理部111可以执行用于降低噪声的处理或用于改变分辨率(点的数目)的处理作为预处理。此外，例如，可以更新点的布置，以使点群具有均匀的密度或具有预期的偏差。此外，例如，可以将诸如具有深度信息的图像信息的、不是点云的数据输入到编码装置100，并且作为预处理，预处理部111可以将输入的数据转换为点云的数据。
预处理部111可以具有任何配置；例如，预处理部111可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行预处理。
边界框设置部112由控制器101控制，并且执行有关的处理，以设置与用于使要编码的对象的位置信息标准化的边界框。
例如，根据许可或禁止边界框的设置的控制信息，在许可(不禁止)边界框的设置的情况下，控制器101使边界框设置部112设置边界框。此外，例如，根据指示经许可或禁止边界框的设置的要编码的对象的区域的控制信息，控制器101使边界框设置部112对许可(不禁止)对其设置边界框的要编码的对象设置边界框。此外，例如，根据与用于边界框的设置的参数的许可或禁止有关的控制信息，控制器101使边界框设置部112使用许可(不禁止)其使用的参数来设置边界框。通过这样做，可以抑制不必要的边界框的设置和不必要的参数的使用，并且因此可以抑制负荷的增加。
例如，边界框设置部112对每个要编码的对象设置边界框。例如，如图6的A部分所示，在对象131和132各自由点云的数据表示的情况下，边界框设置部112设置边界框141和142，以使边界框141和142分别包括对象131和132，如图6的B部分所示。返回到图5，当设置了边界框时，边界框设置部112将与边界框有关的信息提供给体素设置部113。
要注意的是，边界框设置部112可以具有任何配置；例如，边界框设置部112可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与边界框的设置相关联的处理。
体素设置部113由控制器101控制，并且执行与用于量化要编码的对象的位置信息的体素的设置有关的处理。
例如，根据许可或禁止体素的设置的控制信息，在许可(不禁止)体素的设置的情况下，控制器101使体素设置部113设置体素。此外，例如，根据指示经许可或禁止体素的设置的要编码的对象的区域的控制信息，控制器101使体素设置部113在许可(不禁止)在其中设置体素的要编码的对象中设置体素。此外，例如，根据与用于体素的设置的参数的许可或禁止有关的控制信息，控制器101使体素设置部113使用许可(不禁止)其使用的参数来设置体素。通过这样做，可以抑制不必要的体素的设置和不必要的参数的使用，并且因此可以抑制负荷的增加。
例如，体素设置部113在由边界框设置部112设置的边界框中设置体素。例如，体素设置部113划分边界框141并且设置体素151，如图6的C部分所示。即，体素设置部113借助于体素对边界框中的点云数据进行量化(即，体素化)。要注意的是，在存在多个边界框的情况下，体素设置部113关于每个边界框对点云数据进行体素化。即，在图6的B部分的示例中，体素设置部113也对边界框142执行类似的处理。当以上述方式设置了体素时，体素设置部113将体素化的点云数据(也被称为体素数据)(与用于位置信息的量化的数据结构有关的信息)、属性信息等提供给信号流生成器114。
要注意的是，体素设置部113可以具有任何配置；例如，体素设置部113可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与体素的设置相关联的处理。
信号流生成器114由控制器101控制，并且执行与信号流的生成有关的处理。
例如，根据许可或禁止信号流的生成的控制信息，在许可(不禁止)信号流的生成的情况下，控制器101使信号流生成器114生成信号流。此外，例如，根据指示经许可或禁止信号流的生成的要编码的对象的区域的控制信息，控制器101使信号流生成器114生成许可(不禁止)为此生成信号流的要编码的对象的信号流。通过这样做，变得可以抑制不必要的信号流的生成，并且因此可以抑制负荷的增加。
信号流生成器114将例如量化点云数据的体素数据(例如，如图6的C部分中示出的由体素设置部113生成的体素数据)和其他信息转换为信号流，并且将信号流提供给编码器115。
要注意的是，信号流生成器114可以具有任何配置；例如，信号流生成器114可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与信号流的生成相关联的处理。
编码器115由控制器101控制，并且执行与提供的信号流的编码有关的处理。
例如，根据允许或禁止信号流的编码的控制信息，在许可(不禁止)信号流的编码的情况下，控制器101使编码器115对信号流进行编码。此外，例如，根据指示经许可或禁止信号流的编码的要编码的对象的区域的控制信息，控制器101使编码器115对许可(不禁止)为此对信号流进行编码的要编码的对象的信号流进行编码。通过这样做，可以抑制不必要的信号流的编码，并且因此可以抑制负荷的增加。
编码器115对例如提供的信号流进行编码，并且生成编码数据(比特流)。作为对该信号流进行编码的方法，可以使用任何方法。例如，编码器115可以借助于可变长度码(VLC)对信号流进行编码。图6的D部分示出了编码信号流的图像的示例。
此外，编码器115还对除了点云数据例如控制信息等之外的相关信息进行编码，并且将编码的信息适当地存储在报头、参数集等中。
编码器115将上述各种信息的各个比特流彼此相关联。术语“相关联”在这里意指例如在处理一个数据时能够与一个数据一起使用(链接)另一数据。即，彼此相关联的数据可以被集成到一条数据中，或者可以被用作单独的数据。例如，与编码数据相关联的控制信息可以在与编码数据的传输路径不同的传输路径上传输。此外，例如，与编码数据相关联的控制信息可以被记录在与编码数据的记录介质不同的记录介质(或同一记录介质的不同记录区域)上。要注意的是，可以以不是全部数据而是数据的一部分为单位执行该“相关联”。例如，数据可以以任意单位(例如，以若干帧、一帧或帧的一部分为单位)彼此相关联。
编码器115将通过这样的编码获得的编码数据(比特流)输出到编码装置100的外部。从编码装置100输出的数据(编码数据和控制信息)可以例如在后续阶段中由处理器(未示出)进行解码，以重构点云的数据，或者可以被发送到通信部(未示出)，并且通过预定的传输路径被发送到另一装置例如解码装置，或者可以被记录在记录介质(未示出)上。
要注意的是，编码器115可以具有任何配置；例如，编码器115可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与编码相关联的处理。
<编码器>
图7是示出编码器115(图5)的主要配置的示例的框图。如图7所示，编码器115包括几何信息编码部201、属性信息更新部202、属性信息编码部203和合成器204。
几何信息编码部201执行与诸如位置信息的几何信息的编码有关的处理。例如，几何信息编码部201对从信号流生成器114提供的几何信息(体素数据)的信号流进行编码，并且生成编码数据的比特流。几何信息编码部201将比特流提供给合成器204。
要注意的是，几何信息编码部201可以具有任何配置；例如，几何信息编码部201可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与几何信息的编码相关联的处理。
属性信息更新部202执行与属性信息的更新有关的处理。例如，属性信息更新部202根据位置信息的量化来更新每个点(每个体素)的属性信息。该属性信息包括例如颜色信息、α通道和法线矢量中的至少任何一个。
例如，属性信息更新部202从预处理部111(图5)获取包括几何信息和属性信息的点云数据(即，量化之前的数据)。此外，属性信息更新部202从信号流生成器114获取体素数据的信号流(即，量化之后的数据)。基于这些信息，属性信息更新部202关于每个点(体素)设置要比较的点，以根据由量化引起的位置信息的改变进行比较。然后，使用要比较的点的属性信息，属性信息更新部202设置点的属性信息。属性信息更新部202将以此方式更新的属性信息(更新的属性信息)提供给属性信息编码部203。
要注意的是，属性信息更新部202可以具有任何配置；例如，属性信息更新部202可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与属性信息的更新相关联的处理。
属性信息编码部203执行与属性信息的编码有关的处理。例如，属性信息编码部203对作为由属性信息更新部202更新的属性信息的更新的属性信息进行编码，并且生成编码数据的比特流。属性信息编码部203将比特流提供给合成器204。
要注意的是，属性信息编码部203可以具有任何配置；例如，属性信息编码部203可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与属性信息的编码相关联的处理。
合成器204执行与比特流的合成有关的处理。例如，合成器204合成从几何信息编码部201提供的几何信息的比特流与从属性信息编码部203提供的属性信息的比特流，以将其集成为一个比特流。要注意的是，该比特流可以包括诸如报头和参数集的元数据。合成器204将比特流输出到编码装置100的外部。
要注意的是，合成器204可以具有任何配置；例如，合成器204可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与比特流的合成相关联的处理。
<属性信息更新部>
图8是示出属性信息更新部202(图7)的主要配置的示例的框图。如图8所示，属性信息更新部202包括控制器211、比较对象搜索部221、属性信息设置部222和异常处理部223。
控制器211控制比较对象搜索部221至异常处理部223的操作。例如，控制器211基于与处理有关的信息例如处理条件(来自外部的请求)、处理模式或处理中使用的参数来设置由比较对象搜索部221至异常处理部223执行的各个处理方法等。
例如，控制器211基于关于处理速度、质量和压缩算法的信息来执行该设置。例如，控制器211设置比较对象确定方法，并且控制并使比较对象搜索部221通过方法确定要比较的对象。此外，例如，控制器211设置比较方法，并且控制并使属性信息设置部222通过方法进行属性信息的比较。此外，例如，控制器211设置属性确定方法，并且控制并使属性信息设置部222通过方法确定属性。此外，例如，控制器211设置异常处理方法，并且控制并使异常处理部223通过方法执行异常处理。
要注意的是，控制器211可以具有任何配置；例如，控制器211可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与控制相关联的处理。
比较对象搜索部221获取量化之前的几何信息(位置改变之前的几何信息)和量化之后的几何信息(体素数据)，并且使用通过由控制器211设置的方法获取的信息来搜索要与当前点进行比较的点。当识别了要比较的点时，比较对象搜索部221将作为关于要比较的点的信息的要比较的对象信息提供给属性信息设置部222。
要注意的是，比较对象搜索部221可以具有任何配置；例如，比较对象搜索部221可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与搜索要比较的点相关联的处理。
属性信息设置部222除了要比较的对象信息还获取量化之前的属性信息(位置改变之前的属性信息)。使用这些信息，属性信息设置部222通过由控制器211设置的方法将当前点与要比较的点进行比较。此外，使用要比较的点的属性信息，属性信息设置部222通过由控制器211设置的方法确定当前点的属性，并且设置属性信息并反映属性。属性信息设置部222将设置的当前点的属性信息(位置改变之后的属性信息)提供给异常处理部223。属性信息包括颜色信息、α通道和法向矢量中的至少任何一个。
要注意的是，属性信息设置部222可以具有任何配置；例如，属性信息设置部222可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与属性信息的设置相关联的处理。
在没有找到要比较的点的情况下，异常处理部223通过由控制器211设置的方法执行异常处理。稍后将描述异常处理的细节。在不执行异常处理的情况下，异常处理部223将从属性信息设置部222提供的位置改变之后的属性信息作为更新的属性信息提供给属性信息编码部203(图7)。
要注意的是，异常处理部223可以具有任何配置；例如，异常处理部223可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与异常处理相关联的处理。
<控制器>
图9是示出控制器211(图8)的主要配置的示例的框图。如图9所示，控制器211包括例如比较方法设置部231、比较对象确定方法设置部232、属性确定方法设置部233和异常处理方法设置部234。
比较方法设置部231执行与比较方法的设置有关的处理。可以使用任何比较方法；例如，如图10的B部分所示，准备通过A至B的关系确定颜色的方法、通过B至A的关系确定颜色的方法以及通过A至B和B至A两者的关系确定颜色的方法作为候选，并且比较方法设置部231从这些方法中选择任何一种方法。例如，比较方法设置部231基于各种条件(例如，处理速度、质量、压缩算法等)从这些方法中选择任何一种方法。
例如，在比较方法设置部231已经将通过A至B的关系确定颜色的方法设置为比较方法的情况下，属性信息设置部222使用作为要比较的点的点253和252的各条属性信息来设置作为当前点的点251的属性信息。
此外，例如，在比较方法设置部231已经将通过B至A的关系确定颜色的方法设置为比较方法的情况下，属性信息设置部222使用作为要比较的点的点253的属性信息来设置作为当前点的点251的属性信息。
此外，例如，在比较方法设置部231已经将通过A至B和B至A的关系确定颜色的方法设置为比较方法的情况下，属性信息设置部222使用点252和253的各条属性信息或点253的属性信息来设置作为当前点的点251的属性信息。
要注意的是，比较方法设置部231可以具有任何配置；例如，比较方法设置部231可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与比较方法的设置相关联的处理。
比较对象确定方法设置部232执行与确定要比较的对象的方法的设置有关的处理。可以使用任何确定要比较的对象的方法；例如，方法可以是在位置信息更新之前的点云数据中选择位于最接近当前点的位置处的点作为要比较的点。在该方法的情况下，例如，如图10的A部分所示，比较对象搜索部221从位于接近作为当前点的点251的点252和253中选择位于更接近(位于最接近)当前点的位置处的点作为要比较的点。
此外，例如，方法可以是在位置信息更新之前的点云数据中选择位于比预定距离r短的距离处并且位于最接近当前点的位置处的点作为要比较的点。在该方法的情况下，例如，如图10的A部分所示，比较对象搜索部221以作为当前点的点251为中心来设置半径为r的圆254，并且从位于圆254的内部的点252和253中选择位于更接近(位于最接近)当前点的位置处的点作为要比较的点。在该情况下，设置了当前点与要比较的点之间的距离的最大值r，并且因此很可能不存在要比较的点。在该情况下，异常处理部223执行异常处理。
此外，例如，方法可以是，在位置信息更新之前的点云数据中选择根据另一算法选择的并且位于距当前点比预定距离r更短的距离处的点作为要比较的点。可以将任何算法用作其他算法；例如，算法可以是确定要比较的对象以使要比较对象点很好地适应于主观结构，例如，以使边缘部分的误差降低。在该方法的情况下，例如，如图10的A部分所示，比较对象搜索部221以作为当前点的点251为中心设置半径为r的圆254，并且从位于圆254的内部的点252和253中选择根据其他算法选择的点作为要比较的点。
例如，准备像这样的多种方法作为候选，并且比较对象确定方法设置部232从这些方法中选择任何一种方法。例如，比较对象确定方法设置部232基于各种条件(例如，处理速度、质量、压缩算法等)从这些方法中选择任何一种方法。
要注意的是，比较对象确定方法设置部232可以具有任何配置；例如，比较对象确定方法设置部232可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与确定要比较的对象的方法的设置相关联的处理。
属性确定方法设置部233执行与确定属性的方法的设置有关的处理。可以使用任何确定属性的方法；例如，方法可以是从要比较的点的属性选择一个属性，并且将选择的属性应用于当前点的属性。用图10的A部分的示例进行说明，在该情况下，属性信息设置部222将作为要比较的点的点252和253中的任一个的属性信息应用于作为当前点的点251。
此外，例如，可以将多个要比较的点的各个属性的平均应用于当前点的属性。用图10的A部分的示例进行说明，在该情况下，属性信息设置部222将作为要比较的点的点252和253两者的各条属性信息的平均应用于作为当前点的点251。
此外，例如，可以对要比较的点的各个属性进行加权，并且可以将其平均(加权平均)应用于当前点的属性。用图10的A部分的示例进行说明，在该情况下，属性信息设置部222将作为要比较的点的点252和253两者的各条属性信息的加权平均应用于作为当前点的点251。
要注意的是，可以根据例如从要比较的点到当前点的距离、要比较的点的属性信息的特征(例如，亮度)等来设置该权重(系数)。
例如，准备像这样的多种方法作为候选，并且属性确定方法设置部233从这些方法中选择任何一种方法。例如，属性确定方法设置部233基于各种条件(例如，处理速度、质量、压缩算法等)从这些方法中选择任何一种方法。
要注意的是，属性确定方法设置部233可以具有任何配置；例如，属性确定方法设置部233可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与确定属性的方法的设置相关联的处理。
异常处理方法设置部234执行与异常处理方法的设置有关的处理。可以使用任何异常处理方法；例如，可以使不具有要比较的点的当前点不可见。在该情况下，异常处理部223将例如不具有要比较的点的当前点设置为不可见属性(no_color_attribute)(设置位，或者在报头等中限定不可见颜色，将当前点设置为该颜色)。异常处理部223将设置有不可见属性的属性信息作为更新的属性信息提供给属性信息编码部203。
此外，例如，可以从要编码的对象排除不具有要比较的点的当前点。在该情况下，异常处理部223例如从要编码的对象排除不具有要比较的点的当前点，并且将该点除外的点云(更新的几何信息)提供给预处理部111等，并且请求其对点云进行重新编码。根据请求，编码装置100对没有找到要比较的点的点除外的点云进行编码。
此外，例如，可以改变编码方法(例如，模式、参数等)，以避免出现不具有要比较的点的当前点。在该情况下，异常处理部223请求例如预处理部111等对点云进行重新编码。此时，异常处理部223请求其改变编码方法，并且对点云进行重新编码。
编码方法可以改变为任何方法。例如，可以改变在有向无环图(DAG)(也被称为有效方向图)中使用的阈值DAG TH。
例如，准备像这样的多种方法作为候选，并且异常处理方法设置部234从这些方法中选择任何一种方法。例如，异常处理方法设置部234基于各种条件(例如，处理速度、质量、压缩算法等)从这些方法中选择任何一种方法。
要注意的是，异常处理方法设置部234可以具有任何配置；例如，异常处理方法设置部234可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与异常处理方法的设置相关联的处理。
通过以此方式考虑位置的改变来搜索要比较的对象，编码装置100能够对每个点设置属性信息，这抑制了点云的主观图像质量的降低。
<控制的示例>
例如，在点的位置移位的情况下或者在点的数目减少的情况下，如图11的A部分中的表所示，控制器211的比较方法设置部231至异常处理方法设置部234可以根据使用应用(高速度、高质量(强调客观指标)、高质量(强调主观指标)等)针对每个对应的处理来设置方法。此外，例如，在点的数目通过重采样等增加的情况下，如图11的B部分中的表所示，控制器211的比较方法设置部231至异常处理方法设置部234可以根据使用应用(高速度、高质量(强调客观指标)、高质量(强调主观指标)等)针对每个对应的处理来设置方法。
通过以上述方式根据使用应用来控制处理，编码装置100能够抑制不必要的处理负荷和处理时间的增加。
<编码处理的流>
参照图12中示出的流程图描述由具有上述配置的编码装置100执行的编码处理的流。
当编码处理开始时，在步骤S101处，预处理部111对输入的数据执行预处理。
在步骤S102处，边界框设置部112对预处理数据设置边界框。
在步骤S103处，体素设置部113对在步骤S102处设置的边界框设置体素。
在步骤S104处，信号流生成器114基于数据结构生成信号流。
在步骤S105处，编码器115对通过步骤S104处的处理生成的信号流进行编码。
在步骤S106处，编码器115将通过编码获得的比特流输出到编码装置100的外部。该比特流例如被发送到解码侧(解码装置等)或被记录在记录介质上。
当步骤S106处的处理完成时，编码处理结束。例如，在要编码的对象为运动图像的情况下，逐帧地执行该一系列处理。
<信号流编码处理的流>
随后，参照图13中示出的流程图描述在图12中的步骤S105处执行的信号流编码处理的流的示例。
当信号流编码处理开始时，在步骤S121处，几何信息编码部201对体素数据进行编码。
在步骤S122处，属性信息更新部202更新属性信息。
在步骤S123处，属性信息编码部203对在步骤S122处更新的属性信息进行编码。
在步骤S124处，合成器204合成通过步骤S121处的处理获得的比特流与通过步骤S123处的处理获得的比特流。
当步骤S124处的处理已完成时，信号流编码处理结束，并且处理返回到图12。
<属性信息更新处理的流>
随后，参照图14中示出的流程图描述在图13中的步骤S122处执行的属性信息更新处理的流的示例。
当属性信息更新处理开始时，在步骤S141处，控制器211执行控制处理，并且确定每个处理的方法。
在步骤S142处，比较对象搜索部221根据在步骤S141处设置的比较对象确定方法来搜索要比较的点。
在步骤S143处，属性信息设置部222确定是否对当前点设置属性信息。在确定设置属性信息的情况下，处理继续进行至步骤S144。
在步骤S144处，属性信息设置部222根据在步骤S141处设置的比较方法和属性确定方法来设置当前点的属性信息。
当步骤S144处的处理已结束时，处理继续进行至步骤S145。此外，在步骤S143处，例如，在没有找到要比较的点并且确定不对当前点设置属性信息的情况下，处理继续进行至步骤S145。
在步骤S145处，异常处理部223确定是否执行异常处理。例如，在没有找到要比较的点并且确定执行异常处理的情况下，处理继续进行至步骤S146。
在步骤S146处，异常处理部223根据在步骤S141处设置的异常处理方法来执行异常处理。
当步骤S146处的处理已完成时，属性信息更新处理结束，并且处理返回到图13。此外，在步骤S145处，例如，在找到要比较的点并且确定不执行异常处理的情况下，省去步骤S146处的处理，并且属性信息更新处理结束，并且然后，处理返回到图13。
<控制处理的流>
随后，参照图15中示出的流程图描述在图14中的步骤S141处执行的控制处理的流的示例。
当控制处理开始时，在步骤S161处，比较方法设置部231设置比较方法，并且将该设置的方法提供给属性信息设置部222。
在步骤S162处，比较对象确定方法设置部232设置比较对象确定方法，并且将该设置的方法提供给比较对象搜索部221。
在步骤S163处，属性确定方法设置部233设置属性确定方法，并且将该设置的方法提供给属性信息设置部222。
在步骤S164处，异常处理方法设置部234设置异常处理方法，并且将该设置的方法提供给异常处理部223。
当步骤S164处的处理完成时，控制处理结束。
通过以上述方式执行处理，编码装置100能够抑制不必要的处理负荷和处理时间的增加。
<处理的评估>
图16示出了在通过以下方法执行DAG(有效方向图)处理的情况下各个PSNR评估结果的比较：现有方法(Dag ORG)，考虑几何信息在方向B至A上的改变的更新属性信息的方法(Dag B至A)，以及考虑几何信息在A至B与B至A之间的改变的更新属性信息的方法(DagNew)。
图16的A部分示出了方法的PSNR的各个值相对于Y、U和V分量中的每个的比较，并且图16的B部分以条形图形式示出了A部分中示出的PSNR的值。图16的B部分中的白底条形图与图16的A部分中示出的表中的Dag ORG对应；图16的B部分中的阴影条形图与图16的A部分中示出的表中的Dag B至A对应；以及图16的B部分中的网状条形图与图16的A部分中示出的表中的Dag New对应。
如图16所示，通过本技术的应用考虑位置改变来搜索要比较的对象，可以提高PSNR。因此，可以抑制点云的主观图像质量的降低。
<3.第二实施方式>
<解码装置>
对由编码装置100生成的比特流进行解码的解码装置还将属性信息与几何信息一起解码。此外，在对点设置不可见属性(no_color_attribute)的情况下，解码装置执行使点不可见的处理。
图17是示出作为应用了本技术的信息处理装置的实施方式的解码装置的主要配置的示例的框图。图17中示出的解码装置300是与图5中示出的编码装置100兼容的解码装置，并且例如对由该编码装置100生成的点云的编码数据进行解码，并且重构点云的数据。
如图17所示，解码装置300包括解码器301、体素数据生成器302和点云重构部303。
解码器301执行与比特流的解码有关的处理。例如，解码器301通过与编码器115的编码方法对应的解码方法对比特流进行解码，并且从比特流提取几何信息和属性信息的信号流。解码器301将从比特流提取的信号流提供给体素数据生成器302。
要注意的是，解码器301可以具有任何配置；例如，解码器301可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与解码相关联的处理。
体素数据生成器302执行与体素数据的生成有关的处理。例如，体素数据生成器302生成与从解码器301提供的信号流对应的体素数据。体素数据生成器302将生成的体素数据提供给点云重构部303。
要注意的是，体素数据生成器302可以具有任何配置；例如，体素数据生成器302可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与体素数据的生成相关联的处理。
点云重构部303执行与点云数据的重构有关的处理。例如，点云重构部303将提供的体素数据转换为点云数据(生成解码的点云数据)。要注意的是，点云重构部303还可以将解码的点云数据转换为网格数据。
点云重构部303将生成的解码的点云数据(或网格数据)输出到解码装置300的外部。该输出的解码的点云数据(或网格数据)可以例如在后续阶段中经受由处理器(未示出)进行的图像处理，并且作为图像信息被显示在监视器等上或者可以被发送到通信部(未示出)，并且通过预定的传输路径被发送到另一装置，或者可以被记录在记录介质(未示出)上。
要注意的是，点云重构部303可以具有任何配置；例如，点云重构部303可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与点云数据的重构相关联的处理。
如上所述，解码装置300能够正确地对由编码装置100生成的比特流进行解码。因此，解码装置300能够实现抑制主观图像质量的降低。
<解码器>
图18是示出解码器301的主要配置的示例的框图。如图18所示，解码器301包括几何信息解码部321、属性信息解码部322和不可见处理部323。
几何信息解码部321对提供的比特流进行解码，并且提取几何信息的信号流。几何信息解码部321将提取的几何信息的信号流提供给体素数据生成器302(图17)。
要注意的是，几何信息解码部321可以具有任何配置；例如，几何信息解码部321可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与几何信息的解码相关联的处理。
属性信息解码部322对提供的比特流进行解码，并且提取属性信息(更新的属性信息)的信号流。属性信息解码部322将提取的属性信息(更新的属性信息)的信号流提供给不可见处理部323。
要注意的是，属性信息解码部322可以具有任何配置；例如，属性信息解码部322可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与属性信息的解码相关联的处理。
不可见处理部323执行不可见处理，以使用提供的属性信息(更新的属性信息)的信号流使设置有不可见属性(no_color_attribute)的点不可见。不可见处理部323适当地将经受不可见处理的属性信息(更新的属性信息)的信号流提供给体素数据生成器302(图17)。
要注意的是，不可见处理部323可以具有任何配置；例如，不可见处理部323可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与不可见相关联的过处理。
如上所述，解码装置300能够正确地对由编码装置100生成的比特流进行解码。因此，解码装置300能够实现抑制点云的主观图像质量的降低。
<解码处理的流>
参照图19中示出的流程图描述在该情况下由解码装置300执行的解码处理的流的示例。
当解码处理开始时，在步骤S301处，解码器301对比特流进行解码并且提取信号流。
在步骤S302处，体素数据生成器302从在步骤S301处提取的信号流重构体素数据。
在步骤S303处，点云重构部303从通过步骤S302处的处理获得的体素数据重构点云数据。
在步骤S304处，点云重构部303将重构的点云数据(解码的点云数据)输出到解码装置300的外部。
当步骤S304处的处理已完成时，解码处理结束。
<比特流解码处理的流>
随后，参照图20中示出的流程图描述在图19中的步骤S301处执行的比特流解码处理的流的示例。
当比特流解码处理开始时，在步骤S321处，几何信息解码部321对几何信息的比特流进行解码。
在步骤S322处，属性信息解码部322对属性信息的比特流进行解码。
在步骤S323处，不可见处理部323确定是否执行不可见处理。在存在设置有不可见属性的点并且确定对该点执行不可见处理的情况下，处理继续进行至步骤S324。
在步骤S324处，不可见处理部323对设置有不可见属性的点执行不可见处理。
当步骤S324处的处理完成时，比特流解码处理结束，并且处理返回到图19。此外，在步骤S323处，在确定不执行不可见处理的情况下，省去步骤S324处的处理，并且比特流解码处理结束，并且然后，处理返回到图19。
通过以上述方式执行处理，解码装置300能够实现抑制点云的主观图像质量的降低。
<4.第三实施方式>
<多条属性信息的设置>
要注意的是，以上描述了对一个点设置单条属性信息；然而，属性信息的设置不限于此，并且可以对一个点设置多条属性信息。
例如，如图21的A部分所示，在体素410中对于作为当前点的点411将点412和413设置为要比较的点的情况下，能够对点411设置点412和413两者的各条属性信息。
在该情况下，如图21的B部分中的属性信息421所示，可以在从当前点观看的不同方向上设置各条属性信息。换言之，可以取决于访问当前点的方向(视点方向)来改变应用的属性信息。
此外，能够指定应用各条属性信息的方向(即，切换应用的属性信息的方向)。此外，能够指定对当前点可设置的属性信息的条数(例如，颜色的数目)。例如，如图22所示，可以设置指示对当前点可设置的属性信息的条数的信息(num_of_color_attribute)以及指示切换应用的属性信息的方向(轴)的信息(arrangement_type)。
图22的A部分示出了对当前点设置两条属性信息的情况的示例。如图22的A部分所示，即使属性信息的条数相同，属性信息被分配的方向也取决于arrangement_type的值而改变。
图22的B部分示出了对当前点设置更多条属性信息的情况的示例。如图22的B部分所示，对当前点设置的属性信息的条数取决于num_of_color_attribute的值而改变。然后，每条属性信息被分配的方向也取决于属性信息的条数而改变。
要注意的是，可以在边界处切换属性信息；此外，在边界附近，可以混和(混合)边界两侧的各条属性信息。例如，在颜色信息的情况下，颜色可以随视点方向改变而逐渐改变。
要注意的是，可以使用任何方法作为划分属性信息被分配的方向的方法，并且方法不限于上述示例。例如，如图23所示，可以将方向划分为纬度方向和经度方向。即，作为属性信息被分配的方向，可以设置指示纬度方向上的划分数目的信息(num_of_color_attribute_split_latitude(n_lat))以及指示经度方向上的划分数目的信息(num_of_color_attribute_split_longitude(n_long))。
图23的A部分示出了纬度方向上的划分的示例。图23的B部分示出了经度方向上的划分的示例。纬度方向上的划分数目以及经度方向上的划分数目能够彼此独立地设置。此外，例如，如图23的C部分中的表所示，可以设置将这两个参数的各个值一起设置的识别信息(#)。通过使用这样的识别信息，可以减少指示属性信息被分配的方向所需的信息量。
要注意的是，在设置多条属性信息的情况下，可以以与分配一条属性信息的上述情况类似的方式来将属性信息分配给属性信息能够被分配的当前点的每个方向。例如，如图24的A部分所示，在体素410中将点412和413的各条属性信息分配给作为当前点的点411的情况下，以点411为参考的点412和413位于不同位置。因此，在该情况下，可以以与分配一条属性信息的上述情况类似的方式来将点412的属性信息分配给点411在点412的侧的方向；并且可以以与分配一条属性信息的上述情况类似的方式来将点413的属性信息分配给点411在点413的侧的方向。
<属性信息更新处理的流>
因此，在该情况下，属性信息更新部202具有与图8的情况类似的配置。参照图25中示出的流程图描述该情况下的属性信息更新处理的流的示例。
当属性信息更新处理开始时，在步骤S401处，控制器211执行控制处理，并且确定每个处理的方法。该控制处理与图14的情况类似，并且因此省去其描述。
在步骤S402处，比较对象搜索部221根据在步骤S401处设置的比较对象确定方法来搜索要比较的点。
在步骤S403处，控制器211设置处理目标角度，即，在其上设置属性信息的当前点的方向(当前方向)。
在步骤S404处，属性信息设置部222确定是否对当前点的当前方向设置属性信息。在确定设置属性信息的情况下，处理继续进行至步骤S405。
在步骤S405处，属性信息设置部222根据在步骤S401处设置的比较方法和属性确定方法对当前点的当前方向设置属性信息。
当步骤S405处的处理已完成时，处理继续进行至步骤S406。此外，在步骤S404处，例如，在当前方向上没有找到要比较的点并且确定不对该方向设置属性信息的情况下，处理继续进行至步骤S406。
在步骤S406处，异常处理部223确定是否执行异常处理。例如，在当前方向上没有找到要比较的点并且确定执行异常处理的情况下，处理继续进行至步骤S407。
在步骤S407处，异常处理部223根据在步骤S401处设置的异常处理方法执行异常处理。
当步骤S407处的处理已完成时，处理继续进行至步骤S408。此外，在步骤S406处，例如，在当前方向上找到了要比较的点并且确定不执行异常处理的情况下，省去步骤S407处的处理，并且处理继续进行至步骤S408。
在步骤S408处，控制器211确定是否存在未处理的角度。在确定存在未处理的角度的情况下，处理返回到步骤S403。在步骤S403处，将未处理的角度设置为处理目标(更新当前方向)，并且重复步骤S404之前的处理。
以上述方式，对能够在其上设置属性信息的当前点的每个方向执行步骤S403至S408处的处理。
然后，在步骤S408处，在确定关于所有方向已经执行了处理的情况下，属性信息更新处理结束，并且处理返回到图13。
通过以上述方式执行属性信息更新处理，编码装置100能够抑制点云的主观图像质量的降低。
<5.第四实施方式>
<显示装置>
在显示包括其上设置有多条属性信息的点的点云的情况下，根据其视点方向选择用于显示的属性信息。
图26是示出作为应用了本技术的信息处理装置的实施方式的显示装置的主要配置的示例的框图。图26中示出的显示装置500为其上显示点云的装置，点云包括其上设置有多条属性信息的点。
如图26所示，显示装置500包括点云数据获取部501、视点方向设置部502、几何信息绘制部503、属性信息绘制部504和显示器505。
点云数据获取部501从显示装置500的外部获取包括其上设置有多条属性信息的点的点云数据。点云数据获取部501将获取的点云数据提供给视点方向设置部502。
要注意的是，点云数据获取部501可以具有任何配置；例如，点云数据获取部501可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与点云数据的获取相关联的处理。
视点方向设置部502设置在其上显示点云的平面(视点方向)。例如，视点方向设置部502从外部接收诸如用户操作的指令的输入，并且基于指令来设置视点方向。要注意的是，可以使用任何方法作为设置该视点方向的方法；例如，可以基于除了上述指令输入以外的某物来设置视点方向，使得视点方向设置部502根据预定的指定模式来设置视点方向。当设置了视点方向时，视点方向设置部502将点云数据以及指示点云数据的视点方向的信息提供给几何信息绘制部503。
要注意的是，视点方向设置部502可以具有任何配置；例如，视点方向设置部502可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与视点方向的设置相关联的处理。
几何信息绘制部503基于设置的视点方向绘制点云数据的几何信息。几何信息绘制部503将点云数据、指示点云数据的视点方向的信息以及绘制的结果提供给属性信息绘制部504。
要注意的是，几何信息绘制部503可以具有任何配置；例如，几何信息绘制部503可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与几何信息的绘制相关联的处理。
属性信息绘制部504基于设置的视点选择每个点的属性信息，并且绘制选择的属性信息。属性信息绘制部504将几何信息和属性信息的绘制结果提供给显示器505。
要注意的是，属性信息绘制部504可以具有任何配置；例如，属性信息绘制部504可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与属性信息的绘制相关联的处理。
显示器505将提供的几何信息和属性信息的绘制结果显示在监视器上。
<显示处理的流>
参照图27中示出的流程图描述由这样的显示装置500执行的显示处理的流的示例。
当显示处理开始时，在步骤S502处，点云数据获取部501获取点云数据。
在步骤S502处，视点方向设置部502设置在其上显示点云的视点方向。
在步骤S503处，几何信息绘制部503根据在步骤S502处设置的视点方向绘制点云数据的几何信息。
在步骤S504处，属性信息绘制部504根据在步骤S502处设置的视点方向选择属性信息，并且绘制选择的属性信息。
在步骤S505处，显示器505显示在步骤S503和S504处绘制的几何信息和属性信息的图像。
当步骤S505处的处理已完成时，显示处理结束。要注意的是，在将点云显示为运动图像的情况下，关于每个帧重复以上处理。
通过这样做，显示装置500能够使取决于视点方向的属性信息被显示。例如，还可以使每个点的颜色取决于视点云数据的方向(视点方向)而改变。
<6.第五实施方式>
<图像处理装置>
以上描述了点云数据的编码(量化)；然而，可以将应用了本技术的属性信息的更新应用于改变点云的位置信息的任何图像处理。
图28是示出作为应用了本技术的信息处理装置的实施方式的图像处理装置的主要配置的示例的框图。图28中示出的图像处理装置600为对输入的点云数据执行用于改变位置信息的预定的图像处理的装置。
如图28所示，图像处理装置600包括图像处理器601和属性信息更新部602。
图像处理器601执行预定的图像处理。例如，如图29的示例所示，图像处理器601执行点的内插和重采样(代替)。在图29的示例的情况下，处理之前的状态A下的点651被重采样，并且被转换为处理之后的状态B下的点652至654。即，点的数目增加。
图像处理器601将处理之前和处理之后的各条点云数据提供给属性信息更新部602。
要注意的是，图像处理器601可以具有任何配置；例如，图像处理器601可以包括CPU、ROM、RAM等，并且CPU可以将已经存储在ROM等中的程序和数据加载到RAM中并且执行程序，从而执行与图像处理相关联的处理。
属性信息更新部602使用提供的图像处理之前和图像处理之后的点云数据来更新属性信息。属性信息更新部602具有与属性信息更新部202(图8)类似的配置，并且执行类似的处理。
即使在以此方式放置在处理之前不存在的点的处理中，属性信息更新部602也从处理之前的点中搜索与当前点对应的要比较的点，并且因此与上述量化的情况一样能够根据位置信息的改变来更新属性信息。
<图像处理的流>
参照图30中示出的流程图描述由该图像处理装置600执行的图像处理的流的示例。
当图像处理开始时，在步骤S601处，图像处理器601执行涉及几何信息的更新的图像处理。
在步骤S602处，属性信息更新部602更新点云的属性信息，以与在步骤S601处的图像处理中的几何信息的更新(位置信息的改变)对应。该属性信息更新处理以与参照图14的流程图描述的情况类似的流来执行，并且因此省去其描述。
当步骤S602处的处理完成时，图像处理结束。
如上所述，图像处理装置600能够抑制点云的主观图像质量的降低。
<7.其他>
<软件>
可以配置成使硬件执行上述一系列处理或使软件执行上述一系列处理。此外，可以配置成使硬件执行一些处理，并且使软件执行其他处理。在由软件执行一系列处理的情况下，软件中包括的程序被安装在计算机中。计算机在这里包括内置到专用硬件中的计算机以及诸如能够通过安装各种程序来执行各种功能的通用个人计算机的计算机。
图31是示出执行程序从而执行上述一系列处理的计算机的硬件的配置示例的框图。
在图31中示出的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此耦接。
输入-输出接口910也耦接至总线904。输入部911、输出部912、存储部913、通信部914和驱动器915耦接至输入-输出接口910。
输入部911包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出部912包括例如显示器、扬声器、输出端子等。存储部913包括例如硬盘、RAM盘、非易失性存储器等。通信部914包括例如网络接口。驱动器915驱动可移除介质921，例如，磁盘、光盘、磁光盘、半导体存储器等。
在如上配置的计算机中，例如，CPU 901通过输入-输出接口910和总线904将存储在存储部913中的程序加载到RAM 903中并且执行程序，从而执行上述一系列处理。在RAM903中，适当地存储了CPU 901执行各种处理所需的数据等。
例如，通过将程序记录在作为打包介质等的可移除介质921上，可以使用由计算机900(CPU 901)执行的程序。在该情况下，将可移除介质921被设置在驱动器915中，从而能够通过输入-输出接口910将程序安装在存储部913中。此外，可以通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供该程序。在该情况下，程序能够由通信部914接收并且被安装在存储部913中。此外，该程序可以被预安装在ROM 902或存储部913中。
<补充说明>
本技术的实施方式不限于前述实施方式，并且可以在不脱离本技术的范围的情况下以各种方式进行修改。
例如，可以将本技术实现为装置或系统中包括的任何结构，例如，被设置为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或者作为添加有其他功能的单元的集(即，装置的一部分的结构)。
要注意的是，在本说明书中，系统意指多个部件(例如，装置或模块(部件))的组装，而不管所有部件是否在同一外壳中。因此，被容纳在单独的外壳中并且通过网络彼此耦接的多个装置以及其中多个模块被容纳在一个外壳中的一个装置均为系统。
此外，只要上述处理部具有上述其对应的功能，就可以通过任何结构来实现上述处理部。例如，处理部可以包括任何电路、LSI、系统LSI、处理器、模块、单元、集、设备、装置、系统等。替选地，这些中的一些可以被组合。例如，可以组合相同类型的结构，例如多个电路或多个处理器，或者可以组合不同类型的结构，例如电路和LSI。
此外，例如，可以将被描述为一个装置(或处理部)的结构划分为多个装置(或处理部)。相反，可以将被描述为多个装置(或处理部)的结构组合为一个装置(或处理部)。此外，自然地，可以将除了上述结构之外的结构添加至每个装置(或每个处理部)的配置。此外，如果在配置和操作上与整个系统基本相同，则一个装置(或处理部)的一些结构可以被包括在另一装置(或另一处理部分)的配置中。
此外，例如，本技术可以具有云计算的配置，其允许多个装置通过网络共享一个功能并且合作执行处理。
此外，例如，可以在任何装置中执行上述程序。在该情况下，装置仅必须具有所需的功能(例如，功能块)并且能够获得必要的信息。
此外，例如，可以由一个装置执行或者可以由多个装置共享并执行上述流程图的各个步骤中的每个步骤。此外，在一个步骤包括多个处理的情况下，可以由一个装置执行或者可以由多个装置共享并执行一个步骤中包括的多个处理。换言之，可以将一个步骤中包括的多个处理执行为多个步骤。相反，可以将被描述为多个步骤的处理组合并执行为一个步骤。
由计算机执行的程序可以按照根据其中本说明书中描述写入程序中的步骤处的处理的顺序的时间顺序来执行，或者可以在所需时间例如在发出呼叫时并行或单独执行。即，除非引起矛盾，否则可以以与上述顺序不同的顺序执行步骤处的各个处理。此外，在该程序中写入的步骤处的各个处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
本说明书中描述的本技术的若干示例可以各自独立地实现。不用说，本技术的若干示例中的任何示例也可以组合地实现。例如，在实施方式中的任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部组合实现。此外，本技术的上述示例中的任何示例的一部分或全部可以与以上未描述的另一技术组合实现。
要注意的是，本技术可以具有以下配置。
(1)
一种信息处理装置，包括：
搜索部，
其从位置信息更新之前的点云数据中搜索要比较的点，所述要比较的点为要与当前点进行比较的点，所述当前点为具有更新的位置信息的点云数据的处理目标点；以及
属性信息设置部，其将由所述搜索部检索的要比较的点与所述当前点进行比较，并且设置所述当前点的属性信息。
(2)
根据(1)所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择位于最接近所述当前点的位置处的点作为所述要比较的点。
(3)
根据(1)或(2)所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择位于比预定距离短的距离处并且位于最接近所述当前点的位置处的点作为所述要比较的点。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择根据另一算法选择的并且位于距所述当前点比预定距离短的距离处的点作为所述要比较的点。
(5)
根据(1)至(4)中任一项所述的信息处理装置，其中，所述属性信息设置部基于在从所述位置信息更新之前的点云数据到所述具有更新的位置信息的点云数据的方向上的点之间的位置关系来设置所述属性信息。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，所述属性信息设置部基于在从所述具有更新的位置信息的点云数据到所述位置信息更新之前的点云数据的方向上的点之间的位置关系来设置所述属性信息。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，所述属性信息设置部基于以下两个方向上的点之间的位置关系来设置所述属性信息：从所述位置信息更新之前的点云数据到所述具有更新的位置信息的点云数据的方向，以及从所述具有更新的位置信息的点云数据到所述位置信息更新之前的点云数据的方向。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，所述属性信息设置部选择由所述搜索部检索到的多个所述要比较的点的各条属性信息中的任何一条属性，并且设置所述当前点的属性信息。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，所述属性信息设置部将由所述搜索部检索到的多个所述要比较的点的各条属性信息的平均设置为所述当前点的属性信息。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，所述属性信息设置部将由所述搜索部检索到的多个所述要比较的点的各条属性信息的加权平均设置为所述当前点的属性信息。
(11)
根据(10)所述的信息处理装置，其中，所述权重是基于所述要比较的点与所述当前点之间的距离或者所述要比较的点的属性信息的特征的系数。
(12)
根据(1)至(11)所述的信息处理装置，还包括异常处理部，所述异常处理部在不存在要比较的点的情况下执行预定的异常处理。
(13)
根据(12)所述的信息处理装置，其中，所述异常处理部将使得所述当前点不可见的不可见属性设置为所述当前点的属性信息。
(14)
根据(12)或(13)所述的信息处理装置，其中，所述异常处理部从要编码的对象中排除当前点，并且使得执行重新编码。
(15)
根据(12)至(14)中任一项所述的信息处理装置，其中，所述异常处理部通过使得所述当前点消失的不同编码方法来执行重新编码。
(16)
根据(1)至(15)中任一项所述的信息处理装置，还包括控制器，所述控制器控制属性信息确定方法，
其中，所述属性信息设置部使用由所述控制器选择的属性信息确定方法来设置所述当前点的属性信息。
(17)
根据(16)所述的信息处理装置，其中，所述控制器基于处理速度、质量或压缩算法中的至少一个来控制所述属性信息确定方法。
(18)
根据(16)或(17)所述的信息处理装置，其中，
所述控制器还控制将所述当前点与所述要比较的点进行比较的比较方法，并且
所述属性信息设置部使用由所述控制器选择的比较方法将所述当前点与所述要比较的点进行比较。
(19)
根据(16)至(18)中任一项所述的信息处理装置，其中，
所述控制器控制确定所述要比较的点的确定方法，并且
所述搜索部使用由所述控制器选择的确定方法来确定所述要比较的点。
(20)
根据(16)至(19)中任一项所述的信息处理装置，还包括异常处理部，所述异常处理部在不存在要比较的点的情况下执行预定的异常处理，其中，所述控制器控制所述异常处理的方法，并且
所述异常处理部执行由所述控制器选择的异常处理。
(21)
根据(1)至(20)中任一项所述的信息处理装置，其中，所述属性信息设置部对所述当前点设置多条属性信息。
(22)
根据(21)所述的信息处理装置，其中，所述属性信息设置部在从所述当前点观看的不同方向上设置所述多条属性信息。
(23)
根据(22)所述的信息处理装置，其中，所述属性信息设置部设置指示对所述当前点可设置的属性信息的条数的信息以及指示切换属性信息的方向的信息。
(24)
根据(22)或(23)所述的信息处理装置，其中，所述属性信息设置部将指示纬度方向上的划分数目以及经度方向上的划分数目的信息设置为分配所述属性信息的方向。
(25)
根据(1)至(24)中任一项所述的信息处理装置，其中，所述具有更新的位置信息的点云数据是对点云数据进行量化的体素数据。
(26)
根据(1)至(25)中任一项所述的信息处理装置，其中，所述属性信息包括颜色信息、α通道或法线矢量中的至少任何一个。
(27)
一种信息处理方法，包括：
从位置信息更新之前的点云数据中搜索要比较的点，所述要比较的点为要与当前点进行比较的点，所述当前点为具有更新的位置信息的点云数据的处理目标点；以及
将检索到的所述要比较的点与所述当前点进行比较，并且设置所述当前点的属性信息。
[附图标记列表]
100 编码装置
101 控制器
111 预处理部
112 边界框设置部
113 体素设置部
114 信号流生成器
115 编码器
201 几何信息编码部
202 属性信息更新部
203 属性信息编码部
204 合成器
221 比较对象搜索部
222 属性信息设置部
223 异常处理部
231 比较方法设置部
232 比较对象确定方法设置部
233 属性确定方法设置部
234 异常处理方法设置部
300 解码装置
301 解码器
302 体素数据生成器
303 点云重构部
321 几何信息解码部
322 属性信息解码部
323 不可见处理部
500 显示装置
501 点云数据获取部
502 视点方向设置部
503 几何信息绘制部
504 属性信息绘制部
505 显示器
600 图像处理装置
601 图像处理器
602 属性信息更新部
900 计算机

Claims (20)

1.一种信息处理装置，包括：
搜索部，其从位置信息更新之前的点云数据中搜索要比较的点，所述要比较的点为要与当前点进行比较的点，所述当前点为具有更新的位置信息的点云数据的处理目标点；以及
属性信息设置部，其将由所述搜索部检索到的所述要比较的点与所述当前点进行比较，并且设置所述当前点的属性信息。
2.根据权利要求1所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择位于最接近所述当前点的位置处的点作为所述要比较的点。
3.根据权利要求1所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择位于比预定距离短的距离处并且位于最接近所述当前点的位置处的点作为所述要比较的点。
4.根据权利要求1所述的信息处理装置，其中，所述搜索部在所述位置信息更新之前的点云数据中选择根据另一算法选择的并且位于距所述当前点比预定距离短的距离处的点作为所述要比较的点。
5.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部基于以下来设置所述属性信息：在从所述位置信息更新之前的点云数据到所述具有更新的位置信息的点云数据的方向上的点之间的位置关系，或者在从所述具有更新的位置信息的点云数据到所述位置信息更新之前的点云数据的方向上的点之间的位置关系。
6.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部基于以下两个方向上的点之间的位置关系来设置所述属性信息：从所述位置信息更新之前的点云数据到所述具有更新的位置信息的点云数据的方向，以及从所述具有更新的位置信息的点云数据到所述位置信息更新之前的点云数据的方向。
7.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部选择由所述搜索部检索到的多个所述要比较的点的各条属性信息中的任何一条属性信息，并且设置所述当前点的属性信息。
8.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部将由所述搜索部检索到的多个所述要比较的点的各条属性信息的平均设置为所述当前点的属性信息。
9.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部将由所述搜索部检索到的多个所述要比较的点的各条属性信息的加权平均设置为所述当前点的属性信息。
10.根据权利要求9所述的信息处理装置，其中，所述加权是基于所述要比较的点与所述当前点之间的距离或者所述要比较的点的属性信息的特征的系数。
11.根据权利要求1所述的信息处理装置，还包括异常处理部，所述异常处理部在不存在要比较的点的情况下执行预定的异常处理。
12.根据权利要求1所述的信息处理装置，还包括控制器，所述控制器控制属性信息确定方法，
其中，所述属性信息设置部使用由所述控制器选择的属性信息确定方法来设置所述当前点的属性信息。
13.根据权利要求12所述的信息处理装置，其中，所述控制器基于处理速度、质量或压缩算法中的至少一个来控制所述属性信息确定方法。
14.根据权利要求1所述的信息处理装置，其中，所述属性信息设置部对所述当前点设置多条属性信息。
15.根据权利要求14所述的信息处理装置，其中，所述属性信息设置部在从所述当前点观看的不同方向上设置所述多条属性信息。
16.根据权利要求15所述的信息处理装置，其中，所述属性信息设置部设置指示对所述当前点可设置的属性信息的条数的信息以及指示切换属性信息的方向的信息。
17.根据权利要求15所述的信息处理装置，其中，所述属性信息设置部将指示纬度方向上的划分数目以及经度方向上的划分数目的信息设置为分配所述属性信息的方向。
18.根据权利要求1所述的信息处理装置，其中，所述具有更新的位置信息的点云数据是对点云数据进行量化的体素数据。
19.根据权利要求1所述的信息处理装置，其中，所述属性信息包括颜色信息、α通道或法线矢量中的至少任何一个。
20.一种信息处理方法，包括：
从位置信息更新之前的点云数据中搜索要比较的点，所述要比较的点为要与当前点进行比较的点，所述当前点为具有更新的位置信息的点云数据的处理目标点；以及
将检索到的所述要比较的点与所述当前点进行比较，并且设置所述当前点的属性信息。
CN201880061353.9A 2017-09-29 2018-09-14 信息处理装置和方法 Pending CN111133478A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017189782 2017-09-29
JP2017-189782 2017-09-29
PCT/JP2018/034131 WO2019065299A1 (ja) 2017-09-29 2018-09-14 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN111133478A true CN111133478A (zh) 2020-05-08

Family

ID=65902295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880061353.9A Pending CN111133478A (zh) 2017-09-29 2018-09-14 信息处理装置和方法

Country Status (6)

Country Link
US (1) US11315320B2 (zh)
EP (1) EP3690824A4 (zh)
JP (1) JP7268599B2 (zh)
KR (1) KR20200058398A (zh)
CN (1) CN111133478A (zh)
WO (1) WO2019065299A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
JP7434175B2 (ja) * 2018-12-07 2024-02-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
WO2021002594A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867774B1 (en) * 2002-12-02 2005-03-15 Ngrain (Canada) Corporation Method and apparatus for transforming polygon data to voxel data for general purpose applications
CN102024097A (zh) * 2010-12-29 2011-04-20 深圳市海博科技有限公司 一种治疗计划中靶点布置优化方法和治疗计划系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711039B2 (ja) 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5570072B2 (ja) 2011-04-27 2014-08-13 京セラドキュメントソリューションズ株式会社 定着装置及びそれを備えた画像形成装置
JP6518517B2 (ja) 2015-05-29 2019-05-22 株式会社日立製作所 点群データモデル化装置
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US20180310025A1 (en) * 2017-04-24 2018-10-25 Nokia Technologies Oy Method and technical equipment for encoding media content
US10867414B2 (en) * 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
WO2019235587A1 (ja) * 2018-06-08 2019-12-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867774B1 (en) * 2002-12-02 2005-03-15 Ngrain (Canada) Corporation Method and apparatus for transforming polygon data to voxel data for general purpose applications
CN102024097A (zh) * 2010-12-29 2011-04-20 深圳市海博科技有限公司 一种治疗计划中靶点布置优化方法和治疗计划系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROBERT A. COHEN等: "Point Cloud Attribute Compression Using 3-D Intra Prediction and Shape-Adaptive Transforms" *

Also Published As

Publication number Publication date
US11315320B2 (en) 2022-04-26
EP3690824A4 (en) 2020-09-23
US20200279435A1 (en) 2020-09-03
EP3690824A1 (en) 2020-08-05
JP7268599B2 (ja) 2023-05-08
JPWO2019065299A1 (ja) 2020-10-22
WO2019065299A1 (ja) 2019-04-04
KR20200058398A (ko) 2020-05-27

Similar Documents

Publication Publication Date Title
CN111133478A (zh) 信息处理装置和方法
CN110832550B (zh) 信息处理装置和方法
US11200703B2 (en) Information processing device and method
JP7384159B2 (ja) 画像処理装置および方法
US11087501B2 (en) Voxel correlation information processing apparatus and method
US11468603B2 (en) Information processing apparatus and method
US11943457B2 (en) Information processing apparatus and method
CN111727461A (zh) 信息处理装置和方法
KR20220122995A (ko) 정보 처리 장치 및 방법
CN112789657A (zh) 图像处理装置和方法
EP3996045A1 (en) Information processing device and method
EP4216553A1 (en) Point cloud decoding and encoding method, and decoder, encoder and encoding and decoding system
JP6635751B2 (ja) 画像符号化装置及びその制御方法、並びにプログラム及び記憶媒体
US11790567B2 (en) Information processing apparatus and method
US20210377523A1 (en) Encoding device, encoding method, decoding device, and decoding method
WO2019049684A1 (ja) 画像処理装置および方法
US20230177735A1 (en) Information processing apparatus and method
WO2024084931A1 (ja) 情報処理装置および方法
JPH0837664A (ja) 動画像符号化／復号化装置
JP5192342B2 (ja) 画像処理装置、画像処理方法
JP2006157267A (ja) 画像処理装置及び画像処理方法
CN113906477A (zh) 信息处理装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200508