CN112789657A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN112789657A
CN112789657A CN201980063712.9A CN201980063712A CN112789657A CN 112789657 A CN112789657 A CN 112789657A CN 201980063712 A CN201980063712 A CN 201980063712A CN 112789657 A CN112789657 A CN 112789657A
Authority
CN
China
Prior art keywords
weight value
section
context
image processing
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980063712.9A
Other languages
English (en)
Inventor
中神央二
矢野幸司
隈智
加藤毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112789657A publication Critical patent/CN112789657A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

本公开内容涉及一种使得可以在编码/解码点云属性信息时抑制负荷增加的图像处理装置和方法。本公开内容通过使用与正交变换的权重值相对应的上下文，对点云属性信息进行编码，其中该正交变换考虑三维结构并且是针对点云位置信息执行的。另外，本公开内容通过使用与正交变换的权重值相对应的上下文，对所编码的点云属性信息数据进行解码，其中该正交变换考虑三维结构并且是针对点云位置信息执行的。例如，本公开内容能够适用于图像处理装置、电子装置、图像处理方法或程序。

Description

图像处理装置和方法
技术领域
本公开内容涉及图像处理装置和方法，并且特别地涉及被配置成能够在编码/解码点云(point cloud)的属性信息时减少负荷的增加的图像处理装置和方法。
背景技术
迄今为止，例如，已知使用八叉树的编码方法作为对于表示三维结构(例如点云)的3D数据的编码方法(例如，参见非专利文献1)。
近来，已经提出了用于通过使用RAHT(区域自适应分层变换)对属性信息进行编码的方法(例如，参见非专利文献2)。
引用列表
非专利文献
非专利文献1：R.Mekuria，Student Member IEEE，K.Blom，P.Cesar.，Member，IEEE，“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video”，tcsvt_paper_submitted_february.pdf
非专利文献2：Ohji Nakagami,Phil Chou,Maja Krivokuca,Khaled Mammou,Robert Cohen,Vladyslav Zakharchenko,Gaelle Martin-Cocher,“Second WorkingDraft for PCC Categories 1,3,”ISO/IEC JTC1/SC29/WG11,MPEG 2018/N17533，2018年4月，圣地亚哥，美国
发明内容
技术问题
然而，在上述方法的情况下，可能出现以下状况：由于系数重排为通过RAHT获得的权重值的降序而引起处理增加，因此对点云的属性信息进行编码/解码的负荷增加。
鉴于以上情况而提出了本公开内容，并且本公开内容旨在使得可以在编码/解码点云的属性信息时减少负荷的增加。
问题的解决方案
根据本技术的一个方面的图像处理装置是如下图像处理装置，该图像处理装置包括编码部，该编码部通过使用上下文对点云的属性信息进行编码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
根据本技术的一个方面的图像处理方法是如下图像处理方法，该图像处理方法包括：通过使用上下文对点云的属性信息进行编码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
根据本技术的另一方面的图像处理装置是如下图像处理装置，该图像处理装置包括解码部，该解码部通过使用上下文，对点云的属性信息的编码数据进行解码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
根据本技术的另一方面的图像处理方法是如下图像处理方法，该图像处理方法包括：通过使用上下文，对点云的属性信息的编码数据进行解码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
在根据本技术的一个方面的图像处理装置和方法中，通过使用上下文对点云的属性信息进行编码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
在根据本技术的另一方面的图像处理装置和方法中，通过使用上下文，对点云的属性信息的编码数据进行解码，该上下文对应于对点云的位置信息进行的正交变换的权重值，该正交变换考虑了三维结构。
附图说明
[图1]是描述RAHT的概要的图。
[图2]是示出编码装置的主要配置示例的框图。
[图3]是示出解码装置的主要配置示例的框图。
[图4]是示出与各个权重值相对应的系数值的分布的状况的示例的图。
[图5]是示出编码装置的主要配置示例的框图。
[图6]是示出编码处理的流程的示例的流程图。
[图7]是示出解码装置的主要配置示例的框图。
[图8]是示出解码处理的流程的示例的流程图。
[图9]是示出编码装置的主要配置示例的框图。
[图10]是示出编码处理的流程的示例的流程图。
[图11]是示出解码装置的主要配置示例的框图。
[图12]是示出解码处理的流程的示例的流程图。
[图13]是示出计算机的主要配置示例的框图。
具体实施方式
在下文中，将描述用于实践本公开内容的模式(在下文中被称为“实施方式”)。此处，将按以下顺序进行描述。
1.对属性信息进行编码
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.第三实施方式(编码装置)
5.第四实施方式(解码装置)
6.附加说明
<1.对属性信息进行编码>
<支持技术内容和技术术语的文献等>
本技术的公开范围不仅包括在实施方式中描述的内容，而且包括在提交本公开内容时已经公知的以下非专利文献中描述的内容。
非专利文献1：(如上所述)
非专利文献2：(如上所述)
非专利文献3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union)，“Advanced video coding for genericaudiovisual services”，H.264，04/2017
非专利文献4：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union)，“High efficiency video coding”，H.265，12/2016
非专利文献5：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,Jill Boyce,“Algorithm Description of Joint Exploration Test Model 4,”JVET-G1001_v1,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IECJTC 1/SC 29/WG 11第七次会议：都灵，意大利，2017年7月13日至21日
也就是说，上述非专利文献中描述的内容也用作确定支持要求时的依据。例如，即使在实施方式中未直接描述，非专利文献4中描述的四叉树块结构和非专利文献5中描述的QTBT(四叉树加二叉树)块结构也被认为落入本技术的公开内容的范围内，并且满足对所附权利要求书范围的支持要求。此外，即使在实施方式中未直接描述，技术术语(例如，解析，语法和语义)也类似地被认为落入本技术的公开内容的范围内，并且满足对所附权利要求的范围的支持要求。
<点云>
过去，存在着各种3D数据，包括：通过使用点簇(point cluster)的位置信息、属性信息等表示三维结构的点云；包括顶点、边和面并且通过使用多边形表示来定义三维形状的网格等。
例如，在点云的情况下，三维结构(三维形状的对象)被表示为大量的点的集合(点簇)。即，构成点云的多条数据(也称为点云数据)包括与构成点簇的每个点相关联的位置信息和属性信息(例如，颜色等)。因此，点云具有相对简单的结构，并且能够通过使用足够多的点来足够准确地表示任何三维结构。
<使用体素(voxels)来量化位置信息>
对于这样的点云数据，由于其数据量相对较大，因此发明了使用体素的编码方法来压缩针对编码等的数据量。体素是用于在量化针对编码的位置信息时使用的三维区域。
也就是说，包含点云的三维区域被分成称为体素的小的三维区域，并且被配置成针对每个体素指示每个体素是否包含一个或更多个点。以这种方式，针对每个体素量化各个点的位置。因此，将点云数据转换成这样的体素的数据(也称为体素数据)使得可以减少信息量的增加(通常是减少信息量)。
<八叉树>
此外，发明了通过使用这样的体素数据来建立八叉树的方法。八叉树是从体素数据的树结构产生的结构。八叉树的最低层节点的每个比特的值指示对应体素的点的存在/不存在。例如，值“1”指示包含一个或更多个点的体素，并且值“0”指示不包含点的体素。在八叉树中，一个节点对应于八个体素。也就是说，构成八叉树的每个节点包括由八个比特组成的数据，并且八个比特分别指示八个体素中的对应体素的点的存在/不存在。
此外，八叉树的上层节点指示相对于一个区域存在/不存在一个或更多个点，其中通过对与属于该上层节点的每个下层节点相对应的八个体素进行整合而获得所述一个区域。也就是说，通过整合关于下层节点的体素的信息来生成上层节点。此处，对于具有值“0”的节点，即，对于所有对应八个体素都不包含点的情况下的节点，删除该节点。
以这样的方式，建立包括以下节点的树结构(八叉树)：所述节点均不具有值“0”。也就是说，八叉树能够针对每个分辨率水平指示关于体素的一个或更多个点的存在/不存在。因此，对已经转换为这样的八叉树结构的体素数据进行编码使得可以在解码体素数据时进一步容易地恢复具有其他各种分辨率水平的体素数据。也就是说，可以进一步容易地实现体素的可缩放性。
此外，上述省略具有值“0”的节点的方法使得可以让包括不存在点的区域的体素成为低分辨率水平的体素，从而能够进一步减少信息量的增加(通常，进一步减少信息量)。
<RAHT>
近来，例如，如专利文献2中所描述的，提出了用于通过使用RAHT(区域自适应分层变换)来对点云的属性信息进行编码的方法。属性信息包括例如颜色信息、反射率信息、法线信息等。
RAHT是考虑到三维结构的正交变换之一，并且是根据体素化空间中的点对点位置关系(例如，相邻的体素中是否存在一个或更多个点)使用加权(权重值)的Haar变换。
例如，如图1所示，处理进行，使得在与针对Haar变换的区域相邻的区域中存在一个或更多个点的情况下，将相邻区域的权重值与针对Haar变换的区域的权重值相加，而在相邻区域中不存在点的情况下，原样继承针对Haar变换的区域的权重值。也就是说，一部分的点越密集，该部分的权重值越大。因此，可以根据权重值确定点的密集/非密集。
例如，执行量化以便允许基于权重值来保留密集部分中包括的点，使得可以在减少点云质量下降的同时提高编码的效率。
<编码装置>
图2中所示的编码装置10是通过进行这样的系数重排来对点云进行编码的装置的示例。例如，在编码装置10的情况下，几何编码部11通过对输入点云数据的位置信息进行编码来生成几何编码数据。
几何系数重排部12将几何编码数据的系数重排成莫顿码序(Mortoncode order)。RAHT处理部13对几何编码数据的系数按莫顿码序执行RAHT处理。通过该处理，导出权重值。
属性编码部15的RAHT处理部21通过使用RAHT处理部13已经基于位置信息导出的权重值，对属性信息执行RAHT。量化部22对通过以上RAHT获得的属性信息的变换系数进行量化。
此外，几何系数重排部14将系数重排成由RAHT处理部13导出的权重值的降序。属性系数重排部23将由量化部22获得的量化系数重排成与由几何系数重排部14重排的系数的顺序相同的顺序。也就是说，无损编码部24以权重值的降序对属性信息的各个系数进行编码。
此外，比特流生成部16生成并输出包括几何编码数据和属性编码数据的比特流，其中，几何编码数据是与位置信息相关联的并且由几何编码部11生成的编码数据，属性编码数据是与属性信息相关联的并且由无损编码部24生成的编码数据。
<解码装置>
图3中所示的解码装置50是通过进行这样的系数重排来对点云的编码数据进行解码的装置的示例。例如，在解码装置50的情况下，几何解码部51对输入比特流中包括的几何编码数据进行解码。几何系数重排部52将已被解码并获得的系数数据(几何系数)重排成莫顿码序。
RAHT处理部53对按莫顿码序排列的几何系数执行RAHT，以导出权重值。几何系数重排部54将系数重排成由RAHT处理部53导出的权重值的降序。
属性解码部55的无损解码部61对包括在输入比特流中的属性编码数据进行解码。逆属性系数重排部62基于几何系数重排部54指示的权重值的降序，将按权重值的降序排列的属性系数重排成莫顿码序。此外，逆量化部63对按莫顿码序排列的属性系数执行逆量化。
逆RAHT处理部64通过使用由RAHT处理部53导出的权重值，对经逆量化的属性系数执行与RAHT相反的处理，即逆RAHT，以生成属性信息(属性数据)。
点云数据生成部56通过合成由几何解码部51生成的位置信息(几何数据)和由逆RAHT处理部64生成的属性信息(属性数据)来生成点云数据，并且输出所生成的点云数据。
<系数的重排>
如上所述，在以上编码和解码中，已经进行了重排，该重排使得与属性信息相关联的系数数据按照权重值的降序排列。
图4示出了表示权重值与系数变化(coefficient variation)之间的关系的图表。如图4所示，权重值越大，系数变化越小。因此，从具有较高优先级的较大权重值执行编码/解码使得可以提高编码的效率。
然而，这种重排需要相当大量的处理。特别地，在这样的点云具有相当大量的数据的情况下，进行重排处理时负荷的增加变得更加明显。因此，如上所述的这种方法可能引起对点云的属性信息进行编码/解码时负荷的增加。
<上下文的选择>
为此，实现了如下配置：在该配置中，代替于对系数的重排，根据上述权重值来选择上下文。
例如，在编码的情况下，实现了如下配置：在该配置中，使用与通过对点云的位置信息进行的正交变换所获得的权重值相对应的上下文来对点云的属性信息进行编码，该正交变换考虑了三维结构。
例如，图像处理装置包括编码部，编码部使用与通过对点云的位置信息进行的正交变换所获得的权重值相对应的上下文，对点云的属性信息进行编码，该正交变换考虑了三维结构。
采用这样的配置使得能够减少对点云的属性信息进行编码的负荷的增加。
此外，例如，在解码的情况下，实现了如下配置：在该配置中，使用与通过对点云的位置信息进行的正交变换所获得的权重值相对应的上下文来对与点云的属性信息相关联的编码数据进行解码，该正交变换考虑了三维结构。
例如，图像处理装置包括解码部，解码部使用与通过对点云的位置信息进行的正交变换所获得的权重值相对应的上下文，来对与点云的属性信息相关联的编码数据进行解码，该正交变换考虑了三维结构。
采用这样的配置使得能够减少对点云的属性信息进行解码的负荷的增加。
例如，在图4的图表中，在权重值小的区域中(例如，在由框71包围的附近)的系数的变化与权重值大的区域中(例如，在由框72包围的附近)的系数的变化之间存在相当大的差异。也就是说，系数的变化程度取决于权重值。换句话说，在某种程度上，根据权重值来确定系数的变化程度。为此，实现了如下配置：在该配置中，准备多个上下文，其各自与系数的相互不同的变化程度相关联，并且基于权重值从上下文中选择要应用的上下文。实现这样的配置使得可以基于权重值来选择更适合于权重值处的系数变化的上下文。也就是说，使用根据权重值(系数变化)的上下文来执行编码/解码使得能够减少编码效率的降低。
此外，在该方法的情况下，不需要重排系数，因此可以实现减少负荷的增加。也就是说，可以在减少编码效率的降低的同时减少其负荷的增加。
<2.第一实施方式>
<编码装置>
图5是示出作为应用了本技术的图像处理装置的实施方式的编码装置的配置示例的框图。图4中所示的编码装置100是对点云的位置信息和属性信息进行编码的装置。
注意，图5仅示出了处理部、数据流等中的主要元素，并且图5中示出的元素不一定是所有的元素。也就是说，在编码装置100中，可以存在图5中没有示出为块的一个或更多个处理部，并且可以存在图5中没有示出为箭头的一个或更多个处理以及一个或更多个数据流。
如图5所示，编码装置100包括几何编码部111、几何系数重排部112、RAHT处理部113、上下文选择部114、属性编码部115和比特流生成部116。
几何编码部111执行关于位置信息的编码的处理。例如，几何编码部111获得输入到编码装置100的点云数据的位置信息并对其进行编码。几何编码部111将通过编码获得的几何编码数据提供给比特流生成部116。此外，几何编码部111还将作为位置信息的几何系数提供给几何系数重排部112。
几何系数重排部112执行关于系数数据的重排的处理。例如，几何系数重排部112获得从几何编码部111提供的几何系数。几何系数重排部112将几何系数重排成莫顿码序，并且将重排的几何系数提供给RAHT处理部113。
RAHT处理部113执行关于RAHT的处理。例如，RAHT处理部113对从几何系数重排部112按莫顿码序提供的几何系数执行RAHT，以导出与位置信息有关的权重值。RAHT处理部113将导出的权重值提供给上下文选择部114和属性编码部115(的RAHT处理部121)。
上下文选择部114执行关于上下文的选择的处理。例如，上下文选择部114从RAHT处理部113获得权重值。上下文选择部114基于权重值选择上下文。
例如，上下文选择部114在其中初步存储上下文的多个候选。对每个候选分配相互不同的权重值(权重值的值域)，并且根据权重值的大小选择候选中的任一个。例如，进行根据权重值的大小对候选中的任一个的选择，使得：在权重值小于阈值A的情况下，选择分配给该区域的上下文A；在权重值等于或大于A但小于B的情况下，选择分配给该区域的上下文B……以及在权重值等于或大于Y的情况下，选择分配给该区域的上下文Z。注意，将每个候选设定为以下的值：所述值更适合于与所分配的值域相对应的系数变化程度。
也就是说，实现了如下配置：在该配置中上下文选择部114基于权重值选择上下文，并且该选择使得能够选择更适合于与权重值相对应的系数变化程度的上下文。
此处，可以自由地确定候选的数目和阈值的大小。这些值可以是例如初步确定的固定值，或者可以是能够由用户等设定的(或者可以是可变的)。在值是可变的情况下，候选的数目和阈值的大小可以被配置成以下述方式传输至解码侧：被包括在比特流中作为其头部信息等。实现这样的配置使得解码器能够通过使用头部信息等来更容易地选择与编码装置100的上下文类似的上下文。
上下文选择部114将所选择的上下文提供给属性编码部115(的无损编码部123)。
属性编码部115执行关于属性信息的编码的处理。例如，属性编码部115获得输入到编码装置100的点云数据的属性信息，并且对该属性信息进行编码以生成属性编码数据。属性编码部115将生成的属性编码数据提供给比特流生成部116。
比特流生成部116生成包括从几何编码部111提供的几何编码数据和从属性编码部115提供的属性编码数据的比特流，并且将该比特流输出到编码装置100的外部。
此外，属性编码部115包括RAHT处理部121、量化部122和无损编码部123。
RAHT处理部121执行关于RAHT的处理。例如，RAHT处理获得输入到编码装置100的点云数据的属性信息。此外，RAHT处理部121获得从RAHT处理部113提供的权重值。RAHT处理部121通过使用权重值对属性信息执行RAHT。RAHT处理部121将通过RAHT获得的变换系数提供给量化部122。
量化部122执行关于量化的处理。例如，量化部122获得从RAHT处理部提供的变换系数。此外，量化部122量化所获得的变换系数。量化部122将通过量化获得的量化系数提供给无损编码部123。
无损编码部123执行关于无损编码的处理。例如，无损编码部123获得从量化部122提供的量化系数。此外，无损编码部123获得由上下文选择部114选择的上下文。无损编码部123通过使用上下文对量化系数进行编码。也就是说，无损编码部123使用与通过对点云的位置信息进行正交变换而获得的权重值相对应的上下文来对点云的属性信息进行编码，该正交变换考虑了三维结构。无损编码部123将与属性信息相关联的并且以上述方式生成的编码数据(属性编码数据)提供给比特流生成部116。
此处，这些处理部(从几何编码部111到比特流生成部116，以及从RAHT处理部121到无损编码部123)每个都具有可选的配置。例如，这些处理部中的每一个可以包括实现上述种类的处理中的对应处理的逻辑电路。此外，每个处理部可以包括诸如CPU、ROM和RAM的部件，并且通过利用这些部件执行程序来实现上述种类的处理中的对应处理。自然地，每个处理部可以具有上述两种配置，以利用逻辑电路实现上述种类的处理中的对应处理的一部分，并且通过执行程序来实现对应处理的另一部分。各个处理部的配置可以相互独立，并且可以被设成使得例如上述处理部中的一个或更多个处理部均利用逻辑电路来实现上述种类的处理中的对应处理，上述处理部中的其他一个或更多个处理部均通过执行程序来实现上述种类的处理中的对应处理，并且上述处理部中的其他一个或更多个处理部均借助于逻辑电路和程序的执行两者来实现上述种类的处理中的对应处理。
实现如上所述这样的配置使得编码装置100可以实现诸如<1.属性信息的编码>中所描述的效果。例如，编码装置100能够在减少编码效率降低的同时减小其负荷的增加。
<编码处理的流程>
接下来，将参照图6的流程图描述由编码装置100执行的编码处理的流程的示例。
在开始编码处理时，在步骤S101中几何编码部111对几何数据(位置信息)进行编码。
在步骤S102中，几何系数重排部112将几何系数重排为莫顿码序。
在步骤S103中，RAHT处理部113对几何数据执行RAHT以导出权重值。
在步骤S104中，上下文选择部114基于在步骤S103中导出的权重值来选择上下文。
在步骤S105中，RAHT处理部121通过使用在步骤S103中导出的并且与几何相关联的权重值，对属性数据(属性信息)执行RAHT。
在步骤S106中，量化部122对在步骤S105中获得的变换系数执行量化。
在步骤S107中，无损编码部123通过使用在步骤S104中选择的上下文，对在步骤S106中获得的量化系数(属性数据)执行无损编码。
在步骤S108中，比特流生成部116生成包括在步骤S101中获得的几何编码数据和在步骤S107中获得的属性编码数据的比特流。
在步骤S109中，无损编码部123输出在步骤S108中生成的比特流。
在步骤S109的处理完成时，编码处理结束。
以如上所述的方式执行各个处理使得编码装置100可以实现诸如<1.属性信息的编码>中所描述的效果。例如，编码装置100能够在减少编码效率降低的同时减小其负荷的增加。
<3.第二实施方式>
<解码装置>
图7是示出作为应用了本技术的图像处理装置的实施方式的解码装置的配置示例的框图。图7所示的解码装置200是与图5的编码装置100相对应的解码装置，并且是对例如由编码装置100生成的比特流进行解码并且恢复点云的数据的装置。
注意，图7仅示出了处理部、数据流等中的主要元素，并且图7中示出的元素不一定是所有的元素。也就是说，在解码装置200中，可以存在图7中没有示出为块的一个或更多个处理部，并且可以存在图7中没有示出为箭头的一个或更多个处理以及一个或更多个数据流。
如图7所示，解码装置200包括几何解码部211、几何系数重排部212、RAHT处理部113、上下文选择部214、属性解码部215和点云数据生成部216。
几何解码部211执行关于与位置信息相关联的编码数据的解码的处理。例如，几何解码部211获得输入到解码装置200的比特流，并且提取与该比特流中包括的位置信息相关联的编码数据(几何编码数据)，并对其进行解码。几何解码部211将以上述方式获得的系数数据(几何数据)提供给几何系数重排部212和点云数据生成部216。
几何系数重排部212执行关于几何系数的重排的处理。例如，几何系数重排部212获得从几何解码部211提供的几何数据。几何系数重排部212将几何数据的各个系数(即，几何系数)重排为莫顿码序。几何系数重排部212将重排的几何数据提供给RAHT处理部213。也就是说，几何系数重排部212将几何系数按莫顿码序提供给RAHT处理部213。
RAHT处理部231执行关于RAHT的处理。例如，RAHT处理部213获得从几何系数重排部212提供的几何数据。此外，RAHT处理部213对几何数据执行RAHT以导出关于位置信息的权重值。RAHT处理部213将导出的权重值提供给上下文选择部214和属性解码部215(的逆RAHT处理部223)。
上下文选择部214执行关于上下文的选择的处理。例如，上下文选择部214获得从RAHT处理部213提供的权重值。上下文选择部214基于权重值选择上下文。
例如，上下文选择部214在其中初始存储上下文的多个候选。对每个候选分配相互不同的权重值(权重值的值域)，并且根据权重值的大小选择候选中的任一个。例如，进行根据权重值的大小对候选中的任一个的选择，使得：在权重值小于阈值A的情况下，选择分配给该区域的上下文A；在权重值等于或大于A但小于B的情况下，选择分配给该区域的上下文B……以及在权重值等于或大于Y的情况下，选择分配给该区域的上下文Z。注意，将每个候选设定为以下的值：所述值更适合于与所分配的值域相对应的系数变化程度。
也就是说，实现了如下配置：在该配置中上下文选择部214基于权重值选择上下文，并且该选择使得能够选择更适合于与权重值相对应的系数变化程度的上下文。
此处，可以自由地确定候选的数目和阈值的大小。这些值可以是例如初步确定的固定值，或者可以是在编码侧(在编码装置100处)设定的并且从编码侧传输的值(或者可以是可变的)。实现这样的配置使得解码装置200能够通过使用这样的信息来更容易地选择与编码器(例如，编码装置100)的上下文类似的上下文。
上下文选择部214将所选择的上下文提供给属性解码部215(的无逆RAHT处理部223)。
属性编码部215执行关于属性信息的解码的处理。例如，属性解码部215获得与包括在输入到解码装置200的比特流中的属性信息相关联的编码数据(属性编码数据)，并且对该编码数据进行解码以生成属性信息(属性数据)。属性解码部215将生成的属性数据提供给点云数据生成部216。
点云数据生成部216生成包括从几何解码部211提供的几何数据和从属性解码部215提供的属性数据的点云数据，并且将所生成的点云数据输出至解码装置200的外部。
此外，属性解码部215包括无损解码部221、逆量化部222和逆RAHT处理部223。
无损解码部221执行关于无损解码的处理。例如，无损解码部221获得与输入到解码装置200的比特流中包括的属性信息相关联的编码数据(属性编码数据)。此外，无损解码部221获得由上下文选择部214选择的上下文。无损解码部221通过使用由上下文选择部214选择的上下文来对获得的属性编码数据进行解码。也就是说，无损解码部221使用与通过对点云的位置信息进行正交变换而获得的权重值相对应的上下文来对点云的属性信息的编码数据进行解码，该正交变换考虑了三维结构。无损解码部221将以上述方式生成的属性信息(属性数据)提供给逆量化部222。
逆量化部222执行关于逆量化的处理。例如，逆量化部222获得从无损解码部221提供的属性数据。此外，逆量化部222对所获得的属性数据进行逆量化。逆量化部222将通过逆量化获得的变换系数提供给逆RAHT处理部223。
逆RAHT处理部223执行关于逆RAHT(其是与RAHT相反的处理)的处理。例如，逆RAHT处理部223获得从逆量化部222提供的变换系数。此外，逆RAHT处理部223获得与位置信息相关联的并且由RAHT处理部213生成的权重值。逆RAHT处理部223通过使用权重值对经变换的系数执行逆RAHT。逆RAHT处理部223向点云数据生成部216提供通过逆RAHT获得的属性信息(属性数据)。
此处，这些处理部(从几何解码部211到点云数据生成部216，以及从无损解码部221到逆RAHT处理部223)均具有可选的配置。例如，这些处理部中的每一个可以包括实现上述种类的处理中的对应处理的逻辑电路。此外，每个处理部可以包括诸如CPU、ROM和RAM的部件，并且通过利用这些部件执行程序来实现上述种类的处理中的对应处理。自然地，每个处理部可以具有上述两种配置，以利用逻辑电路来实现上述种类的处理中的对应处理的一部分并且通过执行程序来实现对应处理的另一部分。各个处理部的配置可以相互独立，并且可以被设成使得例如上述处理部中的一个或更多个处理部均利用逻辑电路来实现上述种类的处理中的对应处理，上述处理部中的其他一个或更多个处理部均通过执行程序来实现上述种类的处理中的对应处理，并且上述处理部中的其他一个或更多个处理部均借助于逻辑电路和程序的执行两者来实现上述种类的处理中的对应处理。
实现如上所述这样的配置使得解码装置200可以实现诸如<1.属性信息的编码>中描述的效果。例如，解码装置200能够在减少编码效率降低的同时减小其负荷的增加。
<解码处理的流程>
接下来，将参照图8的流程图描述由解码装置200执行的解码处理的流程的示例。
在解码处理开始时，在步骤S201中几何解码部211对关于几何的比特流进行解码。
在步骤S202中，几何系数重排部212将在步骤S201中获得的几何系数重排为莫顿码序。
在步骤S203中，RAHT处理部213对几何数据执行RAHT以导出权重值。
在步骤S204中，上下文选择部214基于在步骤S203中获得的权重值来选择上下文。
在步骤S205中，无损解码部221通过使用在步骤S204中选择的上下文，对关于属性的比特流执行无损解码。也就是说，无损解码部221使用与通过对点云的位置信息进行正交变换而获得的权重值相对应的上下文，来对与点云的属性信息相关联的编码数据进行解码，该正交变换考虑了三维结构。
在步骤S206中，逆量化部222对在步骤S205中获得的量化系数执行逆量化。
在步骤S207中，逆RAHT处理部223通过使用关于几何的权重值对变换系数执行逆RAHT处理，以生成属性数据。
在步骤S208中，点云数据生成部216生成包括在步骤S201中获得的几何数据和在步骤S207中获得的属性数据的点云数据。
在步骤S209中，点云数据生成部216将在步骤S208中生成的点云数据输出至解码装置200的外部。
在步骤S209的处理完成时，解码处理结束。
以上述方式执行各个处理使得解码装置200可以实现诸如<1.属性信息的编码>中描述的效果。例如，解码装置200能够在减少编码效率降低的同时减小其负荷的增加。
<4.第三实施方式>
<编码装置>
例如，在关于八叉树对几何数据进行编码的情况下，可以容易地从八叉树掌握点分布的状况。也就是说，即使不执行RAHT处理，也可以容易地从八叉树导出权重值。
图9示出了这种情况下的编码装置100的主要配置示例。当与图5的示例进行比较时，在这种情况下的编码装置100包括权重计算部301，而不是几何系数重排部112和RAHT处理部113。
权重计算部301执行关于权重值的计算的处理。例如，权重计算部301从几何编码部111获得关于位置信息的八叉树数据。权重计算部301基于与位置信息有关的八叉树导出权重值。权重计算部301将导出的权重值提供给上下文选择部114和RAHT处理部121。
当与图5的配置进行比较时，以上述方式实现的配置使得不需要进行大负荷的处理，即，几何系数的重排和RAHT处理，并且使得可以借助于根据八叉树对权重的小负荷计算来导出权重值。因此，与第一实施方式的情况相比，编码装置100能够在进一步程度上减少负荷的增加。
<编码处理的流程>
将参照图10的流程图来描述在这种情况下的编码处理的流程的示例。
当开始编码处理时，与步骤S101的情况相同，在步骤S301中几何编码部111对几何数据(位置信息)进行编码。
在步骤S302中，权重计算部301根据在步骤S301中获得的八叉树计算权重值。
以与图6的步骤S104至步骤S109的每个处理类似的方式执行步骤S303至步骤S308的每个处理。
因此，与第一实施方式的情况相同，以上述方式执行上述各个处理使得编码装置100能够减少编码效率的降低，同时减小其负荷的增加。此外，与第一实施方式的情况相比，在这种情况下的编码装置100能够在进一步程度上减小负荷的增加。
<5.第四实施方式>
<解码装置>
与第三实施方式的情况相同，解码装置200也可以被配置成使得根据八叉树导出权重值。实现这样的配置使得在即使不执行RAHT处理的情况下，也可以容易地根据八叉树导出权重值。
图11示出了这种情况下的解码装置200的主要配置示例。当与图7的示例进行比较时，这种情况下的解码装置200包括权重计算部401，而不是几何系数重排部212和RAHT处理部213。
权重计算部401执行关于权重值的计算的处理。例如，权重计算部401从几何解码部211获得关于位置信息的八叉树数据。权重计算部401基于关于位置信息的八叉树导出权重值。权重计算部401将导出的权重值提供给上下文选择部214和逆RAHT处理部223。
当与图7的配置进行比较时，以上述方式实现的配置使得不需要进行大负荷的处理，即，几何系数的重排和RAHT处理，并且使得可以借助于根据八叉树对权重的小负荷计算来导出权重值。因此，与第二实施方式的情况相比，这种情况下的解码装置200能够在进一步程度上减小负荷的增加。
<解码处理的流程>
将参照图12的流程图来描述在这种情况下的解码处理的流程的示例。
当开始解码处理时，与步骤S201的情况相同，在步骤S401中几何解码部211对关于几何的比特流进行解码。
在步骤S402中，权重计算部401根据在步骤S401中获得的八叉树计算权重值。
以与图8的步骤S204至S209的每个处理类似的方式执行步骤S403至S408的每个处理。
因此，与第二实施方式的情况相同，以上述方式执行上述各个处理使得解码装置200能够减少编码效率的降低，同时抑制其负荷的增加。此外，与第二实施方式的情况相比，这种情况下的解码装置200能够在进一步程度上减小负荷的增加。
<6.附加说明>
<正交变换>
注意，在上文中，所描述的是RAHT被用作正交变换的示例，但是要在编码/解码中执行的正交变换不限于RAHT，并且仅采用考虑到三维结构的正交变换作为该正交变换就足够了。例如，仅采用图转换(graphtransformation)等就足够了。
<计算机>
上述一系列处理也可以通过硬件来执行或者可以通过软件来执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。此处，计算机包括嵌入专用硬件中的计算机和诸如通用个人计算机的计算机，通用个人计算机能够通过允许在该计算机中安装各种程序来执行各种功能。
图13是示出通过执行程序来执行上述一系列处理的计算机的硬件的配置示例的框图。
在图13中所示的计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903经由总线904彼此耦接。
输入/输出接口910还耦接至总线904。输入/输出接口910耦接至输入单元911、输出单元912、存储单元913、通信单元914和驱动器915。
输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，如磁盘、光盘、磁光盘或半导体存储器。
在以上述方式配置的计算机中，通过允许CPU 901经由输入/输出接口910和总线904将例如存储在存储单元913中的程序加载到RAM 903中并执行该程序，来执行上述一系列处理。CPU 901在执行各种处理时所需的数据以及任何其他种类的数据也根据需要存储在RAM 903中。
例如，可以通过将由计算机(CPU 901)执行的程序记录在用作封装介质等的可移除介质921中来对其进行应用。在这样的情况下，将可移除介质921附接到驱动器915，使得能够经由输入/输出接口910将程序安装到存储单元913中。
此外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这样的情况下，程序可以由通信单元914接收，并且然后可以被安装在存储单元913中。
除了上述，程序也可以预先安装在ROM 902或存储单元913中。
<本技术的应用目标>
迄今为止，描述了将本技术应用于点云数据的编码/解码的示例，但是不限于这些示例，本技术可以应用于符合任何标准的3D数据的编码/解码。也就是说，除非与上述本技术不一致，否则用于编码/解码方法等的各个处理的规范以及用于诸如3D数据和元数据的各种数据的规范是可选的。此外，除非出现与本技术的矛盾，否则可以省略上述处理的一部分和/或上述规范的一部分。
本技术可以应用于任何配置。例如，本技术可以应用于在以下中使用的发送器和接收器(例如电视接收器和移动电话)：卫星广播、诸如有线电视的有线广播、通过因特网的传输、利用蜂窝通信传输到终端等。另外，例如，本技术可以应用于各种电子装置，例如用于将图像记录到诸如光盘、磁盘或闪存的存储介质中并从该存储介质再现图像的装置(例如硬盘记录器和摄像装置)。
此外，例如，本技术还可以被实践为装置的部分构成元件，例如，作为系统LSI(大规模集成)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、包括单元以及添加到该单元的其它功能的设备(例如，视频设备)、或任何其他类似的装置。
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以被配置成作为云计算来实践，该云计算允许多个装置以负载共享和协作的方式经由网络来执行处理。例如，本技术可以被配置成在云服务中实践，该云服务向任何终端例如计算机、AV(视听)设备、便携式信息处理终端或IoT(物联网)装置提供与图像(移动图像)有关的服务。
注意，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件不必安装在同一壳体中。因此，安装在不同壳体中并经由网络彼此耦合的多个装置以及其多个模块安装在一个壳体中的一个装置都是系统。
<本技术的适用领域和应用>
应用了本技术的系统、装置、处理单元等可以用在任何领域中，例如运输、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家用电器、天气以及自然监测。此外，也可以自由地确定本技术的应用。
<其他>
注意，在本说明书中，“标志”是用于识别多个状态的信息，并且不仅包括在识别真(1)和假(0)这两个状态时使用的信息，而且包括能够识别三个或更多个状态的信息。因此，“标志”可采用的值可以是例如两个值，即“1”和“0”，或者三个或更多个值。即，构成“标志”的比特的数目可以是任何数目，并且可以采用一个比特或多个比特。此外，假定识别信息(包括标志)不仅具有识别信息被包括在比特流中的形式，而且具有识别信息相对于特定参考信息的差异信息被包括在比特流中的形式，并且因此，在本说明书中，“标志”和“识别信息”不仅包括信息本身，而且包括信息本身相对于参考信息的差异信息。
此外，只要各种信息与编码数据相关联，则关于编码数据(比特流)的各种信息(元数据等)可以被配置成以任何形式传输或记录。此处，术语“关联”是指例如在处理一侧的数据时，使得可以使用(链接)另一侧的数据。也就是说，彼此相关联的多条数据可以被整合为一组数据，或者可以作为一条数据来处理。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)的记录介质不同的记录介质中(或者在同一记录介质中与编码数据(图像)的记录区域不同的记录区域中)。另外，“关联”的目标不仅可以是整个数据，而且可以是数据的一部分。例如，图像和对应于图像的信息可以以多个帧、一个帧、帧内的一部分等中的任意一个为单位而彼此相关联。
另外，在本说明书中，术语“合成”、“复用”、“添加”、“集成”、“合并”、“存储”、“放入”、“插入”等表示多个对象被统一为一个对象，如编码数据和元数据被统一为一组数据的示例，并且上述术语中的每一个表示用于上述“关联”的方法之一。
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的主旨的范围内可以进行各种修改。
例如，被描述为一个装置(处理部)的配置可以被分离并且被配置为多个装置(多个处理部)。相反，以上被描述为多个装置(处理部)的配置可以被统一并且被配置为一个装置(处理部)。此外，当然可以将除上述配置以外的配置添加到每个装置(或每个处理部)的配置。此外，只要整个系统的配置和操作基本上不改变，则特定装置(或处理部)的配置的一部分可以包括在另一装置(或另一处理部)的配置中。
此外，例如，上述程序可以在任何装置中执行。在这样的情况下，仅使装置具有必要的功能(功能块等)并获得必要的信息就足够了。
此外，例如，一个流程图的各个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，在多个处理包括在一个步骤中的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享并执行。换句话说，包括在一个步骤中的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以被统一并且作为一个步骤来执行。
此外，例如，对于由计算机执行的程序、用于写入程序的步骤的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以并行执行。替选地，可以在所需定时处(诸如进行调用的定时处)单独地执行程序。也就是说，除非出现不一致，否则可以按与上述顺序不同的顺序执行各个步骤的处理。此外，用于写入程序的步骤的处理可以与另一程序的处理并行地执行，或者可以与另一程序的处理组合地执行。
此外，例如，除非出现不一致，否则可以单独地和独立地实践关于本技术的多个技术。当然，可以组合地实践关于本技术的多个技术中的任何技术。例如，在任一实施方式中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合地实践。此外，以上描述的本技术的任何部分或全部可以与不包括在以上描述中的另一技术组合地实践。
应当注意，本技术还可以具有以下配置：
(1)
一种图像处理装置，包括：
编码部，其通过使用上下文对点云的属性信息进行编码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
(2)
根据(1)所述的图像处理装置，还包括：
上下文选择部，其选择与所述权重值相对应的上下文，
其中，所述编码部通过使用由所述上下文选择部选择的上下文来对所述属性信息进行编码。
(3)
根据(2)所述的图像处理装置，其中，所述上下文选择部通过使用预先确定的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
(4)
根据(2)或(3)所述的图像处理装置，其中，所述上下文选择部通过使用预设的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
(5)
根据(2)至(4)中任一项所述的图像处理装置，还包括：
权重值导出部，其导出所述权重值，
其中，所述上下文选择部选择与所述权重值导出部所导出的权重值相对应的上下文。
(6)
根据(5)所述的图像处理装置，其中，所述权重值导出部对所述位置信息执行作为所述正交变换的区域自适应分层变换RAHT，以导出所述权重值。
(7)
根据(5)或(6)所述的图像处理装置，其中，所述权重值导出部基于关于所述位置信息的八叉树导出所述权重值。
(8)
根据(5)至(7)中任一项所述的图像处理装置，还包括：
区域自适应分层变换RAHT处理部，其通过使用由所述权重值导出部导出的权重值对所述属性信息执行RAHT，
其中，所述编码部对由所述RAHT处理部生成的所述属性信息的变换系数进行编码。
(9)
根据(1)至(8)中任一项所述的图像处理装置，还包括：
比特流生成部，其生成比特流，所述比特流包括由所述编码部生成的所述位置信息的编码数据和所述属性信息的编码数据。
(10)
一种图像处理方法，包括：
通过使用上下文对点云的属性信息进行编码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
(11)
一种图像处理装置，包括：
解码部，其通过使用上下文，对点云的属性信息的编码数据进行解码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
(12)
根据(11)所述的图像处理装置，还包括：
上下文选择部，其选择与所述权重值相对应的上下文，
其中，所述解码部通过使用由所述上下文选择部选择的上下文，对所述属性信息的编码数据进行解码。
(13)
根据(12)所述的图像处理装置，其中，所述上下文选择部通过使用预先确定的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
(14)
根据(12)或(13)所述的图像处理装置，其中，所述上下文选择部通过使用从编码侧提供的所述上下文的数目以及所述权重值的阈值，根据所述权重值来选择所述上下文。
(15)
根据(12)至(14)中任一项所述的图像处理装置，还包括：
权重值导出部，其导出所述权重值，
其中，所述上下文选择部选择与所述权重值导出部所导出的权重值相对应的上下文。
(16)
根据(15)所述的图像处理装置，其中，所述权重值导出部对所述位置信息执行作为所述正交变换的区域自适应分层变换RAHT，以导出所述权重值。
(17)
根据(15)或(16)所述的图像处理装置，其中，所述权重值导出部基于关于所述位置信息的八叉树导出所述权重值。
(18)
根据(15)至(17)中任一项所述的图像处理装置，还包括：
逆区域自适应分层变换RAHT处理部，其通过使用由所述权重值导出部导出的权重值，对由所述解码部生成的属性信息执行逆RAHT。
(19)
根据(11)至(18)中任一项所述的图像处理装置，还包括：
点云数据生成部，其生成点云数据，所述点云数据包括由所述解码部生成的位置信息和属性信息。
(20)
一种图像处理方法，包括：
通过使用上下文，对点云的属性信息的编码数据进行解码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
附图标记列表
100：编码装置
111：几何编码部
112：几何系数重排部
113：RAHT处理部
114：上下文选择部
115：属性编码部
116：比特流生成部
121：RAHT处理部
122：量化部
123：无损编码部
200：解码装置
211：几何解码部
212：几何系数重排部
213：RAHT处理部
214：上下文选择部
215：属性解码部
216：点云数据生成部
221：无损解码部
222：逆量化部
223：逆RAHT处理部
301：权重计算部
401：权重计算部

Claims (20)

1.一种图像处理装置，包括：
编码部，其通过使用上下文对点云的属性信息进行编码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
2.根据权利要求1所述的图像处理装置，还包括：
上下文选择部，其选择与所述权重值相对应的上下文，
其中，所述编码部通过使用由所述上下文选择部选择的上下文来对所述属性信息进行编码。
3.根据权利要求2所述的图像处理装置，其中，所述上下文选择部通过使用预先确定的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
4.根据权利要求2所述的图像处理装置，其中，所述上下文选择部通过使用预设的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
5.根据权利要求2所述的图像处理装置，还包括：
权重值导出部，其导出所述权重值，
其中，所述上下文选择部选择与所述权重值导出部所导出的权重值相对应的上下文。
6.根据权利要求5所述的图像处理装置，其中，所述权重值导出部对所述位置信息执行作为所述正交变换的区域自适应分层变换RAHT，以导出所述权重值。
7.根据权利要求5所述的图像处理装置，其中，所述权重值导出部基于关于所述位置信息的八叉树导出所述权重值。
8.根据权利要求5所述的图像处理装置，还包括：
区域自适应分层变换RAHT处理部，其通过使用由所述权重值导出部导出的权重值对所述属性信息执行RAHT，
其中，所述编码部对由所述RAHT处理部生成的所述属性信息的变换系数进行编码。
9.根据权利要求1所述的图像处理装置，还包括：
比特流生成部，其生成比特流，所述比特流包括由所述编码部生成的所述位置信息的编码数据和所述属性信息的编码数据。
10.一种图像处理方法，包括：
通过使用上下文对点云的属性信息进行编码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
11.一种图像处理装置，包括：
解码部，其通过使用上下文，对点云的属性信息的编码数据进行解码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
12.根据权利要求11所述的图像处理装置，还包括：
上下文选择部，其选择与所述权重值相对应的上下文，
其中，所述解码部通过使用由所述上下文选择部选择的上下文，对所述属性信息的编码数据进行解码。
13.根据权利要求12所述的图像处理装置，其中，所述上下文选择部通过使用预先确定的上下文的数目以及与所述权重值对应的阈值，根据所述权重值来选择所述上下文。
14.根据权利要求12所述的图像处理装置，其中，所述上下文选择部通过使用从编码侧提供的所述上下文的数目以及所述权重值的阈值，根据所述权重值来选择所述上下文。
15.根据权利要求12所述的图像处理装置，还包括：
权重值导出部，其导出所述权重值，
其中，所述上下文选择部选择与所述权重值导出部所导出的权重值相对应的上下文。
16.根据权利要求15所述的图像处理装置，其中，所述权重值导出部对所述位置信息执行作为所述正交变换的区域自适应分层变换RAHT，以导出所述权重值。
17.根据权利要求15所述的图像处理装置，其中，所述权重值导出部基于关于所述位置信息的八叉树导出所述权重值。
18.根据权利要求15所述的图像处理装置，还包括：
逆区域自适应分层变换RAHT处理部，其通过使用由所述权重值导出部导出的权重值，对由所述解码部生成的属性信息执行逆RAHT。
19.根据权利要求11所述的图像处理装置，还包括：
点云数据生成部，其生成点云数据，所述点云数据包括由所述解码部生成的位置信息和属性信息。
20.一种图像处理方法，包括：
通过使用上下文，对点云的属性信息的编码数据进行解码，所述上下文对应于对所述点云的位置信息进行的正交变换的权重值，所述正交变换考虑了三维结构。
CN201980063712.9A 2018-10-02 2019-09-18 图像处理装置和方法 Withdrawn CN112789657A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-187483 2018-10-02
JP2018187483 2018-10-02
PCT/JP2019/036470 WO2020071115A1 (ja) 2018-10-02 2019-09-18 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN112789657A true CN112789657A (zh) 2021-05-11

Family

ID=70055225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063712.9A Withdrawn CN112789657A (zh) 2018-10-02 2019-09-18 图像处理装置和方法

Country Status (13)

Country Link
US (1) US20220044448A1 (zh)
EP (1) EP3843040A4 (zh)
JP (1) JPWO2020071115A1 (zh)
KR (1) KR20210070282A (zh)
CN (1) CN112789657A (zh)
AU (1) AU2019353279A1 (zh)
BR (1) BR112021005904A2 (zh)
CA (1) CA3115213A1 (zh)
MX (1) MX2021003524A (zh)
PH (1) PH12021550655A1 (zh)
SG (1) SG11202103046VA (zh)
TW (1) TW202015398A (zh)
WO (1) WO2020071115A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098802A1 (zh) * 2021-12-03 2023-06-08 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210550A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098802A1 (zh) * 2021-12-03 2023-06-08 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端

Also Published As

Publication number Publication date
TW202015398A (zh) 2020-04-16
SG11202103046VA (en) 2021-05-28
EP3843040A1 (en) 2021-06-30
US20220044448A1 (en) 2022-02-10
JPWO2020071115A1 (ja) 2021-09-02
PH12021550655A1 (en) 2022-02-21
WO2020071115A1 (ja) 2020-04-09
CA3115213A1 (en) 2020-04-09
KR20210070282A (ko) 2021-06-14
EP3843040A4 (en) 2021-10-27
BR112021005904A2 (pt) 2021-07-27
MX2021003524A (es) 2021-04-28
AU2019353279A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US11910026B2 (en) Image processing apparatus and method
WO2020012967A1 (ja) 画像処理装置および方法
US11943457B2 (en) Information processing apparatus and method
WO2020012968A1 (ja) 画像処理装置および方法
CN111727461A (zh) 信息处理装置和方法
CN112789657A (zh) 图像处理装置和方法
US11991348B2 (en) Information processing device and method
US20230023219A1 (en) Information processing device and method
US20220262043A1 (en) Information processing apparatus and method
WO2020145143A1 (ja) 情報処理装置および方法
CN113261297A (zh) 图像处理装置和方法
WO2021002214A1 (ja) 情報処理装置および方法
WO2021010134A1 (ja) 情報処理装置および方法
KR20230125186A (ko) 정보 처리 장치 및 방법
WO2019198520A1 (ja) 情報処理装置および方法
US20230177735A1 (en) Information processing apparatus and method
US20220353493A1 (en) Information processing apparatus and method
US20230316582A1 (en) Information processing apparatus and method
JP2022051968A (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046636

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210511