CN110832550A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN110832550A
CN110832550A CN201880044949.8A CN201880044949A CN110832550A CN 110832550 A CN110832550 A CN 110832550A CN 201880044949 A CN201880044949 A CN 201880044949A CN 110832550 A CN110832550 A CN 110832550A
Authority
CN
China
Prior art keywords
information
coordinate system
bounding box
setting
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880044949.8A
Other languages
English (en)
Other versions
CN110832550B (zh
Inventor
隈智
中神央二
矢野幸司
加藤毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110832550A publication Critical patent/CN110832550A/zh
Application granted granted Critical
Publication of CN110832550B publication Critical patent/CN110832550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本公开内容涉及使得可以抑制编码效率的降低的信息处理装置和方法。生成与要编码的三维位置的量化有关的信息。与量化有关的信息包括例如与要被执行量化的坐标系有关的信息、与用于归一化要编码的位置信息的边界框有关的信息或与用于量化要编码的位置信息的体素有关的信息。此外,基于与要编码的三维位置的量化有关的信息,从信号序列恢复要编码的三维信息。本公开内容可应用于例如信息处理装置、图像处理装置、电子仪器、信息处理方法和程序。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法,并且具体地涉及使得可以抑制编码效率的降低的信息处理装置和方法。
背景技术
例如,存在使用诸如八叉树的体素进行的编码作为压缩点云或网格的顶点数据的现有方法(例如,参见NPTL 1)。点云通过点集的位置信息、属性信息等表示三维结构,并且网格包括顶点、边和面并且使用多边形表示来限定三维形状。
在使用体素进行编码时,有必要归一化编码目标的位置信息;因此,执行设置包括编码目标的称为边界框的立体物的操作。
引用列表
非专利文献
NPTL1:R.Mekuria,Student Member IEEE,K.Blom,P.Cesar.,Member,IEEE,“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video”,tcsvt_paper_submitted_february.pdf
发明内容
本发明要解决的问题
然而,在使用体素进行编码的情况下,如果边界框的该设置不适当,则存在降低编码效率的可能性。
本公开内容是鉴于这样的情况而做出的,并且使得可以抑制编码效率的降低。
解决问题的手段
根据本技术的一方面的一种信息处理装置是包括生成器的信息处理装置,该生成器生成与编码目标的三维位置的量化有关的信息。
根据本技术的一方面的一种信息处理方法是包括生成与编码目标的三维位置的量化有关的信息的信息处理方法。
根据本技术的另一方面的一种信息处理装置是包括恢复单元的信息处理装置,该恢复单元基于与编码目标的三维位置的量化有关的信息从信号串恢复编码目标的三维信息。
根据本技术的另一方面的一种信息处理方法是包括基于与编码目标的三维位置的量化有关的信息从信号串恢复编码目标的三维信息的信息处理方法。
在根据本技术的一方面的信息处理装置和信息处理方法中,生成与编码目标的三维位置的量化有关的信息。
在根据本技术的另一方面的信息处理装置和信息处理方法中,基于与编码目标的三维位置的量化有关的信息来从信号串恢复编码目标的三维信息。
本发明的效果
根据本公开内容,可以处理信息。特别地,可以抑制编码效率的降低。
附图说明
[图1]图1是用于描述点云的示例的图。
[图2]图2是示出编码设备的主要配置示例的框图。
[图3]图3是用于描述编码的概述的示例的图。
[图4]图4是示出位置量化器的主要配置示例的框图。
[图5]图5是示出坐标系设置单元的主要配置示例的框图。
[图6]图6是用于描述坐标系设置的状态的示例的图。
[图7]图7是用于描述圆柱坐标系的示例的图。
[图8]图8是用于描述球面坐标系的示例的图。
[图9]图9是用于描述与坐标系有关的控制信息的示例的图。
[图10]图10是示出边界框设置单元的主要配置示例的框图。
[图11]图11是用于描述边界框的设置的状态的示例的图。
[图12]图12是示出通过边界框设置方法的PSNR的比较示例的图。
[图13]图13是用于描述交叠边界框的设置的状态的示例的图。
[图14]图14是用于描述与感兴趣区域对应的边界框的设置的状态的示例的图。
[图15]图15是用于描述与感兴趣区域对应的边界框的设置的状态的示例的图。
[图16]图16是用于描述与边界框有关的控制信息的示例的图。
[图17]图17是示出体素设置单元的主要配置示例的框图。
[图18]图18是用于描述线性量化的状态的示例的图。
[图19]图19是用于描述非线性量化的状态的示例的图。
[图20]图20是用于描述偏移设置的状态的示例的图。
[图21]图21是用于描述与偏移有关的控制信息的示例的图。
[图22]图22是示出选择器的主要配置示例的框图。
[图23]图23是示出控制信息生成器的主要配置示例的框图。
[图24]图24是示出编码处理的流程的示例的流程图。
[图25]图25是描述位置量化处理的流程的示例的流程图。
[图26]图26是描述坐标系设置处理的流程的示例的流程图。
[图27]图27是描述边界框设置处理的流程的示例的流程图。
[图28]图28是描述体素设置处理的流程的示例的流程图。
[图29]图29是描述选择处理的流程的示例的流程图。
[图30]图30是描述控制信息生成处理的流程的示例的流程图。
[图31]图31是示出解码设备的主要配置示例的框图。
[图32]图32是示出控制信息分析器的主要配置示例的框图。
[图33]图33是描述解码处理的流程的示例的流程图。
[图34]图34是描述控制信息分析处理的流程的示例的流程图。
[图35]图35是描述解码处理的流程的示例的流程图。
[图36]图36是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,参照附图描述了用于执行本公开内容的一些模式(下文中称为实施方式)。应当注意,按以下顺序给出描述。
1.三维位置的量化
2.第一实施方式(编码设备)
3.第二实施方式(解码设备)
4.其他方面
<1.三维位置的量化>
<点云>
已经存在点云、网格等的数据。点云通过点集的位置信息、属性信息等表示三维结构,并且网格包括顶点、边和面并且使用多边形表示来限定三维形状。
例如,在点云的情况下,如图1的A所示的三维结构表示为如图1的B所示的大量点的集合(点集)。即,点云的数据包括点集的各个点的位置信息和属性信息(例如,颜色等)。因此,数据结构相对简单,并且使用足够大量的点,这使得可以以足够的准确度表示可选的三维结构。
然而,诸如点云和网格的数据的量相对较大,并且因此需要通过编码等来压缩数据量。例如,考虑了使用诸如八叉树(Octree)和KD树(KDtree)的体素的编码方法。体素是用于量化编码目标的位置信息的数据结构。
在使用这样的体素进行编码时,作为前提,有必要归一化编码目标的位置信息;因此,执行设置包括编码目标的称为边界框(Bounding box)的立体物的操作。
然而,在使用体素进行编码的情况下,如果边界框的该设置不适当,则存在降低编码效率的可能性。
<编码目标的三维位置的量化>
因此,生成与编码目标的三维位置的量化有关的信息。以这种方式生成与编码目标的三维位置的量化有关的信息,使得可以在解码侧基于该信息来适当地恢复数据。即,可以使用编码目标的三维位置的量化来实现编码/解码,并且可以抑制编码效率的降低。
此外,对编码目标的三维位置进行量化。这样做使得可以使用编码目标的三维位置的量化来执行编码,并且可以抑制编码效率的降低。
应当注意,尽管以下使用点云作为编码目标的数据的示例来描述本技术,但本技术不限于点云,而是可应用于任何编码目标,只要编码目标表示三维结构(例如,网格)并且能够经受使用体素进行的编码即可。此外,编码目标可以是运动图像或静止图像。
<2.第一实施方式>
<编码设备>
图2是示出了作为应用了本技术的信息处理装置的实施方式的编码设备的主要配置示例的框图。图2所示的编码设备100使用体素对作为编码目标输入的点云的数据进行编码,并且输出所获得的编码数据等。此时,如以下所述,编码设备100通过应用了本技术的方法来执行这样的编码。
如图2所示,编码设备100包括控制器101、预处理单元111、位置量化器112、信号串生成器113、编码器114、选择器115、控制信息生成器116和关联单元117。
控制器101执行与编码设备100中的各个处理单元的控制有关的处理。例如,控制器101控制由各个处理单元进行的处理的执行或跳过(省略)。例如,控制器101基于预定的控制信息来执行这样的控制。这样做使得控制器101可以抑制不必要处理的执行并且抑制负荷的增加。
控制器101可以具有任何配置,并且可以包括例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行处理。
预处理单元111由控制器101控制,以对输入到编码设备100的编码目标(点云的数据)执行预定的处理作为预处理,并且将经处理的数据提供给位置量化器112。
例如,控制器101在根据用于允许或禁止预处理的执行的控制信息来允许(未禁止)执行预处理的情况下,使预处理单元111执行预处理。此外,例如,根据指示要被允许或禁止经受预处理的执行的编码目标的范围的控制信息,控制器101使预处理单元111对被允许(未被禁止)经受预处理的执行的编码目标执行预处理。此外,例如,根据指定被允许或禁止执行的处理的内容的控制信息,控制器101使预处理单元111执行被允许(未被禁止)执行的处理。这样做使得可以抑制不必要预处理的执行并且可以抑制负荷的增加。
应当注意,预处理的内容是可选的。例如,预处理单元111可以执行减少噪声的处理作为预处理,或者可以执行改变分辨率(点的数量)的处理。此外,例如,可以更新各个点的布置以使点集的密度均匀以便提供期望的偏差。此外,例如,可以将不是点云的数据诸如具有深度信息的图像信息输入到编码设备100,并且预处理单元111可以将输入的数据转换成点云的数据作为预处理。
预处理单元111可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行预处理。
位置量化器112由控制器101控制,以执行与各个点的三维位置数据的量化有关的处理。
例如,控制器101在根据用于允许或禁止三维位置信息的量化的控制信息而允许(未禁止)量化三维位置信息的情况下,使位置量化器112对三维位置信息进行量化。此外,例如,根据指示要被允许或禁止经受三维位置信息的量化的编码目标的范围的控制信息,控制器101使位置量化器112对被允许(未被禁止)经受三维位置信息的量化的编码目标的三维位置信息进行量化。此外,例如,根据指定要被允许或禁止使用的参数的控制信息,控制器101使位置量化器112使用被允许(未被禁止)使用的参数来量化三维位置信息。这样做使得可以抑制不必要的量化的执行和不必要参数的使用,并且可以抑制负荷的增加。
用于量化三维位置数据的处理的内容是可选的。例如,可以将诸如要经受量化的坐标系的设置、用于归一化各个点的位置信息的边界框的设置、用于量化每个点的位置信息的体素的设置等的处理作为该处理来执行。
例如,如图3的A所示,在对象131和对象132由点云的数据表示的情况下,位置量化器112将边界框141和边界框142设置成分别包括对象131和对象132,如图3的B所示。此外,例如,如图3的C所示,位置量化器112划分边界框141以设置体素151。应当注意,尽管未示出,但是位置量化器112对边界框142执行类似的处理。
位置量化器112将如上所述设置的与用于量化位置信息的数据结构(例如,坐标系、边界框和体素)有关的信息以及点云的数据提供给信号串生成器113。此外,位置量化器112将与如上所述的位置信息的量化有关的信息提供给控制信息生成器116。例如,位置量化器112将与在位置信息的量化中使用的各种参数有关的信息、由控制器101用于控制位置量化器112的信息等提供给控制信息生成器116。
应当注意,位置量化器112可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与位置信息的量化有关的处理。
信号串生成器113由控制器101控制以执行与信号串的生成有关的处理。
例如,在根据用于允许或禁止信号串的生成的控制信息来允许(未禁止)生成信号串的情况下,控制器101使信号串生成器113生成信号串。此外,例如,根据指示要被允许或禁止经受信号串的生成的编码目标的范围的控制信息,控制器101使信号串生成器113从被允许(未被禁止)用于生成信号串的编码目标生成信号串。这样做使得可以抑制不必要的信号串的生成并且可以抑制负荷的增加。
生成信号串的方法是可选的。例如,信号串生成器113可以通过诸如八叉树或KD树的任何方法根据用于量化位置信息的数据结构对点云的数据进行编码(压缩),以生成信号串。
例如,如图3的D所示,信号串生成器113根据设置的体素的结构来划分边界框,并且向每个体素分配点集。向体素分配每个点使每个点的位置信息被量化成对应体素的中心。
例如,在八叉树方法中,将边界框划分成要被体素化的八(8)个部分(在x方向、y方向和z方向上划分成两(2)个部分)。递归地重复这样划分成八个部分直到预定层级。在这种情况下,仅包括点的体素经受被划分为八个部分,并且不包括点的体素不经受被划分为八个部分。根据以这种方式对点集的分布将体素分层,这使得可以减少不必要体素的数量并且可以抑制信息量的不必要增加。
信号串生成器113如上所述的那样对每个点的信息进行编码以获得每个体素的信息,然后以预定顺序布置每个体素的信息以生成信号串。信号串生成器113将生成的信号串提供给编码器114。
应当注意,信号串生成器113可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序或数据加载到RAM中并执行程序或数据,从而执行与信号串的生成有关的处理。
编码器114由控制器101控制以执行与所提供的信号串(即,三维位置被量化的编码目标)的编码有关的处理。
例如,在根据用于允许或禁止信号串的编码的控制信息允许(未禁止)信号串的编码的情况下,控制器101使编码器114对信号串进行编码。此外,例如,根据指示要被允许或禁止经受信号串的编码的编码目标的范围的控制信息,控制器101使编码器114对被允许(未被禁止)经受信号串的编码的编码目标的信号串进行编码。这样做使得可以抑制对不必要信号串的编码并且可以抑制负荷的增加。
对信号串进行编码的方法是可选的。例如,编码器114可以通过可变长度编码(VLC(可变长度码))对信号串进行编码。编码器114将通过这样的编码获得的编码数据(比特流)提供给选择器115。
编码器114可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序或数据加载到RAM中并执行程序和数据,从而执行与编码有关的处理。
例如,上述位置量化器112可以通过多种方法执行与三维位置信息的量化有关的处理。信号串生成器113和编码器114对用于量化通过各个方法获得的位置信息的数据结构执行上述处理。即,在已由位置量化器112执行的三维位置信息的量化方法中的每一种中获得编码数据。
选择器115由控制器101控制以执行与编码目标的三维位置的量化方法的选择有关的处理。例如,选择器115从如上所述的那样获得的多个编码结果(编码数据)中选择期望的编码结果,从而选择与编码结果对应的位置信息的量化方法。
例如,在根据用于允许或禁止量化方法的选择的控制信息允许(未禁止)选择量化方法的情况下,控制器101使选择器115选择量化方法。此外,例如,根据指示要被允许或禁止经受量化方法的选择的编码目标的范围的控制信息,控制器101使选择器115针对被允许(未被禁止)用于量化方法的选择的编码目标来选择量化方法。这样做使得可以抑制对量化方法的不必要选择并且可以抑制负荷的增加。
该选择量化方法的方法是可选的。例如,选择器115可以计算编码结果的RD(率失真)成本,并且基于计算的RD(率失真)成本的值来选择最佳量化方法。
选择器115将选择的编码数据提供给关联单元117。此外,选择器115将指示选择的量化方法的信息(指示选择结果的信息)提供给控制信息生成器116。
选择器115可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序或数据加载到RAM中并执行程序或数据,从而执行与选择有关的处理。
控制信息生成器116由控制器101控制,以执行与生成关于三维位置信息的量化的信息有关的处理。
例如,在根据用于允许或禁止与三维位置信息的量化有关的信息的生成的控制信息允许(未禁止)生成与三维位置信息的量化有关的信息的情况下,控制器101使控制信息生成器116生成与三维位置信息的量化有关的信息。此外,例如,根据指示要被允许或禁止经受与三维位置信息的量化有关的信息的生成的编码目标的范围的控制信息,控制器101使控制信息生成器116针对被允许(未被禁止)用于与三维位置信息的量化有关的信息的生成的编码目标来生成与三维位置信息的量化有关的信息。这样做使得可以抑制不必要地生成与三维位置信息的量化有关的信息,并且可以抑制负荷的增加。
例如,控制信息生成器116使用与对应于由选择器115选择的量化方法的位置信息的量化有关的信息来生成与位置信息的量化有关的信息(也被称为控制信息)。控制信息生成器116将生成的控制信息提供给关联单元117。
控制信息生成器116可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与控制信息的生成有关的处理。
关联单元117由控制器101控制,以执行与编码数据和控制信息之间的关联有关的处理。
例如,在根据用于允许或禁止关联的控制信息来允许(未禁止)关联的情况下,控制器101使关联单元117将编码数据和控制信息彼此关联。此外,例如,根据指示要被允许或禁止经受编码数据与控制信息之间的关联的编码目标的范围的控制信息,控制器101使关联单元117针对被允许经受编码数据与控制信息之间的关联的编码目标来将编码数据和控制信息相关联。这样做使得可以抑制不必要关联并且可以抑制负荷的增加。
例如,关联单元117将从控制信息生成器116提供的控制信息与从选择器115提供的编码数据相关联。
应当注意,术语“关联”在此处是指,例如,在处理一个数据的情况下,使得另一个数据可用(可链接)。即,彼此相关联的数据可以被集合为一个数据,或者可以是单独的数据。例如,与编码数据相关联的控制信息可以通过除了编码数据的传输路径之外的传输路径来传输。此外,例如,与编码数据相关联的控制信息可以被记录在与记录有编码数据的记录介质不同的记录介质中(或被记录在同一记录介质的不同记录区域中)。应当注意,可以对一部分数据而不是整个数据执行“关联”。例如,数据可以以诸如多个帧、一个帧或帧中的一部分的任何单位彼此关联。
关联单元117将彼此关联的这些数据输出到编码设备100的外部。从编码设备100输出的数据(编码数据和控制信息)可以在随后的阶段由未示出的处理单元解码,例如,以恢复点云的数据,从编码设备100输出的数据可以由未示出的通信单元发送以通过预定传输路径传输至诸如解码设备的另一设备,或者可以记录在未示出的记录介质中。应当注意,关联单元117可以在不将编码数据和控制信息彼此关联的情况下输出编码数据和控制信息。
<位置量化器>
图4是示出图2所示的位置量化器112的主要配置示例的框图。如图4所示,位置量化器112包括坐标系设置单元201、边界框设置单元202和体素设置单元203。
坐标系设置单元201由控制器101控制,以执行与要经受三维位置信息的量化的坐标系的设置有关的处理。
例如,在根据用于允许或禁止要经受三维位置信息的量化的坐标系的设置的控制信息允许(未禁止)设置坐标系的情况下,控制器101使坐标系设置单元201设置坐标系。此外,例如,根据指示要被允许或禁止经受坐标系(其要经受三维位置信息的量化)的设置的编码目标的范围的控制信息,控制器101使坐标系设置单元201针对被允许(未被禁止)经受坐标系的设置的编码目标来设置坐标系。这样做使得可以抑制不必要坐标系的设置并且抑制负荷的增加。
此外,例如,根据与要用于设置要经受三维位置信息的量化的坐标系的参数的允许或禁止有关的控制信息,控制器101使坐标系设置单元201使用被允许(未被禁止)使用的参数来设置要经受三维位置信息的量化的坐标系。例如,可以通过控制信息来指定可设置坐标系、相对于可设置世界坐标系的相对姿态(移位量和角度)等。这样做使得可以抑制不必要参数的使用并且抑制负荷的增加。
例如,坐标系设置单元201设置要经受从预处理单元111提供的点云的数据的每个点的三维位置信息的量化的坐标系。坐标系设置单元201可以将任何坐标系设置为要经受量化的坐标系。例如,坐标系设置单元201可以将诸如世界坐标系、笛卡尔坐标系、圆柱坐标系和球面坐标系的坐标系设置为要经受量化的坐标系。不用说,可以设置除这些示例以外的坐标系。坐标系设置单元201可以设置任意数量的坐标系。例如,数量可以是一个或多个。
坐标系设置单元201将与设置的坐标系有关的信息提供给边界框设置单元202。坐标系设置单元201还将与设置的坐标系有关的信息提供给控制信息生成器116。
应当注意,坐标系设置单元201可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并执行程序和数据,从而执行与坐标系的设置有关的处理。
坐标系设置单元201例如将更适合于编码目标的对象的坐标系设置为要经受点云的数据的每个点的三维位置信息的量化的坐标系,这使得可以更适当地执行边界框的设置。此外,可以进一步减少量化的信号串的信息量。因此,可以抑制编码效率的降低。
边界框设置单元202由控制器101控制,以执行与用于归一化编码目标的位置信息的边界框的设置有关的处理。
例如,在根据用于允许或禁止边界框的设置的控制信息允许(未禁止)设置边界框的情况下,控制器101使边界框设置单元202设置边界框。此外,例如,根据指示要被允许或禁止经受边界框的设置的编码目标的范围的控制信息,控制器101使边界框设置单元202针对被允许(未被禁止)经受边界框的设置的编码目标来设置边界框。此外,例如,根据与要用于设置边界框的参数的允许或禁止有关的控制信息,控制器101使边界框设置单元202使用被允许(未被禁止)使用的参数来设置边界框。这样做使得可以抑制不必要边界框的设置和不必要参数的使用,并且可以抑制负荷的增加。
例如,边界框设置单元202使用由坐标系设置单元201设置的坐标系来为编码目标的每个对象设置边界框。应当注意,在设置多个边界框的情况下,边界框设置单元202可以将处理返回到坐标系设置单元201,以对每个边界框设置坐标系。换言之,坐标系设置单元201可以针对每个边界框设置坐标系。在这种情况下,边界框设置单元202使用分配给每个边界框的坐标系来设置每个边界框。
在设置边界框的情况下,边界框设置单元202将与边界框有关的信息提供给体素设置单元203。边界框设置单元202还将与所设置的边界框有关的信息提供给控制信息生成器116。
应当注意,边界框设置单元202可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与边界框的设置有关的处理。
边界框设置单元202设置例如更适合于编码目标的对象的边界框,这使得可以进一步减少量化的信号串的信息量,并且可以抑制编码效率的降低。
体素设置单元203由控制器101控制以执行与用于量化编码目标的位置信息的体素的设置有关的处理。
例如,在根据用于允许或禁止体素的设置的控制信息允许(未禁止)设置体素的情况下,控制器101使体素设置单元203设置体素。此外,例如,根据指示要被允许或禁止经受体素的设置的编码目标的范围的控制信息,控制器101使体素设置单元203针对被允许(未被禁止)经受体素的设置的编码目标来设置体素。此外,例如,根据与要用于设置体素的参数的允许或禁止有关的控制信息,控制器101使体素设置单元203使用被允许(未被禁止)使用的参数来设置体素。这样做使得可以抑制不必要体素的设置和不必要参数的使用,并且可以抑制负荷的增加。
例如,体素设置单元203在由边界框设置单元202设置的边界框中设置体素。应当注意,在存在多个边界框的情况下,体素设置单元203针对各个边界框设置体素。在设置体素的情况下,体素设置单元203将与体素有关的信息提供给信号串生成器113。体素设置单元203还将与所设置的体素有关的信息提供给控制信息生成器116。
应当注意,体素设置单元203可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与体素的设置有关的处理。
体素设置单元203例如在边界框中设置更适合于编码目标的对象的体素,这使得可以进一步减少量化的信号串的信息量,并且可以抑制编码效率的降低。
<坐标系设置单元>
图5是示出坐标系设置单元201的主要配置示例的框图。如图5所示,坐标系设置单元201包括世界坐标系设置单元211、笛卡尔坐标系设置单元212、圆柱坐标系设置单元213和球面坐标系设置单元214。
<世界坐标系设置单元>
世界坐标系设置单元211由控制器101控制,以将世界坐标系设置为要经受量化的坐标系。例如,在根据用于允许或禁止世界坐标系的设置的控制信息允许(未禁止)设置世界坐标系的情况下,控制器101使世界坐标系设置单元211设置世界坐标系。这样做使得可以抑制不必要坐标系的设置并且可以抑制负荷的增加。世界坐标系设置单元211将指示世界坐标系的识别信息与点云的数据一起提供给边界框设置单元202。
应当注意,世界坐标系设置单元211可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与世界坐标系的设置有关的处理。
<笛卡尔坐标系设置单元>
笛卡尔坐标系设置单元212由控制器101控制,以将与世界坐标系不同的预定的笛卡尔坐标系(直角坐标系)设置为要经受量化的坐标系。笛卡尔坐标系是相对于世界坐标系移位(移动)或/和倾斜(旋转)的坐标系。
例如,在图6的A中的情况下,作为圆柱形编码目标的对象221相对于设置成包括对象221的边界框222倾斜。相比之下,在图6的B中的情况下,对象221相对于设置成包括对象221的边界框225不倾斜。
因此,边界框225的高度(双向箭头226)小于边界框222的高度(双向箭头223)。此外,边界框225的宽度(双向箭头227)短于边界框222的宽度(双向箭头224)。
如上所述,根据所包括的对象的形状、姿态等设置边界框使得可以进一步减小边界框的体积。通常,将边界框设置得越小,则要被归一化的区域就越小;因此,可以使体素越小。即,可以抑制由于量化引起的误差增加,并且可以抑制编码效率的降低。此外,可以减少不包括对象(没有点)的体素的量,这使得可以进一步抑制编码效率的降低。
顺便提及,在如图6所示的矩形边界框中,在矩形边界框相对于坐标系不倾斜的情况下,更容易进行设置,这使得可以使用于设置的信息量相对较小。例如,在图6的A和图6的B中所示的矩形的四个边平行于世界坐标系的轴向方向的情况下,可以容易地在世界坐标系中设置边界框222;然而,边界框225相对于世界坐标系倾斜,这使得与边界框222的设置相比,边界框225的设置较困难。
应当注意,也可以容易地在相对于边界框225不倾斜的坐标系(具有与边界框225的每个边平行的轴的坐标系)中设置边界框225。即,在相对于世界坐标系倾斜的另一坐标系中设置边界框225,使得可以与边界框222在世界坐标系中类似地容易地设置边界框225,并且使得可以抑制信息量的增加。
笛卡尔坐标系设置单元212将与这样的世界坐标系不同的这样的笛卡尔坐标系设置为要经受量化的坐标系。更具体地,笛卡尔坐标系设置单元212设置指示笛卡尔坐标系的识别信息,并且还根据对象的形状和姿态来确定笛卡尔坐标系相对于世界坐标系的相对姿态以使笛卡尔坐标系相对于对象更适当地被定位和成角度,并且设置指示相对姿态的信息。例如,笛卡尔坐标系设置单元212通过移位量(x、y、z)和角度(滚转、俯仰和偏航)来限定相对姿态,并且将移位量和角度设置为指示相对姿态的信息。笛卡尔坐标系设置单元212将设置的信息与点云的数据一起作为要经受量化的坐标系的信息提供给边界框设置单元202。
应当注意,例如,在根据用于允许或禁止笛卡尔坐标系的设置的控制信息允许(未禁止)设置笛卡尔坐标系的情况下,控制器101使笛卡尔坐标系设置单元212设置笛卡尔坐标系。此外,根据指定要被允许或禁止使用的参数的控制信息,控制器101使笛卡尔坐标系设置单元212通过相对于世界坐标系允许(未禁止)的相对姿态(移位量和角度)来设置笛卡尔坐标系。这样做使得可以抑制不必要坐标系的设置并且可以抑制负荷的增加。
应当注意,笛卡尔坐标系设置单元212可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与笛卡尔坐标系的设置有关的处理。
<圆柱坐标系设置单元>
圆柱坐标系设置单元213由控制器101控制,以将与世界坐标系不同的预定圆柱坐标系设置为要经受量化的坐标系。圆柱坐标系是以圆柱体的高度z、半径r和旋转角θ为三个轴的三维坐标系。例如,如图7的A所示,在笛卡尔坐标系231中以圆柱形形状表示的对象232如同在如图7的B中所示的圆柱坐标系233中的对象234一样以长方体形状表示。
即,在圆柱坐标系中,比在笛卡尔坐标系的情况下更容易设置圆柱边界框。换言之,在编码目标的对象具有圆柱形状的情况下,可以更容易地设置更适合于该对象的边界框。例如,在对象是人的情况下,如图7的C所示,通常,可以设置比矩形边界框小的圆柱形边界框。此外,例如,即使在如图7的D所示的所有方向上的雷达检测结果的图像被用作对象的情况下,通常也可以设置比矩形边界框小的圆柱形边界框。
不用说,与上述笛卡尔坐标系中一样,也可以相对于世界坐标系移位(移动)或/和倾斜(旋转)圆柱坐标系。
圆柱坐标系设置单元213将与这样的世界坐标系不同的这样的圆柱坐标系设置为要经受量化的坐标系。更具体地,圆柱坐标系设置单元213设置指示圆柱坐标系的识别信息,并且还根据对象的形状和姿态来确定圆柱坐标系相对于世界坐标系的相对姿态以使圆柱坐标系相对于对象更适当地被定位和成角度,并且设置指示相对姿态的信息。例如,圆柱坐标系设置单元213通过移位量(x、y、z)和角度(滚转、俯仰和偏航)来限定相对姿态,并且将移位量和角度设置为指示相对姿态的信息。应当注意,圆柱坐标系设置单元213还设置指示世界坐标系的x坐标和y坐标与圆柱坐标系的r坐标和θ坐标之间的对应关系(坐标系的坐标轴之间的对应关系)的信息。圆柱坐标系设置单元213将设置的信息与点云的数据一起作为要经受量化的坐标系的信息提供给边界框设置单元202。
应当注意,例如,在根据用于允许或禁止圆柱坐标系的设置的控制信息允许(未禁止)设置圆柱坐标系的情况下,控制器101使圆柱坐标系设置单元213设置圆柱坐标系。此外,根据指定要被允许或禁止使用的参数的控制信息,控制器101使圆柱坐标系设置单元213通过相对于世界坐标系允许(未禁止)的相对姿态(移位量和角度)来设置圆柱坐标系。这样做使得可以抑制不必要坐标系的设置并且可以抑制负荷的增加。
应当注意,圆柱坐标系设置单元213可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与圆柱坐标系的设置有关的处理。
<球面坐标系设置单元>
球面坐标系设置单元214由控制器101控制,以将与世界坐标系不同的预定球面坐标系设置为要经受量化的坐标系。球面坐标系是以球体的半径r、旋转角θ和仰角φ为三个轴的三维坐标系。例如,如图8的A所示,在笛卡尔坐标系231中以球形形状表示的对象241如同在如图8的B所示的球面坐标系242中的对象243一样以平面形状表示。
即,在球面坐标系中,与在笛卡尔坐标系中的情况相比,更容易设置球形边界框。换言之,在编码目标的对象具有球形形状的情况下,可以更容易地设置更适合于该对象的边界框。例如,在对象是地球的情况下,如图8的C所示,通常,可以设置比矩形边界框小的球形边界框。此外,例如,即使在将如图8的D所示的雪人(包括多个球体的对象)用作对象的情况下,通常也可以设置比矩形边界框小的球形边界框。
不用说,与上述笛卡尔坐标系中一样,也可以相对于世界坐标系移位(移动)或/和倾斜(旋转)球面坐标系。
球面坐标系设置单元214将与世界坐标系不同的球面坐标系设置为要经受量化的坐标系。更具体地,球面坐标系设置单元214设置指示球面坐标系的识别信息,并且还根据对象的形状和姿态来确定球面坐标系相对于世界坐标系的相对姿态以使球面坐标系相对于对象更适当地被定位和成角度,并且设置指示相对姿态的信息。例如,球面坐标系设置单元214通过移位量(x、y、z)和角度(滚转、俯仰和偏航)来限定相对姿态,并且将移位量和角度设置为指示相对姿态的信息。应当注意,球面坐标系设置单元214还设置指示世界坐标系的x坐标、y坐标和z坐标与球面坐标系的r坐标、θ坐标和φ坐标之间的对应关系(坐标系的坐标轴之间的对应关系)的信息。球面坐标系设置单元214将所设置的信息与点云的数据一起作为要经受量化的坐标系的信息提供给边界框设置单元202。
应当注意,例如,在根据用于允许或禁止球面坐标系的设置的控制信息允许(未禁止)设置球面坐标系的情况下,控制器101使球面坐标系设置单元214设置球面坐标系。此外,根据指定要被允许或禁止使用的参数的控制信息,控制器101使球面坐标系设置单元214通过相对于世界坐标系允许(未禁止)的相对姿态(移位量和角度)来设置球面坐标系。这样做使得可以抑制不必要坐标系的设置并且可以抑制负荷的增加。
应当注意,球面坐标系设置单元214可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与球面坐标系的设置有关的处理。
<输出信息和效果的比较>
在图9的表中概述了由图5中的坐标系设置单元201设置的坐标系、要输出的信息以及效果。如上所述,坐标系设置单元201设置世界坐标系、笛卡尔坐标系、圆柱坐标系和球面坐标系作为要经受量化的坐标系。在世界坐标系的情况下,不需要坐标转换,这使得可以更容易地设置坐标系。
此外,在笛卡尔坐标系的情况下,可以根据对象的形状和姿态来设置坐标系的姿态(移位量、角度等),这使得可以更容易地设置更适合于对象的边界框。因此,可以抑制限定边界框和体素所需的信息量的增加,并且可以抑制编码效率的降低。
此外,在圆柱坐标系的情况下,可以更容易地设置更适合圆柱形对象的边界框。因此,可以抑制限定边界框和体素所需的信息量的增加,并且可以抑制编码效率的降低。此外,可以根据对象的形状和姿态来设置坐标系的姿态(移位量、角度等),这使得可以更容易地设置更适合于对象的边界框。因此,可以进一步抑制限定边界框和体素所需的信息量的增加,并且可以进一步抑制编码效率的降低。
此外,在球面坐标系的情况下,可以更容易地设置更适合于球形对象的边界框。因此,可以抑制限定边界框和体素所需的信息量的增加,并且可以抑制编码效率的降低。此外,可以根据对象的形状和姿态来设置坐标系的姿态(移位量、角度等),这使得可以更容易地设置更适合于对象的边界框。因此,可以进一步抑制限定边界框和体素所需的信息量的增加,并且可以进一步抑制编码效率的降低。
此外,如稍后将描述的,由选择器115选择这些坐标系中之一。因此,坐标系设置单元201可以设置适合于对象的形状、姿态等的坐标系。边界框设置单元202和体素设置单元203在由坐标系设置单元201设置的坐标系中设置边界框和体素。因此,可以设置适合于对象的形状、姿态等的边界框和体素,并且可以进一步抑制编码效率的降低。
应当注意,由坐标系设置单元201设置的坐标系是可选的,并且不限于上述示例。在设置除上述坐标系之外的坐标系的情况下,坐标系设置单元201可以具有执行坐标系的设置的处理单元。此外,由坐标系设置单元201设置的坐标系的数量是可选的,并且不限于上述示例。
<边界框设置单元>
图10是示出边界框设置单元202的主要配置示例的框图。如图10所示,边界框设置单元202包括内接边界框设置单元311、对准边界框设置单元312、交叠边界框设置单元313、感兴趣区域边界框设置单元314和均衡边界框设置单元315。
<内接边界框设置单元>
内接边界框设置单元311由控制器101控制,以执行与内接边界框的设置有关的处理。内接边界框是包括内接在边界框中的对象的边界框。即,例如,内接边界框设置单元311设置边界框以使对象内接在边界框内。
例如,在图11的A中,假设对象321包括点云(点集),该点云在每侧的方向上以1024个点的密度分布在立方体322中。内接边界框设置单元311设置内接边界框323,以使对象321内接在内接边界框323中,而与点云的这样的密度无关。
更具体地,内接边界框设置单元311设置指示内接边界框的识别信息,并且还设置指示内接边界框的数量的信息(指示数量为1的信息)和与内接边界框的坐标系有关的信息(要经受量化的坐标系的信息)。内接边界框设置单元311将所设置的信息与点云的数据一起作为与边界框有关的信息提供给体素设置单元203。
应当注意,例如,在根据用于允许或禁止内接边界框的设置的控制信息允许(未禁止)设置内接边界框的情况下,控制器101使内接边界框设置单元311设置内接边界框。
应当注意,内接边界框设置单元311可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与内接边界框的设置有关的处理。
<对准边界框设置单元>
对准边界框设置单元312由控制器101控制,以执行与对准边界框的设置有关的处理。对准边界框是将所包括的对象的点的分布和体素的中心设置成彼此对准(对准被执行)的边界框。即,对准边界框设置单元312设置对准边界框以使所包括的对象的每个点的分布(位置)与体素的中心位置对准。
例如,如图11的B所示,对准边界框设置单元312设置其尺寸和位置与立方体322的尺寸和位置一致的对准边界框324。更具体地,对准边界框设置单元312设置指示对准边界框的识别信息,并且还设置指示对准边界框的数量的信息(指示数量为1的信息)和与对准边界框的坐标系有关的信息(要经受量化的坐标系的信息)。对准边界框设置单元312将所设置的信息与点云的数据一起作为与边界框有关的信息提供给体素设置单元203。
应当注意,例如,在根据用于允许或禁止对准边界框的设置的控制信息允许(未禁止)设置对准边界框的情况下,控制器101使对准边界框设置单元312设置对准边界框。
应当注意,对准边界框设置单元312可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与对准边界框的设置有关的处理。
例如,内接边界框或对准边界框使得可以进一步抑制编码效率的降低,这取决于编码目标(图像)。例如,图12的A示出了在预定图像A是编码目标的情况下bpp(几何比特输入点)与峰值信噪比(PSNR(峰值信噪比))之间的关系。在图12的A中,曲线331指示在使用内接边界框的情况下bpp与PSNR之间的对应关系。曲线332指示在使用对准边界框的情况下bpp与PSNR之间的对应关系。如图12的A中所示,在这种情况下,在使用内接边界框的情况下,PSNR较高并且图像质量较高。即,在该图像的情况下,在使用内接边界框的情况下,可以进一步抑制编码效率的降低。
此外,图12的B示出了在预定图像B(图像(与图像A不同的图像))是编码目标的情况下bpp与PSNR之间的对应关系。在图12的B中,曲线333指示在使用内接曲线边界框的情况下bpp与PSNR之间的对应关系。曲线334指示在使用对准边界框的情况下bpp与PSNR之间的对应关系。如图12的B所示,在这种情况下,如果bpp在某种程度上变大,则在使用位置对准边界框的情况下,PSNR变得更高并且图像质量压倒性地变更高。即,在bpp大于预定大小(例如,在大于预定直线335的范围内)的情况下,通过使用对准边界框比通过使用内接边界框更能抑制编码效率的降低。
<交叠边界框设置单元>
此外,要设置的边界框的数量是可选的,并且例如可以是多个。交叠边界框设置单元313由控制器101控制,以执行与交叠边界框的设置有关的处理。交叠边界框是根据编码目标的对象的点的分布彼此交叠的多个边界框。即,交叠边界框设置单元313例如根据编码目标的点的分布来设置彼此交叠的多个边界框。
例如,如图13的A所示,假设点341至345作为点云的数据分布。例如,如果如图13的B所示在这些点的集合上设置单个边界框并且(线性地)设置体素,则点的位置与体素的中心位置之间的距离长,并且存在由于体素化(量化)引起的误差变大(超过可允许范围)的点,这引起编码效率降低的可能性。例如,在图13的B中,点344和345在多个体素上延伸并且远离体素的中心。
因此,如图13的C所示,交叠边界框设置单元313将这些点分组成点341、342和343的组以及点344和345的组,并且如图13的D至E所示,将各个组的点分配给彼此不同的体素(边界框)。即,如图13的D所示,针对点341至343的组设置边界框347,并且如图13的E所示,针对点344和345的组设置边界框348。即,如图13的F所示,设置彼此交叠(放置在彼此的顶部上)的多个边界框(边界框347和边界框348)。这样做使得可以抑制由于体素化(量化)引起的误差增加,并且可以抑制编码效率的降低。
更具体地,交叠边界框设置单元313设置指示交叠边界框的识别信息,并且还设置指示边界框的数量的信息以及与每个边界框的坐标系有关的信息(要经受量化的坐标系的信息)。交叠边界框设置单元313将所设置的信息与点云的数据一起作为与边界框有关的信息提供给体素设置单元203。
应当注意,例如,在根据用于允许或禁止交叠边界框的设置的控制信息允许(未禁止)设置交叠边界框的情况下,控制器101使交叠边界框设置单元313设置交叠边界框。
应当注意,交叠边界框设置单元313可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与交叠边界框的设置有关的处理。
<感兴趣区域边界框设置单元>
此外,可以根据对象的形状设置多个边界框。替选地,可以针对感兴趣区域和另一区域分别设置边界框。此外,对于所有边界框,编码方法可能不相同。例如,可以针对每个边界框独立地设置编码方法。此外,例如,针对感兴趣区域中的边界框的编码方法和针对另一区域中的边界框的编码方法可以彼此不同。例如,该编码方法可以是图像质量、解码顺序或图像质量和解码顺序两者的设置,或者可以是除这些设置之外的设置。图像质量的设置例如可以是体素的层级的深度限制(LoD(细节级别))的设置或颜色压缩的质量(Q)的设置。
感兴趣区域边界框设置单元314由控制器101控制,以执行与感兴趣区域边界框的设置有关的处理。感兴趣区域边界框是根据编码目标的对象的感兴趣区域的设置而设置的边界框。感兴趣区域边界框设置单元314例如设置包括编码目标的对象的感兴趣区域的边界框和包括除对象的感兴趣区域以外的部分的一个或多个边界框(即,设置多个边界框)。
例如,假设如图14的A所示,将面部部分和头发部分设置为人形对象350中的感兴趣区域。基于这样的设置,感兴趣区域边界框设置单元314设置包括面部部分的边界框351和包括头发部分的边界框352。感兴趣区域边界框设置单元314还设置包括对象350的另一部分的边界框353。
感兴趣区域边界框设置单元314针对每个边界框设置图像质量。例如,在图14的情况下,对于不是感兴趣区域的边界框353,将体素的层级的数量限制设置为4(LoD=4),并且将颜色压缩的质量设置为85(Q=85)。此外,对于作为需要增强面部纹理的感兴趣区域的边界框351,将颜色压缩的质量设置为95(Q=95)。此外,对于作为需要头发的精细表达的感兴趣区域的边界框352,将体素的层级的数量限制设置为5(LoD=5)。
例如,这样做使得可以实现更高效的编码,例如,提高重要区域的图像质量并且降低不太重要区域的图像质量,并且使得可以提高解码图像的主观图像质量。
此外,如图14的B所示,感兴趣区域边界框设置单元314可以针对每个边界框设置解码顺序。在图14的B中的示例中,边界框351被设置为首先被解码(优先级=高),然后边界框353被设置为被解码(优先级=中),最后边界框352被设置为被解码(优先级=低)。
即,优先从具有较高优先级的边界框执行解码。这样做使得即使在解码器的计算资源差的情况下也可以设法对重要区域(感兴趣区域)执行处理。
此外,例如,假设将通过车载摄像装置对周围环境进行成像而捕获的图像设置为编码目标,则在未设置多个边界框的情况下,如图15的A所示,针对从作为执行成像的中心的车辆360起的所有方向设置一个边界框361,并且以相等的图像质量对所有图像进行编码。然而,在这样的图像中,通常,在车辆360的横向侧的图像的重要性较低,并且在正向侧的图像的重要性最高。因此,如图15的B所示,可以针对每个方向划分边界框。例如,可以分别针对车辆360的前方、车辆360的后方、车辆360的左侧和车辆360的右侧设置边界框362、边界框363、边界框364和边界框365,以彼此独立地设置图像质量(例如,LoD)。
这样做使得可以实现更高效的编码,例如,提高重要方向上的图像质量并且降低不太重要方向上的图像质量,并且使得可以提高解码图像的主观图像质量。
更具体地,感兴趣区域边界框设置单元314设置指示感兴趣区域边界框的识别信息,并且还设置指示边界框的数量的信息、与每个边界框的坐标系有关的信息(与要经受量化的坐标系有关的信息)和与每个边界框的设置有关的信息(指定图像质量、解码顺序等的信息)。感兴趣区域边界框设置单元314将所设置的信息与点云的数据一起作为与边界框有关的信息提供给体素设置单元203。
应当注意,例如,在根据用于允许或禁止感兴趣区域边界框的设置的控制信息允许(未禁止)设置感兴趣区域边界框的情况下,控制器101使感兴趣区域边界框设置单元314设置感兴趣区域边界框。
感兴趣区域边界框设置单元314可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与感兴趣区域边界框的设置有关的处理。
<均衡边界框设置单元>
此外,可以设置多个边界框以均衡体素的数量。例如,可以通过限制每个边界框中的体素的深度限制来均衡体素的数量。
这样做使得可以均衡每个边界框的解码处理的负荷。例如,在将每个边界框的解码处理作为并行处理执行的情况下,可以抑制每个处理的负荷的偏差。
均衡边界框设置单元315由控制器101控制,以执行与均衡边界框的设置有关的处理。均衡边界框是用于编码目标的对象的多个边界框,其被设置成均衡各个边界框中的体素的数量。即,例如,均衡边界框设置单元315针对编码目标的对象设置多个边界框,以均衡各个边界框中的体素的数量。
更具体地,均衡边界框设置单元315设置指示均衡边界框的识别信息,并且还设置指示边界框的数量的信息、与每个边界框的坐标系有关的信息(与要经受量化的坐标系有关的信息)和与每个边界框的体素数量的均衡化设置有关的信息(例如,指定每个边界框中的体素的深度限制(LoD)的信息)。均衡边界框设置单元315将所设置的信息与点云的数据一起作为与边界框有关的信息提供给体素设置单元203。
应当注意,例如,在根据用于允许或禁止均衡边界框的设置的控制信息允许(未禁止)设置均衡边界框的情况下,控制器101使均衡边界框设置单元315设置均衡边界框。
均衡边界框设置单元315可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与均衡边界框的设置有关的处理。
<输出信息和效果的比较>
在图16的表中概述了由图10中的边界框设置单元202设置的边界框、要输出的信息以及效果。如上所述,边界框设置单元202将内接边界框、对准边界框、交叠边界框、感兴趣区域边界框和均衡边界框设置为边界框。
具体地,在具有均匀密度的点集(点之间具有均匀间隔的点集)(也称为体素化序列)被编码并且通过体素化的量化相对粗糙(体素尺寸相对较大)的情况下应用内接边界框,这使得可以进一步减少编码效率的降低。此外,即使在具有非均匀密度的点集(点之间具有非均匀间隔的点集)(也称为非体素化序列)被编码的情况下,也应用内接边界框,这使得可以进一步抑制编码效率的降低。
具体地,在体素化的序列被编码并且通过体素化的量化相对精细(体素尺寸相对较小)的情况下应用边界框,这使得可以进一步抑制编码效率的降低。
具体地,在点集的密度(点之间的间隔)彼此不同的体素化序列被混合的情况下应用交叠边界框,这使得可以进一步抑制编码效率的降低。
应用感兴趣区域边界框使得可以使感兴趣区域与另一区域之间的质量不同。也可以使每个边界框的优先级不同。因此,例如,即使在解码器的计算资源较差(性能不足以满足请求)的情况下,也可以确保对必要区域的处理。
应用均衡边界框使得可以抑制并行化处理的负荷的变化。
应当注意,由边界框设置单元202设置的边界框是可选的,并且不限于上述示例。在设置除上述边界框之外的边界框的情况下,边界框设置单元202可以具有执行边界框的设置的处理单元。此外,由边界框设置单元202设置的边界框的数量是可选的,并且不限于上述示例。
<体素设置单元>
图17是示出体素设置单元203的主要配置示例的框图。如图17所示,体素设置单元203包括线性体素设置单元411、非线性体素设置单元412和偏移体素设置单元413。
<线性体素设置单元>
线性体素设置单元411由控制器101控制,以执行与线性体素的设置有关的处理。线性体素是在形成用于量化编码目标的位置信息的体素时不断均等地划分要被处理的区域(边界框或体素)的方法。将点集的每个点分配给体素使每个点的三维位置信息被量化。因此,通过线性体素对三维位置信息的量化也被称为线性量化。换言之,线性体素是设置体素以线性地量化编码目标的位置信息的方法。
例如,图18的A是示出以二维表示的体素的示意图。在图18的A中,将体素431、体素432和体素433分别分配给点421、点422和点423。
每个点的位置信息被量化成每个体素的中心。例如,在图18的A的情况下,将点421的位置量化成体素431的中心点431A。即,点421与中心点431A之间的距离是由于该量化而引起的误差。此外,将点422的位置也量化成体素432的中心点432A。即,点422与中心点432A之间的距离是由于该量化而引起的误差。此外,将点423的位置也量化成体素433的中心点433A。即,点423与中心点433A之间的距离是由于该量化而引起的误差。
此时,如果体素尺寸相对较大(不足够小),则由于体素的量化而引起的误差也相对较大。为了进一步减小由于该量化而引起的误差,如果体素如图18的B所示的那样被进一步划分就足够了。在图18的B中的示例中,将点421量化成体素441的中心点441A。因此,由于该量化而引起的误差小于图18的A的情况下由于量化而引起的误差。此外,点422也被量化成体素442的中心点442A。因此,由于该量化而引起的误差小于图18的A的情况下由于量化而引起的误差。此外,点423被量化成体素443的中心点443A。因此,由于该量化而引起的误差小于图18的A的情况下由于量化而引起的误差。
即,在线性体素的情况下,增加体素的层级数量使得可以提高量化的准确性。换言之,在线性体素的情况下,可以设置体素的层级数量,以获得足够的准确性。然而,如果增加体素的层级数量,则也增加体素的数量,这可能引起信息量的增加。因此,可能使编码效率降低,或者可能增加处理时间。
更具体地,线性体素设置单元411设置指示线性体素的识别信息。线性体素设置单元411将所设置的信息与诸如从边界框设置单元202提供的点云的数据的信息一起作为与线性体素有关的信息提供给信号串生成器113。
应当注意,例如,在根据用于允许或禁止线性体素的设置的控制信息允许(未禁止)设置线性体素的情况下,控制器101使线性体素设置单元411设置线性体素。
应当注意,线性体素设置单元411可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序或数据加载到RAM中并且执行程序或数据,从而执行与线性体素的设置有关的处理。
<非线性体素设置单元>
非线性体素设置单元412由控制器101控制,以执行与非线性体素的设置有关的处理。非线性体素是在形成用于量化编码目标的位置信息的体素时不均等地划分要处理的区域(边界框或体素)的方法。将点集的每个点分配给体素使每个点的三维位置信息被量化。因此,通过非线性体素对三维位置信息的量化也被称为非线性量化。换言之,非线性体素是设置体素以非线性地量化编码目标的位置信息的方法。
例如,图19是示出以二维表示的体素的示意图。如图19所示,在这种情况下,可以不均等地划分要处理的区域,这使得即使在相同的层级中也可以形成具有与体素451不同的尺寸或形状的框。即,非线性体素使得可以在不增加层级数量的情况下增加小体素。这使得可以提高更重要区域的量化准确性。
即,在非线性体素的情况下,可以在不增加体素的层级数量的情况下提高量化的准确性。即,可以在抑制编码效率的降低和处理时间的增加的同时提高量化的准确性。
更具体地,非线性体素设置单元412设置指示非线性体素的识别信息,并且还设置所设置的体素的映射信息。非线性体素设置单元412将所设置的信息与诸如从边界框设置单元202提供的点云的数据的信息一起作为与非线性体素有关的信息提供给信号串生成器113。
应当注意,例如,在根据用于允许或禁止非线性体素的设置的控制信息允许(未禁止)设置非线性体素的情况下,控制器101使非线性体素设置单元412设置非线性体素。
应当注意,非线性体素设置单元412可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与非线性体素的设置有关的处理。
应当注意,例如,非线性体素设置单元412可以在体素的层级中设置体素,以朝向边界框的内侧形成较小体素,并且朝向边界框的外侧形成较大体素。此外,例如,非线性体素设置单元412可以在体素的层级中设置体素,以在感兴趣区域中形成小体素,并且在除感兴趣区域以外的区域中形成大体素。不用说,可以通过除这些方法以外的任何方法来设置体素。
<偏移体素设置单元>
偏移体素设置单元413由控制器101控制,以执行与偏移体素的设置有关的处理。偏移体素是使得可以通过将偏移分配给分配有偏移的体素的位置来减少由于对体素的量化而引起的误差的方法。
该偏移不仅对应于分配有偏移的体素,而且还对应于属于该体素的较低层级中的体素。例如,如图20的A所示,在将偏移471分配给一个层级中的体素460的情况下,偏移471也被应用于属于体素460的体素461至464。
因此,如图20的B所示,体素461的中心移动了偏移471。这使得可以减小通过体素461对点481的位置信息进行的量化的误差。类似地,如图20的B所示,体素462的中心移动了偏移471。这使得可以减小通过体素462对点482的位置信息进行的量化的误差。类似地,如图20的B所示,体素463的中心移动了偏移471。这使得可以减小通过体素463对点483的位置信息进行的量化的误差。
应当注意,该偏移包括与一些体素对应的局部偏移(局部点偏移)和作为与所有体素对应的偏移的全局偏移(全局点偏移),局部偏移不对应于所有体素。即,如图20的C所示,将全局偏移分配给最高层级中的体素。相比之下,如图20的C所示,将局部偏移分配给除最高层级以外的层级。在存在全局偏移和局部偏移两者的情况下,如图20的C所示,将局部偏移分配给分配有局部偏移的体素以及属于该体素的较低层级中的体素。此外,将全局偏移分配给不与局部偏移对应的其他体素。
应当注意,可以将局部偏移分配给除最高层级以外的任何层级。可以将局部偏移分配给多个层级。
更具体地,偏移体素设置单元413设置指示偏移体素的识别信息,并且还设置偏移体素的矢量。偏移体素设置单元413将所设置的信息与诸如从边界框设置单元202提供的点云的数据的信息一起作为与偏移体素有关的信息提供给信号串生成器113。
应当注意,例如,在根据用于允许或禁止偏移体素的设置的控制信息允许(未禁止)设置偏移体素的情况下,控制器101使偏移体素设置单元413设置非线性体素。
应当注意,偏移体素设置单元413可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与偏移体素的设置有关的处理。
<输出信息和效果的比较>
在图21的表中概述了由图17中的体素设置单元203设置的体素、要输出的信息以及效果。如上所述,体素设置单元203将线性体素、非线性体素和偏移体素设置为体素。
与应用线性体素的情况相比,应用非线性体素使得可以提高相同层级限制(LoD)下的几何准确性(几何)。此外,例如,在期望的准确性根据位置而不同的情况下应用非线性体素使得可以进一步抑制编码效率的降低。
此外,与应用偏移体素的情况相比,应用偏移体素使得可以提高相同层级限制(LoD)中的几何准确性(几何)。此外,例如,在点从体素的中心局部偏离的情况下,应用非线性体素使得可以进一步抑制编码效率的降低。
<选择器>
图22是示出图2中的选择器115的主要配置示例的框图。如图22所示,选择器115包括成本计算单元511和成本比较单元512。
<成本计算单元>
成本计算单元511由控制器101控制,以执行与成本计算有关的处理。成本计算的方法是可选的。例如,成本计算单元511计算从编码器114提供的编码数据的RD成本。成本计算单元511计算与三维位置的所有量化方法对应的编码数据的这样的成本。成本计算单元511针对每种量化方法计算编码数据的成本。成本计算单元511将与计算的成本有关的信息提供给成本比较单元512。
应当注意,例如,在根据用于允许或禁止成本计算的控制信息允许(未禁止)成本计算的情况下,控制器101使成本计算单元511计算编码数据的成本。
应当注意,成本计算单元511可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序或数据加载到RAM中并且执行程序或数据,从而执行与成本计算有关的处理。
<成本比较单元>
成本比较单元512由控制器101控制,以执行与成本比较有关的处理。成本比较的方法是可选的。例如,成本比较单元512将各个量化方法的编码数据成本进行比较,以选择最佳量化方法。成本比较单元512将与被选择为最佳量化方法的量化方法对应的编码数据作为与选择的最佳量化方法对应的编码结果提供给关联单元117。此外,成本比较单元512将指示比较的结果(已选择量化方法)的信息提供给控制信息生成器116。
应当注意,例如,在根据用于允许或禁止成本比较的控制信息允许(未禁止)成本比较的情况下,控制器101使成本比较单元512将各个量化方法的成本进行比较。
应当注意,成本比较单元512可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行成本比较的处理。
如上所述,选择器115选择位置信息的量化方法,这使得编码设备100可以通过更适当的方法执行位置信息的量化。因此,编码设备100可以抑制信号串的信息量的增加,并且可以抑制编码效率的降低。
<控制信息生成器>
图23是示出图2所示的控制信息生成器116的主要配置示例的框图。如图23所示,控制信息生成器116包括位置量化控制信息生成器611、坐标系设置控制信息生成器612、边界框设置控制信息生成器613和体素设置控制信息生成器614。
<位置量化控制信息生成器>
位置量化控制信息生成器611由控制器101控制,以基于从位置量化器112提供的信息和选择器115的选择结果来生成选择的量化方法的位置量化控制信息。
位置量化控制信息是与位置信息的量化有关的控制信息。具体地,该位置量化控制信息可以是任何信息,只要该信息与位置信息的量化有关即可。例如,位置量化控制信息可以包括与允许或禁止编码目标的三维位置的量化有关的信息。与允许或禁止编码目标的三维位置的量化有关的该信息可以是任何信息。例如,该信息可以包括用于允许编码目标的三维位置的量化的标记信息,或者可以包括用于禁止编码目标的三维位置的量化的标记信息。
此外,例如,位置量化控制信息可以包括与要被允许或禁止经受编码目标的三维位置的量化的编码目标的范围有关的信息。与要被允许或禁止经受编码目标的三维位置的量化的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用边界框、体素等指示要被允许经受编码目标的三维位置的量化的编码目标的范围的信息,或者可以包括使用边界框、体素等指示将被禁止经受编码目标的三维位置的量化的编码目标的范围的信息。
此外,例如,位置量化控制信息可以包括与允许或禁止要用于量化编码目标的三维位置的参数有关的信息。与允许或禁止要用于量化编码目标的三维位置的参数有关的该信息可以是任何信息。例如,该信息可以包括指示每个处理的可执行方法的信息,或者可以包括指示每个处理的不可执行方法的信息。
将与允许和禁止有关的这些信息传输至解码侧(解码器)使得解码侧(解码器)基于所述信息不仅可以省略不必要的处理,而且还可以省略对不必要控制信息的分析。
此外,例如,位置量化控制信息可以包括与执行或跳过编码目标的三维位置的量化有关的信息。与执行或跳过编码目标的三维位置的量化有关的该信息可以是任何信息。例如,该信息可以包括指示是否已执行编码目标的三维位置的量化的标记信息,或者可以包括指示是否已跳过(省略)编码目标的三维位置的量化的标记信息。
此外,例如,位置量化控制信息可以包括与要经受编码目标的三维位置的量化的执行或跳过的编码目标的范围有关的信息。与要经受编码目标的三维位置的量化的执行或跳过的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用边界框、体素等指示已经经受编码目标的三维位置的量化的执行的编码目标的范围的信息,或者可以包括使用边界框、体素等指示已经经受编码目标的三维位置的量化的跳过的编码目标的范围的信息。
此外,例如,位置量化控制信息可以包括与要用于量化编码目标的三维位置的参数有关的信息。与要用于量化编码目标的三维位置的参数有关的该信息可以是任何信息。例如,该信息可以包括指示用于量化编码目标的三维位置的参数的信息,或者可以包括指示未用于量化编码目标的三维位置的参数的信息。
将与执行或跳过有关的信息以及与参数有关的信息传输至解码侧(解码器)使得解码侧(解码器)可以基于该信息执行适当的处理并且跳过不必要的处理。因此,解码侧(解码器)可以适当地恢复点云的数据。
位置量化控制信息生成器611将所生成的位置量化控制信息提供给坐标系设置控制信息生成器612。
应当注意,例如,在根据用于允许或禁止位置量化控制信息的生成的控制信息允许(未禁止)生成位置量化控制信息的情况下,控制器101使位置量化控制信息生成器611生成位置量化控制信息。这样做使得可以抑制不必要控制信息的生成并且抑制负荷的增加。
应当注意,位置量化控制信息生成器611可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与位置量化控制信息的生成有关的处理。
<坐标系设置控制信息生成器>
由控制器101控制坐标系设置控制信息生成器612,以基于从位置量化控制信息生成器611提供的信息和选择器115的选择结果来生成所选择的量化方法的坐标系设置控制信息。
坐标系设置控制信息是与坐标系的设置有关的控制信息。具体地,该坐标系设置控制信息可以是任何信息,只要该信息与坐标系有关即可。例如,坐标系设置控制信息可以包括与允许或禁止坐标系的设置有关的信息。与允许或禁止坐标系的设置有关的该信息可以是任何信息。例如,该信息可以包括用于允许坐标系的设置的标记信息,或者可以包括用于禁止坐标系的设置的标记信息。
此外,例如,坐标系设置控制信息可以包括与要被允许或禁止经受坐标系的设置的编码目标的范围有关的信息。与要被允许或禁止经受坐标系的设置的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用边界框、体素等指示要被允许经受坐标系的设置的编码目标的范围的信息,或者可以包括使用边界框、体素等指示要被禁止经受坐标系的设置的编码目标的范围的信息。
此外,例如,坐标系设置控制信息可以包括与要用于设置坐标系的参数的允许或禁止有关的信息。与要用于设置坐标系的参数的允许或禁止有关的该信息可以是任何信息。例如,该信息可以包括指示被允许使用的参数的信息,或者可以包括指示被禁止使用的参数的信息。
将与允许和禁止有关的信息传输至解码侧(解码器)使得解码侧(解码器)基于该信息不仅可以省略不必要的处理,而且还可以省略对不必要控制信息的分析。
此外,坐标系设置控制信息可以包括与执行或跳过坐标系的设置有关的信息。与执行或跳过坐标系的设置有关的该信息可以是任何信息。例如,该信息可以包括指示是否已经执行坐标系的设置的标记信息,或者可以包括指示是否已经跳过(省略)坐标系的设置的标记信息。
此外,例如,坐标系设置控制信息可以包括与要经受坐标系的设置的执行或跳过的编码目标的范围有关的信息。与要经受坐标系的设置的执行或跳过的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用边界框、体素等指示已经经受坐标系的设置的执行的编码目标的范围的信息,或者可以包括使用边界框、体素等指示已经经受坐标系的设置的跳过的编码目标的范围的信息。
此外,例如,坐标系设置控制信息可以包括与要用于设置坐标系的参数有关的信息。与该参数有关的该信息可以是任何信息。例如,该信息可以包括指示用于设置坐标系的参数的信息,或者可以包括指示未用于设置坐标系的参数的信息。
此外,例如,与参数有关的该信息可以包括指示在选择的量化方法中采用的坐标系的类型的识别信息。此外,识别信息可以是直角坐标系、圆柱坐标系或球面坐标系的识别信息。
此外,与参数有关的信息可以包括指示在选择的量化方法中采用的坐标系相对于世界坐标系的相对姿态的信息。指示相对姿态的信息可以包括在选择的量化方法中采用的坐标系相对于世界坐标系的移位量。此外,指示相对姿态的信息可以包括在选择的量化方法中采用的坐标系与世界坐标系之间的角度。
此外,在选择的量化方法中采用的坐标系是除直角坐标系以外的坐标系的情况下,与参数有关的信息可以包括指示该坐标系的坐标轴与直角坐标系的坐标轴之间的对应关系的信息。
将与执行和跳过有关的信息以及与参数有关的信息传输至解码侧(解码器)使得解码侧(解码器)可以基于这些信息执行适当的处理并且跳过不必要的处理。因此,解码侧(解码器)可以适当地恢复点云的数据。
坐标系设置控制信息生成器612将生成的坐标系设置控制信息提供给边界框设置控制信息生成器613。
应当注意,例如,在根据用于允许或禁止坐标系设置控制信息的生成的控制信息允许(未禁止)生成坐标系设置控制信息的情况下,控制器101使坐标系设置控制信息生成器612生成坐标系设置控制信息。这样做使得可以抑制不必要控制信息的生成并且抑制负荷的增加。
应当注意,坐标系设置控制信息生成器612可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与坐标系控制信息的生成有关的处理。
<边界框设置控制信息生成器>
边界框设置控制信息生成器613由控制器101控制,以基于从坐标系设置控制信息生成器612提供的信息和选择器115的选择结果来生成所选择的量化方法的边界框设置控制信息。
边界框设置控制信息是与边界框的设置有关的控制信息。该边界框设置控制信息可以是任何信息,只要该信息与边界框有关即可。例如,边界框设置控制信息可以包括与允许或禁止边界框的设置有关的信息。与允许或禁止边界框的设置有关的该信息可以是任何信息。例如,该信息可以包括用于允许边界框的设置的标记信息,或者可以包括用于禁止边界框的设置的标记信息。
此外,例如,边界框设置控制信息可以包括与要被允许或禁止经受边界框的设置的编码目标的范围有关的信息。与要被允许或禁止经受边界框的设置的编码目标的范围有关的该信息可以是任何信息。例如,所述信息可以包括使用体素等指示要被允许经受边界框的设置的编码目标的范围的信息,或者可以包括使用体素等指示被禁止经受边界框的设置的编码目标的范围的信息。
此外,例如,边界框设置控制信息可以包括与边界框设置方法的允许或禁止有关的信息。与边界框设置方法的允许或禁止有关的该信息可以是任何信息。例如,该信息可以包括指示被允许使用的边界框设置方法的信息,或者可以包括指示被禁止使用的边界框设置方法的信息。
此外,例如,边界框设置控制信息可以包括与要用于设置边界框的参数的允许或禁止有关的信息。与要用于设置坐标系的参数的允许或禁止有关的该信息可以是任何信息。例如,该信息可以包括指示被允许使用的参数的信息,或者可以包括指示被禁止使用的参数的信息。
将与允许和禁止有关的信息传输至解码侧(解码器)使得解码侧(解码器)基于所述信息不仅可以省略不必要的处理,而且还可以省略对不必要控制信息的分析。
此外,例如,边界框设置控制信息可以包括与执行或跳过边界框的设置有关的信息。与执行或跳过边界框的设置有关的该信息可以是任何信息。例如,该信息可以包括指示边界框的设置是否已被执行的标记信息,或者可以包括指示边界框的设置是否已被跳过(省略)的标记信息。
此外,例如,边界框设置控制信息可以包括与要经受边界框的设置的执行或跳过的编码目标的范围有关的信息。与要经受边界框的设置的执行或跳过的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用体素等指示已经经受边界框的设置的执行的编码目标的范围的信息,或者可以包括使用体素等指示已经经受边界框的设置的跳过的编码目标的范围的信息。
此外,例如,边界框设置控制信息可以包括与要用于设置边界框的参数有关的信息。与参数有关的该信息可以是任何信息。例如,该信息可以包括指示用于设置边界框的参数的信息,或者可以包括指示未用于设置边界框的参数的信息。
此外,与参数有关的该信息可以包括指示边界框设置方法的识别信息。此外,识别信息可以是以下方法的识别信息:设置内接边界框的方法;设置对准边界框的方法;设置交叠边界框的方法;设置感兴趣区域边界框并且针对每个边界框设置图像质量的方法;设置感兴趣区域边界框并且针对每个边界框设置解码顺序的方法;或设置多个边界框以均衡体素的数量的方法。
此外,与参数有关的该信息可以包括指示设置的边界框的数量的信息。此外,与参数有关的该信息可以包括指示与每个边界框对应的坐标系的信息。此外,与参数有关的该信息可以包括与每个边界框的图像质量有关的信息。此外,与图像质量有关的信息可以包括与体素的层级的深度限制有关的信息,或者可以包括与颜色压缩的质量有关的信息。
此外,与参数有关的该信息可以包括与每个边界框的解码顺序有关的信息。
将与执行和跳过有关的信息以及与参数有关的信息传输至解码侧(解码器)使得解码侧(解码器)可以基于这些信息执行适当的处理并且跳过不必要的处理。因此,解码侧(解码器)可以适当地恢复点云的数据。
边界框设置控制信息生成器613将生成的边界框设置控制信息提供给体素设置控制信息生成器614。
应当注意,例如,在根据用于允许或禁止边界框设置控制信息的生成的控制信息允许(未禁止)生成边界框设置控制信息的情况下,控制器101使边界框设置控制信息生成器613生成边界框设置控制信息。这样做使得可以抑制不必要控制信息的生成并且抑制负荷的增加。
应当注意,边界框设置控制信息生成器613可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与边界框控制信息的生成有关的处理。
<体素设置控制信息生成器>
体素设置控制信息生成器614由控制器101控制,以基于从边界框设置控制信息生成器613提供的信息和选择器115的选择结果来生成所选择的量化方法的体素设置控制信息。
体素设置控制信息是与体素的设置有关的控制信息。该体素设置控制信息可以是任何信息,只要该信息与体素有关即可。例如,体素设置控制信息可以包括与允许或禁止体素的设置有关的信息。与允许或禁止体素的设置有关的该信息可以是任何信息。例如,该信息可以包括用于允许体素的设置的标记信息,或者可以包括用于禁止体素的设置的标记信息。
此外,例如,体素设置控制信息可以包括与要被允许或禁止经受体素的设置的编码目标的范围有关的信息。与要被允许或禁止经受体素的设置的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括利用点云的数据等指示要被允许经受体素的设置的编码目标的范围的信息,或者可以包括利用点云的数据等指示要被禁止经受体素的设置的编码目标的范围的信息。
此外,例如,体素设置控制信息可以包括与体素设置方法的允许或禁止有关的信息。与体素设置方法的允许或禁止有关的该信息可以是任何信息。例如,该信息可以包括指示被允许使用的体素设置方法的信息,或者可以包括指示被禁止使用的体素设置方法的信息。
此外,例如,体素设置控制信息可以包括与要用于设置体素的参数的允许或禁止有关的信息。与要用于设置坐标系的参数的允许或禁止有关的该信息可以是任何信息。例如,该信息可以包括指示被允许使用的参数的信息,或者可以包括指示被禁止使用的参数的信息。
将与允许和禁止有关的信息传输至解码侧(解码器)使得解码侧(解码器)基于所述信息不仅可以省略不必要的处理,而且还可以省略对不必要控制信息的分析。
此外,例如,体素设置控制信息可以包括与执行或跳过体素的设置有关的信息。与执行或跳过体素的设置有关的该信息可以是任何信息。例如,该信息可以包括指示体素的设置是否已被执行的标记信息,或者可以包括指示体素的设置是否已被跳过(省略)的标记信息。
此外,例如,体素设置控制信息可以包括与要经受体素的设置的执行或跳过的编码目标的范围有关的信息。与要经受体素的设置的执行或跳过的编码目标的范围有关的该信息可以是任何信息。例如,该信息可以包括使用点云的数据等指示已经经受体素的设置的执行的编码目标的范围的信息,或者可以包括使用点云的数据等指示已经经受体素的设置的跳过的编码目标的范围的信息。
此外,例如,体素设置控制信息可以包括与要用于设置体素的参数有关的信息。与参数有关的该信息可以是任何信息。例如,该信息可以包括指示用于设置体素的参数的信息,或者可以包括指示未用于设置体素的参数的信息。
此外,与参数有关的该信息可以包括用于识别是执行线性量化还是执行非线性量化的识别信息。此外,与参数有关的该信息可以包括与非线性量化的情况下的体素的布置有关的信息。此外,与体素的布置有关的该信息可以包括指示是否从体素布置图案的多个候选中已选择体素布置图案的索引信息。此外,与体素的布置有关的该信息可以包括指示体素的布置的映射信息。
此外,与参数有关的该信息可以包括与体素的位置的偏移有关的信息。例如,该偏移可以是与所有体素对应的全局偏移,局部偏移不对应于所有体素。此外,例如,该偏移可以是仅与分配有偏移的体素以及属于该体素的较低层级中的体素对应的局部偏移。
将与执行和跳过有关的信息以及与参数有关的信息传输至解码侧(解码器)使得解码侧(解码器)可以基于这些信息执行适当的处理并且跳过不必要的处理。因此,解码侧(解码器)可以适当地恢复点云的数据。
体素设置控制信息生成器614将生成的体素设置控制信息提供给关联单元117。
应当注意,例如,在根据用于允许或禁止体素设置控制信息的生成的控制信息允许(未禁止)生成体素设置控制信息的情况下,控制器101使体素设置控制信息生成器614生成体素设置控制信息。这样做使得可以抑制不必要控制信息的生成并且抑制负荷的增加。
应当注意,体素设置控制信息生成器614可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与体素控制信息的生成有关的处理。
控制信息生成器116如上所述生成控制信息并且将控制信息提供给解码侧(解码器),这使得解码侧(解码器)可以更容易且更适当地解码(恢复)通过应用本技术编码的编码数据。因此,可以抑制编码效率的降低。
<编码处理的流程>
参照图24中的流程图描述由具有上述配置的编码设备100执行的编码处理的流程的示例。
当编码处理开始时,预处理单元111在步骤S101中对输入的数据执行预处理。
在步骤S102中,控制器101获得感兴趣区域设置。感兴趣区域设置是与针对作为编码目标的点云的数据设置的感兴趣区域有关的信息。例如,该信息包括指示所设置的感兴趣区域的位置和范围的信息等。
该感兴趣区域设置的源是可选的。例如,感兴趣区域设置可以由用户等通过未示出的输入单元等来输入。在这种情况下,控制器101获得输入的感兴趣区域设置。此外,例如,感兴趣区域设置可以预先存储在未示出的存储单元中。在这种情况下,控制器101从存储单元读取并且获得感兴趣区域设置。此外,例如,可以通过未示出的通信单元从另一设备提供感兴趣区域设置。在这种情况下,控制器101控制通信单元与另一设备进行通信,并且接收和获得感兴趣区域设置。
在步骤S103中,控制器101获得速度要求。速度要求是指示解码处理(恢复处理)所需的处理速度等的信息。为了顺畅地执行解码处理,必须遵守该速度要求。与感兴趣区域设置一样,该速度要求的源是可选的。
控制器101控制各种处理单元,并且使处理单元通过适当地使用诸如感兴趣区域设置和速度要求的信息来执行编码。
在步骤S104中,位置量化器112对编码目标的位置信息进行量化。
在步骤S105中,信号串生成器113基于数据结构来生成信号串。
在步骤S106中,编码器114对通过步骤S105中的处理生成的信号串进行编码。
在步骤S107中,选择器115选择位置量化方法。
在步骤S108中,控制信息生成器116生成控制信息。
在步骤S109中,关联单元117将与通过步骤S107中的处理选择的位置量化方法对应的比特流(编码数据)与通过步骤S108中的处理生成的控制信息相关联。
在步骤S110中,关联单元117输出彼此关联的编码数据和控制信息。
当步骤S110中的处理结束时,编码处理结束。例如,在编码目标是运动图像的情况下,针对每个帧执行该系列处理。
<位置量化处理的流程>
参照图25中的流程图描述在图24的步骤S104中执行的位置量化处理的流程的示例。
当位置量化处理开始时,坐标系设置单元201在步骤S121中设置坐标系。
在步骤S122中,边界框设置单元202使用在步骤S121中设置的坐标系来设置边界框。
在步骤S123中,体素设置单元203在步骤S122中设置的边界框中设置体素。
当步骤S123中的处理结束时,位置量化处理结束,并且处理返回到图24。
<坐标系设置处理的流程>
参照图26中的流程图描述在图25的步骤S121中执行的坐标系设置处理的流程的示例。
当坐标系设置处理开始时,世界坐标系设置单元211在步骤S131中将世界坐标系设置为针对编码目标的对象的坐标系。
在步骤S132中,笛卡尔坐标系设置单元212设置笛卡尔坐标系作为针对编码目标的对象的坐标系,并且设置相当于世界坐标系的移位量和角度。
在步骤S133中,圆柱坐标系设置单元213将圆柱坐标系设置为针对编码目标的对象的坐标系,并且设置相当于世界坐标系的移位量和角度以及与笛卡尔坐标系(世界坐标系)的轴对应关系。
在步骤S134中,球面坐标系设置单元214将球面坐标系设置为针对编码目标的对象的坐标系,并且设置相当于世界坐标系的移位量和角度以及与笛卡尔坐标系(世界坐标系)的轴对应关系。
当步骤S134中的处理结束时,坐标系设置处理结束,并且处理返回到图25。
<边界框设置处理的流程>
参照图27中的流程图描述在图25的步骤S122中执行的边界框设置处理的流程的示例。
当边界框设置处理开始时,在步骤S141中,内接边界框设置单元311设置内接有编码目标的对象的边界框。
在步骤S142中,对准边界框设置单元312设置点的分布与体素的中心彼此对准的边界框。
在步骤S143中,交叠边界框设置单元313设置彼此交叠的多个边界框,在这些边界框中点的分布与体素的中心彼此对准。
在步骤S144中,感兴趣区域边界框设置单元314根据感兴趣区域设置来设置多个边界框。例如,感兴趣区域边界框设置单元314基于在图24的步骤S102中由控制器101获得的感兴趣区域设置来设置包括包含感兴趣区域的边界框的多个边界框。
在步骤S145中,均衡边界框设置单元315设置体素的数量被均衡的多个边界框。
当步骤S145中的处理结束时,边界框设置处理结束,并且处理返回到图25。
<体素设置处理的流程>
参照图28中的流程图描述在图25的步骤S123中执行的体素设置处理的流程的示例。
当体素设置处理开始时,线性体素设置单元411在步骤S151中设置线性体素。即,线性体素设置单元411设置通过递归均等地划分区域而分层的体素。
在步骤S152中,非线性体素设置单元412设置非线性体素。即,非线性体素设置单元412设置通过递归地(均等地或非均等地)划分区域而分层的体素。
在步骤S153中,偏移体素设置单元413设置偏移体素。即,偏移体素设置单元413通过重新限定来划分区域,适当地设置全局偏移和局部偏移,并且设置与全局偏移或局部偏移对应的体素。
当步骤S153中的处理结束时,处理返回到图25。
<选择处理的流程>
接下来,参照图29中的流程图描述在图24的步骤S107中执行的选择处理的流程的示例。
当选择处理开始时,选择器115的成本计算单元511在步骤S161中计算通过各个位置量化方法获得的编码数据(比特流)的成本。
在步骤S162中,成本比较单元512将通过步骤S161中的处理计算的各个位置量化方法的成本进行比较,并且基于这样的比较的结果来选择最佳位置量化方法。
当步骤S162中的处理结束时,处理返回到图24。
<控制信息生成处理的流程>
参照图30中的流程图描述在图24的步骤S108中执行的控制信息生成处理的流程的示例。
当控制信息生成处理开始时,在步骤S171中,位置量化控制信息生成器611通过图24的步骤S107中的处理选择的位置量化方法来生成与位置量化有关的控制信息。
在步骤S172中,坐标系设置控制信息生成器612生成与由通过图24的步骤S107中的处理选择的位置量化方法所采用的坐标系有关的控制信息。
在步骤S173中,边界框设置控制信息生成器613生成与由通过图24的步骤S107中的处理选择的位置量化方法所采用的边界框有关的控制信息。
在步骤S174中,体素设置控制信息生成器614生成与由通过图24的步骤S107中的处理选择的位置量化方法所采用的体素有关的控制信息。
当步骤S174中的处理结束时,处理返回到图24。
执行如上所述的每个处理使得编码设备100可以抑制编码效率的降低。
[3.第二实施方式]
<解码设备>
图31是示出了作为应用本技术的信息处理装置的实施方式的解码设备的主要配置示例的框图。例如,图31所示的解码设备700是与图2中的编码设备100对应的解码设备,并且对由编码设备100生成的点云的编码数据进行解码以恢复点云的数据。此时,如下所述,解码设备700通过应用本技术的方法来执行该解码(恢复)。
如图31所示,解码设备700包括控制信息分析器711、解码器712、体素化处理单元713和点云转换处理单元714。
控制信息分析器711执行与以下控制信息的分析有关的处理,该控制信息与从编码侧(编码器)提供的编码数据的解码有关。例如,控制信息分析器711获得由编码设备100编码的编码数据和与编码数据相关联的控制信息。控制信息分析器711分析控制信息。控制信息分析器711将控制信息的分析结果与编码数据一起提供给解码器712。
应当注意,控制信息分析器711可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与控制信息的分析有关的处理。
解码器712基于控制信息的分析结果,通过与由编码设备100(编码器114)执行的编码对应的解码方法,对编码数据进行解码。解码器712将通过对编码数据进行解码而获得的信号串与控制信息的分析结果等一起提供给体素化处理单元713。
应当注意,解码器712可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与解码有关的处理。
体素化处理单元713基于控制信息的分析结果读取作为以体素为单位的信息的信号串,并且将信号串与控制信息的分析结果一起提供给点云转换处理单元714。
应当注意,体素化处理单元713可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与体素化有关的处理。
点云转换处理单元714基于控制信息的分析结果,从提供的信息中恢复点云的数据。点云转换处理单元714输出恢复的点云的数据。输出的点云的数据可以经受由例如后续阶段中的未示出的处理单元进行的图像处理以作为图像信息被显示在监视器等上,可以由未示出的通信单元发送并且通过预定的传输路径传输至另一设备,或者可以记录在未示出的记录介质中。
应当注意,点云转换处理单元714可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与恢复有关的处理。
如上所述,分析控制信息,并且基于控制信息执行解码处理(恢复处理),这使得解码设备700可以正确地解码由编码设备100生成的编码数据。因此,可以抑制编码效率的降低。
<控制信息分析器>
图32是示出图31所示的控制信息分析器711的主要配置示例的框图。如图32所示,控制信息分析器711具有位置量化控制信息分析器721、坐标系设置控制信息分析器722、边界框设置控制信息分析器723和体素设置控制信息分析器724。
<位置量化控制信息分析器>
位置量化控制信息分析器721执行与包括在所提供的控制信息中的位置量化控制信息的分析有关的处理。位置量化控制信息可以包括任何信息。例如,位置量化控制信息可以包括在第一实施方式中描述的各种信息。位置量化控制信息分析器721对包括在位置量化控制信息中的每个信息进行分析。位置量化控制信息分析器721将位置量化控制信息的分析结果与其他信息(编码数据和控制信息)一起提供给坐标系设置控制信息分析器722。
应当注意,位置量化控制信息分析器721可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与位置量化控制信息的分析有关的处理。
<坐标系设置控制信息分析器>
坐标系设置控制信息分析器722执行与包括在提供的控制信息中的坐标系设置控制信息的分析有关的处理。坐标系设置控制信息可以包括任何信息。例如,坐标系设置控制信息可以包括在第一实施方式中描述的各种信息。坐标系设置控制信息分析器722对包括在坐标系设置控制信息中的每个信息进行分析。坐标系设置控制信息分析器722将坐标系设置控制信息的分析结果与其他信息(对编码数据、控制信息和其他信息的分析结果)一起提供给边界框设置控制信息分析器723。
坐标系设置控制信息分析器722可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与坐标系设置控制信息的分析有关的处理。
<边界框设置控制信息分析器>
边界框设置控制信息分析器723执行与包括在提供的控制信息中的边界框设置控制信息的分析有关的处理。边界框设置控制信息可以包括任何信息。例如,边界框设置控制信息可以包括在第一实施方式中描述的各种信息。边界框设置控制信息分析器723对包括在边界框设置控制信息中的每个信息进行分析。边界框设置控制信息分析器723将边界框设置控制信息的分析结果与其他信息(对编码数据、控制信息和其他信息的分析结果)一起提供给体素设置控制信息分析器724。
边界框设置控制信息分析器723可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与边界框设置控制数据的分析有关的处理。
<体素设置控制信息分析器>
体素设置控制信息分析器724执行与包括在提供的控制信息中的体素设置控制信息的分析有关的处理。体素设置控制信息可以包括任何信息。例如,体素设置控制信息可以包括在第一实施方式中描述的各种信息。体素设置控制信息分析器724对包括在体素设置控制信息中的每个信息进行分析。体素设置控制信息分析器724将体素设置控制信息的分析结果与其他信息(对编码数据、控制信息和其他信息的分析结果)一起提供给解码器712。
体素设置控制信息分析器724可以具有任何配置,并且可以包括例如CPU、ROM、RAM等,并且CPU可以将存储在ROM等中的程序和数据加载到RAM中并且执行程序和数据,从而执行与体素设置控制信息的分析有关的处理。
如上所述,从位置量化控制信息分析器721到体素设置控制信息分析器724的各个处理单元对各种控制信息进行分析,这使得解码设备700可以基于控制信息(控制信息的分析结果)正确地解码(恢复)由编码设备100生成的编码数据。因此,可以抑制编码效率的降低。
<解码的流程>
参照图33中的流程图描述由具有上述配置的解码设备700执行的解码处理的流程的示例。
当解码处理开始时,控制信息分析器711在步骤S201中对从编码器提供的控制信息(与编码数据相关联)进行分析。
在步骤S202中,解码器712基于通过步骤S201中的处理获得的控制信息的分析结果,对从编码侧提供的编码数据(比特流)进行解码。
在步骤S203中,体素化处理单元713基于通过步骤S201中的处理获得的控制信息的分析结果,对通过步骤S202中的处理获得的信号串进行体素化。
在步骤S204中,点云转换处理单元714基于通过步骤S201中的处理获得的控制信息的分析结果来恢复点云的数据。
在步骤S205中,点云转换处理单元714输出通过步骤S204中的处理恢复的点云的数据。
当步骤S205中的处理结束时,解码处理结束。例如,在编码目标是运动图像的情况下,针对每个帧执行该系列处理。
<控制信息分析处理的流程>
参照图34中的流程图描述在图33的步骤S201中执行的控制信息分析处理的流程的示例。
当控制信息分析处理开始时,在步骤S211中,控制信息分析器711的位置量化控制信息分析器721对与包括在控制信息中的位置量化有关的控制信息进行分析。
在步骤S212中,坐标系设置控制信息分析器722对与包括在控制信息中的坐标系的设置有关的控制信息进行分析。
在步骤S213中,边界框设置控制信息分析器723对与控制信息中包括的边界框的设置有关的控制信息进行分析。
在步骤S214中,体素设置控制信息分析器724对与包括在控制信息中的体素的设置有关的控制信息进行分析。
当步骤S214中的处理结束时,控制信息分析处理结束,并且处理返回到图33。
<恢复处理的流程>
参照图35中的流程图描述在图33的步骤S204中执行的恢复处理的流程的示例。
当恢复处理开始时,在步骤S221中,点云转换处理单元714将体素放置在针对对象的坐标系中的每个边界框中。
在步骤S222中,点云转换处理单元714将体素的数据转换成点云的数据。
在步骤S223中,点云转换处理单元714将点云的数据的坐标系从对象的坐标系转换成世界坐标系。
当步骤S223中的处理结束时,恢复处理结束,并且处理返回到图33。
执行如上所述的每个处理使得解码设备700可以抑制编码效率的降低。
<4.其他方面>
<软件>
可以通过硬件或软件执行上述一系列处理。此外,还可以通过硬件执行一些处理,并且通过软件执行其他处理。在通过软件执行一系列处理的情况下,将包括在软件中的程序安装在计算机中。本文中的计算机包括并入专用硬件中的计算机或能够通过安装有各种程序来执行各种功能的通用个人计算机等。
图36是示出利用程序执行以上描述的一系列处理的计算机的硬件的配置示例的框图。
在图36所示的计算机900中,通过总线904将CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903彼此耦接。
输入/输出接口910还耦接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915耦接至输入/输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元912包括例如显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘和非易失存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921,例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,CPU 901经由输入/输出接口910和总线904将例如存储在存储单元913中的程序加载至RAM 903上并且执行程序,从而执行以上描述的一系列处理。RAM 903还适当地存储CPU 901执行各种处理所需的数据等。
例如,可以在作为封装介质等的可移除介质921中记录并且应用要由计算机(CPU901)执行的程序。在这种情况下,将可移除介质921安装到驱动器915上使得可以经由输入/输出接口910将程序安装在存储单元913中。此外,可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下,可以在通信单元914中接收程序并且将程序安装在存储单元913中。替选地,可以预先将该程序安装在ROM 902或存储单元913中。
<补充>
本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的要旨的范围内以各种方式修改。
例如,可以将本技术实现为装置或系统的任何配置,例如,用作系统LSI(大规模集成)等的处理器、使用多个处理单元等的模块、使用多个模块等的单元、还向单元(即,装置的一些部件)添加其他功能的设置等。
应当注意,本文中的“系统”是指一组多个部件(例如装置和模块(部件)),而不管所有部件是否都在同一壳体中。因此,将容纳在单独的壳体中并且经由网络彼此耦接的多个装置以及包括容纳在一个壳体中的多个模块的单个装置都视为系统。
此外,可以通过任何配置来实现上述处理单元中的每一个,只要处理单元具有作为该处理单元的功能描述的功能即可。例如,每个处理单元可以包括任何电路、任何LSI、任何系统LSI、任何处理器、任何模块、任何单元、任何集合、任何设备、任何装置、任何系统等。此外,处理单元可以包括多个它们的组合。例如,可以将诸如多个电路和多个处理单元的相同种类的部件进行组合,或者可以将诸如电路和LSI的不同种类的部件进行组合。
此外,例如,描述为单个装置(或处理单元)的配置可以被划分并被配置为多个设备(或处理单元)。相反,以上被描述为多个装置(或处理单元)的配置可以被集成并且配置为单个装置(或处理单元)。此外,不用说,可以将除上述配置以外的配置添加到每个装置(或每个处理单元)的配置。此外,只要整个系统的配置和操作基本相同,则某个装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。
此外,例如,本技术可以采用云计算的配置,其中一种功能经由网络被分配给多个装置并且被协同处理。
此外,例如,可以在任何装置中执行上述程序。在这种情况下,只要该装置具有必要的功能(功能块等)并且能够获得必要的信息就足够了。
此外,例如,可以利用一个装置执行上述流程图中描述的各个步骤,并且还可以将各个步骤分配给多个装置以用于执行。此外,在一个步骤中包括多个处理的情况下,可以利用一个装置来执行一个步骤中包括的多个处理,并且还可以将多个处理分配给多个装置以用于执行。换言之,可以执行一个步骤中包括的多个处理作为多个步骤中的处理。相反,描述为多个步骤的处理可以作为一个步骤集中执行。
此外,在由计算机执行的程序中,描述程序的步骤的处理可以以本文描述的顺序按时间顺序执行,或者可以在必要定时处诸如当处理被调用时单独或并行执行。即,只要不产生矛盾,就可以以与上述顺序不同的顺序执行步骤的处理。此外,描述该程序的步骤的处理可以与另一程序的处理并行执行,或者可以与另一程序的处理组合执行。
本文中描述的多种本技术中的每一个都可以独立地实现为单个技术,只要不出现矛盾即可。不用说,可以组合地实现任何数量的本技术。例如,在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部组合地实现。此外,可以结合以上未描述的另一技术来实现上述任何技术的一部分或全部。
应当注意,本技术也可以按如下配置。
(1)一种信息处理装置,包括:生成器,其生成与编码目标的三维位置的量化有关的信息。
(11)根据(1)所述的信息处理装置,其中,与所述量化有关的信息包括与要经受所述量化的坐标系有关的信息。
(12)根据(11)所述的信息处理装置,其中,与所述坐标系有关的信息包括与允许或禁止所述坐标系的设置有关的信息。
(13)根据(11)或(12)所述的信息处理装置,其中,与所述坐标系有关的信息包括与要被允许或禁止经受所述坐标系的设置的所述编码目标的范围有关的信息。
(14)根据(11)至(13)中任一项所述的信息处理装置,其中,与所述坐标系有关的信息包括与要用于设置所述坐标系的参数的允许或禁止有关的信息。
(15)根据(11)至(14)中任一项所述的信息处理装置,其中,与所述坐标系有关的信息包括与执行或跳过所述坐标系的设置有关的信息。
(16)根据(11)至(15)中任一项所述的信息处理装置,其中,与所述坐标系有关的信息包括与要经受所述坐标系的设置的执行或跳过的所述编码目标的范围有关的信息。
(17)根据(11)至(16)中任一项所述的信息处理装置,其中,与所述坐标系有关的信息包括与要用于设置所述坐标系的参数有关的信息。
(18)根据(17)所述的信息处理装置,其中,与所述参数有关的信息包括指示所述坐标系的类型的识别信息。
(19)根据(18)所述的信息处理装置,其中,所述识别信息包括直角坐标系、圆柱坐标系或球面坐标系的识别信息。
(20)根据(17)至(19)中任一项所述的信息处理装置,其中,与所述参数有关的信息还包括指示所述坐标系相对于世界坐标系的相对姿态的信息。
(21)根据(20)所述的信息处理装置,其中,指示所述相对姿态的信息包括所述坐标系相对于世界坐标系的移位量。
(22)根据(20)或(21)所述的信息处理装置,其中,指示所述相对姿态的信息包括所述坐标系与世界坐标系之间的角度。
(23)根据(11)至(22)中任一项所述的信息处理装置,其中,在所述坐标系是除直角坐标系以外的坐标系的情况下,与所述参数有关的信息包括指示所述坐标系的坐标轴与直角坐标系的坐标轴之间的对应关系的信息。
(31)根据(1)至(23)中任一项所述的信息处理装置,其中,与所述量化有关的信息包括与用于对所述编码目标的位置信息进行归一化的边界框有关的信息。
(32)根据(31)所述的信息处理装置,其中,与所述边界框有关的信息包括与允许或禁止所述边界框的设置有关的信息。
(33)根据(31)或(32)所述的信息处理装置,其中,与所述边界框有关的信息包括与要被允许或禁止经受所述边界框的设置的所述编码目标的范围有关的信息。
(34)根据(31)至(33)中任一项所述的信息处理装置,其中,与所述边界框有关的信息包括与设置所述边界框的方法的允许或禁止有关的信息。
(35)根据(31)至(34)中任一项所述的信息处理装置,其中,与所述边界框有关的信息包括与要用于所述边界框的设置的参数的允许或禁止有关的信息。
(36)根据(31)至(35)中任一项所述的信息处理装置,其中,与所述边界框有关的信息包括与执行或跳过所述边界框的设置有关的信息。
(37)根据(31)到(36)中任一项所述的信息处理装置,其中,与所述边界框有关的信息包括与要经受所述边界框的设置的执行或跳过的所述编码目标的范围有关的信息。
(38)根据(31)至(37)中任一项所述的信息处理装置,其中,与所述边界框有关的信息包括与要用于设置所述边界框的参数有关的信息。
(39)根据(38)所述的信息处理装置,其中,与所述参数有关的信息包括指示设置所述边界框的方法的识别信息。
(40)根据(39)所述的信息处理装置,其中,所述识别信息包括指示以下方法的识别信息:设置边界框以使所述编码目标的对象内接在所述边界框中的方法;设置边界框以使所述编码目标的点的分布与体素的中心对准的方法;根据所述编码目标的点的分布,设置彼此交叠的多个边界框的方法;根据所述编码目标的感兴趣区域设置多个边界框并且针对所述边界框中的每一个设置图像质量的方法;根据所述编码目标的感兴趣区域设置多个边界框并且针对所述边界框中的每一个设置解码顺序的方法;或设置多个边界框以均衡体素的数量的方法。
(41)根据(38)至(40)中任一项所述的信息处理装置,其中,与所述参数有关的信息包括指示要设置的边界框的数量的信息。
(42)根据(38)至(41)中任一项所述的信息处理装置,其中,与所述参数有关的信息包括指示与每个边界框对应的坐标系的信息。
(43)根据(38)至(42)中任一项所述的信息处理装置,其中,与所述参数有关的信息包括与每个边界框的图像质量有关的信息。
(44)根据(43)所述的信息处理装置,其中,与所述图像质量有关的信息包括与体素的层级的深度限制有关的信息。
(45)根据(43)或(44)所述的信息处理装置,其中,与所述图像质量有关的信息包括与颜色压缩的质量有关的信息。
(46)根据(38)至(45)中任一项所述的信息处理装置,其中,与所述参数有关的信息包括与每个边界框的解码顺序有关的信息。
(51)根据(1)至(46)中任一项所述的信息处理装置,其中,与所述量化有关的信息包括与用于量化所述编码目标的位置信息的体素有关的信息。
(52)根据(51)所述的信息处理装置,其中,与所述体素有关的信息包括与允许或禁止所述体素的设置有关的信息。
(53)根据(51)或(52)所述的信息处理装置,其中,与所述体素有关的信息包括与要被允许或禁止经受所述体素的设置的所述编码目标的范围有关的信息。
(54)根据(53)所述的信息处理装置,其中,与所述体素有关的信息包括与设置所述体素的方法的允许或禁止有关的信息。
(55)根据(53)或(54)所述的信息处理装置,其中,与所述体素有关的信息包括与要用于设置所述体素的参数的允许或禁止有关的信息。
(56)根据(53)至(55)中任一项所述的信息处理装置,其中,与所述体素有关的信息包括与执行或跳过所述体素的设置有关的信息。
(57)根据(53)至(56)中任一项的信息处理装置,其中,与所述体素有关的信息包括与要被允许或禁止经受所述体素的设置的所述编码目标的范围有关的信息。
(58)根据(53)至(57)中任一项所述的信息处理装置,其中,与所述体素有关的信息包括与要用于设置所述体素的参数有关的信息。
(59)根据(58)所述的信息处理装置,其中,与所述参数有关的信息包括识别是执行线性量化还是执行非线性量化的识别信息。
(60)根据(58)或(59)所述的信息处理装置,其中,与所述参数有关的信息包括与非线性量化的情况下的体素的布置有关的信息。
(61)根据(60)所述的信息处理装置,其中,与所述体素的布置有关的信息包括指示是否已经从体素布置图案的多个候选中选择体素布置图案的索引信息。
(62)根据(60)或(61)所述的信息处理装置,其中,与所述体素的布置有关的信息包括指示体素的布置的映射信息。
(63)根据(58)至(62)中任一项所述的信息处理装置,其中,与所述参数有关的信息包括与体素的位置的偏移有关的信息。
(64)根据(63)所述的信息处理装置,其中,所述偏移包括与所有体素对应的全局偏移,局部偏移不对应于所有体素。
(65)根据(63)或(64)所述的信息处理装置,其中,所述偏移包括仅与分配有偏移的体素以及属于所述体素的较低层级中的体素对应的局部偏移。
(71)一种信息处理方法,包括:生成与编码目标的三维位置的量化有关的信息。
(81)一种信息处理装置,包括位置量化器,所述位置量化器对编码目标的三维位置进行量化。
(91)根据(81)所述的信息处理装置,其中,所述位置量化器包括坐标系设置单元,所述坐标系设置单元设置要经受所述量化的坐标系。
(92)根据(91)所述的信息处理装置,其中,所述坐标系设置单元根据所述编码目标的对象的形状和姿态来设置所述坐标系。
(93)根据(91)或(92)所述的信息处理装置,其中,所述坐标系设置单元将预定的直角坐标系设置为所述坐标系。
(94)根据(91)至(93)中任一项所述的信息处理装置,其中,所述坐标系设置单元将预定的圆柱坐标系设置为所述坐标系。
(95)根据(91)至(94)中任一项所述的信息处理装置,其中,所述坐标系设置单元将预定的球面坐标系设置为所述坐标系。
(101)根据(81)至(95)中任一项所述的信息处理装置,其中,所述位置量化器包括边界框设置单元,所述边界框设置单元设置用于对所述编码目标的位置信息进行归一化的边界框。
(102)根据(101)所述的信息处理装置,其中,所述边界框设置单元设置所述边界框以使所述编码目标的对象内接在所述边界框中。
(103)根据(101)或(102)所述的信息处理装置,其中,所述边界框设置单元设置所述边界框以使所述编码目标的点的分布与体素的中心对准。
(104)根据(101)至(103)中任一项所述的信息处理装置,其中,所述边界框设置单元根据所述编码目标的点的分布来设置彼此交叠的多个边界框。
(105)根据(101)至(104)中任一项所述的信息处理装置,其中,所述边界框设置单元根据针对所述编码目标的感兴趣区域设置来设置多个边界框。
(106)根据(105)所述的信息处理装置,其中,所述边界框设置单元还针对所设置的边界框中的每一个设置图像质量。
(107)根据(105)和(106)所述的信息处理装置,其中,所述边界框设置单元还针对所设置的边界框中的每一个设置解码顺序。
(108)根据(101)至(107)中任一项所述的信息处理装置,其中,所述边界框设置单元设置多个边界框以均衡体素的数量。
(111)根据(81)至(108)中任一项所述的信息处理装置,其中,所述位置量化器包括体素设置单元,所述体素设置单元在用于对所述编码目标的位置信息进行归一化的边界框中设置用于量化所述编码目标的位置信息的体素。
(112)根据(111)所述的信息处理装置,其中,所述体素设置单元设置所述体素,以线性地量化所述编码目标的位置信息。
(113)根据(111)或(112)所述的信息处理装置,其中,所述体素设置单元设置所述体素,以非线性地量化所述编码目标的位置信息。
(114)根据(113)所述的信息处理装置,其中,所述体素设置单元在所述体素的层级中设置体素,以朝向所述边界框的内侧形成较小的体素,并且朝向所述边界框的外侧形成较大的体素。
(115)根据(113)或(114)所述的信息处理装置,其中,所述体素设置单元在所述体素的层级中设置体素,以在感兴趣区域中形成小体素,并且在除所述感兴趣区域以外的区域中形成大体素。
(116)根据(111)至(115)中任一项所述的信息处理装置,其中,所述体素设置单元还设置所设置的体素的位置的偏移。
(117)根据(116)所述的信息处理装置,其中,所述体素设置单元将与所有体素对应的全局偏移设置为所述偏移,局部偏移不对应于所有体素。
(118)根据(116)或(117)所述的信息处理装置,其中,所述体素设置单元将仅与分配有所述偏移的体素以及属于所述体素的较低层级中的体素对应的局部偏移设置为所述偏移。
(121)根据(81)至(118)中任一项所述的信息处理装置,还包括选择器,所述选择器选择由所述位置量化器对所述编码目标的三维位置的量化方法。
(122)根据(121)所述的信息处理装置,其中,所述选择器基于RD成本来选择所述量化方法。
(123)根据(81)至(122)中任一项所述的信息处理装置,还包括编码器,所述编码器对所述三维位置被所述位置量化器量化的编码目标进行编码。
(124)根据(123)所述的信息处理装置,还包括:
生成器,其生成与由所述位置量化器对所述编码目标的三维位置进行的量化有关的信息;以及
关联单元,其将由所述生成器生成的与所述量化有关的信息与通过由所述编码器对所述编码目标进行编码而获得的编码数据相关联。
(125)根据(81)至(124)中任一项所述的信息处理装置,还包括预处理单元,所述预处理单元对所述编码目标执行预定处理,
其中,所述位置量化器被配置成对已经经受由所述预处理单元进行的预定处理的所述编码目标的三维位置进行量化。
(131)根据(81)至(125)中的任一项所述的信息处理装置,其中,所述编码目标包括点云。
(141)一种信息处理方法,包括:对编码目标的三维位置进行量化。
(201)一种信息处理装置,包括恢复单元,所述恢复单元基于与编码目标的三维位置的量化有关的信息从信号串恢复所述编码目标的三维信息。
(202)根据(201)所述的信息处理装置,其中,所述恢复单元基于与所述量化有关的信息,将与所述信号串对应的体素放置在三维坐标系中,将所述体素转换成点云,并且将所述坐标系转换成世界坐标系。
(203)根据(202)所述的信息处理装置,其中,所述恢复单元基于与所述量化有关的信息将所述信号串转换成体素,并且将经转换的体素放置在所述坐标系中。
(204)根据(203)所述的信息处理装置,还包括解码器,所述解码器对所述编码目标被编码的编码数据进行解码,
其中,所述恢复单元基于与所述量化有关的信息,将通过所述解码器对所述编码数据进行解码而获得的信号串转换成体素,并且将经转换的体素放置在所述坐标系中。
(205)根据(204)所述的信息处理装置,还包括分析器,所述分析器对与所述量化有关的信息进行分析,
其中,所述恢复单元基于由所述分析器对与所述量化有关的信息的分析结果从所述信号串恢复所述编码目标的三维信息,所述信号串由所述解码器对所述编码数据进行解码而获得。
(211)一种信息处理方法,包括:基于与编码目标的三维位置的量化有关的信息,从信号串恢复所述编码目标的三维信息。
附图标记列表
100:编码设备
101:控制器
111:预处理单元
112:位置量化器
113:信号串生成器
114:编码器
115:选择器
116:控制信息生成器
117:关联单元
201:坐标系设置单元
202:边界框设置单元
203:体素设置单元
211:世界坐标系设置单元
212:笛卡尔坐标系设置单元
213:圆柱坐标系设置单元
214:球面坐标系设置单元
311:内接边界框设置单元
312:对准边界框设置单元
313:交叠边界框设置单元
314:感兴趣区域边界框设置单元
315:均衡边界框设置单元
411:线性体素设置单元
412:非线性体素设置单元
413:偏移体素设置单元
511:成本计算单元
512:成本比较单元
611:位置量化控制信息生成器
612:坐标系设置控制信息生成器
613:边界框设置控制信息生成器
614:体素设置控制信息生成器
700:解码设备
711:控制信息分析器
712:解码器
713:体素化处理单元
714:点云转换处理单元
721:位置量化控制信息分析器
722:坐标系设置控制信息分析器
723:边界框设置控制信息分析器
724:体素设置控制信息分析器
900:计算机

Claims (20)

1.一种信息处理装置,包括:生成器,其生成与编码目标的三维位置的量化有关的信息。
2.根据权利要求1所述的信息处理装置,其中,与所述量化有关的信息包括与要经受所述量化的坐标系有关的信息。
3.根据权利要求2所述的信息处理装置,其中,与所述坐标系有关的信息包括指示所述坐标系的类型的识别信息、所述坐标系相对于世界坐标系的移位量以及所述坐标系与所述世界坐标系之间的角度。
4.根据权利要求1所述的信息处理装置,其中,与所述量化有关的信息包括与用于对所述编码目标的位置信息进行归一化的边界框有关的信息。
5.根据权利要求4所述的信息处理装置,其中,与所述边界框有关的信息包括指示设置所述边界框的方法的识别信息。
6.根据权利要求1所述的信息处理装置,其中,与所述量化有关的信息包括与用于对所述编码目标的位置信息进行量化的体素有关的信息。
7.根据权利要求6所述的信息处理装置,其中,与所述体素有关的信息包括识别是执行线性量化还是执行非线性量化的识别信息。
8.根据权利要求6所述的信息处理装置,其中,与所述体素有关的信息包括与所述体素的位置的偏移有关的信息。
9.根据权利要求1所述的信息处理装置,还包括位置量化器,所述位置量化器对所述编码目标的三维位置进行量化,
其中,所述生成器被配置成生成与由所述位置量化器对所述编码目标的三维位置进行的量化有关的信息。
10.根据权利要求9所述的信息处理装置,其中,
所述位置量化器包括:
坐标系设置单元,其设置要经受所述量化的坐标系;
边界框设置单元,其在由所述坐标系设置单元设置的坐标系中设置用于对所述编码目标的位置信息进行归一化的边界框;以及
体素设置单元,其在由所述边界框设置单元设置的边界框中设置用于对所述编码目标的位置信息进行量化的体素。
11.根据权利要求10所述的信息处理装置,其中,所述边界框设置单元根据所述编码目标的点的分布来设置彼此交叠的多个边界框。
12.根据权利要求10所述的信息处理装置,其中,所述边界框设置单元根据针对所述编码目标的感兴趣区域设置来设置多个边界框。
13.根据权利要求12所述的信息处理装置,其中,所述边界框设置单元还针对所设置的边界框中的每一个设置图像质量或解码顺序。
14.根据权利要求10所述的信息处理装置,其中,所述体素设置单元在所述体素的层级中设置体素,以朝向所述边界框的内侧形成较小的体素,并且朝向所述边界框的外侧形成较大的体素。
15.根据权利要求9所述的信息处理装置,还包括:
选择器,其基于RD成本来选择由所述位置量化器对所述编码目标的三维位置的量化方法;
编码器,其对所述三维位置通过由所述选择器选择的量化方法量化后的编码目标进行编码;以及
关联单元,其将由所述生成器生成的与所述量化有关的信息与通过由所述编码器对所述编码目标进行编码而获得的编码数据相关联。
16.根据权利要求1所述的信息处理装置,其中,所述编码目标包括点云。
17.一种信息处理方法,包括:生成与编码目标的三维位置的量化有关的信息。
18.一种信息处理装置,包括恢复单元,所述恢复单元基于与编码目标的三维位置的量化有关的信息,从信号串恢复所述编码目标的三维信息。
19.根据权利要求18所述的信息处理装置,其中,所述恢复单元基于与所述量化有关的信息将与所述信号串对应的体素放置在三维坐标系中,将所放置的体素转换成点云,并且将所述坐标系转换成世界坐标系。
20.一种信息处理方法,包括:基于与编码目标的三维位置的量化有关的信息,从信号串恢复所述编码目标的三维信息。
CN201880044949.8A 2017-07-10 2018-06-26 信息处理装置和方法 Active CN110832550B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017134534 2017-07-10
JP2017-134534 2017-07-10
PCT/JP2018/024080 WO2019012975A1 (ja) 2017-07-10 2018-06-26 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN110832550A true CN110832550A (zh) 2020-02-21
CN110832550B CN110832550B (zh) 2023-10-13

Family

ID=65001727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880044949.8A Active CN110832550B (zh) 2017-07-10 2018-06-26 信息处理装置和方法

Country Status (6)

Country Link
US (1) US11508096B2 (zh)
EP (1) EP3654293A4 (zh)
JP (1) JP7234925B2 (zh)
KR (1) KR20200026196A (zh)
CN (1) CN110832550B (zh)
WO (1) WO2019012975A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020011944A (es) * 2018-05-11 2021-01-15 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
CN112639885A (zh) * 2018-09-05 2021-04-09 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
KR20210096285A (ko) * 2018-12-13 2021-08-04 삼성전자주식회사 3차원 메쉬 컨텐트를 압축하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2020138463A1 (ja) * 2018-12-28 2020-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
MX2021008753A (es) * 2019-02-28 2021-08-24 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
WO2020189891A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020189982A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US11159811B2 (en) * 2019-03-15 2021-10-26 Tencent America LLC Partitioning of coded point cloud data
WO2020196677A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN113728648A (zh) * 2019-04-25 2021-11-30 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN112384955A (zh) * 2019-06-11 2021-02-19 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN110232741B (zh) * 2019-06-17 2022-11-25 腾讯科技(深圳)有限公司 多层包围盒确定方法、碰撞检测及运动控制方法与设备
JP7233561B2 (ja) * 2019-07-02 2023-03-06 テンセント・アメリカ・エルエルシー 点群圧縮のための方法並びにその、装置およびコンピュータプログラム
CN114009025A (zh) * 2019-07-02 2022-02-01 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN114342402A (zh) * 2019-09-11 2022-04-12 索尼集团公司 信息处理装置、信息处理方法、再现处理装置和再现处理方法
WO2021060850A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4075797A4 (en) * 2020-01-08 2023-05-31 LG Electronics Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD
US11887345B2 (en) * 2020-04-07 2024-01-30 Apple Inc. Predictive coding for point cloud compression
WO2021241222A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法
JP2022002382A (ja) * 2020-06-22 2022-01-06 Kddi株式会社 点群復号装置、点群復号方法及びプログラム
US20220058833A1 (en) * 2020-08-21 2022-02-24 Samsung Electronics Co., Ltd. Complexity reduction of video-based point cloud compression encoding using grid-based segmentation
WO2022080283A1 (ja) * 2020-10-13 2022-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2022131947A1 (en) * 2020-12-14 2022-06-23 Huawei Technologies Co., Ltd. Devices and methods for scalable coding for point cloud compression
JPWO2022149589A1 (zh) * 2021-01-07 2022-07-14
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
WO2023068754A1 (ko) * 2021-10-18 2023-04-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115379190B (zh) * 2022-08-19 2024-04-26 腾讯科技(深圳)有限公司 一种点云处理方法、装置及计算机设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
CN101605264A (zh) * 2008-06-10 2009-12-16 索尼株式会社 信息处理装置和信息处理方法
WO2017104115A1 (ja) * 2015-12-14 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7176918B2 (en) * 2003-04-30 2007-02-13 Pixar Three-dimensional paint projection weighting of diffuse and scattered illumination methods and apparatus
US8217938B2 (en) * 2007-05-31 2012-07-10 Ford Global Technologies, Llc Method and apparatus for determining item orientation
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
KR100969764B1 (ko) 2008-02-13 2010-07-13 삼성전자주식회사 메쉬 모델로 구현된 3차원 데이터의 부호화 및 복호화 방법
EP2261859A1 (en) * 2009-06-10 2010-12-15 Thomson Licensing Method for encoding/decoding a 3D mesh model that comprises one or more components
TWI534760B (zh) 2011-11-28 2016-05-21 湯姆生特許公司 空間樹結構對輸入空間點編碼之方法及編碼器,以及空間樹結構位元流之解碼方法及解碼器
US9159162B2 (en) 2011-12-28 2015-10-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and system for generating a multi-dimensional surface model of a geometric structure
JP6197496B2 (ja) * 2013-08-30 2017-09-20 富士通株式会社 量子化装置、量子化方法および量子化プログラム
US9183459B1 (en) * 2014-05-06 2015-11-10 The Boeing Company Sensor fusion using detector confidence boosting
US10181216B2 (en) * 2015-01-30 2019-01-15 Hewlett-Packard Development Company, L.P. Generating slice data from a voxel representation
EP3268938A1 (en) * 2015-03-12 2018-01-17 Happy L-Lord AB System, method and device for three-dimensional voxel-based modeling
EP3234921A4 (en) * 2015-04-20 2018-12-19 Hewlett-Packard Development Company, L.P. Creating a voxel representation of a three dimensional (3-d) object
US9576356B2 (en) * 2015-05-08 2017-02-21 Siemens Healthcare Gmbh Region clustering forest for analyzing medical imaging data
US10452789B2 (en) 2015-11-30 2019-10-22 Intel Corporation Efficient packing of objects
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
WO2017217191A1 (ja) * 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
CN109478338B (zh) * 2016-07-19 2023-04-04 松下电器(美国)知识产权公司 三维数据制作方法、发送方法、制作装置、发送装置
JP6970100B2 (ja) * 2016-09-16 2021-11-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ作成方法及び三次元データ作成装置
EP3536556B1 (en) * 2016-11-01 2020-09-23 Panasonic Intellectual Property Corporation of America Display method and display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
CN101605264A (zh) * 2008-06-10 2009-12-16 索尼株式会社 信息处理装置和信息处理方法
WO2017104115A1 (ja) * 2015-12-14 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Also Published As

Publication number Publication date
US20200175726A1 (en) 2020-06-04
WO2019012975A1 (ja) 2019-01-17
KR20200026196A (ko) 2020-03-10
JPWO2019012975A1 (ja) 2020-05-07
US11508096B2 (en) 2022-11-22
EP3654293A1 (en) 2020-05-20
CN110832550B (zh) 2023-10-13
EP3654293A4 (en) 2020-07-29
JP7234925B2 (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
CN110832550B (zh) 信息处理装置和方法
JP7268599B2 (ja) 情報処理装置および方法
US11087501B2 (en) Voxel correlation information processing apparatus and method
US11468603B2 (en) Information processing apparatus and method
JP5735114B2 (ja) エンコード方法、エンコード装置、デコード方法及びデコード装置
WO2021065536A1 (ja) 情報処理装置および方法
WO2021258374A1 (en) Method for encoding and decoding a point cloud
US11263356B2 (en) Scalable and precise fitting of NURBS surfaces to large-size mesh representations
CN111727461A (zh) 信息处理装置和方法
US11568602B2 (en) Image processing apparatus and method using point cloud generation and a surface of a mesh
EP2991028B1 (en) Method for watermarking a three-dimensional object and method for obtaining a payload from a threedimensional object
Zhou et al. Point cloud denoising using non-local collaborative projections
CN116746153A (zh) 用于生成紧凑多平面图像的方法和装置
CN112995758B (zh) 点云数据的编码方法、解码方法、存储介质及设备
CN111147866B (zh) 对数据阵列进行编码
WO2023280129A1 (en) Method, apparatus, and medium for point cloud coding
EP4170597A1 (en) Information processing device and method
Kang et al. An analysis on the properties of features against various distortions in deep neural networks
CN118115659A (zh) 多视图三维重建方法、装置、电子设备及存储介质
KR20240001203A (ko) Tearing transform을 통한 학습 기반 포인트 클라우드 압축
EP1623385A1 (en) Method and system for filling in a parallelogram
CN116912124A (zh) 一种图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant