CN111937402A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN111937402A
CN111937402A CN201980024401.1A CN201980024401A CN111937402A CN 111937402 A CN111937402 A CN 111937402A CN 201980024401 A CN201980024401 A CN 201980024401A CN 111937402 A CN111937402 A CN 111937402A
Authority
CN
China
Prior art keywords
data
map
tiles
image processing
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024401.1A
Other languages
English (en)
Inventor
矢野幸司
加藤毅
隈智
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111937402A publication Critical patent/CN111937402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本公开内容涉及使得可以抑制图像质量的降低的图像处理装置和方法。在本公开内容中，对于其中将表示三维结构的3D数据投影到二维平面上并且布置有图块的一帧图像，生成指示在每个位置中存在或不存在数据的多个地图，并且生成包括用于帧图像的编码数据和用于多个生成的地图的编码数据的比特流。本公开内容可以用在例如信息处理装置、图像处理装置、电子设备、图像处理方法和程序中。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法，并且特别地，本公开涉及允许抑制图像质量降低的图像处理装置和方法。
背景技术
过去，作为对表示三维结构(如点云)的3D数据进行编码的方法，例如，已经使用例如体素(Voxel)(如八叉树等)进行编码(例如，参见非专利文献1)。
近年来，作为另一种编码方法，例如，已经提出了一种方法(在下文中，也称为基于视频的方法(Video-based approach))，该方法针对每个小区域将点云的位置信息和颜色信息中的每个投影到二维平面上，并且通过二维图像编码方法对所投影的信息进行编码。
在这种编码中，对于投影到二维平面上的位置信息，用于确定是否存在位置信息的占用地图(OccupancyMap)在固定尺寸的块N×N的单元中被定义，并且在比特流中被描述。此时，N的值也用占用精度(OccupancyPrecision)的名称在比特流中被描述。
引用列表
非专利文献
非专利文献1：
R.Mekuria,IEEE学生会员,K.Blom,P.Cesar.,IEEE会员的"Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo",tcsvt_paper_submitted_february.pdf
发明内容
技术问题
然而，在现有方法中，占用精度N在占用地图的所有目标区域上是固定的。因此，存在一种折衷，即如果在占用地图的小块单元中是否存在数据是确定的，则可以表示更高分辨率的点云数据，但是这不可避免地增加了比特率。因此，实际上，存在这样的担心，即由于依据是否存在数据的占用地图的确定精度(占用精度N)而导致解码图像的图像质量降低。
鉴于这种情况作出了本公开，并且本公开允许抑制图像质量的降低。
问题的解决方案
根据本技术的一个方面的图像处理装置是一种图像处理装置，包括：地图生成部，其针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，以及比特流生成部，其生成包括帧图像的编码数据和由地图生成部生成的多个所述地图的编码数据的比特流。
根据本技术的一个方面的图像处理方法是一种图像处理方法，包括：针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，该帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，以及生成包括帧图像的编码数据和多个所生成的地图的编码数据的比特流。
根据本技术的另一方面的图像处理装置是一种图像处理装置，包括：重构部，其使用与布置有图块的帧图像对应的多个地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图指示在每个位置处是否存在数据。
根据本技术的另一方面的图像处理方法是一种图像处理方法，包括：使用与布置有图块的帧图像对应的多个地图来根据图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且地图指示在每个位置处是否存在数据。
根据本技术的又一方面的图像处理装置是一种图像处理装置，包括：地图生成部，其生成指示在帧图像的每个位置处是否存在数据的地图，帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且地图具有设置的指示是否存在数据多个精度级别，以及比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的所述地图的编码数据的比特流。
根据本技术的又一方面的图像处理方法是一种图像处理方法，包括：生成指示在帧图像的每个位置处是否存在数据的地图，其中帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且地图具有设置的指示是否存在数据的多个精度级别，以及生成包括帧图像的编码数据和所生成的地图的编码数据的比特流。
根据本技术的再一方面的图像处理装置是一种图像处理装置，包括：重构部，其使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，图块是通过将所述3D数据投影到二维平面上而获得的图像，并且地图具有设置的指示是否存在数据的多个精度级别。
根据本技术的再一方面的图像处理方法是一种图像处理方法，包括：使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，其中图块是通过将所述3D数据投影到二维平面上而获得的图像，并且地图具有设置的指示是否存在数据的多个精度级别。
在根据本技术的一个方面的图像处理装置和方法中，生成指示一个帧图像上的每个位置处是否存在数据的多个地图，该帧图像布置有图块，该图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，以及生成包括帧图像的编码数据和多个所生成的地图的编码数据的比特流。
在根据本技术的另一方面的图像处理装置和方法中，使用与布置有图块的帧图像对应的多个地图来根据图块重构表示三维结构的3D数据，该图块是通过将3D数据投影到二维平面上而获得的图像，并且地图指示每个位置处是否存在数据。
在根据本技术的又一方面的图像处理装置和方法中，生成指示帧图像的每个位置处是否存在数据的地图，该帧图像布置有图块，该图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且地图具有关于是否存在数据而设置的多个精度级别，以及生成包括帧图像的编码数据和所生成的地图的编码数据的比特流。
在根据本技术的再一方面的图像处理装置和方法中，使用指示在布置有图块的帧图像上的每个位置处是否存在数据的地图来根据图块重构表示三维结构的3D数据，该图块是通过将3D数据投影到二维平面上而获得的图像，并且地图具有关于是否存在数据而设置的多个精度级别。
发明的有益效果
根据本公开内容，可以对图像进行处理。特别地，可以抑制图像质量降低。
附图说明
[图1]图1是用于说明点云的示例的图。
[图2]图2是用于说明基于视频的方法的概述的示例的图。
[图3]图3是示出几何图像和占用地图的示例的图。
[图4]图4是用于说明占用地图的精度的示例的图。
[图5]图5是用于说明占用地图的数据结构的示例的图。
[图6]图6是用于说明由于占用地图的精度而导致的图像质量降低的示例的图。
[图7]图7是概述本技术的主要特征的图。
[图8]图8是用于说明占用地图的示例的图。
[图9]图9是用于说明占用地图的示例的图。
[图10]图10是用于说明占用地图的数据结构的示例的图。
[图11]图11是用于说明占用地图的示例的图。
[图12]图12是用于说明占用地图的数据结构的示例的图。
[图13]图13是用于说明占用地图的数据结构的示例的图。
[图14]图14是示出编码装置的主要配置示例的框图。
[图15]图15是用于说明OMap生成部的主要配置示例的图。
[图16]图16是示出解码装置的主要配置示例的框图。
[图17]图17是用于说明编码处理的流程的示例的流程图。
[图18]图18是用于说明占用地图生成处理的流程的示例的流程图。
[图19]图19是用于说明占用地图生成处理的流程的示例的流程图。
[图20]图20是用于说明占用地图生成处理的流程的示例的流程图。
[图21]图21是用于说明占用地图生成处理的流程的示例的流程图。
[图22]图22是用于说明解码处理的流程的示例的流程图。
[图23]图23是用于说明点云重构处理的流程的示例的流程图。
[图24]图24是用于说明点云重构处理的流程的示例的流程图。
[图25]图25是用于说明点云重构处理的流程的示例的流程图。
[图26]图26是用于说明点云重构处理的流程的示例的流程图。
[图27]图27是示出计算机的主要配置示例的框图。
具体实施方式
在下文中，对用于执行本公开内容的模式(在下文中称为实施方式)进行说明。注意，按照以下顺序给出说明。
1.基于视频的方法
2.第一实施方式(占用地图的精度的控制)
3.注释
<1.基于视频的方法>
<支持技术内容/技术术语的文档等>
本技术的公开范围不仅包括在实施方式中描述的内容，而且包括在应用本说明书时已知的以下非专利文献中描述的内容。
非专利文献1：(上述)
非专利文献2：国际电信联盟ITU的电信标准化部门(TELECOMMUNICATIONSTANDARDIZATION SECTOR OF ITU(International Telecommunication Union))的"Advanced video coding for generic audiovisual services",H.264,04/2017
非专利文献3：国际电信联盟ITU的电信标准化部门(TELECOMMUNICATIONSTANDARDIZATION SECTOR OF ITU(International Telecommunication Union))的"Highefficiency video coding",H.265,12/2016
非专利文献4：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,Jill Boyce于2017年7月13-21在意大利都灵的ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探究组(Joint Video Exploration Team(JVET))JVET-G1001_v1的7次会议提出的"Algorithm Description of Joint Exploration Test Model 4"
即，上述非专利文献中描述的内容也可以作为确定支持要求的基础。例如，即使在实施方式缺少非专利文献3中描述的四叉树块结构(Quad-Tree Block Structure)和非专利文献4中描述的四叉树加二叉树QTBT(Quad Tree Plus Binary Tree)块结构的直接描述的情况下，也认为它们在本技术的公开范围内，并且满足对权利要求的支持要求。另外，例如，类似地，即使在实施方式缺少对诸如解析(Parsing)、语法(Syntax)或语义(Semantics)的技术术语的直接描述的情况下，也认为它们在本技术的公开范围内，并且满足对权利要求的支持要求。
<点云>
过去，存在一些数据，例如通过点云的位置信息、属性信息等表示三维结构的点云、或者包括顶点、边和平面并且通过使用多边形表示来定义三维形状的网格。
例如，在点云的情况下，如图1的A中所示的三维结构被表示为如图1的B中所示的许多点的集合(点云)。即，点云的数据包括该点云中每个点的位置信息和属性信息(例如，颜色等)。因此，数据结构相对简单，并且可以通过使用足够大量的点来以足够的精度另外表示任何三维结构。
<基于视频的方法的概述>
已经提出了基于视频的方法(Video-based approach)以将这种点云的位置信息和颜色信息中的每个投影到每个小区域的二维平面上，并且通过二维图像编码方法对投影的信息进行编码。
在这种基于视频的方法中，如图2所示，例如，输入点云(Point cloud)被分割成多个分段(也称为区域)，并且区域中的每个区域被投影到二维平面上。注意，点云的每个位置的数据(即，每个点的数据)包括如上所述的位置信息(几何信息(也称为深度(Depth)))和属性信息(纹理(Texture))，并且每个区域的位置信息和属性信息中的每个被投影到二维平面上。
然后，投影到二维平面上的每个分段(也称为图块)被布置在二维图像中，并且例如通过如AVC(增强视频编码)、HEVC(高效视频编码)等的二维平面图像编码方案来进行编码。
<占用地图>
在通过基于视频的方法将3D数据投影到二维平面上的情况下，除了通过投影位置信息获得的二维平面图像(也称为几何图像)和通过投影如上所述的属性信息获得的二维平面图像(也称为纹理图像)之外，还生成与如图3中所示的占用地图类似的占用地图。占用地图是指示在二维平面上的每个位置处是否存在位置信息和属性信息的地图信息。在图3中所示的示例中，用于相互对应的位置的几何图像(Depth)和(图块的)占用地图(Occupancy)被彼此相邻地放置。在图3所示的示例的情况下，占用地图的白色部分(图中的左侧)指示几何图像上存在数据的位置(坐标)(即，位置信息)，并且黑色部分指示几何图像上不存在数据的位置(坐标)(即，位置信息)。
图4是示出占用地图的配置示例的图。如图4所示，占用地图10包括称为分辨率(Resolution)的块11(粗线框)。在图4中，参考字符仅被给予一个块11，但是占用地图10包括2×2的四个块11。每个块11(分辨率)包括称为精度(Precision)的子块12(细线框)。在图4所示的示例的情况下，每个块11包括4×4个子块12。
在帧图像的与占用地图10对应的范围中，布置了图块21至23。在占用地图10中，针对每个子块12确定是否存在图块的数据。
图5示出了占用地图的数据结构的示例。占用地图包括与图5中所示的数据类似的数据。
例如，在算术编码变量中，存储了指示关于每个图块的范围的坐标信息(u0、v0、u1、v1)。即，在占用地图中，每个图块的区域的范围由区域的相对顶点的坐标((u0,v0)和(u1,v1))来指示。
在该占用地图中，在预定的固定尺寸的块N×N的单元中，确定是否存在位置信息(和属性信息)。如图5所示，N的值也在比特流中用占用精度(OccupancyPrecision)的名称来描述。
<由于占用地图导致的分辨率的降低>
然而，在现有方法中，占用精度N(也称为精度值)在占用地图的所有目标区域上是固定的。因此，存在一种折衷，即如果在占用地图的小块单元中是否存在数据是确定的，则可以表示更高分辨率的点云数据，但是这不可避免地增加了比特率。因此，实际上，存在这样的担心，即由于依据是否存在数据的占用地图的确定精度(占用精度N)而导致具有精细模式的部分的分辨率降低，并且解码图像的图像质量降低。
例如，具有细线形状的一段头发被包括在图6的A中所示的图像51中，但是存在这样的担心，即例如由于具有精度值“1”(精度＝1(precision＝1))的占用地图而导致这段头发不可避免地变厚，如图6的B中的图像52中所示；在占用地图精度值为“2”(精度＝2)的情况下，存在这样的担心，即这段头发不可避免地变得更厚，如图6的C中的图像53中所示；并且在占用地图精度值为“4”(精度＝4)的情况下，存在这样的担心，即这段头发不可避免地变得更厚，并且该线由块来表示，如图6的D中的图像54中所示。
以这种方式，通过对由基于视频的方法编码的3D数据进行解码而获得的解码图像的图像质量取决于占用地图精度值(precision)，并且因此与图像的复杂度相比，在精度值较大的情况下，存在对解码图像的图像质量降低的担心。
<精度值的控制>
鉴于此，可以控制占用地图的精度(精度值)(精度(精度值)是可变的)。
例如，针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，该帧图像布置有图块，图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且生成包括帧图像的编码数据和多个生成的地图的编码数据的比特流。
例如，图像处理装置包括：地图生成部，其针对一个帧图像生成指示在每个位置处是否存在数据的多个地图(占用地图)，该帧图像布置有图块，图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像；以及比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的多个所述地图的编码数据的比特流。
以这种方式，可以改变要应用于布置有图块的帧图像的每个局部区域的地图(占用地图)。因此，例如，可以将具有不同精度值的地图(占用地图)应用于每个局部区域。即，实质上可以使精度值根据位置而改变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的地图(占用地图)确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
另外，例如，使用与布置有图块的帧图像对应的多个地图来根据所述图块重构3D数据，所述图块是通过将3D数据投影到二维平面上而获得的图像，并且地图指示在每个位置处是否存在数据。
例如，图像处理装置包括重构部，其使用与布置有图块的帧图像对应的多个地图(占用地图)来根据图块重构表示三维结构的3D数据，该图块是通过将3D数据投影到二维平面上而获得的图像，并且地图指示每个位置处是否存在数据。
以这种方式，可以通过将具有不同精度值的地图(占用地图)应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，实质上可以使精度值根据位置而改变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的地图(占用地图)来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
另外，例如，生成指示在布置有图块的帧图像上的每个位置处是否存在数据的地图(占用地图)，该图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且地图具有依据是否存在数据而设置的多个精度级别，并且生成包括帧图像的编码数据和所生成的地图的编码数据的比特流。
例如，图像处理装置包括：地图生成部，其生成指示在布置有图块的帧图像的每个位置处是否存在数据的地图(占用地图)，该图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且地图具有针对是否存在数据而设置的多个精度级别；以及比特流生成部，其生成包括帧图像的编码数据和由地图生成部生成的地图的编码数据的比特流。
以这种方式，可以改变在布置有图块的帧图像的每个局部区域的地图(占用地图)精度值。即，可以使精度值根据位置而改变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的地图(占用地图)确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
另外，例如，使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图(占用地图)来根据图块重构3D数据，该图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且该地图具有针对是否存在数据而设置的多个精度级别。
例如，图像处理装置包括重构部，其使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图(占用地图)来根据图块重构表示三维结构的3D数据，该图块是通过将3D数据投影到二维平面上而获得的图像，并且地图具有针对是否存在数据而设置的多个精度级别。
以这种方式，可以通过将具有不同精度值的地图(占用地图)应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，可以使精度值根据位置而改变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的地图(占用地图)来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<与基于视频的方法有关的现有技术>
说明了与如上所述的基于视频的方法有关的本技术。如图7中的表61所示，在本技术中占用地图的精度是可变的。
在使精度可变的第一方法(地图规范1)中，生成并发送具有相互不同的精度(精度值)级别的多个占用地图。
例如，如图8所示，生成并发送具有精度值“4”(精度＝4)的占用地图10-1和具有精度值“1”(精度＝1)的占用地图10-2。
在图8所示的情况下，对于每个块，以任何精度级别表示占用(或(OR))。在图8所示的示例的情况下，占用地图10-1被应用于占用地图的两个左块。因此，以精度值“4”的精度(精度＝4)表示图块21和图块23的占用。与此相反，占用地图10-2被应用于占用地图的两个右块。因此，以精度值“1”的精度(精度＝1)表示图块22的占用。
这样，可以使精度值根据位置而可变。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制编码效率的降低。
注意，与低精度占用的差异的信息可以由高精度占用表示(异或(XOR))。例如，如图9所示，可以通过使用占用地图10-1(即，以精度值“4”的精度(精度＝4))来确定在图块21至图块23(实际上，是图块21、图块22-1和图块23)中是否存在数据，并且对于不能以该精度表示的部分(图块22-2和图块22-3)，可以通过使用占用地图10-2(即，以精度值“1”的精度(精度＝1))来确定是否存在数据。注意，由于通过使用对使用占用地图10-1所做出的确定的结果进行异或(XOR)来做出通过使用占用地图10-2进行的关于是否存在数据的确定，所以还可以在占用地图10-2中做出关于图块22-1的确定。
这样，与图8所示的情况类似，可以使精度值根据位置而改变。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制编码效率的降低。
在图10中示出在图8和图9所示的情况下的占用地图的数据结构的示例。图10中带下划线的部分与图5所示的情况不同。即，在这种情况下，占用地图的数据包括与精度有关的信息。作为与精度有关的信息，例如，在数据中设置的精度级别数(占用精度数(n))被设置。另外，设置了n个精度级别(精度值)(占用精度(N1),占用精度(N1),……)。
然后，针对具有精度值之一的每个子块(N1×N1,N2×N2,……)设置关于是否存在数据的确定结果。
返回图7，在使精度可变的第二方法(地图规范2)中，生成并发送包括具有不同精度级别(精度值)的块的占用地图。
例如，如图11所示，可以生成并发送其中可以针对每个块设置精度的占用地图10。在图11所示的示例的情况下，在占用地图10中，两个左块(块11-1和块11-2)中的子块(子块12-1和子块12-2)的精度值为“4”(精度＝4)，并且两个右块(块11-3和块11-4)中的子块(子块12-3和子块12-4)的精度值为“8”(精度＝8)。即，确定在图块21和图块23中是否存在精度为精度值“4”(精度＝4)的数据，并且确定在图块22中是否存在精度为精度值“8”(精度＝8)的数据。
这样，可以根据位置使精度值可变。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制编码效率的降低。
图13示出了这种情况下的占用地图的数据结构的示例。图13中带下划线的部分与图10所示的情况不同。即，在这种情况下，占用地图的数据不包括精度级别数(占用精度数(n))和n个精度级别(占用精度(N1),占用精度(N2),……)的信息。
然后，针对每个块(针对每个块(Res×Res))设置精度值(占用精度(N'))，并且针对具有精度值之一的每个子块(N'×N',……)设置关于是否存在数据的确定结果。
注意，可以生成并发送其中可以针对每个图块设置精度的占用地图10。即，可以针对每个图块设置与图11中所示的每个子块类似的每个子块的精度值，并且可以将与该图块对应的精度值用作包括该图块的子块的精度值。
例如，在图11所示的情况下，为图块22设置精度值“8”(Precision＝8)，并且将包括图块22的子块(子块12-3和子块12-4)的精度值设置为“8”(精度＝8)。
这样，与为每个块设置精度的情况类似，可以根据位置使精度值可变。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制编码效率的降低。
图12示出了这种情况下的占用地图的数据结构的示例。图12中带下划线的部分与图10所示的情况不同。即，在这种情况下，占用地图的数据不包括精度级别数(占用精度数(n))和n个精度级别(占用精度(N1),占用精度(N2),……)的信息。
然后，为每个图块(针对每个图块)设置精度值(Precision(N'))，并且将属于该图块的子块的精度值设置为N'(N'×N')。
返回到图7，可以组合上述第一方法和第二方法。这被视为使精度可变的第三方法(地图规范3)。在这种情况下，生成并发送包括具有不同精度级别(精度值)的块的多个占用地图。
这样，可以根据位置使精度值可变。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制编码效率的降低。
如上所述，通过应用本技术，可以在这些方法的任何情况下设置每个位置的精度(精度值)(即，可以使精度可变)。
注意，决定精度的方法可以是任何方法。例如，可以根据RD成本确定最佳精度值。另外，例如，所决定的精度值可以是主观上最有效的值。另外，例如，可以根据局部区域(例如，“面部”、“头发”等)、感兴趣区域(ROI)等的特性来决定精度值。另外，例如，可以通过使用重新配置的点云的质量和传输占用地图所需的比特量作为指标(indices)来决定精度值。另外，例如，可以根据占用地图与局部区域的像素数之间的关系来决定精度值。
<2.第一实施方式>
<编码装置>
接下来，说明实现与以上技术类似的技术的配置。图14是示出作为应用本技术的图像处理装置的一个方面的编码装置的配置的一个示例的框图。图14中所示的编码装置100是通过将类似点云的3D数据投影到二维平面上来通过二维图像编码方法执行编码的装置(应用了基于视频的方法的编码装置)。
注意，图14示出了处理部、数据流等中的主要部分，并且图14中示出的这些部分不一定是唯一的部分。即，在编码装置100中，可以存在未示为图14中的块的处理部或者可以存在未示为图14中的箭头等的处理或数据流。类似地，这也适用于用于说明编码装置100中的处理部等的其他附图。
如图14所示，编码装置100具有图块分解部111、打包部112、OMap生成部113、辅助图块信息压缩部114、视频编码部115、视频编码部116、OMap编码部117、以及复用器118。
图块分解部111执行与3D数据的分解有关的处理。例如，图块分解部111获取输入到编码装置100并表示三维结构的3D数据(例如，点云(Point Cloud))。另外，图块分解部111将所获取的3D数据分解成多个分段，将3D数据投影到这些分段中的每个分段的二维平面上，并且生成位置信息的图块和属性信息的图块。
图块分解部111将所生成的与每个图块有关的信息提供给打包部112。另外，图块分解部111将作为与分解有关的信息的辅助图块信息提供给辅助图块信息压缩部114。
打包部112执行与数据的打包有关的处理。例如，打包部112获取从图块分解部111提供的、关于每个区域的3D数据被投影到的二维平面的数据(图块)。另外，打包部112将每个获取的图块布置在二维图像上，并且将这些图块打包为视频帧。例如，打包部112将指示点的位置的位置信息(几何信息)的图块中的每个图块和添加到位置信息的诸如颜色信息的属性信息(纹理)的图块作为视频帧打包。
打包部112将所生成的视频帧提供给OMap生成部113。另外，打包部112将与打包有关的控制信息提供给复用器118。
OMap生成部113执行与占用地图的生成有关的处理。例如，OMap生成部113获取从打包部112提供的数据。另外，OMap生成部113生成与位置信息和属性信息对应的占用地图。例如，OMap生成部113针对布置有图块的一帧图像生成多个占用地图。另外，例如，OMap生成部113生成其中设置了多个精度级别的占用地图。OMap生成部113将所生成的占用地图和从打包部112获取的各种类型的信息提供给布置在下游的处理部。例如，OMap生成部113将位置信息(几何信息)的视频帧提供给视频编码部115。另外，例如，OMap生成部113将属性信息(纹理)的视频帧提供给视频编码部116。此外，例如，OMap生成部113将占用地图提供给OMap编码部117。
辅助图块信息压缩部114执行与辅助图块信息的压缩有关的处理。例如，辅助图块信息压缩部114获取从图块分解部111提供的数据。辅助图块信息压缩部114对所获取的数据中包括的辅助图块信息进行编码(压缩)。辅助图块信息压缩部114将所获得的辅助图块信息的编码数据提供给复用器118。
视频编码部115执行与位置信息(几何信息)的视频帧的编码有关的处理。例如，视频编码部115获取从OMap生成部113提供的位置信息(几何信息)的视频帧。另外，视频编码部115例如通过诸如AVC或HEVC的任何二维图像编码方法对所获取的位置信息(几何信息)的视频帧进行编码。视频编码部115将通过进行编码获得的编码数据(位置信息(几何信息)的视频帧的编码数据)提供给复用器118。
视频编码部116执行与属性信息(纹理)的视频帧的编码有关的处理。例如，视频编码部116获取从OMap生成部113提供的属性信息(纹理)的视频帧。另外，视频编码部116例如通过诸如AVC或HEVC的任何二维图像编码方法对所获取的属性信息(纹理)的视频帧进行编码。视频编码部116将通过进行编码获得的编码数据(属性信息(纹理)的视频帧的编码数据)提供给复用器118。
OMap编码部117执行与占用地图的编码有关的处理。例如，OMap编码部117获取从OMap生成部113提供的占用地图。另外，OMap编码部117例如通过诸如算术编码的任何编码方法对所获取的占用地图进行编码。OMap编码部117将通过编码获得的编码数据(占用地图的编码数据)提供给复用器118。
复用器118执行与复用有关的处理。例如，复用器118获取从辅助图块信息压缩部114提供的辅助图块信息的编码数据。另外，复用器118获取从打包部112提供的与打包有关的控制信息。另外，复用器118获取从视频编码部115提供的位置信息(几何信息)的视频帧的编码数据。另外，复用器118获取从视频编码部116提供的属性信息(纹理)的视频帧的编码数据。另外，复用器118获取从OMap编码部117提供的占用地图的编码数据。
复用器118对所获取的信息进行复用并生成比特流。复用器118将所生成的比特流输出至编码装置100的外部。
<OMap生成部>
图15是示出图14所示的OMap生成部113的主要配置示例的框图。如图15所示，OMap生成部113具有精度值决定部151和OMap生成部152。
精度值决定部151执行与精度值的决定有关的处理。例如，精度值决定部151获取从打包部112提供的数据。另外，精度值决定部151基于该数据或以其他方式决定每个位置的精度值。
注意，决定精度值的方法可以是任何方法。例如，可以根据RD成本确定最佳精度值。另外，例如，所决定的精度值可以是主观上最有效的值。另外，例如，可以根据局部区域(例如，“面部”、“头发”等)、感兴趣区域(ROI)等的特性来决定精度值。另外，例如，可以通过使用重新配置的点云的质量和传输占用地图所需的比特量作为指标来决定精度值。另外，例如，可以根据占用地图与局部区域的像素数量之间的关系来决定精度值。
一旦决定了精度值，精度值决定部151就将从打包部112获取的数据连同精度值的信息一起提供给OMap生成部152。
OMap生成部152执行与占用地图的生成有关的处理。例如，OMap生成部152获取从精度值决定部151提供的数据。另外，例如，基于从精度值决定部151提供的位置信息和属性信息的视频帧、由精度值决定部151决定的精度值等，OMap生成部152生成具有根据位置可变的精度值的占用地图，如参照图8至图13所说明的情况。
OMap生成部152将从精度值决定部151获取的各种类型的信息连同所生成的占用地图一起提供给布置在下游的处理部。
<解码装置>
图16是示出作为应用本技术的图像处理装置的一个方面的解码装置的配置的一个示例的框图。图16中所示的解码装置200是通过二维图像解码方法对通过将如点云的3D数据投影到二维平面上并对所投影的数据进行编码而获得的编码数据进行解码、并且将解码的数据投影到三维空间上的装置(应用了基于视频的方法的解码装置)。
注意，图16示出了处理部、数据流等中的主要部分，并且图16中示出的这些部分不必是唯一的部分。即，在解码装置200中，可以存在未示为图16中的块的处理部或者可以存在未示为图16中的箭头等的处理或数据流。类似地，这也适用于用于说明解码装置200中的处理部等的其他附图。
如图16所示，解码装置200具有解复用器211、辅助图块信息解码部212、视频解码部213、视频解码部214、OMap解码部215、解包部216、以及3D重构部217。
解复用器211执行与数据的解复用有关的处理。例如，解复用器211获取输入到解码装置200的比特流。例如，从编码装置100提供比特流。解复用器211对该比特流进行解复用、提取辅助图块信息的编码数据，并且将所提取的编码数据提供给辅助图块信息解码部212。另外，解复用器211通过进行解复用从比特流中提取位置信息(几何信息)的视频帧的编码数据，并且将所提取的编码数据提供给视频解码部213。此外，解复用器211通过进行解复用从比特流中提取属性信息(纹理)的视频帧的编码数据，并且将所提取的编码数据提供给视频解码部214。另外，解复用器211通过进行解复用从比特流中提取占用地图的编码数据，并且将所提取的编码数据提供给OMap解码部215。另外，解复用器211通过进行解复用从比特流中提取与打包有关的控制信息，并且将所提取的控制信息提供给解包部216。
辅助图块信息解码部212执行与辅助图块信息的编码数据的解码有关的处理。例如，辅助图块信息解码部212获取从解复用器211提供的辅助图块信息的编码数据。另外，辅助图块信息解码部212对所获取的数据中包括的辅助图块信息的编码数据进行解码。辅助图块信息解码部212将通过解码获得的辅助图块信息提供给3D重构部217。
视频解码部213执行与位置信息(几何信息)的视频帧的编码数据的解码有关的处理。例如，视频解码部213获取从解复用器211提供的位置信息(几何信息)的视频帧的编码数据。另外，视频解码部213对从解复用器211获取的编码数据进行解码，并且获得位置信息(几何信息)的视频帧。视频解码部213将编码单元中的位置信息(几何信息)的解码数据提供给解包部216。
视频编码部214执行与属性信息(纹理)的视频帧的编码数据的解码有关的处理。例如，视频解码部214获取从解复用器211提供的属性信息(纹理)的视频帧的编码数据。另外，视频解码部214对从解复用器211获取的编码数据进行解码，并且获得属性信息(纹理)的视频帧。视频解码部214将编码单元中的属性信息(纹理)的解码数据提供给解包部216。
OMap解码部215执行与占用地图的编码数据的解码有关的处理。例如，OMap解码部215获取从解复用器211提供的占用地图的编码数据。另外，OMap解码部215对从解复用器211获取的编码数据进行解码，并且获得占用地图。OMap解码部215将编码单元中的占用地图的解码数据提供给解包部分216。
解包部216执行与解包有关的处理。例如，解包部216从视频解码部213获取位置信息(几何信息)的视频帧、从视频解码部214获取属性信息(纹理)的视频帧，并且从OMap解码部215获取占用地图。另外，基于与打包有关的控制信息，解包部216对位置信息(几何信息)的视频帧和属性信息(纹理)的视频帧进行解包。解包部216将通过解包获得的位置信息(几何信息)的数据(图块等)、属性信息(纹理)的数据(图块等)、占用地图的数据等提供给3D重构部217。
3D重构部217执行与3D数据的重构有关的处理。例如，3D重构部217基于从辅助图块信息解码部212提供的辅助图块信息、从解包部216提供的位置信息(几何信息)的数据、属性信息(纹理)的数据、占用地图的数据等来重构3D数据(点云)。例如，3D重构部217通过使用与图块对应的多个占用地图，根据位置信息和属性信息的图块(布置有图块的帧图像)重构3D数据。另外，例如，3D重构部217通过使用占用地图根据位置信息和属性信息的图块重构3D数据，所述占用地图地图具有设置的指示是否存在数据的多个精度级别。3D重构部217将通过这些处理获得的3D数据输出至解码装置200的外部。
例如，将该3D数据提供给显示部，并且在显示部上显示其图像，将3D数据记录在记录介质上，或者将3D数据经由通信提供给另一装置。
通过包括这样的配置，可以改变应用于布置有图块的帧图像的每个局部区域的占用地图。即，可以根据位置实质上使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据或重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
另外，通过包括这样的配置，可以改变在布置有图块的帧图像的每个局部区域的占用地图精度值。即，可以根据位置使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据或重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<编码处理的流程>
接下来，参照图17所示的流程图来说明由编码装置100执行的编码处理的流程的示例。
当开始编码处理时，在步骤S101中，编码装置100的图块分解部111将3D数据投影到二维平面上，并且将所投影的3D数据分解为图块。
在步骤S102中，辅助图块信息压缩部114对在步骤S101中生成的辅助图块信息进行压缩。
在步骤S103中，打包部112执行打包。即，打包部112将在步骤S101中生成的位置信息和属性信息的每个图块打包为视频帧。另外，打包部112生成与打包有关的控制信息。
在步骤S104中，OMap生成部113生成与在步骤S103中生成的位置信息和属性信息的视频帧对应的占用地图。
在步骤S105中，通过二维图像编码方法，视频编码部115对几何视频帧进行编码，该几何视频帧是在步骤S103中生成的位置信息的视频帧。
在步骤S106中，通过二维图像编码方法，视频编码部116对彩色视频帧进行编码，该彩色视频帧是在步骤S103中生成的属性信息的视频帧。
在步骤S107中，通过预定的编码方法，OMap编码部117对在步骤S104中生成的占用地图进行编码。
在步骤S108中，复用器118对这样生成的各种类型的信息(例如，在步骤S105至步骤S107中生成的编码数据、在步骤S103中生成的与打包有关的控制信息等)进行复用，并且生成包括这些信息的比特流。
在步骤S109中，复用器118将在步骤S108中生成的比特流输出到编码装置100的外部。
当步骤S109中的处理结束时，编码处理结束。
<占用地图生成处理的流程>
接下来，参照图18所示的流程图说明在图17所示的步骤S104中执行的占用地图生成处理的流程的示例。这里，说明了在使用具有不同精度级别的多个占用地图来表示任意精度级别的每个块的占用(OR)的情况下生成占用地图的处理，该情况类似于参照图8所说明的情况。
当开始占用地图生成处理时，在步骤S121中，OMap生成部113的精度值决定部151导出可以为由占用分辨率指定的块设置的精度值(精度值候选)的列表。
在步骤S122中，精度值决定部151基于该列表决定每个块的精度值。决定精度值的方法可以是任何方法。例如，可以根据RD成本确定最佳精度值。另外，例如，所决定的精度值可以是主观上最有效的值。另外，例如，可以根据局部区域(例如，“面部”、“头发”等)、感兴趣区域(ROI)等的特性来决定精度值。另外，例如，可以通过使用重新配置的点云的质量和传输占用地图所需的比特量作为指标来决定精度值。另外，例如，可以根据占用地图与局部区域的像素数之间的关系来决定精度值。
在步骤S123中，OMap生成部152导出一帧的精度值的这样决定的精度值的类型。
在步骤S124中，OMap生成部152生成每个精度值的占用地图，以便通过每个块的精度值来表示每个块的占用。
在步骤S125中，OMap生成部152组合所有这样生成的占用地图，并且生成例如具有与图10所示的配置类似的配置的数据。
当步骤S125中的处理结束时，占用地图生成处理结束，并且处理返回至图17。
通过以上述方式执行处理，编码装置100可以改变要应用于布置有图块的帧图像的每个局部区域的占用地图。因此，例如，可以将具有不同精度值的占用地图应用于每个局部区域。即，实质上可以根据位置使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<占用地图生成处理的流程>
接下来，参照图19所示的流程图，说明了在类似于参照图9所说明的通过使用具有不同精度级别的多个占用地图以高精度占用表示与低精度占用的差的信息(XOR)的情况下，在图17所示的步骤S104中执行的占用地图生成处理的流程的示例。
当开始占用地图生成处理时，以与步骤S121至步骤S123(图18)中的每个处理所示的情况类似的方式执行步骤S141至步骤S143中的每个处理。
在步骤S144中，OMap生成部152生成占用地图，该占用地图以精度值的降序表示图像数据与直到前一占用地图的占用地图之间的残差信息的占用。
在步骤S145中，OMap生成部152组合所有这样生成的占用地图，并且生成例如具有与图10所示的配置类似的配置的数据。
当步骤S145中的处理结束时，占用地图生成处理结束，并且处理返回至图17。
通过以上述方式执行处理，编码装置100可以改变要应用于布置有图块的帧图像的每个局部区域的占用地图。因此，例如，可以将具有不同精度值的占用地图应用于每个局部区域。即，可以根据位置实质上使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<占用地图生成处理的流程>
接下来，参照图20所示的流程图，说明了在类似于参照图11所说明的使用包括具有不同精度级别的块的占用地图来设置每个图块的精度的情况下，在图17所示的步骤S104中执行的占用地图生成处理的流程的示例。
当开始占用地图生成处理时，在步骤S161中，精度值决定部151导出可以针对每个图块设置的精度值(精度值候选)的列表。
在步骤S162中，精度值决定部151基于该列表决定每个图块的精度值。决定精度值的方法可以是任何方法。例如，可以根据RD成本确定最佳精度值。另外，例如，所决定的精度值可以是主观上最有效的值。另外，例如，可以根据局部区域(例如，“面部”、“头发”等)、感兴趣区域(ROI)等的特性来决定精度值。另外，例如，可以通过使用重新配置的点云的质量和传输占用地图所需的比特量作为指标来决定精度值。另外，例如，可以根据占用地图与局部区域的像素数量之间的关系来决定精度值。
在步骤S163中，OMap生成部152确定每个块所属的图块。
在步骤S164中，OMap生成部152确定与每个块所属的图块对应的精度值。
在步骤S165中，OMap生成部152基于子块所属的块的精度值确定每个子块的占用。
在步骤S166中，OMap生成部152组合所有块的占用，并且生成包括具有不同精度级别的块的占用地图。
当步骤S166中的处理结束时，占用地图生成处理结束，并且处理返回至图17。
通过以上述方式执行处理，编码装置100可以改变布置有图块的帧图像的每个局部区域的占用地图精度值。即，可以根据位置使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<占用地图生成处理的流程>
接下来，参照图21所示的流程图，说明了在类似于参照图11所说明的使用包括具有不同精度级别的块的占用地图来设置每个块的精度的情况下，在图17所示的步骤S104中执行的占用地图生成处理的流程的示例。
当开始占用地图生成处理时，在步骤S181中，精度值决定部151导出可以为由占用分辨率指定的块设置的精度值(精度值候选)的列表。
在步骤S182中，精度值决定部151基于该列表决定每个块的精度值。决定精度值的方法可以是任何方法。例如，可以根据RD成本确定最佳精度值。另外，例如，所决定的精度值可以是主观上最有效的值。另外，例如，可以根据局部区域(例如，“面部”、“头发”等)、感兴趣区域(ROI)等的特性来决定精度值。另外，例如，可以通过使用重新配置的点云的质量和传输占用地图所需的比特量作为指标来决定精度值。另外，例如，可以根据占用地图与局部区域的像素数量之间的关系来决定精度值。
在步骤S183中，OMap生成部152基于子块所属的块的精度值确定每个子块的占用。
在步骤S184中，OMap生成部152组合所有块的占用，并且生成包括具有不同精度级别的块的占用地图。
当步骤S184中的处理结束时，占用地图生成处理结束，并且处理返回至图17。
通过以上述方式执行处理，编码装置100可以改变布置有图块的帧图像的每个局部区域的占用地图精度值。即，可以根据位置使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图确定是否存在数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<解码处理的流程>
接下来，参照图22所示的流程图来说明由解码装置200执行的解码处理的流程的示例。
当开始解码处理时，在步骤S201中，解码装置200的解复用器211对比特流进行解复用。
在步骤S202中，辅助图块信息解码部212对从步骤S201中的比特流中提取的辅助图块信息进行解码。
在步骤S203中，视频解码部213对从步骤S201中的比特流中提取的几何视频帧(位置信息的视频帧)的编码数据进行解码。
在步骤S204中，视频解码部214对从步骤S201中的比特流中提取的彩色视频帧(属性信息的视频帧)的编码数据进行解码。
在步骤S205中，OMap解码部215对从步骤S201中的比特流中提取的占用地图的编码数据进行解码。
在步骤S206中，解包部216对在步骤S203至步骤S205中解码的几何视频帧和彩色视频帧进行解包，并且提取图块。
在步骤S207中，3D重构部217例如基于在步骤S202中获得的辅助图块信息、在步骤S206中获得的图块、占用地图等来重构诸如点云的3D数据。
当步骤S207中的处理结束时，解码处理结束。
<点云重构处理的流程>
接下来，参照图23所示的流程图说明在图22所示的步骤S207中执行的点云重构处理的流程的示例。这里，说明了在类似于参照图8所说明的使用具有不同精度级别的多个占用地图来表示任意精度级别(OR)的每个块的占用的情况下要执行的处理。
当开始点云重构处理时，在步骤S221中，3D重构部217选择处理目标当前坐标(x,y)。
在步骤S222中，3D重构部217选择作为当前坐标的精度值的当前精度值，并且获取与该精度值对应的占用地图。即，对于当前坐标，3D重构部217从未处理的精度值中选择存在占用地图的一个精度值，并且获取与该精度值对应的占用地图。
在步骤S223中，3D重构部217确定深度(Depth)值在当前坐标处是否有效。在基于占用地图确定在当前坐标处存在位置信息(即，深度值有效)的情况下，处理前进至步骤S224。
在步骤S224中，3D重构部217基于当前坐标的深度值在3D数据上生成点。当步骤S224中的处理结束时，处理前进至步骤S226。
另外，在步骤S223中确定当前坐标的深度值无效(即，在当前坐标处不存在位置信息)的情况下，处理前进至步骤S225。
在步骤S225中，对于当前坐标，3D重构部217确定是否已经处理了存在占用地图的所有精度值。在确定存在未处理的精度值的情况下，处理返回至步骤S222，并且执行随后的处理。
另外，在步骤S225中确定已经对当前坐标处理了所有精度值的情况下，处理前进至步骤S226。
在步骤S226中，3D重构部217确定是否已经处理了所有坐标。在确定存在未处理的坐标的情况下，处理返回至步骤S221，并且执行随后的处理。
另外，在步骤S226中确定已经处理了所有坐标的情况下，点云重构处理结束，并且处理返回至图22。
通过以上述方式执行处理，解码装置200可以通过将具有不同精度值的占用地图应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，可以根据位置实质上使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<点云重构处理的流程>
接下来，参照图24所示的流程图，说明了在类似于参照图9所说明的使用具有不同精度级别的多个占用地图以高精度占用表示与低精度占用的差的信息(XOR)的情况下，在图22所示的步骤S207中执行的点云重构处理的流程的示例。
当开始点云重构处理时，在步骤S241中，3D重构部217选择处理目标当前坐标(x,y)。
在步骤S242中，3D重构部217获取所有精度值的占用地图。
在步骤S243中，3D重构部217确定各个地图的异或。
在步骤S244中，3D重构部217确定深度(depth)值在当前坐标处是否有效。在基于占用地图确定在当前坐标处存在位置信息(即，深度值有效)的情况下，处理前进至步骤S245。
在步骤S245中，3D重构部217基于当前坐标的深度值在3D数据上生成点。当步骤S245中的处理结束时，处理前进至步骤S246。另外，在步骤S244中确定当前坐标的深度值无效(即，在当前坐标处不存在位置信息)的情况下，省略步骤S245中的处理，并且处理前进至步骤S246。
在步骤S246中，3D重构部217确定是否已经处理了所有坐标。在确定存在未处理的坐标的情况下，处理返回至步骤S241，并且执行随后的处理。
另外，在步骤S246中确定已经处理了所有坐标的情况下，点云重构处理结束，并且处理返回至图22。
通过以上述方式执行处理，解码装置200可以通过将具有不同精度值的占用地图应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，实质上可以根据位置使精度值可变。因此，例如，对于帧图像的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<点云重构处理的流程>
接下来，参照图25所示的流程图，说明了在类似于参照图11所说明的使用包括具有不同精度级别的块的占用地图来设置每个图块的精度的情况下，在图22所示的步骤S207中执行的点云重构处理的流程的示例。
当开始点云重构处理时，在步骤S261中，3D重构部217选择处理目标当前坐标(x,y)。
在步骤S262中，3D重构部217确定当前坐标所属的图块。
在步骤S263中，3D重构部217确定图块的精度值。
在步骤S264中，3D重构部217获取占用地图。
在步骤S265中，3D重构部217确定深度(depth)值在当前坐标处是否有效。在基于占用地图确定在当前坐标处存在位置信息(即，深度值有效)的情况下，处理前进至步骤S266。
在步骤S266中，3D重构部217基于当前坐标的深度值在3D数据上生成点。当步骤S266中的处理结束时，处理前进至步骤S267。另外，在步骤S265中确定当前坐标的深度值无效(即，在当前坐标处不存在位置信息)的情况下，省略步骤S266中的处理，并且处理前进至步骤S267。
在步骤S267中，3D重构部217确定是否已经处理了所有坐标。在确定存在未处理的坐标的情况下，处理返回至步骤S261，并且执行随后的处理。
另外，在步骤S267中确定已经处理了所有坐标的情况下，点云重构处理结束，并且处理返回至图22。
通过以上述方式执行处理，解码装置200可以通过将具有不同精度值的占用地图应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，可以根据位置使精度值可变。因此，例如，对于帧图像上的位置中的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<点云重构处理的流程>
接下来，参照图26所示的流程图，说明了在类似于参照图11所说明的使用包括具有不同精度级别的块的占用地图来设置每个块的精度的情况下，在图22所示的步骤S207中执行的点云重构处理的流程的示例。
当开始点云重构处理时，在步骤S281中，3D重构部217选择处理目标当前坐标(x,y)。
在步骤S282中，3D重构部217确定当前坐标的精度值。
在步骤S283中，3D重构部217获取占用地图。
在步骤S284中，3D重构部217确定深度(Depth)值在当前坐标处是否有效。在基于占用地图确定在当前坐标处存在位置信息(即，深度值有效)的情况下，处理前进至步骤S285。
在步骤S285中，3D重构部217基于当前坐标的深度值在3D数据上生成点。当步骤S285中的处理结束时，处理前进至步骤S286。另外，在步骤S284中确定当前坐标的深度值无效(即，在当前坐标处不存在位置信息)的情况下，省略步骤S285中的处理，并且处理前进至步骤S286。
在步骤S286中，3D重构部217确定是否已经处理了所有坐标。在确定存在未处理的坐标的情况下，处理返回至步骤S281，并且执行随后的处理。
另外，在步骤S286中确定已经处理了所有坐标的情况下，点云重构处理结束，并且处理返回至图22。
通过以上述方式执行处理，解码装置200可以通过将具有不同精度值的占用地图应用于布置有图块的帧图像的每个局部区域来重构3D数据。即，可以根据位置使精度值可变。因此，例如，对于帧图像上的位置中的任何位置，可以根据具有适合于该位置的局部分辨率(图案的精细度)的精度值的占用地图来重构3D数据。因此，可以抑制解码图像的图像质量(重构的3D数据的质量)的降低，同时抑制代码量的增加(编码效率的降低)。
<3.注释>
<控制信息>
可以从编码侧向解码侧发送与在以上每个实施方式中说明的本技术有关的控制信息。例如，可以发送用于控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。另外，例如，可以发送指定上述本技术的应用的允许(或禁止)程度的控制信息(例如，块尺寸、切片、图片、序列、分量、视图、层等的上限、下限、或上限和下限两者)。
<计算机>
上述一系列处理也可以通过硬件来执行，而且也可以通过软件来执行。在通过软件执行一系列处理的情况下，将包括在软件中的程序安装在计算机上。这里，计算机包括例如可以通过安装各种类型的程序来执行各种类型的功能的结合在专用硬件中的计算机以及通用个人计算机等。
图27是示出通过使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图27所示的计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903经由总线904彼此耦接。
总线904还连接至输入/输出接口910。输入/输出接口910与输入部911、输出部912、存储部913、通信部914和驱动器915连接。
输入部911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出部912包括例如显示器、扬声器、输出终端等。存储部913包括例如硬盘、RAM盘、非易失性存储器等。通信部914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。
在这样配置的计算机中，通过CPU 901经由输入/输出接口910和总线904将例如存储在存储部913中的程序加载到RAM 903上并执行该程序来执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种类型的处理所需的数据等。
例如，可以通过将由计算机(CPU 901)执行的程序记录在作为封装介质等的可移除介质921上来对其进行应用。在这种情况下，通过将可移除介质921附接至驱动器915，程序可以经由输入/输出接口910安装在存储部913中。
另外，还可以经由如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以在通信部914被接收并且被安装在存储部913。
除此之外，程序也可以被预先安装在ROM 902或存储部913中。
<本技术的应用目标>
在到目前为止所说明的情况下，本技术被应用于点云数据的编码/解码，但是本技术不仅可以被应用于这些示例，而且可以被应用于任何标准的3D数据的编码/解码。即，除非出现与上述本技术的矛盾，否则诸如编码和解码方案的各种类型的处理以及诸如3D数据或元数据的各种类型数据的规范可以是任何处理和规范。另外，除非出现与本技术的矛盾，否则可以省略上述一些处理和/或规范。
另外，到目前为止，作为本技术的应用示例说明了编码装置100和解码装置200，但是本技术可以应用于任何配置。
例如，本技术可以应用于各种电子设备，例如卫星广播、诸如有线电视的有线广播、因特网上的分发、到蜂窝通信中的终端的分发等中的发射机或接收机(例如，电视接收机或移动电话)；或者在诸如光盘、磁盘或闪存的介质上记录图像或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。
另外，例如，本技术也可以实现为装置的部分配置，例如作为系统大规模集成电路LSI(Large Scale Integration)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者作为还具有其它附加功能的单元的集合(例如，视频集合)。
另外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以通过云计算来实现，在云计算中，多个装置经由网络共享处理，并且这些装置彼此协作地执行处理。例如，本技术可以在用于向诸如计算机、视听(AV)设备、移动信息处理终端、或物联网IoT设备的任何终端提供关于图像(运动图像)的服务的云服务中实现。
注意，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件是否位于单个壳体中并不重要。因此，容纳在单独的壳体中并经由网络连接的多个装置以及具有一个壳体且其中容纳有多个模块的一个装置都是系统。
<本技术可以应用的领域/用途>
应用本技术的系统、装置、处理部等例如可以用于任何领域，例如，运输、医疗护理、预防犯罪、农业、畜牧业、采矿业、美容业、工厂、家用电器、气象学、或自然监测。另外，其在这些领域中的用途也可以是任何用途。
<其他方面>
注意，在本说明书中，“标志”是用于识别多个状态的信息，并且该信息不仅包括当识别真(1)或假(0)的两个状态时使用的信息，而且包括允许识别三个状态或更多状态的信息。因此，该“标志”可以假定的值可以是例如1/0的二进制数，并且可以是三进制数或更多进制数。即，包括在该“标志”中的比特数可以是任意数量，并且可以是一比特或多比特。另外，在比特流中包括标识信息(也包括标志)的可能形式不仅包括其中标识信息被包括在比特流中的形式，而且包括其中标识信息相对于参考信息的差异信息被包括在比特流中的形式。因此，在本说明书中，“标志”或“识别信息”不仅包括信息，还包括相对于参考信息的差异信息。
另外，可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等)，只要它们与编码数据相关联即可。这里，术语“相关联”意味着例如当处理一个相关联的数据段时，可以使用(可以链接)另一个相关联的数据段。即，相互关联的数据段可以被统一为一个数据段，或者可以各自是单独的数据段。例如，可以在与编码数据(图像)的传送路径不同的传送路径上传送与编码数据(图像)相关联的信息。另外，例如，可以将与编码数据(图像)相关联的信息记录在除了用于编码数据(图像)的记录介质之外的记录介质(或同一记录介质的另一记录区域)中。注意，可以不对整个数据而是对数据的一部分执行该“相关联”。例如，图像和与图像对应的信息可以在诸如多个帧、一帧或帧的一部分的任意单元中彼此相关联。
注意，本说明书中使用的诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“推入”、“放入”、或“插入”的术语意味着例如将多个对象组合成一个，如将编码数据和元数据组合成一个数据段，并且意味着上述“相关联”的一种方法。
另外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主要部分的范围内以各种方式进行修改。
例如，作为一个装置(或一个处理部)说明的配置可以被划分并配置成多个装置(或多个处理部)。相反，以上作为多个装置(或多个处理部)说明的配置也可以被共同配置成一个装置(或一个处理部)。另外，每个装置(或每个处理部)的配置当然可以具有除了上述那些配置之外的附加配置。此外，只要整个系统的配置和操作基本相同，则装置(或处理部)的配置的一部分可以包括在另一装置(或另一处理部)的配置中。
另外，例如，可以在任何装置处执行上述程序。在这种情况下，仅需要该装置具有必要的功能(功能块等)并且可以获得必要的信息。
另外，例如，一个流程图中的每个步骤可以由一个装置执行，或者可以由多个装置以共享的方式执行。此外，在一个步骤包括多个处理的情况下，多个处理可以由一个装置执行，或者可以由多个装置以共享的方式执行。换言之，包括在一个步骤中的多个处理也可以作为多个步骤的处理来执行。相反，作为多个步骤说明的处理也可以作为一个步骤共同地执行。
另外，例如，由计算机执行的程序可以被配置使得描述程序的步骤中的处理以本说明书中说明的顺序按时间序列执行，或者并行执行或者在诸如调用处理时的那些所需的定时处单独执行。即，除非出现矛盾，否则每个步骤的处理可以以与上述顺序不同的顺序执行。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，以及/或者可以与其他程序的处理组合地执行。
另外，例如，除非出现矛盾，否则与本技术有关的多个技术可以彼此独立地单独实现。当然，多种本技术中的一些技术也可以组合实现。例如，实施方式中的任何实施方式中说明的本技术的一部分或全部也可以与实施方式中的另一实施方式中说明的本技术的一部分或全部组合实现。另外，上述本技术的任何部分的一部分或全部也可以与上述未提及的另一技术组合实现。
注意，本技术也可以具有与如下所述的配置类似的配置。
(1)
一种图像处理装置，包括：
地图生成部，其针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像；以及
比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的多个所述地图的编码数据的比特流。
(2)
根据(1)所述的图像处理装置，其中
所述地图生成部生成指示是否存在数据的精度级别相互不同的多个所述地图。
(3)
根据(2)所述的图像处理装置，其中
多个所述地图指示在相互不同的位置处是否存在数据。
(4)
根据(2)所述的图像处理装置，其中
多个所述地图不仅针对相互不同的位置，而且也针对相同的位置指示是否存在数据。
(5)
根据(2)所述的图像处理装置，其中
所述地图生成部将多个所述地图组合成一条数据。
(6)
根据(5)所述的图像处理装置，其中
所述地图生成部生成包括下述信息的数据，所述信息与所述地图的指示是否存在数据的精度有关。
(7)
根据(6)所述的图像处理装置，其中
与所述精度有关的信息包括指示所述精度级别的数量的信息以及指示每个精度级别的值的信息。
(8)
一种图像处理方法，包括：
针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像；以及
生成包括所述帧图像的编码数据和多个所生成的地图的编码数据的比特流。
(9)
一种图像处理装置，包括：
重构部，其使用与布置有图块的帧图像对应的多个地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图指示在每个位置处是否存在数据。
(10)
一种图像处理方法，包括：
使用与布置有图块的帧图像对应的多个地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图指示在每个位置处是否存在数据。
(11)
一种图像处理装置，包括：
地图生成部，其生成指示在帧图像的每个位置处是否存在数据的地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据多个精度级别；以及
比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的所述地图的编码数据的比特流。
(12)
根据(11)所述的图像处理装置，其中
所述地图生成部生成具有分别针对每个块设置的所述精度级别的地图。
(13)
根据(11)所述的图像处理装置，其中
所述地图生成部生成具有分别针对每个图块设置的所述精度级别的地图。
(14)
根据(11)所述的图像处理装置，其中
所述地图生成部针对每个子块生成指示是否存在数据的地图，所述子块处于在每个块中形成有的多个子块之中，并且所述子块具有与所述精度级别中的对应精度级别对应的尺寸。
(15)
根据(11)所述的图像处理装置，其中
所述地图生成部基于成本函数来设置所述精度级别。
(16)
根据(11)所述的图像处理装置，其中
所述地图生成部基于局部区域的特性或感兴趣区域的设置来设置所述精度级别。
(17)
根据(11)所述的图像处理装置，还包括：
编码部，其对由所述地图生成部生成的多个地图进行编码，其中
所述比特流生成部生成包括所述帧图像的编码数据和由所述编码部生成的所述地图的编码数据的比特流。
(18)
一种图像处理方法，包括：
生成指示在帧图像的每个位置处是否存在数据的地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别；以及
生成包括所述帧图像的编码数据和所生成的地图的编码数据的比特流。
(19)
一种图像处理装置，包括：
重构部，其使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别。
(20)
一种图像处理方法，包括：
使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别。
[附图标记列表]
100编码装置，111图块分解部，112打包部，113Omap生成部，114辅助图块信息压缩部，115视频编码部，116视频编码部，117Omap编码部，118复用器，151精度值决定部，152Omap生成部，200解码装置，211解复用器，212辅助图块信息解码部，213视频解码部，214视频解码部，215Omap解码部，216解包部，217 3D重构部

Claims (20)

1.一种图像处理装置，包括：
地图生成部，其针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像；以及
比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的多个所述地图的编码数据的比特流。
2.根据权利要求1所述的图像处理装置，其中，
所述地图生成部生成指示是否存在数据的精度级别相互不同的多个所述地图。
3.根据权利要求2所述的图像处理装置，其中，
多个所述地图指示在相互不同的位置处是否存在数据。
4.根据权利要求2所述的图像处理装置，其中，
多个所述地图不仅针对相互不同的位置，而且也针对相同的位置指示是否存在数据。
5.根据权利要求2所述的图像处理装置，其中，
所述地图生成部将多个所述地图组合成一条数据。
6.根据权利要求5所述的图像处理装置，其中，
所述地图生成部生成包括下述信息的数据，所述信息与所述地图的指示是否存在数据的精度有关。
7.根据权利要求6所述的图像处理装置，其中，
与所述精度有关的信息包括指示所述精度级别的数量的信息以及指示每个精度级别的值的信息。
8.一种图像处理方法，包括：
针对一个帧图像生成指示在每个位置处是否存在数据的多个地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像；以及
生成包括所述帧图像的编码数据和多个所生成的地图的编码数据的比特流。
9.一种图像处理装置，包括：
重构部，其使用与布置有图块的帧图像对应的多个地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图指示在每个位置处是否存在数据。
10.一种图像处理方法，包括：
使用与布置有图块的帧图像对应的多个地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图指示在每个位置处是否存在数据。
11.一种图像处理装置，包括：
地图生成部，其生成指示在帧图像的每个位置处是否存在数据的地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据多个精度级别；以及
比特流生成部，其生成包括所述帧图像的编码数据和由所述地图生成部生成的所述地图的编码数据的比特流。
12.根据权利要求11所述的图像处理装置，其中，
所述地图生成部生成具有分别针对每个块设置的所述精度级别的地图。
13.根据权利要求11所述的图像处理装置，其中,
所述地图生成部生成具有分别针对每个图块设置的所述精度级别的地图。
14.根据权利要求11所述的图像处理装置，其中，
所述地图生成部针对每个子块生成指示是否存在数据的地图，所述子块处于在每个块中形成有的多个子块之中，并且所述子块具有与所述精度级别中的对应精度级别对应的尺寸。
15.根据权利要求11所述的图像处理装置，其中，
所述地图生成部基于成本函数来设置所述精度级别。
16.根据权利要求11所述的图像处理装置，其中，
所述地图生成部基于局部区域的特性或感兴趣区域的设置来设置所述精度级别。
17.根据权利要求11所述的图像处理装置，还包括：
编码部，其对由所述地图生成部生成的多个地图进行编码，其中
所述比特流生成部生成包括所述帧图像的编码数据和由所述编码部生成的所述地图的编码数据的比特流。
18.一种图像处理方法，包括：
生成指示在帧图像的每个位置处是否存在数据的地图，所述帧图像布置有图块，所述图块是通过将表示三维结构的3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别；以及
生成包括所述帧图像的编码数据和所生成的地图的编码数据的比特流。
19.一种图像处理装置，包括：
重构部，其使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别。
20.一种图像处理方法，包括：
使用指示在布置有图块的帧图像的每个位置处是否存在数据的地图来根据所述图块重构表示三维结构的3D数据，所述图块是通过将所述3D数据投影到二维平面上而获得的图像，并且所述地图具有设置的指示是否存在数据的多个精度级别。
CN201980024401.1A 2018-04-11 2019-03-28 图像处理装置和方法 Pending CN111937402A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018076227 2018-04-11
JP2018-076227 2018-04-11
PCT/JP2019/013537 WO2019198523A1 (ja) 2018-04-11 2019-03-28 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN111937402A true CN111937402A (zh) 2020-11-13

Family

ID=68163613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024401.1A Pending CN111937402A (zh) 2018-04-11 2019-03-28 图像处理装置和方法

Country Status (5)

Country Link
US (1) US20210027505A1 (zh)
EP (1) EP3767954A4 (zh)
JP (1) JPWO2019198523A1 (zh)
CN (1) CN111937402A (zh)
WO (1) WO2019198523A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358091A1 (en) * 2018-12-05 2021-11-18 Tencent America LLC Method and apparatus for geometric smoothing
WO2022253228A1 (zh) * 2021-06-04 2022-12-08 华为技术有限公司 3d地图的压缩、解压缩方法和装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
CN111566703B (zh) * 2018-01-17 2023-10-20 索尼公司 图像处理装置和方法
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) * 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
EP3973710A4 (en) * 2019-05-22 2023-05-03 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ENCODING AND DECODING VOLUMETRIC VIDEO
WO2020242077A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
WO2022119208A1 (ko) * 2020-12-03 2022-06-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
US11606556B2 (en) 2021-07-20 2023-03-14 Tencent America LLC Fast patch generation for video based point cloud coding
WO2023127513A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置および方法
WO2023181899A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 情報処理装置および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810744A (zh) * 2012-11-09 2014-05-21 波音公司 在点云中回填点
JP2016143931A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 投射型表示装置
CN106210746A (zh) * 2013-07-12 2016-12-07 索尼公司 图像解码装置和方法
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810744A (zh) * 2012-11-09 2014-05-21 波音公司 在点云中回填点
CN106210746A (zh) * 2013-07-12 2016-12-07 索尼公司 图像解码装置和方法
JP2016143931A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 投射型表示装置
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIM GOLLA 等: "Real-time Point Cloud Compression", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358091A1 (en) * 2018-12-05 2021-11-18 Tencent America LLC Method and apparatus for geometric smoothing
US11727536B2 (en) * 2018-12-05 2023-08-15 Tencent America LLC Method and apparatus for geometric smoothing
WO2022253228A1 (zh) * 2021-06-04 2022-12-08 华为技术有限公司 3d地图的压缩、解压缩方法和装置

Also Published As

Publication number Publication date
WO2019198523A1 (ja) 2019-10-17
EP3767954A4 (en) 2021-05-05
JPWO2019198523A1 (ja) 2021-05-13
US20210027505A1 (en) 2021-01-28
EP3767954A1 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
CN111937402A (zh) 图像处理装置和方法
JP7384159B2 (ja) 画像処理装置および方法
JP7327166B2 (ja) 画像処理装置および方法
US11882303B2 (en) Apparatus and method for processing point cloud data
JP2022544571A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP7327399B2 (ja) 画像処理装置および方法
KR20200140256A (ko) 화상 처리 장치 및 방법
CN112771582B (zh) 图像处理设备和方法
KR102423498B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7307260B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
WO2021140930A1 (ja) 情報処理装置および方法
CN112425175A (zh) 图像处理装置和方法
WO2021010200A1 (ja) 情報処理装置および方法
CN114051730A (zh) 处理点云数据的设备和方法
JPWO2020145117A1 (ja) 画像処理装置および方法
JP2022047546A (ja) 情報処理装置および方法
WO2021002214A1 (ja) 情報処理装置および方法
JP7415937B2 (ja) 画像処理装置および方法
WO2023127513A1 (ja) 情報処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2023507879A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
KR20240056739A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP2024509605A (ja) ポイントクラウド圧縮に基づく動的メッシュ圧縮
CN117121487A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230228