CN112042201A - 用于编码/解码表示3d对象的点云的方法和装置 - Google Patents

用于编码/解码表示3d对象的点云的方法和装置 Download PDF

Info

Publication number
CN112042201A
CN112042201A CN201980025275.1A CN201980025275A CN112042201A CN 112042201 A CN112042201 A CN 112042201A CN 201980025275 A CN201980025275 A CN 201980025275A CN 112042201 A CN112042201 A CN 112042201A
Authority
CN
China
Prior art keywords
point
points
projection line
occupied
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980025275.1A
Other languages
English (en)
Inventor
J.里卡德
J.拉赫平萨奇
蔡康颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18306133.2A external-priority patent/EP3614673A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112042201A publication Critical patent/CN112042201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

该方法包括：‑沿投影线正交投影点云的至少一个点；和‑对于相同投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。

Description

用于编码/解码表示3D对象的点云的方法和装置
技术领域
本原理通常涉及表示3D对象的点云的编码和解码。具体地，但非排他地，本原理的技术领域与基于投影的点云的编码/解码有关。
背景技术
本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。相信该讨论有助于向读者提供背景信息，以便于更好地理解本原理的各个方面。因此，应该理解的是，这些陈述要鉴于此地来阅读，而不是作为对现有技术的承认。
点云是通常意图表示3D对象的外表面的点的集合，但也可能是更复杂的几何形状(像头发或毛发)，其可能无法由其他数据格式(像网格)有效地表示。点云的每个点经常由3D空间位置(3D空间中的X，Y和Z坐标)定义，并且也可能由其他相关联的属性(诸如例如以RGB或YUV颜色空间表示的颜色、透明度、反射率，法向矢量等)定义。
彩色点云可以是6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。
在下文中，术语“点云”指代包括彩色点云的任何点云。
彩色点云可以是静态的也可以是动态的，具体取决于点云是否关于时间演变。应该注意的是，在动态点云的情况下，点的数量不一定是恒定的，相反，它一般随时间演变。因此，动态点云是点的集合的按时间顺序排列的列表。
实际上，彩色点云可用于不同目的，诸如文化遗产/建筑物，其中以3D形式扫描像雕像或建筑物那样的对象，以便共享对象的空间配置而无需发送或访问它。同样，如果对象可能被破坏，这是确保保留对象的知识的方式；例如，地震破坏庙宇。这种彩色点云典型是静态的且巨大的。
另一使用情况是在地形和制图中，其中通过使用3D表示，地图不仅限于平面，并且还可以包括地势。
汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应该能够“探测”其周围环境，以便基于其紧邻的实际情况做出安全驾驶决定。典型的传感器生成由决定引擎会使用的动态点云。这些点云不意图由人类观看。它们典型很小，不一定是彩色的，并且是具有很高捕获频率的动态性。它们可能具有其他属性，像反射率，其是与感测对象的物理表面的材料相关的有价值的信息并且可以帮助做出决定。
虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被很多人预见为2D平面视频的未来。基本构思是让观看者沉浸在其周围的环境中，这与观看者只能看到自己面前的虚拟世界的标准电视相反。取决于观看者在环境中的自由度，沉浸性有若干个等级。彩色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且典型具有平均大小，例如一次不多于几百万个点。
仅在比特流的大小足够小以允许实际存储/传输给最终用户的情况下，点云压缩才能够胜任用于沉浸式世界的存储/传输3D对象。
以下也是至关重要的：能够以合理的带宽消耗将动态点云分发给最终用户，同时保持可接受的(或优选是非常好的)体验质量。与视频压缩类似，时间相关性的良好使用被认为是导致动态点云有效压缩的关键要素。
众所周知的方法将表示3D对象的几何形状和颜色的彩色点云投影到包含3D对象的立方体的面上，以获得包含表示点云的颜色信息的纹理和表示点云的几何信息的深度信息的视频，并使用传统编码器(诸如，3D-HEVC(HEVC的扩展，其规范在ITU网站，T推荐，H系列，h265，https：//www.itu.int/rec/T-REC-H.265-201802-I附件I上找到))对纹理和深度视频编码。
对于每个投影点，压缩的性能都接近于视频压缩，但是当考虑动态点云时，由于遮挡，冗余和时间稳定性，某些内容可能更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。
关于遮挡，几乎不可能在不使用许多投影的情况下获得复杂拓扑的完整几何形状。因此，用于编码/解码所有这些投影所需资源(计算能力，存储存储器)通常太高。
最近在第120届MPEG会议期间提出使用纹理和深度投影方案的点云编解码器。在文档ISO/IEC JTC1/SC29 WG11 Doc.N17248，中国澳门，2017年10月中描述了该方案，其中，提出的方案称为“Point cloud compression Test Model Category 2version 0.0(TMC2v0)”。
通过本质上将动态点云数据转换为不同视频序列的集合，该编解码器利用现有的视频编解码器来压缩动态点云的几何和纹理信息。
具体地，使用现有的视频编解码器(例如，使用HEVC主配置文件编码器)生成并压缩两个视频序列，一个用于捕获点云数据的几何信息，并且另一个用于捕获纹理信息，即点的颜色。
还单独生成并压缩了用于解释这两个视频序列所需的附加元数据，即占用图和辅助补片/块信息。然后，将生成的视频比特流和元数据复用在一起，以生成最终点云比特流。元数据还由诸如算术编解码器之类的熵编解码器编码。
该点云编解码器的示例性编码器2的结构在图1上表示。
编码器2包括3个主要的块：几何压缩块4，元数据压缩块6和纹理压缩块8。
几何压缩块4包括深度补片创建块10，其将输入点云分解为深度补片。
深度补片创建处理10目的在于将点云分解为具有平滑边界的最小数量的深度补片，同时还最小化重构误差。深度补片由一组与深度值相关联的像素来表示点云的一部分。
作为示例，实现在图2中详述的以下方法。
首先，如Hugues Hoppe，Tony DeRose，Tom Duchamp，John McDonald，WernerStuetzle的“Surface reconstruction from unorganized points”ACM SIGGRAPH 1992年会议论文集，第71-78页中描述，在102估计每个点的法线。
然后在104通过将每个点与由它们的法线定义的以下六个定向平面之一相关联来获得点云的初始聚类：
-(1.0，0.0，0.0)，
-(0.0，1.0，0.0)，
-(0.0，0.0，1.0)，
-(-1.0，0.0，0.0)，
-(0.0，-1.0、0.0)和
-(0.0，0.0，-1.0)。
更精确地，每个点与具有最接近法线的平面相关联(即，最大化点法线和平面法线的点积)。
根据一个实施例，上述六个定向平面被索引如下：
-(1.0，0.0，0.0)由群集索引0索引；
-(0.0，1.0，0.0)由群集索引1索引；
-(0.0，0.0，1.0)由群集索引2索引；
-(-1.0，0.0，0.0)由群集索引0索引；
-(0.0，-1.0，0.0)由群集索引1索引；
-(0.0，0.0，-1.0)由群集索引2索引
然后，每个点都与对应群集的索引相关联。
然后，通过基于其法线和其最近邻居的聚类索引来迭代地更新与每个点关联的群集索引来细化初始聚类。根据一个实施例，对于所考虑的点，如果将其所有邻近点(例如，对于其3D空间中与当前点的距离小于2的所有点)分配给一个群集，标记为ClusterA，并且所考虑的点被分配给另一群集，所考虑的点的群集索引被更新为ClusterA。
然后，在106处通过应用连接的分量提取过程来提取深度补片，即，提取具有相同群集索引的邻近点以形成连接的分量。根据一个实施例，通过将同时满足以下两个条件的所有点分组来建立一个连接的分量：
-所有点都具有相同的群集索引。
-对于关注的连接的分量中的每个点，在相同的连接的分量中至少存在一个点，其到当前点的距离小于预定义的阈值，例如等于1。
每个连接的分量根据其群集索引(即，属于它的点的群集索引)与投影平面相关联。一个实施例如下。
-群集索引为0的连接的分量的YOZ平面；
-群集索引为1的连接的分量的XOZ平面；
-群集索引为2的连接的分量的XOY平面。
为了更好地处理沿相同投影线的多个点的情况，其中投影线包括三个坐标(X，Y，Z)中具有两个相同坐标的点。例如，投影线可以由具有相同(X，Y)坐标的所有点组成，为每个连接的分量生成两个深度补片，记录深度值D0和D1(与对应像素的最小和最大深度值对应并满足D1-D0<＝SurfaceThickness，其中SurfaceThickness是最大表面厚度，例如等于4)。
更准确地说，令{H(u，v)}为投影到相同像素(u，v)的当前连接的分量的点的集合。第一深度补片(也称为近层)以最低深度D0将点的深度存储在{H(u，v)}中。第二深度补片(称为远层)以[D0，D0+SurfaceThickness]区间内的最高深度捕获{H(u，v)}中的点。
深度补片创建块10后面是打包块12，打包块12将所有投影的连接的分量映射到2D网格上，同时尝试最小化未使用的空间，并确保网格的每个TxT(例如，16x16)块都与唯一投影的连接分量相关联，其中T是在比特流中编码并发送到解码器的用户定义的参数。2D网格上的每个点对应于图像上的像素。
打包使用迭代地尝试将补片插入WxH网格的简单的打包策略，其中W和H是用户定义的参数，例如1028x1028，其与将要编码的几何/纹理图像的分辨率对应。通过以栅格扫描顺序执行的穷尽搜索来确定补片位置。选择可以确保补片自由重叠插入的第一位置，并将补片覆盖的网格单元标记为已使用。如果当前图像分辨率中没有空闲区域适合补片，则将网格的高度H暂时加倍，然后再次应用搜索。在该处理结束时，将H剪裁以适合使用的网格单元。在2D网格中的打包位置(其是每个补片的投影区域的边界框的左上角的位置)和每个补片的投影区域的大小被发信号通知到压缩比特流中。
占用图从打包块12输出到元数据压缩块6。占用图由二进制图组成，该二进制图指示网格的每个单元是属于空闲空间还是属于点云，其中2D网格的一个单元将在图像生成处理中产生携带深度或颜色信息的像素。
几何压缩块4还包括图像生成块14，其利用在打包处理12期间计算出的3D到2D映射，更具体地，每个连接的分量的打包位置和投影区域的大小，以存储点云的几何形状作为图像。
对应于为每个连接的分量生成两个深度补片的事实，生成两个图像来存储点云的几何形状，分别称为DepthImg0和DepthImg1。
参照图3进一步详细说明编码器2的图像生成块14。
图像生成包括打包处理(深度D0打包)，其中，根据每个补片的投影区域的打包位置，将每个补片的D0值复制到第二网格的对应部分。
图像生成还包括增量深度(delta-depth)确定，其中，为了depthImage0的每个占用的像素，delta_depth＝D1-D0(D1和D0在相同投影线上)，并且delta_depth存储在相同位置，其中对应D0值被存储。
图像生成还包括如下的时间交织：(depthImage0_0，depthImage1_0，…depthImage0_i，depthImage1_i，…，depthImage0_n，depthImage1_n)，其中depthImage0_i和depthImage1_i是从点云帧i生成的。
图像生成还包括填补处理20，该填补处理20目的在于填充补片之间的空闲空间，以生成适合于视频压缩的分段平滑图像。其使用简单的填充策略，其过程如下：
●TxT(例如16x16)像素的每个块被独立处理。
●如果块为空闲(即，其所有像素都属于空闲空间)，则通过按光栅顺序复制之前的TxT块的最后一行或最后一列来填充该块的像素。
●如果块是满的(即，无空闲像素)，则不执行任何操作。
●如果块具有空闲像素和填充像素二者，则空闲像素将用其非空闲像素的平均值迭代地填充。
图像生成块14之后是深度视频编码块22，其中，根据作为参数提供的HM配置，使用任何传统视频编解码器(诸如，HM16.16视频编解码器)将生成的深度图像存储为视频帧并进行压缩。
在编码器2的元数据压缩块6中，收集以下元数据(称为每个补片/连接的分量元数据)，然后为每个连接的分量进行如下编码：
●投影平面的索引
○平面(1.0，0.0，0.0)和(-1.0，0.0，0.0)的索引0；
○平面(0.0，1.0，0.0)和(0.0，-1.0，0.0)的索引1；
○平面(0.0，0.0，1.0)和(0.0，0.0，-1.0)的索引2。
●打包的几何/纹理图像上的2D边界框(u0，v0，u1，v1)；
●以深度偏移δ0，切向偏移s0和双切向偏移r0表示的连接的分量的3D位置(x0，y0，z0)。根据所选的投影平面，(δ0,s0,r0)计算如下：
○索引0，δ0＝x0，s0＝z0和r0＝y0；
○索引1，δ0＝y0，s0＝z0和r0＝x0；
○索引2，δ0＝z0，s0＝x0和r0＝y0。
同样，按如下生成和编码为每个TxT块提供其相关联的补片/连接的分量索引的映射信息(称为块到补片映射)：
●对于每个TxT块，令L为补片的索引的有序列表，以使它们的2D边界框包含该块。列表中的顺序与用于编码2D边界框的顺序相同。L称为候选补片的列表。
●几何/纹理图像上补片之间的空闲空间被视为补片，并且被分配特殊索引0，其被添加到所有块的候选补片列表中。
●令I为占用当前TxT块的补片的索引，并且令J为I在L中的位置。替代显式地编码索引I，算术编码其位置J，这导致更好的压缩效率。
另外，元数据压缩块6实现占用图的编码。
占用图压缩利用上述块到补片映射信息，以便检测空的TxT块(即，补片索引为0的块)。其余块编码如下。
可以以B0xB0块的精度对占用图编码，其中B0是用户定义的参数。为了实现无损编码，应将B0设置为1。实际上，B0＝2或B0＝4导致视觉上可接受的结果，同时显著减少对占用图编码所需的比特的数量。
占用图的压缩处理如下：
●二进制值与属于相同TxT块的B0xB0子块相关联。如果子块至少包含一个非填补像素，则将其与值1相关联，否则将其与0相关联。如果子块的值为1，则称其已满，否则为空子块。
●如果TxT块的所有子块都已满(即，具有值1)，则称该块已满。否则，该块被称为未满。
●为每个TxT块编码二进制信息，以指示其是否已满。
●如果块未满，则指示满/空子块的位置的附加信息被编码如下：
○为子块定义了不同的遍历顺序。图4示出四个考虑的遍历顺序。
○编码器选择遍历顺序之一，并在比特流中显式发信号通知其索引。
○通过使用行程编码策略(run-length encoding strategy)对与子块相关联的二进制值编码。
□编码初始子块的二进制值。
□在遵循由编码器选择的遍历顺序的同时，检测到连续运行的0和1。
□编码检测到的运行。
□除最后一次外，也编码每次运行的长度。
块到补片索引和占用图称为每个块的元数据。
纹理压缩块8包括通过诸如3D-HEVC(HEVC的扩展，其规范在ITU网站上，T推荐，H系列，h265，https：//www.itu.int/rec/T-REC-H.265-201802-I附件I上找到)之类的传统解码器进行的深度视频解码，然后是几何重构处理24(其利用占用图信息以便检测重构的几何图像中的占用像素)。通过利用元数据和几何图像来计算与那些占用的像素相关联的点的3D位置。更准确地，令P为从占用像素(u，v)重构的点，并且令(δ0,s0,r0)为它所属的连接的分量的3D位置，而(u0，v0，u1，v1)为对应深度补片的2D边界框。P可以用深度δ(u,v)，切向位移s(u，v)和双切向位移r(u，v)表达如下：
δ(u,v)＝δ0+g(u,v)
s(u,v)＝s0–u0+u
r(u,v)＝r0–v0+v,
其中g(u，v)是重构的几何图像的亮度分量。
点云几何重构处理24还为了每个重构点输出用于存储重构当前点的深度值的像素的位置，即(i，u，v)，其中i指示深度图像，即DepthImg0或DepthImg1，并且(u，v)是第i个深度图像中像素的坐标。
纹理压缩块8还包括3D颜色传送块26，其中以使颜色信息编码误差最小的方式来确定要为每个重构点编码的颜色和/或其他属性值。根据一个实施例，对于每个重构点，其在输入/原始点云中最近的点的颜色被分配作为要编码的颜色。
3D颜色传送块26之后是(多个)纹理图像生成块28，该纹理图像生成块28以通过将每个重构点的要编码的颜色信息存储在与几何图像相同的位置(即，(i，u，v))中来生成要编码的纹理图像。
(多个)纹理图像生成块28之后是纹理视频编码，其使用诸如3D-HEVC(HEVC的扩展，其规范在ITU网站，T推荐，H系列，h265，https：//www.itu.int/rec/T-REC-H.265-201802-I附件I上找到)之类的传统编码器。
从几何压缩块4生成的深度视频流，从元数据压缩流6生成的每个块和每个补片元数据流以及从纹理压缩块8生成的颜色视频流在从编码器2输出的压缩流中被复用。
图5表示编码器2对应的与用于点云重构的解码器30。
在解码器30处，从编码器2输出的压缩流被解复用为深度视频流，每个块元数据流，每个补片元数据流和颜色视频流。
解码器30包括几何重构块31，其包括通过诸如3D-HEVC(HEVC的扩展，其规范在ITU网站，T推荐，H系列，h265，https：//www.itu.int/rec/T-REC-H.265-201802-I附件I上找到)的传统解码器进行的深度视频解码。
图像重构模块31还包括图6详细描述的图像重构模块32。该模块包括：
-从重构深度视频流中进行时间去交织的重构的depthImage0和重构的depthImage1；
-取得存储在重构的depthImage0中的重构的D0值；和
-使用reconstructed_D0+Constructed_Delta_Depth重构D1值，其中reconstructed_Delta_Depth值存储在depthImage1中。
图像重构块31还包括以与编码器2的点云几何重构块24相同的方式操作的点云几何重构块33。
解码器30还包括元数据重构块，其中每个补片和每个块元数据被解码。
解码器30还包括纹理重构处理，包括诸如3D-HEVC(HEVC的扩展，其规范在ITU网站，T推荐，H系列，h265，https：//www.itu.int/rec/T-REC-H.265-201802-I附件I上找到)的传统解码器进行的纹理视频解码阶段。
纹理重构处理还包括纹理补片重构阶段，其中，使用重构的每个补片和每个块元数据来重构纹理补片。
此外，纹理重构处理包括点云纹理重构阶段35，其中，使用重构每个点的像素的位置从重构纹理图像中获取每个重构点的颜色。
如图7所示，沿相同投影线通常有不止一个点。其背后的原因包括：
-通过具有整数坐标的点表示连续的3D表面，和/或
-局部表面细节，和/或
-自我遮挡。
为了最小化重构误差，上述编解码器对于一个投影图像的每个像素保持两个深度值。所述两个深度值被称为深度D0和深度D1，其对应于沿对应的投影线的最小和最大深度值并且满足D1-D0<＝SurfaceThickness，其中SurfaceThickness是最大表面厚度。
相应地，编码器2对于每个点云帧生成两个深度图像(即，在动态点云的情况下，点云序列中的点云)，其中第一深度图像DepthImg0存储深度D0值，并且第二深度图像DepthImg1存储delta_depth＝depth D1-depth D0的值。应当注意，当沿着投影线只有一个点时，深度D1被设置为等于深度D0。
但是，通过使用图1的编码器，记录的两个点之间的点云的点(在图7上称为未投影点)未被编码，这导致显著客观和主观质量损失。
发明内容
以下呈现本原理的简化概述，以提供对本原理某些方面的基本理解。该概述不是本原理的广泛概述。它并非意图标识本原理的关键或重要元素。以下概述仅以简化形式呈现本发明原理的一些方面，作为下面提供的更详细描述的序言。
一般而言，本公开提出用于改进情况的解决方案。
因此，本公开提供一种方法，包括：沿投影线正交投影点云的至少一个点；以及对于相同投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
有利地，本公开通过在比特流中发信号通知所述投影线的较近点和较远点之间的投影线的位置是否被占用，改进了基于深度和纹理投影的点云编解码器的压缩性能。
本公开还提供一种方法，包括：通过正交解投影相同投影线的较近点和较远点来重构点云的两个点；以及当信息指示所述投影线的点的位置被占用时，通过正交解投影所述点来重构点云的点。
编码器/解码器有利地由一个或多个处理器实现。
根据本公开的方法可以在可编程装置上的软件中实现。它们可以仅以硬件或软件或其组合来实现。
因为本发明可以以软件实现，所以本发明可以体现为计算机可读代码，以在任何合适的载体介质上提供给可编程装置。载体介质可以包括诸如软盘，CD-ROM，硬盘驱动器，磁带设备或固态存储设备等的存储介质。
因此，本公开提供包括计算机可执行指令的计算机可读程序，以使计算机能够执行本发明的编码/解码方法。
附图说明
在附图中，例示本原理的示例。其示出：
-已经描述的图1示出其中可以有利地实现本原理的编码器；
-已经描述的图2示出现有技术的深度补片创建处理；
-已经描述的图3示出现有技术的图像生成处理；
-已经描述的图4示出在图1的编码器中使用的子块遍历的示例；
-已经描述的图5示出其中可以有利地实现本原理的解码器；
-已经描述的图6示出现有技术的图像重构处理；
-已经描述的图7是3D点云的2D图示，其示出根据现有技术的投影图像的像素的深度D0和深度D1值；
-图8例示根据本公开的实施例的增强增量深度(EDD)代码的示例；
-图9示出根据本公开的实施例的形成增强增量深度(EDD)码的示例；
-图10示出根据本公开的实施例的编码器；
-图11示出根据本公开的第一实施例的深度图像重构的块；
-图12示出根据本公开的第二实施例的深度图像重构的块；
-图13示出根据本公开实施例的图5的解码器的修改；
-图14示出其中可以有利地实现本原理的无损编码器；
-图15示出根据本原理的示例的设备的架构的示例；
-图16示出根据本原理的示例的通过通信网络进行通信的两个远程设备；和
-图17示出根据本原理的示例的信号的语法。
相似或相同的要素用相同的参考数字表示。
具体实施方式
在下文中将参考附图更全面地描述本原理，附图中示出本原理的示例。然而，本原理可以以许多替代形式实施，并且不应该被解释为限于这里阐述的示例。因此，虽然本原理易于进行各种修改和替换形式，但是其具体示例通过附图中的示例示出并且将在本文中详细描述。然而，应该理解，不意图将本原理限制于公开的特定形式，相反，本公开要覆盖落入权利要求定义的本原理的精神和范围内的所有修改，等同物和替代物。
本文使用的术语仅用于描述特定示例的目的，并不旨在限制本原理。如本文使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”，“包含”，“包括”和/或“包括”指定陈述的特征，整数，步骤，操作，元件和/或分量的存在，但是不排除存在或附加一个或多个其他特征，整数，步骤，操作，要素，分量和/或其分组。此外，当元件被称为“响应”或“连接”到另一个元件时，它可以直接响应或连接到另一个元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。如本文使用，术语“和/或”包括一个或多个相关所列项目的任何和所有组合，并且可以缩写为“/”。
将理解，尽管本文可以使用术语第一，第二等来描述各种要素，但是这些要素不应受这些术语的限制。这些术语仅用于区分一个要素与另一个要素。例如，第一要素可以被称为第二要素，并且类似地，在不脱离本原理的教导的情况下，第二要素可以被称为第一要素。
尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是要理解，通信可以在与所示箭头相反的方向上发生。
关于框图和操作流程图描述一些示例，其中每个框表示电路元件，模块或包括用于实现(多个)指定逻辑功能的一个或多个可执行指令的代码部分。还应注意，在其他实现方式中，框中标注的(多个)功能可以不按所述顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时取决于所涉及的功能可以以相反的顺序执行。
本文对“根据示例”或“在示例中”的引用意味着结合该示例描述的特定特征，结构或特性可以包括在本原理的至少一个实现方式中。在说明书中各处出现的短语“根据示例”或“在示例中”不一定都指代相同的示例，也不一定是与其他示例相互排斥的单独或替代示例。
权利要求中出现的附图标记仅是示例性的，并且对权利要求的范围没有限制作用。
虽然没有明确描述，但是这些示例和变型可以以任何组合或子组合使用。
本原理描述用于编码/解码彩色点云，但是扩展至彩色点云的序列的编码/解码，这是因为由于如下所述顺序地编码/解码序列中的每个彩色点云。
根据实施例，已经描述的编码器2和解码器30用于本原理的实现方式。
如以上参考图7所解释的，沿着相同投影线通常有不止一个点。为了最小化重构误差，对于一个投影图像的每个像素存储两个深度值。所述两个深度值被称为深度D0和深度D1，对应于最小和最大深度值。
相应地，编码器2对于每个点云帧生成两个深度图像，称为DepthImg0和DepthImg1。在编码器2中，与深度D0和深度D1对应的记录点之间的被称为非投影点的点未被编码。
有利地，根据本原理，这些非投影的点被编码，如通过以下在图8中出现：
-沿具有至少一个点的所有投影线，对于深度D0和深度D1之间的每个位置，使用一个比特以指示该位置是否被占用，
-沿一条投影线将所有所述比特级联以形成码字，此后称为增强增量深度(EDD)代码，
-将点云帧的EDD代码打包到将由成熟的视频编解码器(诸如，HEVC)进一步编码的一个或多个图像中。
为了将EDD代码集成在编码器2中，代替在DepthImg1中编码DeltaD＝(D1-D0)，将具有至少一个点的所有投影线的EDD代码记录并编码在DepthImg1中。
如图9中表示，本公开提出两个实施例，用于将表示深度D0和深度D1之间的所有位置的所有比特沿着一条投影线级联以形成EDD代码。
一个实施例将表示深度D0附近的位置的比特作为结果码字的较高比特，并将表示深度D1附近的位置的比特作为结果码字的较低比特，如图9的右侧部分所示。
另一个实施例将表示深度D1附近的位置的比特作为结果码字的较高比特，并且将表示深度D0附近的位置的比特作为结果码字的较低比特，如图9的左侧部分所示。使用图9的左侧部分所示的该实施例构造图8顶部的示例。
图10示出根据本公开的教导修改的编码器2。更具体地，根据本公开的实施例修改编码器2的深度路径创建块10，(多个)深度图像生成块14，点云几何重构块24和3D颜色传送块26。
在图2表示的深度补片生成块10中，深度补片生成块106被修改。替代仅沿每条投影线记录D0和D1，通过EDD代码记录D0和(D0+surfaceThickness)之间的点。每个连接的分量的两个深度补片记录D0和EDD代码。
还通过在DepthImg1记录EDD代码而不是D1来修改图3表示的(多个)深度图像生成块14。在图11和图12中呈现两个在DepthImg1中记录EDD代码的实施例。
根据图11表示的第一实施例，在142处，使用每个块元数据在DepthImg1中将所有EDD代码打包。
根据第二实施例，如图12表示，在144处，使用每个块元数据在DepthImg1中将(D0+EDD_code)打包。然后填补DepthImg1以改进其压缩性能。
有利地，还修改点云几何重构块24。
从解码的D0值和解码的EDD代码重构的点构成重构的点云(仅几何形状)。如果沿着一条投影线有多于两个的重构点，则将具有最小和最大重构深度值的两个点之间的重构点称为中间重构点。
当点云几何重构块24确定如何打包重构点的颜色值时，该块24的修改还使得能够处理重构的中间点之间的颜色。
除了重构的点云几何形状之外，该块24的输出还包括每个点打包的图像坐标，其对于每个点指示两个纹理图像中的位置，以存储要编码的当前点的颜色值。除了中间的重构点之外，以与对于编码器2描述相同的方式确定其他重构点的每个点打包的图像坐标，即，与D0和D1对应的点。
提出两个实施例来处理所述中间重构点的颜色。
根据第一实施例，在压缩比特流中不用信号通知所述中间重构点的颜色。解码器例如通过插值将基于具有从比特流重构的颜色的它们的相邻点来确定所述中间重构点的重构颜色。使用该实施例，将这些重构点的每个点打包的图像坐标设置为(NULL，NULL，NULL)。NULL是一些无效的图像位置值，诸如，-1。
根据第二实施例，在压缩比特流中发信号通知所述中间重构点之间的颜色。在3D颜色传送块26中以与其他重构点相同的方式确定要发信号通知的所述中间重构点的颜色。中间重构点的颜色存储在未被任何补片占用的纹理图像块中，其可以从作为与存储要编码的颜色信息的DepthImg0和DepthImg1对应的两个图像的TexImg0和/或TexImg1中的每个块元数据中解释。基于它们的重构位置来确定中间重构点之间的打包图像位置。示例如下。
在第一步骤，将DepthImage0和DepthImage1中所有未被占用的块排序到列表中。有两种可能性，DepthImage0中的未被占用的块在排序的未被占用的块列表中在DepthImage1之前或之后排序。相同图像中未被占用的块按其(uMin，vMin)排序(在YUV颜色空间中)。
在第二步骤中，每当在几何重构步骤期间重构新的中间点时，其每个点打包图像位置是排序的未被占用块列表中的第一未被占用块的第一未被占用像素。如果原始的未被占用块已被中间点完全占用，则将其从排序的未被占用块列表中删除。
有利地，还修改3D颜色传送块26。在此块中，省略具有打包图像位置(NULL，NULL，NULL)的点的颜色确定。
与图1的现有技术编码器相比，以下元数据有利地添加到由图10的编码器输出的比特流中：
●一个比特，指示是否使用本公开中描述的新编码方案。例如，1意味着使用它，0表示相反。
●如果第一比特等于1，则遵循以下各项：
○一定数量的比特，例如3比特，以指示SurfaceThickness的值。
○一比特，以指示DepthImg1记录EDD代码或(D0+EDD_codes)。例如，0意味着记录EDD代码，并且1意味着记录(D0+EDD_codes)。
○一比特，以指示如何构造EDD代码，即，图9所示的实施例用于构造在压缩比特流中发信号通知的EDD代码。例如，0意味着使用图9的左侧部分示出的实施方式，而1意味着使用图9的右侧部分示出的实施例。
○一比特，以指示在压缩位流中是否发信号通知中间点的颜色。例如，1意味着是，并且0意味着否。该比特称为CodeInBetweenColor比特。
○如果CodeInBetweenColor比特是1，则一比特指示，从TexImg0或TexImg1开始中间重构点的颜色的打包。例如，1意味着首先使用TexImg1，并且0意味着首先使用TexImg0。
由提出的新编码方案带来的上面的新的元数据可以对于整个比特流发信号通知一次，或者对于每个帧或被压缩在一起的每组帧多次发信号通知，这允许对于每个帧或每组帧选择不同的编码方案。可以将记录上面元数据的(多个)值的(多个)数据字段直接输出到(多个)压缩比特流，或者在输出到(多个)压缩比特流之前进一步进行熵编码。
图13示出根据本公开的教导修改的图5的解码器30。更具体地，根据本公开的实施例，修改解码器30的深度图像重构块32，点云几何重构块33和点云纹理重构块35。
关于深度图像重构块32，该块的输出包括重构的D0值和重构的EDD码。可以从重构的DepthImg0中读取重构的D0值。如果DepthImg1直接存储EDD代码，则可以直接从重构的DepthImg1中读取重构的EDD代码。如果DepthImg1存储了(D0+EDD_codes)，则可以通过从重构的DepthImg1减去重构的D0来重构EDD代码。
关于点云几何重构块33，实现与编码器侧块24中的改变相同的改变。
关于点云纹理重构块35，通过插值或从重构的纹理图像读取，来重构中间重构点的颜色。
根据本公开的另一实施例，如图14表示，EDD代码有利地用于无损编码器50中。
该无损编码器对应于图1的编码器2的无损版本，对于其更多细节可以在文件ISO/IEC JTC1/SC29/WG11 MPEG2018/m42170，2018年1月韩国光州中找到。
该无损编码器50的基本构思是构造特殊的连接的分量，其包括由编码器2构建的任何连接的分量所丢失(即，不包含在由编码器2构建的任一连接的分量中)的所有点。然后，与丢失的点补片对应的两个额外的深度补片和两个额外的纹理补片被打包在深度和纹理图像中。
更具体地，朝向扩展编码器2用于无损几何编码的第一步骤是捕获丢失点并创建单独的连接的分量，称为missingPointsPatch。
接下来，将missingPointsPatch中的点的x，y和z坐标排列成块，并嵌入到几何帧的三个颜色通道Y，U和V中。
接下来，使用编码器2的机制输出missingPointsPatch的位置和大小，并且将反映missingPointsPatch的大小和位置的虚拟(dummy)补片添加到现有补片列表中。在占用图的压缩期间，此信息与有关其他常规补片的信息一起被编码并发送到解码器。
最后，在从压缩的几何帧重构点云之前，从虚拟补片中提取missingPointsPatch的位置和大小。该信息与占用图一起用于从三个颜色平面恢复3D点的空间坐标。同时，补片的列表中的大多数点在解码器中恢复，并使用现有方案投影回3D空间。
通过以与参考用于编码器2的图10描述的相同的方式修改所强调的深度补片创建块52，(多个)深度图像生成块54，点云几何重构块58和3D颜色传送块60，可以将本公开的教导有利地应用于无损编码器50。
在图1-14中，模块是功能单元，其可以与可区分的物理单元相关或不相关。例如，这些模块或其中的一些模块可以集成到唯一的组件或电路中，或者有助于软件的功能。相反，某些模块可能由单独的物理实体组成。使用纯硬件，例如使用专用硬件，诸如ASIC或FPGA或VLSI(分别是“专用集成电路”，“现场可编程门阵列”，“超大规模集成”)，或者来自设备中嵌入的若干集成电子组件，或者来自硬件和软件组件的混合，来实现与本原理兼容的装置。
图15表示可以被配置为实现关于图1-14描述的方法的设备100的示例性架构。
设备1100包括通过数据和地址总线1101链接在一起的以下元件：
-微处理器1102(或CPU)，其例如是DSP(数字信号处理器)；
-ROM(或只读存储器)1103；
-RAM(或随机存取存储器)1104；
-用于从应用程序接收要发送的数据的I/O接口1105；和
-电池1106。
根据示例，电池1106在设备外部。在每个提到的存储器中，说明书中使用的“寄存器”一词可以对应于小容量的区域(一些比特)或非常大的区域(例如，整个程序或大量接收的或解码的数据)。ROM1103至少包括程序和参数。ROM 1103可以存储用于执行根据本原理的技术的算法和指令。当接通时，CPU 1102将程序上载到RAM中并执行相应指令。
RAM 1104包括在寄存器中由CPU1102执行并在设备1100接通之后上载的程序，寄存器中的输入数据，寄存器中方法的不同状态的中间数据，以及寄存器中用于执行方法的其他变量。
这里描述的实现方式可以在例如方法或处理，装置，软件程序，数据流或信号中实现。即使仅在单个实现方式的形式的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的实现方式也可以以其他形式(例如，程序)实现。装置可以在例如适当的硬件，软件和固件中实现。方法可以在例如诸如例如处理器之类的装置中实现，该处理器通常涉及处理设备，一般包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机，蜂窝电话，便携式/个人数字助理(“PDA”)，以及便于最终用户之间的信息通信的其他设备。
根据编码或编码器的示例，从源获得输入点云。例如，源属于包含以下的集合：
-本地存储器(1103或1104)，例如视频存储器或RAM(随机存取存储器)，闪存，ROM(只读存储器)，硬盘；
-存储接口(1105)，例如，具有大容量存储器，RAM，闪存，ROM，光盘或磁性载体的接口；
-通信接口(1105)，例如，有线接口(例如，总线接口，广域网接口，局域网接口)或无线接口(诸如，IEEE 802.11接口或
Figure BDA0002719473830000181
接口)；和
-图像捕获电路(例如，传感器，诸如例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))。
根据解码或解码器的示例，将解码点云发送到目的地；具体而言，目的地属于包含以下的集合：
-本地存储器(1103或1104)，例如，视频存储器或RAM，闪存，硬盘；
-存储接口(1105)，例如，具有大容量存储器，RAM，闪存，ROM，光盘或磁性载体的接口；
-通信接口(1105)，例如，有线接口(例如，总线接口(例如USB(或通用串行总线))，广域网接口，局域网接口，HDMI(高清多媒体接口)接口)或无线接口(诸如，IEEE 802.11接口，
Figure BDA0002719473830000191
或
Figure BDA0002719473830000192
接口)；
-呈现设备；和
-显示器。
根据编码或编码器的示例，比特流(压缩流)被发送到目的地。作为示例，比特流存储在本地或远程存储器中，例如，视频存储器(1104)或RAM(1104)，硬盘(1103)。在变型中，这些比特流被发送到存储接口(1105)，例如，具有大容量存储器，闪存，ROM，光盘或磁性载体的接口和/或通过通信接口(1105)传输，例如，到点对点链路，通信总线，点对多点链路或广播网络的接口。
根据解码或解码器的示例，从源获得比特流(压缩流)。示例性地，从本地存储器读取比特流，例如，视频存储器(1104)，RAM(1104)，ROM(1103)，闪存(1103)或硬盘(1103)。在变型中，比特流从存储接口(1105)接收，例如，具有大容量存储器，RAM，ROM，闪存，光盘或磁性载体的接口和/或从通信接口(1105)接收，例如，到点对点链路，总线，点对多点链路或广播网络的接口。
根据示例，被配置为实现关于图10或图14描述的编码方法的设备1100属于包括以下的集合：
-移动设备；
-具有3D捕获能力的智能手机或电视机
-通信设备；
-游戏设备；
-平板电脑(或平板计算机)；
-膝上型计算机；
-静止图像相机；
-摄像机；
-编码芯片；
-静止图像服务器；和
-视频服务器(例如，广播服务器，视频点播服务器或网络服务器)。
根据示例，被配置为实现关于图13描述的解码方法的设备1100属于包括以下的集合：
-移动设备；
-头戴式显示器(HMD)；
-(混合现实)智能眼镜；
-全息设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-平板电脑(或平板计算机)；
-膝上型计算机；
-显示器；
-立体显示器；
-解码芯片。
根据图16例示的本原理的示例，在通过通信网络NET的两个远程设备A和B之间的传输环境中，设备A包括与存储器RAM和ROM有关的处理器，其被配置为实现参照图10描述的用于对彩色点云编码的方法，并且设备B包括与存储器RAM和ROM有关的处理器，其被配置为实现如图13描述的用于解码的方法。
根据示例，该网络是广播网络，适于将编码的彩色点云从设备A广播到包括设备B的解码设备。
意图由设备A发送的信号携带比特流。
图17示出当通过基于分组的传输协议来传输数据时这种信号的语法的示例。每个发送的分组P包括首部H和有效载荷PAYLOAD。
本文描述的各种处理和特征的实现方式可以体现在各种不同的设备或应用中。这样的设备的示例包括编码器，解码器，处理来自解码器的输出的后处理器，提供输入给编码器的预处理器，视频编码器，视频解码器，视频编解码器，网络服务器，机顶盒，膝上型计算机，个人计算机，蜂窝电话，PDA，HMD，智能眼镜，以及用于处理图像或视频的任何其他设备或其他通信设备。应该清楚的是，该设备可以是移动的，甚至可以安装在移动车辆中。
另外，该方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品体现在一个或多个计算机可读介质中并且具有可由计算机执行的体现在其上的计算机可读程序代码。本文使用的计算机可读存储介质被认为是非暂时性存储介质，其被给定在其中存储信息的固有能力以及提供从其中取得信息的固有能力。计算机可读存储介质可以是例如但不限于电，磁，光，电磁，红外或半导体系统，装置或设备，或者前述的任何合适的组合。要认识到，以下虽然提供本原理可以应用于的计算机可读存储介质的更具体示例，但仅仅是本领域普通技术人员容易理解的例示性而非详尽的列表：便携式计算机盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式压缩盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或者前述的任何合适的组合。
指令可以形成有形地体现在处理器可读介质上的应用程序。
指令可以是例如硬件，固件，软件或组合。指令可以在例如操作系统，单独的应用程序或两者的组合中找到。因此，处理器的特征在于，例如，被配置为执行处理的设备和包括具有用于实施处理的指令的处理器可读介质的设备(诸如，存储设备)两者。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员明显的是，实现方式可以产生各种信号，这些信号被格式化以承载可以例如被存储或传输的信息。该信息可以包括例如用于执行方法的指令，或者由描述的实现方式之一产生的数据。例如，信号可以被格式化以承载用于写入或读取本原理的描述的示例的语法的规则作为数据，或者承载由本原理的描述的示例写入的实际语法值作为数据。这样的信号可以被格式化，例如，作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如，编码数据流和用编码的数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述多个实现方式。然而，将理解，可以进行各种修改。例如，可以组合，补充，修改或移除不同实现方式的要素以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代公开的那些，并且作为结果的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以至少实现与公开的实现方式基本相同的(多个)结果。因此，本申请考虑这些和其他实现方式。

Claims (33)

1.一种方法，包括：
-沿投影线正交投影点云的至少一个点；和
-对于同一投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
2.根据权利要求1所述的方法，其中，所述发信号通知包括使用一个占用比特来指示所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
3.根据权利要求2所述的方法，其中，所述方法还包括：形成至少一个码字来级联沿同一投影线的占用比特。
4.根据权利要求3所述的方法，其中，所述方法还包括：发信号通知一信息来指示所述占用比特是否被级联以形成所述至少一个码字。
5.根据权利要求3所述的方法，其中，形成的码字被编码为图像数据。
6.根据权利要求5所述的方法，其中，所述方法还包括发信号通知一信息以指示如何将所述码字编码为图像数据。
7.根据权利要求1-6之一所述的方法，其中，所述方法还包括：将同一投影线上的较近点的位置和较远点的位置编码为两个不同图像的图像数据。
8.根据权利要求1至7之一所述的方法，其中，所述方法还包括：在比特流中发信号通知位于同一投影线上的较近点和较远点之间的点的至少一个属性是否被编码为图像数据。
9.根据权利要求8所述的方法，其中，所述方法还包括发信号通知一信息以指示如何将点的至少一个属性编码为图像数据。
10.一种方法，包括：
-通过正交解投影同一投影线的较近点和较远点来重构点云的两个点；和
-当一信息指示所述投影线的点的位置被占用时，通过正交解投影所述点来重构点云的点。
11.根据权利要求10所述的方法，其中，所述方法还包括：
-从比特流接收所述信息，所述信息指示投影线的较近点和较远点之间的所述投影线的位置是否被占用。
12.根据权利要求11所述的方法，其中，所述信息是一个占用比特。
13.根据权利要求12所述的方法，其中，所述方法还包括从至少一个码字获得至少一个占用比特。
14.根据权利要求13所述的方法，其中，所述方法还包括获得一信息，该信息用于指示是否从所述至少一个码字获得占用比特。
15.根据权利要求13或14所述的方法，其中，从图像数据获得码字。
16.根据权利要求15所述的方法，其中，所述方法还包括用信号通知一信息以指示如何从图像数据获得所述码字。
17.根据权利要求11至16之一的方法，其中，所述方法还包括：从两个不同图像的图像数据获得同一投影线上的较近点的位置和较远点的位置。
18.根据权利要求11至17之一所述的方法，其中，所述方法还包括：从比特流获得一信息，该信息指示是从图像数据还是从点云的其他点的至少一个属性获得位于同一投影线上的较近点和较远点之间的点的至少一个属性。
19.根据权利要求18所述的方法，其中，所述方法还包括获得一信息，该信息指示如何从图像数据获得点的至少一个属性。
20.一种设备，包括至少一个处理器，该至少一个处理器被配置为：
-沿投影线正交投影点云的至少一个点；和
-对于同一投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
21.一种设备，包括至少一个处理器，该至少一个处理器被配置为：
-通过正交解投影同一投影线的较近点和较远点来重构点云的两个点；和
-当一信息指示所述投影线的点的位置被占用时，通过正交解投影所述点来重构点云的点。
22.一种信号，其包括编码点云的点的信息，指示投影线的较近点和较远点之间的所述投影线的位置是否被占用的信息。
23.根据权利要求22所述的信号，其中，所述信息是一个占用比特。
24.根据权利要求23所述的信号，其中，所述信号还包括由所述至少一个占用比特的级联接产生的至少一个码字。
25.根据权利要求24所述的信号，其中，信号还包括一信息以指示占用比特是否被级联以形成所述至少一个码字。
26.根据权利要求24或25所述的信号，其中，信号还包括表示所述至少一个码字的图像数据。
27.根据权利要求24所述的信号，其中，所述信号还包括图像数据以表示同一投影线上的较近点的位置和较远点的位置。
28.根据权利要求22-27之一所述的信号，其中，所述信号还包括图像数据以表示位于同一投影线上的较近点和较远点之间的点的至少一个属性。
29.根据权利要求28所述的信号，其中，信号还包括一信息以指示点的至少一个属性如何被编码为图像数据。
30.一种计算机程序产品，其包括指令，当程序由一个或多个处理器执行时，使一个或多个处理器实施包括以下的方法：
-沿投影线正交投影点云的至少一个点；和
-对于同一投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
31.一种计算机程序产品，其包括指令，当程序由一个或多个处理器执行时，使一个或多个处理器实施包括以下的方法：
-通过正交解投影同一投影线的较近点和较远点来重构点云的两个点；和
-当一信息指示所述投影线的点的位置被占用时，通过正交解投影所述点来重构点云的点。
32.一种非暂时性计算机可读介质，其包括指令，用于使得一个或多个处理器执行：
-沿投影线正交投影点云的至少一个点；和
-对于同一投影线的至少两个点，在比特流中发信号通知在所述投影线的较近点和较远点之间的所述投影线的位置是否被占用。
33.一种非暂时性计算机可读介质，其包括指令，用于使得一个或多个处理器执行：
-通过正交解投影同一投影线的较近点和较远点来重构点云的两个点；和
-当一信息指示所述投影线的点的位置被占用时，通过正交解投影所述点来重构点云的点。
CN201980025275.1A 2018-04-11 2019-04-01 用于编码/解码表示3d对象的点云的方法和装置 Pending CN112042201A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305430.3 2018-04-11
EP18305430 2018-04-11
EP18306133.2 2018-08-23
EP18306133.2A EP3614673A1 (en) 2018-08-23 2018-08-23 A method and apparatus for encoding/decoding a point cloud representing a 3d object
PCT/US2019/025130 WO2019199510A1 (en) 2018-04-11 2019-04-01 A method and apparatus for encoding/decoding a point cloud representing a 3d object

Publications (1)

Publication Number Publication Date
CN112042201A true CN112042201A (zh) 2020-12-04

Family

ID=66049731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025275.1A Pending CN112042201A (zh) 2018-04-11 2019-04-01 用于编码/解码表示3d对象的点云的方法和装置

Country Status (10)

Country Link
US (1) US11856222B2 (zh)
EP (1) EP3777180B1 (zh)
JP (1) JP7389751B2 (zh)
KR (1) KR20200140825A (zh)
CN (1) CN112042201A (zh)
BR (1) BR112020019540A2 (zh)
DK (1) DK3777180T3 (zh)
HU (1) HUE063585T2 (zh)
RU (1) RU2767771C1 (zh)
WO (1) WO2019199510A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477031B1 (ko) * 2018-04-20 2022-12-14 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치
CN110662087B (zh) 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器
WO2020145668A1 (ko) * 2019-01-08 2020-07-16 삼성전자주식회사 3차원 컨텐츠의 처리 및 전송 방법
CN113785590A (zh) * 2019-05-10 2021-12-10 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
CN113596432B (zh) * 2021-07-30 2024-04-30 成都市谛视科技有限公司 可变视角的3d视频制作方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854621A (zh) * 2012-11-01 2015-08-19 微软技术许可有限责任公司 将视频编码成较低分辨率流
US20160275690A1 (en) * 2015-03-20 2016-09-22 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US20170094262A1 (en) * 2014-05-13 2017-03-30 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN107426559A (zh) * 2016-05-24 2017-12-01 汤姆逊许可公司 用于沉浸式视频格式的方法、装置和流
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
WO2018059946A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
KR101284137B1 (ko) 2012-02-28 2013-07-10 한국과학기술원 3차원 물체의 깊이 정보 표현 및 기록 시스템
US20140204088A1 (en) 2013-01-18 2014-07-24 Microsoft Corporation Surface codec using reprojection onto depth maps
US9269187B2 (en) * 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US10574974B2 (en) 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
WO2016003340A1 (en) 2014-07-03 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding of light fields
US20160307368A1 (en) 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
CN108541322B (zh) 2016-08-29 2021-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
WO2018050529A1 (en) 2016-09-13 2018-03-22 Thomson Licensing Method, apparatus and stream for immersive video format
EP3340629A1 (en) 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
US10783668B2 (en) * 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
TWI815842B (zh) 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
MX2020007663A (es) 2018-01-19 2020-09-14 Interdigital Vc Holdings Inc Procesamiento de una nube de puntos.

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854621A (zh) * 2012-11-01 2015-08-19 微软技术许可有限责任公司 将视频编码成较低分辨率流
US20170094262A1 (en) * 2014-05-13 2017-03-30 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US20160275690A1 (en) * 2015-03-20 2016-09-22 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
CN107426559A (zh) * 2016-05-24 2017-12-01 汤姆逊许可公司 用于沉浸式视频格式的方法、装置和流
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
WO2018059946A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INDRANIL SINHAROY ET AL: ""Lossless Coding in PCC TMC2", 121 MPEG MEETING; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), NO. M42170, 17 JANUARY 2018 (2018-01-17), XP030070512; GWANGJU, pages 1 - 5 *
KHALED MAMMOU: ""PCC Test Model Category 2 v0", 120 MPEG MEETING，MACAU; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11)，NO. N17248, 15 DECEMBER 2017 (2017-12-15), XP030023909, pages 1 - 4 *

Also Published As

Publication number Publication date
US11856222B2 (en) 2023-12-26
KR20200140825A (ko) 2020-12-16
RU2767771C1 (ru) 2022-03-21
JP2021518681A (ja) 2021-08-02
HUE063585T2 (hu) 2024-01-28
EP3777180B1 (en) 2023-08-09
JP7389751B2 (ja) 2023-11-30
US20210112277A1 (en) 2021-04-15
DK3777180T3 (da) 2023-10-02
WO2019199510A1 (en) 2019-10-17
EP3777180A1 (en) 2021-02-17
BR112020019540A2 (pt) 2021-01-05

Similar Documents

Publication Publication Date Title
JP7431742B2 (ja) 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP7389751B2 (ja) 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP7488189B2 (ja) 点群の幾何学的形状をコーディングする方法およびデバイス
CN110915219A (zh) 用于对几何形状由基于八叉树的结构表示的有色点云的颜色进行编码/解码的方法和装置
KR102660951B1 (ko) 포인트 클라우드의 지오메트리를 인코딩/디코딩하기 위한 방법 및 디바이스
CN110915216A (zh) 用于编码/解码表示3d对象的几何形状和颜色的有色点云的方法和装置
WO2022023002A1 (en) Methods and apparatus for encoding and decoding a 3d mesh as a volumetric content
WO2019011917A1 (en) METHOD AND DEVICE FOR ENCODING A POINT CLOUD
WO2019070830A1 (en) METHOD AND APPARATUS FOR ENCODING / DECODING THE COLORS OF A POINT CLOUD REPRESENTING A 3D OBJECT
EP3614672A1 (en) A method and apparatus for encoding/decoding a point cloud representing a 3d object
CN114270863A (zh) 一种编码和解码立体视频的方法和装置
JP2022549246A (ja) 中間サンプルのパッチを使用する点群の符号化及び復号化
EP3614673A1 (en) A method and apparatus for encoding/decoding a point cloud representing a 3d object
KR20210069647A (ko) 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스
US20240177355A1 (en) Sub-mesh zippering
JP2024079679A (ja) 投影平面の少なくとも１つの画像領域に一度直交投影された３ｄ点のセットの深度値を符号化するための方法
CN116235497A (zh) 一种用于用信号通知基于多平面图像的体积视频的深度的方法和装置
CN113475093A (zh) 处理点云

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination