CN115997380A - 基于视频的点云编解码的附条件的重新着色 - Google Patents

基于视频的点云编解码的附条件的重新着色 Download PDF

Info

Publication number
CN115997380A
CN115997380A CN202180035406.1A CN202180035406A CN115997380A CN 115997380 A CN115997380 A CN 115997380A CN 202180035406 A CN202180035406 A CN 202180035406A CN 115997380 A CN115997380 A CN 115997380A
Authority
CN
China
Prior art keywords
map
reconstructed
occupied
texture
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180035406.1A
Other languages
English (en)
Inventor
张翔
高文
刘杉
封薇薇
简兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115997380A publication Critical patent/CN115997380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

使用视频点云编码对视频码流进行编码的方法和装置包括：获得源点云；基于源点云生成几何图和纹理图；使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，重建后的几何图的分辨率与重建后的纹理图的分辨率相同；获得源点云中与几何图的一个几何像素和纹理图的一个纹理像素相对应的一个点；基于获得的点的颜色选择该纹理像素的颜色；以及基于选择的颜色、几何图和纹理图生成已编码视频码流。

Description

基于视频的点云编解码的附条件的重新着色
相关申请的交叉引用
本申请要求2021年6月4日提交的美国临时申请第63/197,196号和2021年10月6日提交的美国申请第17/495,301号的优先权，其全部内容通过引用并入本文。
技术领域
本申请涉及一组先进的视频编解码技术，具体涉及包括附条件重新着色的色彩迁移的基于视频的点云(point cloud)压缩。
背景技术
世界的高级三维(3D)表征(representation)正在使更沉浸式的交互和通信行驶成为可能。它们还使机器能够对我们的世界进行理解、阐释和引导方向。点云(pointcloud)已被广泛用作世界的3D表征。例如，它们可以在自主驾驶车辆中用于物体检测和定位，在地理信息系统(geographic information system，GIS)中用于绘图，以及在文化遗产中用于对文化遗产对象和收藏品进行可视化并且对其进行存档，等。与点云数据相关联的若干用例已经被确定，并且对点云表征和压缩的一些相应要求也已经得到开发。
点云包含一组高维度，例如三维(3D)，的点，每个点包括3D位置信息和例如颜色、反射率等的附加属性。它们可以使用多个相机和深度传感器，或各种场景中的激光雷达来捕捉，并且可以由数千至数十亿的点组成以逼真地表示原始场景。
需要压缩技术来减少表示点云所需的数据量，以实现更快的传输或减少存储。ISO/IEC MPEG(JTC 1/SC 29/WG 11)已经创建了特设小组(MPEG-PCC)来对静态或动态云的压缩技术进行标准化。
发明内容
各实施例中，一种使用视频点云编码对视频码流进行编码的方法由至少一个处理器执行，并且包括：获得源点云；基于源点云生成几何图和纹理图；使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素相对应的一个点；基于获得的所述点的颜色选择所述纹理像素的颜色；及基于所选择的颜色、所述几何图和所述纹理图生成已编码视频码流。
各实施例中，一种用于使用视频点云编码对视频码流进行编码的装置包括：至少一个存储器，用于存储程序代码；以及至少一个处理器，用于读取程序代码并按照该程序代码的指示进行操作，该程序代码包括：第一获取代码，用于使所述至少一个处理器获得源点云；第一生成代码，用于使所述至少一个处理器基于所述源点云来生成几何图和纹理图；第二生成代码，用于使所述至少一个处理器使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；第二获取代码，用于使所述至少一个处理器获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素的相对应的一个点；选择代码，用于使所述至少一个处理器基于获得的所述点的颜色来选择所述纹理像素的颜色；以及第三生成代码，用于使所述至少一个处理器基于所选择的所述颜色、所述几何图和所述纹理图生成已编码视频码流。
各实施例中，一种非易失性计算机可读介质，存储有使用视频点云编码对视频码流进行编码的计算机指令，由至少一个处理器执行时使所述至少一个处理器：获得源点云；基于源点云生成几何图和纹理图；使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素相对应的一个点；基于获得的所述点的颜色选择所述纹理像素的颜色；及基于所选择的颜色、所述几何图和所述纹理图生成已编码视频码流。
附图说明
以下具体实施方式和附图将使本申请主题的进一步的特征、性质和各种优点更加明显，在附图中：
图1是一个实施例的通信系统的简化框图的示意图；
图2是一个实施例的流传输系统的简化框图的示意图；
图3是一个实施例的视频编码器的简化框图的示意图；
图4是一个实施例的视频解码器的简化框图的示意图；
图5是一个实施例的源点云与已重建点云之间的前向搜索的示例；
图6是一个实施例的源点云与已重建点云之间的后向搜索的示例；
图7A是一个实施例的具有重新着色的编码器管道的示例；
图7B是一个实施例的不具有重新着色的编码器管道的示例；
图8是一个实施例的一个部分占用的块的示例；
图9A至图9B是一个实施例执行的方法的流程图；
图10是一个实施例的设备的示意图；
图11是适于实现各实施例的计算机系统的示意图。
具体实施方式
基于视频的点云压缩(video-based point cloud compression，V-PCC)背后的考虑是利用现有的视频编解码器来将动态点云的几何形状、占位情况和纹理压缩成三个单独的视频序列。解释三个视频序列所需的额外元数据可以被分别压缩。整个码流的一小部分是元数据，其可以使用软件实现来有效地编码/解码。该信息的主要部分可以由视频编解码器处理。
本申请实施例涉及退火迭代几何平滑(annealing iterative geometrysmoothing)方案以避免迭代平滑框架中的过平滑现象。本申请实施例涉及使用均值统计和中值统计的组合来得出参考点，旨在降低使用纯中值的计算复杂度。
参考图1至图4，其中描述了用于实现本申请的编码结构和解码结构的本申请实施例。本申请的编码结构和解码结构可以实现以上描述的V-PCC的各方面。
图1示出本申请实施例的通信系统100的简化框图。系统100可以包括由网络150互连的至少两个终端110、120。对于数据的单向传输，第一终端110可以在本地位置处对视频数据进行编码以经由网络150传输到另一个终端120。第二终端120可以从网络150接收另一个终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图1示出第二对终端130、140，其被提供用于支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个终端130、140可以对在本地位置处拍摄的视频数据进行编码以经由网络150传输到另一个终端。每个终端130、140还可以接收由另一个终端传输的已编码视频数据，可以对该已编码数据进行解码，并且可以在本地显示设备处显示已恢复的视频数据。
在图1中，终端110-140可以是，例如，服务器、个人计算机、智能电话，和/或任何其它类型的终端。例如，终端(110-140)可以是笔记本电脑、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在终端110-140之间传送已编码视频数据的任何数量的网络，包括，例如，有线和/或无线通信网络。通信网络150可以在电路交换信道和/或分组交换信道中交换数据。典型的网络包括电信网络、局域网、广域网和/或因特网。为了本文讨论的目的，网络150的架构和拓扑对于本申请的操作可能是不重要的，除非下文中有解释。
作为本申请主题的应用示例，图2示出视频编码器和解码器在流传输环境中的部署方式。本申请的主题可以与其它支持视频的应用(包括，例如，视频会议、数字电视、将压缩视频存储在包括CD、DVD、记忆棒等的数字媒体上等的应用)一起使用。
如图2所示的，流传输系统200可以包括拍摄子系统213，该拍摄子系统213包括视频源201和编码器203。流传输系统200可以进一步包括至少一个流传输服务器205和/或至少一个流传输客户端206。
视频源201可以创建，例如，包括与3D视频对应的3D点云的流202。视频源201可以包括，例如，3D传感器(例如，深度传感器)或3D成像技术(例如，一个或多个数码相机)，以及用于使用从3D传感器或3D成像技术接收的数据来生成3D点云的计算设备。与已编码视频码流相比，可具有高数据量的样本流202可以由耦合到视频源201的编码器203处理。编码器203可以包括硬件、软件或其组合，以使能或实现如下详细描述的本申请主题的各方面。编码器203还可以生成已编码视频码流204。与未压缩流202相比，可具有较低数据量的已编码视频码流204可以存储在流传输服务器205上以供将来使用。一个或多个流传输客户端206可以访问流传输服务器205以提取视频码流209，视频码流209可以是已编码视频码流204的副本。
流传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以，例如，对作为已编码视频码流204的传入副本的视频码流209进行解码，并且创建可以在显示器212或另一呈现设备(未示出)上呈现的传出视频样本流211。在一些流传输系统中，可以根据某些视频编码/压缩标准来对视频码流204、209进行编码。这种标准的例子包括但不限于ITU-T H.265、通用视频编码(Versatile Video Coding，VVC)和MPEG/V-PCC。
参考图3至图4，下面描述可以由本申请实施例执行的V-PCC的一些方面。
图3示出本申请实施例的视频编码器203的示例性功能框图。
如图3所示，视频编码器203可以接收一个或多个点云帧350，并且基于点云帧350生成几何图像352、纹理图像356和占用图334。视频编码器203可以将几何图像352压缩成经压缩的几何图像362，将纹理图像356压缩成经压缩的纹理图像364，以及将占用图334压缩成经压缩的占用图372。视频编码器203的多路复用器328可以形成压缩码流374，该压缩码流374包括经压缩的几何图像362、经压缩的纹理图像364和经压缩的占用图372。
更具体地，各实施例中，视频编码器203可以包括将点云帧350分割成多个块(patch)的块生成模块302。块是V-PCC的有用实体。块生成过程包括将点云帧350分解成最小数量的具有平滑边界的块，同时还使重建误差最小化。本申请的编码器可以执行各种方法以产生这种分解操作。
视频编码器203可以包括执行打包过程的块打包模块304。打包过程包括将提取的多个块映射到2D网格上，同时使未使用的空间最小化并且保证网格的每M×M(例如，16×16)块与一个不同的块相关联。有效的块打包操作通过使未使用空间最小化或通过确保时间一致性来直接影响压缩效率。块打包模块304可以生成占用图334。
视频编码器203可以包括几何图像生成模块306和纹理图像生成模块308。为了更好地处理多个点被投影到相同样本的情况，每个块可以被投影到被称为层的两个图像上。例如，几何图像生成模块306和纹理图像生成模块308可以利用在块打包模块304的打包过程期间计算的3D到2D映射，来将点云的几何形状和纹理存储为图像(又名“层”)。生成的图像/层可以被存储为一个或多个视频帧，并由视频编解码器(例如HM视频编解码器)利用作为参数提供的配置信息来进行压缩。
各实施例中，基于输入点云帧350和占用图334，几何图像生成模块306生成几何图像352，纹理图像生成模块308生成纹理图像356。一个实施例中，几何图像352可以由YUV420-8比特格式的尺寸为WxH的单色帧表示。一个实施例中，占用图334图像由二进制图组成，该二进制图指示网格的每个单元是属于空白空间还是属于点云。为了生成纹理图像356，纹理图像生成模块308可以利用已重建/已平滑的几何形状358来计算将与多个重采样点相关联的多种颜色。
视频编码器203还可以包括图像填充模块314和图像填充模块316，该图像填充模块314和图像填充模块316分别用于填充几何图像352和纹理图像356，以形成经填充的几何图像354和经填充的纹理图像360。图像填充(又名“背景填充”)简单地用冗余信息填充图像的未使用空间。良好的背景填充技术是一种最低限度地增加比特率而不在块边界周围引入显著编码失真的填充技术。图像填充模块314和图像填充模块316可以使用占用图334来分别形成经填充的几何图像354和经填充的纹理图像360。各实施例中，视频编码器203可以包括群组扩展模块320以形成经填充的纹理图像360。
视频编码器203可以包括视频压缩模块322和视频压缩模块324，该视频压缩模块322和视频压缩模块324用于将经填充的几何图像354和经填充的纹理图像360分别压缩成经压缩的几何图像362和经压缩的纹理图像364。
视频编码器203可以包括熵压缩模块318和视频压缩模块326，熵压缩模块318用于对占用图334进行无损编码366，视频压缩模块326用于对占用图334进行有损编码368。
各实施例中，视频编码器203可以包括平滑模块310，该平滑模块310用于通过使用块信息332和视频压缩模块322提供的已重建的几何图像365来生成平滑后的几何形状358。平滑模块310的平滑过程可以旨在减轻由于压缩伪像而在块边界处可能出现的潜在的不连续。平滑后的几何形状358可以由纹理图像生成模块308使用以生成纹理图像356。
视频编码器203还可以包括辅助块信息压缩模块312，该辅助块信息压缩模块312用于形成压缩后的辅助块信息370，该压缩后的辅助块信息370由多路复用器328向压缩码流374中提供。
图4示出本申请实施例的视频解码器210的示例功能框图。
如图4所示，视频解码器210可以从视频编码器203接收已编码码流374以获得压缩后的纹理图像362、压缩后的几何图像364、压缩后的占用图372和压缩后的辅助块信息370。视频解码器210可以对压缩后的纹理图像362、压缩后的几何图像364、压缩后的占用图372和压缩后的辅助块信息370进行解码，以分别获得解压缩后的纹理图像460、解压缩后的几何图像462、解压缩后的占用图464和解压缩后的辅助块信息466。然后，视频解码器210可以基于解压缩后的纹理图像460、解压缩后的几何图像462、解压缩后的占用图464和解压缩后的辅助块信息466来生成已重建点云474。
各实施例中，视频解码器210可以包括解复用器402，该解复用器402用于分离所接收的压缩码流374中的压缩后的纹理图像362、压缩后的几何图像364、压缩后的占用图372和压缩后的辅助块信息370。
视频解码器210可以包括视频解压缩模块404、视频解压缩模块406、占用图解压缩模块408和辅助块信息解压缩模块410，这些模块分别对压缩后的纹理图像362、压缩后的几何图像364、压缩后的占用图372和压缩后的辅助块信息370进行解码。
视频解码器210可以包括几何重建模块412，该几何重建模块412基于解压缩后的几何图像462、解压缩后的占用图464和解压缩后的辅助块信息466获得重建后的(三维)几何形状468。
视频解码器210可以包括平滑模块414，该平滑模块414对重建后的几何形状468进行平滑以获得平滑后的几何形状470。平滑过程可以旨在减轻由于压缩伪像而在块边界处可能出现的潜在不连续。
视频解码器210可以包括纹理重建模块416，该纹理重建模块416用于基于解压缩后的纹理图像460和平滑后的几何形状470获得重建后的纹理472。
视频解码器210可以包括颜色平滑模块418，该颜色平滑模块418对重建后的纹理472的颜色进行平滑以获得重建后的点云474。3D空间中的非相邻块通常以紧邻的顺序被打包进2D视频中。这意味着来自非相邻块的像素值可能被基于块的视频编解码器混合在一起。颜色平滑模块418的颜色平滑可以旨在减少块边界处出现的可见伪像。
基于视频的点云压缩(V-PCC)中的重新着色
在(可对应于V-PCC的)MPEG PCC测试模型类别2(TMC2)模型中，当几何形状经过有损编码并且重复的位置被合并时，可以在编码器侧执行重新着色过程，该过程可以被称为色彩迁移。下面参考图5和图6给出重新着色算法的示例。
给定源点云502、属性和已重建点云504中包括的目标点pr，色彩迁移程序(即，重新着色过程)可以确定使属性失真最小化的已重建点云的属性值。该方法可以实现如下。
对于每个目标点pr：
1-找到pr在源点云502中的N1(1<N1)个最近相邻点，并且创建由Ψ1表示的一组点。该步骤可以对应于图5所示的前向搜索。
2-找到源点云502中的一组点，使得pr属于该组点在已重建点云504中的一组N2个最近相邻点。用Ψ2表示该组点。该步骤可以对应于图6所示的前向搜索。
3-通过下式计算Ψ1和Ψ2中的点的距离加权平均值：
Figure BDA0003942971270000061
其中，Δ(a,b)表示点a与点b之间的欧几里德距离，且c(q)表示点q的颜色。
4-计算
Figure BDA0003942971270000062
和
Figure BDA0003942971270000063
的平均值(或加权平均值，其中每个组的点的数量作为权重)，并且将其用作质心的颜色。
5-在一些实施例中，如果一些点与质心的颜色的绝对差值大于阈值thc，则可以从质心点开始执行后向搜索来排除这些点。
6-在一些实施例中，
Figure BDA0003942971270000064
和
Figure BDA0003942971270000065
的平均值(或加权平均值，以每组的点的数量作为权重)可以被更新并迁移到pr。
在TMC2的当前设计中，重新着色过程可能相当复杂，因为最近相邻搜索中使用了K维(KD)树数据结构，并且对已重建点云中的每个点均应用重新着色操作。
在TMC2的当前设计中，重新着色过程可能相当复杂，因为K维(KD)树数据结构被用在最近相邻搜索中，并且重新着色操作被应用于已重建点云中的每个点。各实施例中，可以通过直接从原始点云生成纹理图来绕过整个重新着色过程。各实施例中，可以对重新着色过程的使用附带条件。例如，重新着色过程可以应用于由于有损几何压缩而具有较大几何失真的区域。
本文中公开的实施例可以单独使用或以任何顺序组合使用。进一步地，每个实施例(例如编码器和解码器)可以由处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
绕过重新着色
如图7A所示，在V-PCC中，当几何形状经过有损编码时可以应用重新着色，并且基于已重建的几何形状对已重建点云中的颜色进行重新计算，或者例如进行内插。然后，基于重新着色后的点云生成纹理图。
例如，如图7A所示，在使用重新着色的方法700A中，可以利用输入点云710生成占用图711和几何图712。然后，可以使用有损编码来生成重建后的占用图713和重建后的几何图714，并且可以基于重建后的占用图713和重建后的几何图714来生成几何形状已重建的点云715。该几何形状已重建的点云715可以使用输入点云710重新着色以生成重新着色后的点云716，并且该重新着色后的点云716可以与占用图711一起使用以生成纹理图717。可以使用有损编码来生成重建后的纹理图718，并且可以使用重建后的纹理图718和几何形状已重建的点云715来生成已重建点云719。
各实施例中，当生成几何图时，可以利用输入点云直接生成纹理图，然后可以对生成的占用图、几何图和纹理图进行编码和重建。该过程的示例在图7B中示出，其中可以完全去除重新着色过程，并且整个工作流程被大大简化。
例如，如图7B所示，在不使用重新着色的方法700B中，可以直接利用输入点云710生成占用图721、几何图722和纹理图723，并且可以使用有损编码来生成重建后的占用图721、重建后的几何图722和重建后的纹理图723。然后，可以使用重建后的占用图721、重建后的几何图722和重建后的纹理图723来生成已重建点云727。
各实施例中，可以利用几何图生成纹理图。纹理图可以具有与几何图相同的分辨率，并且它们共享相同的图谱信息。假设Tx,y是纹理图中被占用像素并且Gx,y是几何图中的对应像素，并且它们对应于3D空间中的同一点P。然后可以将P的原始颜色值指配为Tx,y的值。
如果占用图经过有损编码，则可以基于重建后的占用图对通过绕过重新着色而生成的纹理图进行进一步处理。相应地，可以利用一些值对“半占用”像素进行填充，“半占用”像素是指在重建后的全尺寸占用图中被占用、但在原始全尺寸占用图中未被占用的像素。
占用图的失真可能由两个主要因素引起，即占用图的下采样和占用图的有损压缩。假设占用图是以B×B块的精度进行无损编码的，其中，B>1是整数。在这种情况下，当占用图的一个块被至少一个点占用时，重建后的占用图中该块的所有点将被占用。
考虑B＝4的例子。如图8所示，一个4×4块被部分地占用，其中标记为“X”的像素被占用，并且它们在纹理图中的对应像素是有效的。其余像素被定义为“半占用”，因为它们在原始占用图中未被占用，但在重建后的占用图中被占用。因此，在重建后的块中，“半占用”像素将被视为被占用。各实施例中，可以利用适当的值来对“半占用”像素进行填充，以提高重建质量。填充的值可以利用图像中的被占用像素来确定。
各实施例中，在B×B非重叠块的基础上执行“半占用”像素的填充过程。对于每个B×B块，利用同一块中被占用像素的平均值来填充“半占用”像素。
各实施例中，在B×B非重叠块的基础上执行“半占用”像素的填充过程。对于每个B×B块，利用同一块中多个最近相邻的被占用像素的平均值来填充“半占用”像素。求平均操作可以利用与被填充像素的距离来进行加权。
各实施例中，在整个图像上执行“半占用”像素的填充过程。对于每个“半占用”像素，可以利用图像中多个最近相邻的被占用像素的平均值来填充。该求平均操作可以利用与被填充的像素的距离来进行加权。
附条件的重新着色
附条件的重新着色可以涉及正常重新着色的方案与绕过重新着色的方案之间的折衷。各实施例中，可以利用绕过重新着色的方案直接从原始点云得出纹理图中的部分像素，而其余像素可以通过正常重新着色算法从已重建点云得出。对一个像素应用的方法可以由3D中相应点的几何失真来决定。例如，如果几何失真大，则应用正常重新着色的方案，否则应用绕过重新着色的方案。注意，几何失真由几何图中的失真和占用图中的失真组成。
各实施例中，如果几何图形(例如几何图和占用图)经过无损编码，则可以对纹理图的所有像素应用绕过重新着色的方案，并且可以省略正常重新着色的方案。
各实施例中，可以通过正常重新着色的方案来处理“半占用”像素。
各实施例中，包括至少一个“半占用”像素的B×B块的所有像素可以通过正常重新着色方案来处理。
各实施例中，可以对原始几何图与相应的经过压缩的重建后的几何图进行比较。对于一个给定的2D位置，如果压缩过程导致几何图中的相应像素值相差很大，则纹理图中的相应像素可以利用正常重新着色的方案来处理；否则，可以利用绕过重新着色的方案对其进行处理。可以定义阈值以确定几何形状的变化是否大。可以为所有序列采用固定的阈值，或者可以为每个序列改变阈值，或者可以为每个序列自适应地更新阈值。阈值可以作为高级语法信息或元数据在码流中发送。
注意，可以应用本文中公开的实施例中的条件的任何组合。
相应地，各实施例中，可以利用输入点云直接生成纹理图，而不利用已重建点云重新着色，这种方案可以被称为一种绕过重新着色的方案。如果占用图经过有损编码，则可以基于重建后的占用图对通过绕过重新着色生成的纹理图进行进一步处理。目标可以是利用一些值来填充“半占用”像素，这些“半占用”像素在重建的全尺寸占用图中被占用，但在原始全尺寸占用图中未被占用。填充的值可以利用图像中被占用的像素确定。可以在B×B非重叠块的基础上执行“半占用”像素的填充过程。“半占用”像素的填充过程可以在整个图像上执行。
各实施例中，纹理图中的部分像素可以通过绕过重新着色方案直接从原始点云得出，并且其余像素通过正常重新着色算法(其可以被称为附条件的重新着色方案)从已重建点云得出。对一个像素所采用的方法可以由3D中相应点的几何失真来决定。如果几何失真大，则可以应用正常重新着色，否则可以应用绕过重新着色。注意，几何失真可以包括几何图中的失真和占用图中的失真。
图9A是使用视频点云编码对视频码流进行编码的方法900A的流程图。在一些实现方式中，图9A的一个或多个过程框可以由编码器203执行。在一些实现方式中，图9A的一个或多个过程框可以由与编码器203分离或包括编码器203的另一设备或一组设备(例如解码器210)来执行。
如图9A所示，在操作911中，方法900A可以包括获得源点云。
在操作912中，方法900A可以包括基于源点云生成几何图和纹理图。
在操作913中，方法900A可以包括使用有损编码生成重建后的几何图和重建后的纹理图，其中，重建后的几何图的分辨率与重建后的纹理图的分辨率相同。各实施例中，可以在不使用重新着色的情况下生成重建后的几何图和重建后的纹理图。
在操作914中，方法900A可以包括获得与几何图的一个几何像素和纹理图的一个纹理像素相对应的源点云的一个点。
在操作915中，方法900A可以包括基于获得的点的颜色来选择该纹理像素的颜色。
在操作916中，方法900A可以包括基于选择的颜色、该几何图和该纹理图生成已编码视频码流。
图9B是使用视频点云编码对视频码流进行编码的方法900B的流程图。在一些实现方式中，图9B的一个或多个过程框可以由编码器203执行。在一些实现方式中，图9B的一个或多个过程框可以由与编码器203分离或包括编码器203的另一设备或一组设备(诸如解码器210)来执行。
如图9B所示，在操作921中，方法900B可以包括基于源点云生成占用图。
在操作922中，方法900B可以包括使用有损编码生成重建后的占用图，其中，重建后的占用图的分辨率与重建后的几何图的分辨率以及重建后的纹理图的分辨率相同。各实施例中，可以在不使用重新着色的情况下生成重建后的占用图。
各实施例中，可以基于占用图来选择纹理像素的颜色。
各实施例中，该纹理像素可以与一个半占用像素对应，该半占用像素在占用图中未被占用、且在重建后的占用图中被占用，并且该纹理像素的颜色可以基于同一块中的多个被占用像素的平均值来选择。
各实施例中，该纹理像素可以与一个半占用像素对应，该半占用像素在占用图中未被占用、且在重建后的占用图中被占用，并且该纹理像素的颜色可以基于多个最近相邻的被占用像素的距离加权平均值来选择。
各实施例中，该纹理像素可以与一个占用像素对应，该占用像素在占用图中被占用、且在重建后的占用图中被占用，并且一个半占用像素的颜色值可以使用重新着色来确定，半占用像素在占用图中未被占用、且在重建后的占用图中被占用。
各实施例中，对于包括半占用像素的块，可以使用重新着色来确定该块中的多个像素的多个颜色值。
各实施例中，可以基于几何图与重建后的几何图之间的比较来获得上述点。
虽然图9A至图9B示出了方法900A和900B的示例框图，但是在一些实现方式中，与图9A至图9B中示出的那些框相比，方法900A和900B可以包括额外的框、更少的框、不同的框或以不同排列的框。附加地或可替代地，可以并行地执行方法900A的两个或更多个框。各实施例中，根据需要，图9A至图9B的任何数量框可以以任何顺序与图9A至图9B的任何其它框进行组合。
图10是各实施例的使用视频点云编码对视频码流进行编码的装置1000的示图。如图10中所示，装置800包括第一获取代码1010、第一生成代码1020、第二生成代码1030、第二获取代码1040、选择代码1050和第三生成代码1060。
第一获取代码1010可以用于使至少一个处理器获得源点云。
第一生成代码1020可以用于使至少一个处理器基于源点云生成几何图和纹理图。
第二生成代码1030可以用于使至少一个处理器使用有损编码生成重建后的几何图和重建后的纹理图，其中，重建后的几何图的分辨率与重建后的纹理图的分辨率相同。
第二获取代码1040可以用于使至少一个处理器获得源点云中与几何图的一个几何像素和纹理图的一个纹理像素相对应的一个点。
选择代码1050可以用于使至少一个处理器基于获得的点的颜色来选择该纹理像素的颜色。
第三生成代码1060可以用于使至少一个处理器基于所选择的颜色、几何图和纹理图生成已编码视频码流。
上述技术可以使用计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图11示出了适于实现本申请某些实施例的计算机系统1100。
计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成代码。代码中包括指令，这些指令可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图11所示的用于计算机系统1100的组件属于示例，并且不旨在对实现本申请实施例的计算机软件的使用范围或功能性提出任何限制。部件的配置方式也不应被解释为对计算机系统1100的非限定性实施例中的任一个部件或其组合具有任何依赖性或要求。
计算机系统1100可以包括某些人机接口输入设备。此类人机接口输入设备可以响应于一个或多个人类用户通过例如触觉输入(例如：按键、滑动、数据手套移动)、音频输入(例如：语音、拍打)、视觉输入(例如：手势)、嗅觉输入(未示出)进行的输入。人机接口设备还可以用于捕捉不一定直接与人类有意识输入相关的某些介质，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机接口输入设备可以包括以下中的一种或多种(每种仅示出了一个)：键盘1101、鼠标1102、触控板1103、触摸屏1110、数据手套、操纵杆1105、麦克风1106、扫描仪1107、相机1108。
计算机系统1100还可以包括某些人机接口输出设备。此类人机接口输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。此类人机接口输出设备可以包括触觉输出设备(例如触摸屏1110、数据手套或操纵杆1105的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)。例如，此类设备可以是音频输出设备(例如：扬声器1109、耳机(未示出))、视觉输出设备，以及打印机(未示出)，其中视觉输出设备例如屏幕1110、虚拟现实眼镜(未示出)、全息显示器和烟雾罐(未示出)，屏幕1110包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每一种都具有或不具有触摸屏输入能力，每一种都具有或不具有触觉反馈能力，这些屏幕中的一些能够通过例如立体图像输出的方式输出二维视觉输出信息或多于三维的输出信息。
计算机系统1100还可以包括人类可访问的存储设备及其相关联的介质，例如光学介质(包括具有CD/DVD的CD/DVD ROM/RW1120)或类似介质1121、拇指驱动器1122、可移动硬盘驱动器或固态驱动器1123、传统磁性介质(例如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(例如安全加密狗(未示出))等。
本领域技术人员还应当理解，结合本申请的主题使用的术语“计算机可读介质”不包括发送介质、载波或其它瞬时信号。
计算机系统1100还可以包括连接一个或多个通信网络的接口。网络可以是，例如，无线网络、有线网络、光网络。网络还可以是本地网络、广域网、城域网、车联网和工业网络、实时网络、延迟容忍网络等。网络的示例包括局域网(例如以太网、无线LAN)、蜂窝网络(包括全球移动通信系统(GSM)、第三代移动通信系统(3G)、第四代移动通信系统(4G)、第五代移动通信系统(5G)、长期演进(LTE)等)、、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车联网和工业网络(包括CANBus)，等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器连接到某些通用数据端口或外围总线1149(例如计算机系统1100的通用串行总线(USB)端口)；其它网络通常通过如下方式连接到系统总线从而集成到计算机系统1100的内核中(例如集成到个人计算机系统中的以太网接口或集成到智能手机计算机系统中的蜂窝网络接口)。通过使用这些网络中的任何一个，计算机系统1100可以与其它实体进行通信。此类通信可以是，例如与使用局域网或广域数字网络的其它计算机系统的，单向的、仅接收的(例如，广播TV)、单向仅发送的(例如，CANbus到某些CANbus设备)，或双向的通信。这种通信可以包括与云计算环境1155的通信。可以在如上所述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口设备、人类可访问的存储设备和网络接口可以连接到计算机系统1100的内核1140。
内核1140可以包括一个或多个中央处理单元(CPU)1141、图形处理单元(GPU)1142、以现场可编程门阵列(FPGA)1143形式存在的专用可编程处理单元、用于特定任务的硬件加速器1144等。这些设备，以及只读存储器(ROM)1145、随机存取存储器1146、内部大容量存储器1147(例如内部非用户可访问硬盘驱动器、SSD)等，可以通过系统总线1148相互连接。在一些计算机系统中，系统总线1148可以以一个或多个物理插头的形式访问，从而通过额外的CPU、GPU等进行扩展。外围设备可以直接或通过外围总线1149连接到内核的系统总线1148。外围总线的架构包括PCI、USB等。内核1140可以包括图形适配器1150。
CPU1141、GPU1142、FPGA1143和加速器1144可以执行某些指令，这些指令的组合可以构成上述计算机代码。该计算机代码可以存储在ROM1145或RAM1146中。中间数据也可以存储在RAM1146中，而永久数据可以存储在例如内部大容量存储器1147中。可以通过使用高速缓存存储器来启用对任何存储器设备的快速存储和读取，该高速缓存存储器可以与一个或多个CPU1141、GPU1142、大容量存储装置1147、ROM1145、RAM1146等紧密关联。
计算机可读介质上可以具有计算机代码，在计算机代码上执行各种计算机执行的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为示例而非限制，具有架构1100的计算机系统，并且特别是内核1140可以提供一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行在一个或多个有形的计算机可读介质中的软件而实现的功能性。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及非易失性的内核1140的某些存储，例如内核内部大容量存储装置1147或ROM1145。实现本申请的各种实施例的软件可以存储在此类设备中并且由内核1140执行。根据特定需要，计算机可读介质可以包括一个或多个存储器设备或芯片。软件可以使内核1140，特别是其中的处理器(包括CPU、GPU、FPGA等)，执行本文描述的特定过程或特定过程的特定部分，包括定义存储在RAM1146中的数据结构，以及根据软件定义的过程修改这些数据结构。作为补充或作为替代，计算机系统可以提供与电路(例如：加速器1144)中的逻辑硬连线或其它组件相同的功能，可以代替软件或与软件一起操作以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，对软件的提及可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的提及可以包括存储执行软件的电路(例如集成电路(IC))、包括执行逻辑的电路，或两者兼备。本申请包括硬件和软件的任何合适的组合。
虽然本申请已对多个非限定性实施例进行了描述，但实施例的各种变更、置换和各种替代属于本申请的范围内。因此应了解，本领域的技术人员将能够设计许多系统和方法，该系统和方法虽然未在本文中明确示出或描述，但其体现了本申请的原理，因此属于本申请的精神和范围之内。

Claims (20)

1.一种使用视频点云编码对视频码流进行编码的方法，由至少一个处理器执行，其特征在于，包括：
获得源点云；
基于所述源点云生成几何图和纹理图；
使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；
获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素相对应的一个点；
基于获得的所述点的颜色选择所述纹理像素的颜色；及
基于所选择的颜色、所述几何图和所述纹理图生成已编码视频码流。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
基于所述源点云生成占用图；
使用有损编码而不使用重新着色来生成重建后的占用图，其中，所述重建后的占用图的分辨率与所述重建的几何图的分辨率以及所述重建的纹理图的分辨率相同，
其中，所述纹理像素的所述颜色是基于所述占用图选择的。
3.根据权利要求2所述的方法，其特征在于，所述纹理像素与一个半占用像素对应，所述半占用像素在所述占用图中未被占用并且在所述重建后的占用图中被占用；
其中，所述纹理像素的所述颜色是基于同一块中的多个被占用像素的平均值来选择的。
4.根据权利要求2所述的方法，其特征在于，所述纹理像素与一个半占用像素对应，所述半占用像素在所述占用图中未被占用并且在所述重建后的占用图中被占用；
其中，所述纹理像素的颜色是基于多个最近相邻的被占用像素的距离加权平均值来选择的。
5.根据权利要求2所述的方法，其特征在于，所述纹理像素与一个被占用像素对应，所述被占用像素在所述占用图中被占用并且在所述重建后的占用图中被占用；
其中，在所述占用图中未被占用并且在所述重建后的占用图中被占用的半占用像素的颜色值是使用所述重新着色来确定的。
6.根据权利要求5所述的方法，其特征在于，对于包括所述半占用像素的块，所述块中的多个像素的多个颜色值是使用所述重新着色来确定的。
7.根据权利要求1所述的方法，其特征在于，所述点是基于所述几何图与所述重建后的几何图之间的比较而获得的。
8.一种使用视频点云编码对视频码流进行编码的装置，其特征在于，包括：
至少一个存储器，用于存储程序代码；及
至少一个处理器，用于读取所述程序代码并且按照所述程序代码的指示进行操作，所述程序代码包括：
第一获取代码，用于使所述至少一个处理器获得源点云；
第一生成代码，用于使所述至少一个处理器基于所述源点云来生成几何图和纹理图；
第二生成代码，用于使所述至少一个处理器使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；
第二获取代码，用于使所述至少一个处理器获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素的相对应的一个点；
选择代码，用于使所述至少一个处理器基于获得的所述点的颜色来选择所述纹理像素的颜色；及
第三生成代码，用于使所述至少一个处理器基于所选择的所述颜色、所述几何图和所述纹理图生成已编码视频码流。
9.根据权利要求8所述的装置，其特征在于，进一步包括：
第四生成代码，用于使所述至少一个处理器基于所述源点云来生成占用图；
第五生成代码，用于使所述至少一个处理器使用有损编码而不使用重新着色来生成重建后的占用图，其中，所述重建后的占用图的分辨率与所述重建后的几何图的分辨率以及所述重建后的纹理图的分辨率相同，
其中，所述纹理像素的所述颜色是基于所述占用图选择的。
10.根据权利要求9所述的装置，其特征在于，所述纹理像素与一个半占用像素对应，所述半占用像素在所述占用图中未被占用并且在所述重建后的占用图中被占用；
其中，所述纹理像素的所述颜色是基于同一块中的多个被占用像素的平均值来选择的。
11.根据权利要求9所述的装置，其特征在于，所述纹理像素与在所述占用图中未被占用并且在所述重建的占用图中被占用的半占用像素相对应，并且
其中，所述纹理像素的颜色是基于多个最近相邻的被占用像素的距离加权平均值来选择的。
12.根据权利要求9所述的装置，其特征在于，所述纹理像素与一个被占用像素对应，所述被占用像素在所述占用图中被占用并且在所述重建后的占用图中被占用；
其中，在所述占用图中未被占用并且在所述重建后的占用图中被占用的半占用像素的颜色值是使用所述重新着色来确定的。
13.根据权利要求12所述的装置，其特征在于，对于包括所述半占用像素的块，所述块中的多个像素的多个颜色值是使用所述重新着色来确定的。
14.根据权利要求8所述的装置，其特征在于，所述点是基于所述几何图与所述重建后的几何图之间的比较而获得的。
15.一种非易失性计算机可读介质，存储有使用视频点云编码对视频码流进行编码的计算机指令，其特征在于，所述指令由至少一个处理器执行时使所述至少一个处理器：
获得源点云；
基于所述源点云生成几何图和纹理图；
使用有损编码而不使用重新着色来生成重建后的几何图和重建后的纹理图，其中，所述重建后的几何图的分辨率与所述重建后的纹理图的分辨率相同；
获得所述源点云中与所述几何图的一个几何像素和所述纹理图的一个纹理像素相对应的一个点；
基于获得的所述点的颜色选择所述纹理像素的颜色；及
基于所选择的颜色、所述几何图和所述纹理图生成已编码视频码流。
16.根据权利要求15所述的非易失性计算机可读介质，其特征在于，进一步包括：
基于所述源点云生成占用图；
使用有损编码而不使用重新着色来生成重建后的占用图，其中，所述重建后的占用图的分辨率与所述重建的几何图的分辨率以及所述重建的纹理图的分辨率相同，
其中，所述纹理像素的所述颜色是基于所述占用图选择的。
17.根据权利要求16所述的非易失性计算机可读介质，其特征在于所述纹理像素与一个半占用像素对应，所述半占用像素在所述占用图中未被占用并且在所述重建后的占用图中被占用；
其中，所述纹理像素的所述颜色是基于同一块中的多个被占用像素的平均值来选择的。
18.根据权利要求16所述的非易失性计算机可读介质，其特征在于，所述纹理像素与一个半占用像素对应，所述半占用像素在所述占用图中未被占用并且在所述重建后的占用图中被占用；
其中，所述纹理像素的颜色是基于多个最近相邻的被占用像素的距离加权平均值来选择的。
19.根据权利要求16所述的非易失性计算机可读介质，其特征在于，所述纹理像素与一个被占用像素对应，所述被占用像素在所述占用图中被占用并且在所述重建后的占用图中被占用；
其中，在所述占用图中未被占用并且在所述重建后的占用图中被占用的半占用像素的颜色值是使用所述重新着色来确定的。
20.根据权利要求19所述的非易失性计算机可读介质，其特征在于，对于包括所述半占用像素的块，所述块中的多个像素的多个颜色值是使用所述重新着色来确定的。
CN202180035406.1A 2021-06-04 2021-10-12 基于视频的点云编解码的附条件的重新着色 Pending CN115997380A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163197196P 2021-06-04 2021-06-04
US63/197,196 2021-06-04
US17/495,301 2021-10-06
US17/495,301 US11979606B2 (en) 2021-06-04 2021-10-06 Conditional recolor for video based point cloud coding
PCT/US2021/054559 WO2022256032A1 (en) 2021-06-04 2021-10-12 Conditional recolor for video based point cloud coding

Publications (1)

Publication Number Publication Date
CN115997380A true CN115997380A (zh) 2023-04-21

Family

ID=84284495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180035406.1A Pending CN115997380A (zh) 2021-06-04 2021-10-12 基于视频的点云编解码的附条件的重新着色

Country Status (6)

Country Link
US (1) US11979606B2 (zh)
EP (1) EP4128750A4 (zh)
JP (1) JP2023533416A (zh)
KR (1) KR20230011406A (zh)
CN (1) CN115997380A (zh)
WO (1) WO2022256032A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019158821A1 (en) * 2018-02-19 2019-08-22 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20190313110A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud compression
CN110892453A (zh) * 2017-07-10 2020-03-17 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
WO2021062289A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Video-based point cloud compression with non-normative smoothing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155386A (ko) 2019-05-14 2021-12-22 인텔 코포레이션 3DoF+/MIV 및 V-PCC에 대한 몰입형 비디오 코딩 기술
JP7434577B2 (ja) * 2020-01-09 2024-02-20 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892453A (zh) * 2017-07-10 2020-03-17 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
WO2019158821A1 (en) * 2018-02-19 2019-08-22 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20190313110A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud compression
WO2021062289A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Video-based point cloud compression with non-normative smoothing

Also Published As

Publication number Publication date
US11979606B2 (en) 2024-05-07
EP4128750A1 (en) 2023-02-08
JP2023533416A (ja) 2023-08-03
WO2022256032A1 (en) 2022-12-08
EP4128750A4 (en) 2023-07-19
KR20230011406A (ko) 2023-01-20
US20220394293A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN112188209B (zh) 视频流解码方法、装置、计算机设备和存储介质
JP7118278B2 (ja) 符号化された点群データの分割
US11451836B2 (en) Techniques and apparatus for PCM patch creation using Morton codes
CN113170154B (zh) 采用退火迭代几何平滑的点云编解码方法、装置和介质
CN113508598B (zh) 对使用视频点云编解码编码的视频流进行解码的方法和装置
CN113170155B (zh) 点云编解码方法和装置
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
CN115997380A (zh) 基于视频的点云编解码的附条件的重新着色
CN112188201B (zh) 对视频流进行编码的方法、装置、电子设备及存储介质
CN113228050B (zh) 使用视频点云编解码对视频流进行编码的方法和装置
KR102677403B1 (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 패치 생성
US12101505B2 (en) Fast recolor for video based point cloud coding
US20220394294A1 (en) Non-binary occupancy map for video based point cloud coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40084467

Country of ref document: HK