CN113508598B - 对使用视频点云编解码编码的视频流进行解码的方法和装置 - Google Patents

对使用视频点云编解码编码的视频流进行解码的方法和装置 Download PDF

Info

Publication number
CN113508598B
CN113508598B CN202080017646.4A CN202080017646A CN113508598B CN 113508598 B CN113508598 B CN 113508598B CN 202080017646 A CN202080017646 A CN 202080017646A CN 113508598 B CN113508598 B CN 113508598B
Authority
CN
China
Prior art keywords
boundary
smoothing
point cloud
patch
smoothed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080017646.4A
Other languages
English (en)
Other versions
CN113508598A (zh
Inventor
阿拉什·沃索基
芮世薰
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113508598A publication Critical patent/CN113508598A/zh
Application granted granted Critical
Publication of CN113508598B publication Critical patent/CN113508598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种对使用视频点云编解码编码的视频流进行解码的方法和装置，所述解码包括：基于一个或多个补丁获取几何重建点云；标识补丁的第一边界，所述第一边界包括多个第一边界点；标识所述第一边界内的第二边界，所述第二边界包括多个第二边界点；对所述多个第一边界点和所述多个第二边界点执行平滑；基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云；以及使用所述平滑的几何重建点云重建动态点云。

Description

对使用视频点云编解码编码的视频流进行解码的方法和装置
相关申请的交叉引用
本申请要求于2020年2月27日提交的、申请号为16/803,093、名称为“用于点云压缩的增强的补丁边界标识的方法和装置”的美国专利申请的优先权，其要求于2019年3月1日提交的、申请号为62/812,962的美国临时申请的优先权。在先申请的全部公开内容通过引用整体并入本文。
技术领域
本公开涉及一组高级视频编解码技术，更具体地，涉及一种对使用视频点云编解码编码的视频流进行解码的方法和装置、以及计算机可读介质。
背景技术
世界的高级三维(3D)表示能够实现更身临其境的交互和交流形式。这些表示还使机器能够理解、解释和导航我们的世界。点云作为世界的3D表示已经被广泛应用。已经确定了几个与点云数据相关的用例，并且对点云表示和压缩提出了一些相应的要求。
点云可以是3D空间中点的集合，每个点都具有关联的属性，例如颜色、材料属性等。点云作为这些点的组合，可用于重建一个对象或场景。这些点可以在各种设置中使用多个相机和深度传感器来捕获，并且可以由数千到数十亿个点组成，以便真实地表示重建的场景。
需要压缩技术以减少表示点云所需的数据量。因此，可能需要一些技术对点云进行有损压缩，以便将其用于实时通信和六自由度(6DoF)虚拟现实中。另外，在针对自动驾驶和文化遗产应用等的动态映射的环境中，寻求无损点云压缩的技术。运动图像专家组(MPEG)已经开始致力于解决几何形状和属性的压缩问题的标准，例如颜色和反射率、可缩放的/渐进的编码、随时间推移捕获的点云序列的编码以及对点云子集的随机访问。
发明内容
根据实施例，一种对使用视频点云编解码编码的视频流进行解码的方法由至少一个处理器执行，并且包括：基于一个或多个补丁获取几何重建点云；从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点；标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点；对所述多个第一边界点和所述多个第二边界点执行平滑；基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云；以及使用所述平滑的几何重建点云重建动态点云。
根据实施例，一种对使用视频点云编解码编码的视频流进行解码的装置包括：至少一个存储器，被配置为存储程序代码；以及至少一个处理器，被配置为读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：第一获取代码，被配置为使所述至少一个处理器基于一个或多个补丁获取几何重建点云；第一标识代码，被配置为使所述至少一个处理器从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点；第二标识代码，被配置为使所述至少一个处理器标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点；平滑代码，被配置为使所述至少一个处理器对所述多个第一边界点和所述多个第二边界点执行平滑；第二获取代码，被配置为使所述至少一个处理器基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云；以及重建代码，被配置为使所述至少一个处理器使用所述平滑的几何重建点云重建动态点云。
根据实施例，一种非易失性计算机可读介质存储计算机指令，所述计算机指令用于对使用视频点云编解码编码的视频流进行解码，当所述计算机指令由至少一个处理器执行时，使所述至少一个处理器执行上述实施例的方法。
附图说明
根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中
图1是根据实施例的通信系统的简化框图的示意图；
图2是根据实施例的流式传输系统的简化框图的示意图；
图3是根据实施例的视频编码器的简化框图的示意图；
图4是根据实施例的视频解码器的简化框图的示意图；
图5示出了根据实施例的几何图像的示例；
图6示出了根据实施例的纹理图像的示例；
图7A-7B示出了根据实施例的补丁占用的示例性实施例；
图8是示出由实施例执行的过程的流程图；
图9是示出根据实施例的设备的示意图；
图10是适合于实现实施例的计算机系统的示意图。
具体实施方式
基于视频的点云压缩(V-PCC)背后的考虑因素是利用现有的视频编解码器将动态点云的几何形状、占用和纹理压缩为三个单独的视频序列。解释这三个视频序列所需的额外元数据可以被单独压缩。总比特流的一小部分是元数据，可以使用软件实现对其进行有效地编码/解码。大部分信息可以由视频编解码器处理。
参考图1-4，描述了用于实现本公开的编码和解码结构的本公开的实施例。本公开的编码和解码结构可以实现上述V-PCC的各个方面。
图1示出了根据本公开实施例的通信系统100的简化框图。通信系统100可以包括通过网络150互联的至少两个终端装置110，120。对于单向数据传输，第一终端装置110可在本地位置对视频数据进行编码，以通过网络150传输到另一终端装置120。第二终端装置120可从网络150接收另一终端装置的已编码视频数据，对已编码视频数据进行解码并显示恢复的视频数据。单向数据传输在媒体服务等应用中是较常见的。
图1示出了支持已编码视频的双向传输的第二对终端装置130，140，所述双向传输可例如在视频会议期间发生。对于双向数据传输，每个终端装置130，140可对在本地位置采集的视频数据进行编码，以通过网络150传输到另一终端装置。每个终端装置130，140还可接收由另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码并在本地显示设备上显示恢复的视频数据。
在图1中，终端装置110-140可以为例如服务器、个人计算机、智能手机、和/或任何其它类型的终端装置。例如，终端装置110-140可以为膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在终端装置110-140之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或互联网。出于本讨论的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本公开的操作来说可能是无关紧要的。
作为所公开主题的应用的示例，图2示出了视频解码器和编码器在流式传输环境中的放置方式。所公开的主题可以与其它支持视频的应用一起使用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
如图2所示，流式传输系统200可以包括捕获子系统213，捕获子系统213包括视频源201和编码器203。流式传输系统200可以进一步包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。
视频源201可以创建例如流202，该流202包括对应于3D视频的3D点云。视频源201可以包括例如3D传感器(例如，深度传感器)或3D成像技术(例如，一个或多个数码相机)、以及计算设备，该计算设备被配置为使用从3D传感器或3D成像技术接收的数据来生成3D点云。与已编码视频比特流相比具有较高数据量的样本流202可以由耦合到视频源201的编码器203来处理。编码器203可以包括硬件、软件或其组合，以启用或实现下文更详细描述的所公开主题的各个方面。编码器203还可以生成已编码视频比特流204。与未压缩的流202相比具有较低数据量的已编码视频比特流204可以存储在流式服务器205上，以供将来使用。一个或多个流式客户端206可以访问流式服务器205，以检索视频比特流209，该视频比特流209可以是已编码视频比特流204的副本。
流式客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对作为已编码视频比特流204的输入副本的视频比特流209进行解码，并创建输出视频样本流211，该输出视频样本流211可以在显示器212或其它呈现设备(未示出)上呈现。在一些流式传输系统中，可以根据某些视频编解码/压缩标准对视频比特流204、209进行编码。此类标准的示例包括但不限于ITU-T建议书H.265，通用视频编解码(VVC)和MPEG/V-PCC。
参考图3-4，下面描述可以由本公开的实施例执行的V-PCC的一些方面。
图3示出了根据本公开实施例的视频编码器203的示例性功能框图。
如图3所示，视频编码器203可以接收一个或多个点云帧350，并生成几何图像352、纹理图像356和基于点云帧350的占用图334。视频编码器203可以将几何图像352压缩成压缩的几何图像362，将纹理图像356压缩成压缩的纹理图像364，以及将占用图334压缩成压缩的占用图372。视频编码器203的多路复用器328可以形成压缩的比特流374，该压缩的比特流374包括压缩的几何图像362、压缩的纹理图像364和压缩的占用图372。
更具体地，在实施例中，视频编码器203可以包括将点云帧350分割成补丁的补丁生成模块302。补丁是V-PCC的有用实体。补丁生成过程包括将点云帧350分解成具有平滑边界的最小数量的补丁，同时还使重建误差最小化。本公开的编码器可以实施各种方法来生成这种分解。
视频编码器203可以包括执行打包过程的补丁打包模块304。打包过程包括将提取的补丁映射到2D网格上，同时最小化未使用的空间，并保证网格的每个M×M(例如，16×16)块与唯一的补丁相关联。有效的补丁打包通过最小化未使用的空间或确保时间一致性直接影响压缩效率。补丁打包模块304可以生成占用图334。
视频编码器203可以包括几何图像生成模块306和纹理图像生成模块308。为了更好地处理多个点被投影到同一样本的情况，可以将每个补丁投影到称为层的两个图像上。例如，几何图像生成模块306和纹理图像生成模块308可以利用在补丁打包模块304的打包过程期间计算的3D到2D映射，将点云的几何形状和纹理存储为图像(又称为“层”)。生成的图像/层可以存储为一个或多个视频帧，并且根据作为参数提供的配置使用视频编解码器(例如，HM视频编解码器)进行压缩。
在实施例中，基于输入点云帧350和占用图334，几何图像生成模块306生成几何图像352，纹理图像生成模块308生成纹理图像356。图5中示出了几何图像352的示例，图6中示出了纹理图像356的示例。在实施例中，几何图像352可以由YUV420-8位格式的WxH单色帧表示。在实施例中，占用图334图像由二进制图组成，该二进制图指示网格的每个单元是属于空白空间还是属于点云。为了生成纹理图像356，纹理图像生成模块308可以利用重建/平滑的几何形状358，以便计算与重采样的点相关联的颜色。
视频编码器203还可以包括图像填充模块314和图像填充模块316，分别用于填充几何图像352和纹理图像356，以形成填充的几何图像354和填充的纹理图像360。图像填充(又称为“背景填充”)仅用冗余信息填充图像中未使用的空间。良好的背景填充能最小限度地增加比特率而不会在补丁边界周围引入明显的编码失真。图像填充模块314和图像填充模块316可以使用占用图334来分别形成填充的几何图像354和填充的纹理图像360。在实施例中，视频编码器203可以包括群组扩展模块320，以形成填充的纹理图像360。群组扩展模块320可用于例如确保各种帧的补丁之间的空间一致性。
视频编码器203可以包括视频压缩模块322和视频压缩模块324，用于将填充的几何图像354和填充的纹理图像360分别压缩成压缩的几何图像362和压缩的纹理图像364。
视频编码器203可以包括：熵压缩模块318，用于占用图334的无损编码366，以及视频压缩模块326，用于占用图334的有损编码368。无损编码366和有损编码368之间的切换的状态可以基于例如输入点云350的比特率或比特流374的比特率来确定。
在实施例中，视频编码器203可以包括平滑模块310，用于通过使用由视频压缩模块322提供的重建几何图像365以及补丁信息332来生成平滑的几何形状358。平滑模块310的平滑过程可以旨在减轻由于压缩伪像而可能在补丁边界处出现的潜在不连续性。平滑的几何形状358可由纹理图像生成模块308使用以生成纹理图像356。
视频编码器203还可以包括辅助补丁信息压缩模块312，用于形成压缩的辅助补丁信息370，该压缩的辅助补丁信息370由多路复用器328在压缩的比特流374中提供。
图4示出了根据本公开实施例的视频解码器210的示例功能框图。
如图4所示，视频解码器210可以从视频编码器203接收已编码比特流374，以获取压缩的纹理图像362、压缩的几何图像364、压缩的占用图372和压缩的辅助补丁信息370。视频解码器210可以对压缩的纹理图像362、压缩的几何图像364、压缩的占用图372和压缩的辅助补丁信息370进行解码，以分别获取解压缩的纹理图像460、解压缩的几何图像462、解压缩的占用图464和解压缩的辅助补丁信息466。随后，视频解码器210可以基于解压缩的纹理图像460、解压缩的几何图像462、解压缩的占用图464和解压缩的辅助补丁信息466生成重建的点云474。
在实施例中，视频解码器210可以包括解复用器402，该解复用器402分离接收到的压缩的比特流374的压缩的纹理图像362、压缩的几何图像364、压缩的占用图372和压缩的辅助补丁信息370。
视频解码器210可以包括视频解压缩模块404、视频解压缩模块406、占用图解压缩模块408和辅助补丁信息解压缩模块410，这些模块分别对压缩的纹理图像362、压缩的几何图像364、压缩的占用图372和压缩的辅助补丁信息370进行解码。
视频解码器210可以包括几何形状重建模块412，该几何形状重建模块412基于解压缩的几何图像462、解压缩的占用图464和解压缩的辅助补丁信息466获取重建的(三维)几何形状468。
视频解码器210可以包括平滑模块414，该平滑模块414平滑重建的几何形状468，以获取平滑的几何形状470。平滑过程可以旨在减轻由于压缩伪像而可能在补丁边界处出现的潜在不连续性。
视频解码器210可以包括纹理重建模块416，用于基于解压缩的纹理图像460和平滑的几何形状470获取重建的纹理472。
视频解码器210可以包括颜色平滑模块418，该颜色平滑模块418平滑重建的纹理472的颜色，以获取重建的点云474。3D空间中的非相邻补丁通常在2D视频中被彼此相邻地打包。这意味着来自非相邻补丁的像素值可能会被基于块的视频编解码器混合。颜色平滑模块418的颜色平滑可以旨在减少出现在补丁边界处的可见伪像。
在压缩几何视频之后，可以使用压缩的几何视频和相应的占用图来重建点云，这也可以称为几何重建云。然后，可以将颜色转移到生成的几何重建云中。在颜色转移之前，可以对几何重建云应用几何平滑。
几何平滑的目标可以是恢复由于几何压缩以及将高分辨率占用图转换为较低分辨率占用图而在补丁边界处失真的几何形状。然而，无论是接近或远离补丁边界，量化误差都有可能影响补丁内部的重建深度值，这可能导致重建表面不光滑。
在当前的V-PCC标准中，平滑只能应用于补丁边界。然而，在补丁内部应用平滑也可能是有益的。本公开的实施例涉及不仅对补丁边界应用平滑滤波器，而且对补丁边界附近和补丁内部的区域也应用平滑滤波器。
在一个实施例中，可以在补丁内部定义一个或几个内边界。每个内边界可以包括占用图的一组像素。图7A-7B示出了补丁占用图像的示例性实施例，其中已占用像素用白色和灰色示出，未占用点用黑色示出。图7A示出了根据实施例的补丁710及其边界点720的占用。图7B示出了补丁730和三个边界的占用，具体地说是边界点740(其可以对应于边界点720)以及两个附加的内边界(可以包括边界点750和边界点760)。
本公开的实施例涉及将一个或多个平滑滤波器应用于所有内边界以及实际补丁边界。这些额外的点被添加到V-PCC创建的点列表中以进行平滑。内边界的宽度可以不同。例如，为了控制计算复杂度，更深的内边界可以更厚。
在另一实施例中，对于不同的内边界使用不同的权重进行平滑。可以使用补丁的对应深度值自适应地控制权重。例如，如果在边界内深度的变化相对较高，则可以使用较大的平滑权重。这些权重也可以在本地计算，或指定为属于特定内边界的整个像素的固定值。
在另一实施例中，可以对V-PCC使用的补丁边界标识进行改进。为了导出第一内边界，该第一内边界可以紧靠补丁边界内并且被称为第一扩展，可以从一组已占用像素中去除一组补丁边界点，然后，可以通过找到生成的占用图的补丁边界来找到第一内边界。
在另一实施例中，可以不止一次地应用上述过程来创建更多的内边界。
上述补丁侵蚀(patch erosion)过程可以根据等式1表示，如下所示：
原始占用图可以由〖OM〗_1表示，并且对应于〖OM〗_1的补丁边界可以由L_1表示。可以表示结构元素s对占用图X的侵蚀，并且X–Y可以表示属于X但不属于Y的一组已占用像素。
因此，第i(1<i)层可以使用等式2和等式3来计算，如下所示：
OMi+1＝OMi-Li (等式2)
根据实施例，可以对不同的内边界应用不同的平滑权重。例如，因为与更接近补丁边界的点相比，补丁内的点可能不需要重平滑，在补丁内更深处可以减小平滑权重。
如下表1中示出了上述实施例的用于信令的元数据语法的示例。
表1
在上面的表1中，enhanced_boundary_identification_present_flag可以表示是否使用增强的边界标识。
number_of_inner_boundaries可以表示内边界的数量。
smoothing_weight_per_inner_boundary[i]可以表示第i个内边界的平滑权重。
示例解码过程可以将多个补丁内边界和每个补丁内边界的平滑权重作为输入。
在对占用图进行解码之后，解码器A(例如，解码器210)可以例如以V-PCC标准指定的方式找到补丁边界点。然后，解码器可以依次导出属于每个内边界的已占用像素。可以使用每个内边界的点对应的已解码平滑权重对每个内边界的点进行几何平滑。
图8是根据实施例的对使用视频点云编解码编码的视频流进行解码的方法800的流程图。在一些实施方式中，图8的一个或多个过程框可以由解码器210执行。在一些实现方式中，图8的一个或多个过程框可以由与解码器210分离或包括解码器210的另一个设备或一组设备执行，例如编码器203。
如图8所示，在操作810中，方法800可以包括基于一个或多个补丁获取几何重建点云。
在操作820中，方法800可以包括从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点。
在操作830中，方法800可以包括标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点。
在操作840中，方法800可以包括对所述多个第一边界点和所述多个第二边界点执行平滑。
在操作850中，方法800可以包括基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云。
在操作860中，方法800可以包括使用所述平滑的几何重建点云重建动态点云。
在实施例中，所述第一边界可以位于所述补丁的边缘处。
在实施例中，方法800可以进一步包括使用第一平滑滤波器平滑所述多个第一边界点；以及使用不同于所述第一平滑滤波器的第二平滑滤波器平滑所述多个第二边界点。
在实施例中，所述第一平滑滤波器的第一平滑权重可以大于所述第二平滑滤波器的第二平滑权重。
在实施例中，所述第一边界可以具有第一边界厚度，并且所述第二边界可以具有第二边界厚度，所述第二边界厚度大于所述第一边界厚度。
在实施例中，方法800可以进一步包括标识所述第二边界内所述补丁的第三边界，其中所述第三边界可以包括多个第三边界点；对所述多个第三边界点执行平滑；以及基于所述平滑的多个第一边界点、所述平滑的多个第二边界点和所述平滑的多个第三边界点获取平滑的几何重建点云。
在实施例中，方法800可以进一步包括使用第一平滑滤波器平滑所述多个第一边界点；使用不同于所述第一平滑滤波器的第二平滑滤波器平滑所述多个第二边界点；以及使用不同于所述第二平滑滤波器和所述第一平滑滤波器的第三平滑滤波器平滑所述多个第三边界点。
所述第一平滑滤波器的第一平滑权重可以大于所述第二平滑滤波器的第二平滑权重，并且所述第二平滑滤波器的第二平滑权重可以大于所述第三平滑滤波器的第三平滑权重。
在实施例中，方法800可以进一步包括通过从所述补丁去除所述多个第一边界点来获取被侵蚀的补丁；标识位于所述被侵蚀的补丁的边缘处的所述被侵蚀的补丁的边界；以及基于所述被侵蚀的补丁的边界确定所述补丁的第二边界。
在实施例中，所述视频流的元数据可以表示要确定的多个边界中的至少一个以及要应用于所述多个边界中的每个边界的平滑权重。
虽然图8示出了方法800的示例块，但是在一些实施方式中，方法800可以包括比图8中所示的更多的块、更少的块、不同的块或不同排列的块。另外或者可选地，方法800的两个或更多个块可以并行执行。
图9是根据实施例的对使用视频点云编解码编码的视频流进行解码的装置900的示意图。如图9所示，装置900包括第一获取代码910、第一标识代码920、第二标识代码930、平滑代码940、第二获取代码950、和重建代码960。
第一获取代码910可以被配置为使所述至少一个处理器基于一个或多个补丁获取几何重建点云。
第一标识代码920可以被配置为使所述至少一个处理器从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点。
第二标识代码930可以被配置为使所述至少一个处理器标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点。
平滑代码940可以被配置为使所述至少一个处理器对所述多个第一边界点和所述多个第二边界点执行平滑。
第二获取代码950可以被配置为使所述至少一个处理器基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云。
重建代码960可以被配置为使所述至少一个处理器使用所述平滑的几何重建点云重建动态点云。
上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图10示出了计算机系统1000，其适于实现本公开的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图10所示的用于计算机系统1000的组件本质上是多个示例，并不用于对实现本公开实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统1000的非限制性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机系统1000可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘1001、鼠标1002、触控板1003、触摸屏1010、数据手套、操纵杆1005、麦克风1006、扫描仪1007、照相机1008。
计算机系统1000还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏1010、数据手套或操纵杆1005的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)。例如，这样的设备可以为音频输出设备(例如，扬声器1009、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕1010，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机系统1000还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)1020或类似介质1021的光学介质、拇指驱动器1022、可移动硬盘驱动器或固体状态驱动器1023，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。
本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统1000还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线1049(例如，计算机系统1000的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统1000的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统1000可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。这样的通信可以包括与云计算环境1055的通信。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口1054可以连接到计算机系统1000的核心1040。
核心1040可包括一个或多个中央处理单元(CPU)1041、图形处理单元(GPU)1042、以现场可编程门阵列(FPGA)1043形式的专用可编程处理单元、用于特定任务的硬件加速器1044等。这些设备以及只读存储器(ROM)1045、随机存取存储器1046、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)1047等可通过系统总线1048进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线1048，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线1048，或通过外围总线1049进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。图形适配器1050可以包括在核心1040中。
CPU 1041、GPU 1042、FPGA 1043和加速器1044可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 1045或RAM 1046中。过渡数据也可以存储在RAM 1046中，而永久数据可以存储在例如内部大容量存储器1047中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 1041、GPU 1042、大容量存储器1047、ROM 1045、RAM 1046等紧密关联。
所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本公开的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制，具有体系结构1000的计算机系统，特别是核心1040，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心1040的特定存储器，例如核心内部大容量存储器1047或ROM 1045。实现本公开的各种实施例的软件可以存储在这种设备中并且由核心1040执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心1040特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 1046中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器1044)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本公开包括任何合适的硬件和软件组合。
虽然本公开已对多个非限制性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本公开的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确示出或描述，但其体现了本公开的原则，因此属于本公开的精神和范围之内。

Claims (12)

1.一种对使用视频点云编解码编码的视频流进行解码的方法，其特征在于，包括：
基于一个或多个补丁获取几何重建点云；
从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点；
标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点；
使用第一平滑滤波器平滑所述多个第一边界点，和使用不同于所述第一平滑滤波器的第二平滑滤波器平滑所述多个第二边界点；
基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云；以及
使用所述平滑的几何重建点云重建动态点云；
其中所述第一边界具有第一边界厚度，并且所述第二边界具有第二边界厚度，所述第二边界厚度大于所述第一边界厚度。
2.根据权利要求1所述的方法，其特征在于，所述第一边界位于所述补丁的边缘处。
3.根据权利要求1所述的方法，其特征在于，所述第一平滑滤波器的第一平滑权重大于所述第二平滑滤波器的第二平滑权重。
4.根据权利要求1所述的方法，其特征在于，进一步包括：
标识所述第二边界内所述补丁的第三边界，其中所述第三边界包括多个第三边界点；
对所述多个第三边界点执行平滑；以及
基于所述平滑的多个第一边界点、所述平滑的多个第二边界点和所述平滑的多个第三边界点获取平滑的几何重建点云。
5.根据权利要求4所述的方法，其特征在于，进一步包括：
使用不同于所述第二平滑滤波器和所述第一平滑滤波器的第三平滑滤波器平滑所述多个第三边界点。
6.根据权利要求5所述的方法，其特征在于，所述第一平滑滤波器的第一平滑权重大于所述第二平滑滤波器的第二平滑权重，并且
所述第二平滑滤波器的第二平滑权重大于所述第三平滑滤波器的第三平滑权重。
7.根据权利要求1所述的方法，其特征在于，进一步包括：
通过从所述补丁去除所述多个第一边界点来获取被侵蚀的补丁；
标识位于所述被侵蚀的补丁的边缘处的所述被侵蚀的补丁的边界；以及
基于所述被侵蚀的补丁的边界确定所述补丁的第二边界。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述视频流的元数据表示要确定的多个边界中的至少一个以及要应用于所述多个边界中的每个边界的平滑权重。
9.一种对使用视频点云编解码编码的视频流进行解码的装置，其特征在于，所述装置包括：
至少一个存储器，被配置为存储程序代码；以及
至少一个处理器，被配置为读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：
第一获取代码，被配置为使所述至少一个处理器基于一个或多个补丁获取几何重建点云；
第一标识代码，被配置为使所述至少一个处理器从所述一个或多个补丁中标识补丁的第一边界，其中所述第一边界包括多个第一边界点；
第二标识代码，被配置为使所述至少一个处理器标识所述第一边界内所述补丁的第二边界，其中所述第二边界包括多个第二边界点；
平滑代码，被配置为使所述至少一个处理器对所述多个第一边界点和所述多个第二边界点执行平滑；
第二获取代码，被配置为使所述至少一个处理器基于所述平滑的多个第一边界点和所述平滑的多个第二边界点获取平滑的几何重建点云；以及
重建代码，被配置为使所述至少一个处理器使用所述平滑的几何重建点云重建动态点云；
其中，所述平滑代码包括第一平滑代码，被配置为使所述至少一个处理器使用第一平滑滤波器平滑所述多个第一边界点；以及
第二平滑代码，被配置为使所述至少一个处理器使用不同于所述第一平滑滤波器的第二平滑滤波器对所述多个第二边界点执行平滑；
所述第一边界具有第一边界厚度，并且所述第二边界具有第二边界厚度，所述第二边界厚度大于所述第一边界厚度。
10.根据权利要求9所述的装置，其特征在于，所述第一平滑滤波器的第一平滑权重大于所述第二平滑滤波器的第二平滑权重。
11.一种计算机设备，包括至少一个存储器、以及至少一个处理器，所述至少一个存储器用于存储计算机指令，当所述计算机指令由所述至少一个处理器加载并执行时，使得所述至少一个处理器执行权利要求1至8任一项所述的方法。
12.一种非易失性计算机可读介质，其特征在于，存储计算机指令，所述计算机指令用于对使用视频点云编解码编码的视频流进行解码，当所述计算机指令由至少一个处理器执行时，使所述至少一个处理器执行权利要求1-8任一项所述的方法。
CN202080017646.4A 2019-03-01 2020-02-28 对使用视频点云编解码编码的视频流进行解码的方法和装置 Active CN113508598B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962812962P 2019-03-01 2019-03-01
US62/812,962 2019-03-01
US16/803,093 US11127166B2 (en) 2019-03-01 2020-02-27 Method and apparatus for enhanced patch boundary identification for point cloud compression
US16/803,093 2020-02-27
PCT/US2020/020478 WO2020180723A1 (en) 2019-03-01 2020-02-28 Method and apparatus for enhanced patch boundary identification for point cloud compression

Publications (2)

Publication Number Publication Date
CN113508598A CN113508598A (zh) 2021-10-15
CN113508598B true CN113508598B (zh) 2024-02-06

Family

ID=72237158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017646.4A Active CN113508598B (zh) 2019-03-01 2020-02-28 对使用视频点云编解码编码的视频流进行解码的方法和装置

Country Status (5)

Country Link
US (2) US11127166B2 (zh)
EP (1) EP3932077A4 (zh)
JP (1) JP7118501B2 (zh)
CN (1) CN113508598B (zh)
WO (1) WO2020180723A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272158B2 (en) * 2019-03-01 2022-03-08 Tencent America LLC Method and apparatus for point cloud compression
US20230298216A1 (en) * 2022-03-15 2023-09-21 Tencent America LLC Predictive coding of boundary geometry information for mesh compression

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886620A (zh) * 2016-03-24 2018-11-23 诺基亚技术有限公司 用于视频编码和解码的装置、方法及计算机程序

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2405776B (en) * 2003-09-05 2008-04-02 Canon Europa Nv 3d computer surface model generation
US7190364B2 (en) * 2004-08-09 2007-03-13 Siemens Medical Solution Usa, Inc. System and method for polygon-smoothing in texture-based volume rendering
US20130173230A1 (en) * 2011-12-28 2013-07-04 Carlos Carbonera Method and system for generating a multi-dimensional surface model of a geometric structure
US9870056B1 (en) * 2012-10-08 2018-01-16 Amazon Technologies, Inc. Hand and hand pose detection
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
CN108027984B (zh) * 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
US9652890B2 (en) * 2015-09-29 2017-05-16 Disney Enterprises, Inc. Methods and systems of generating an anatomically-constrained local model for performance capture
US10066925B2 (en) * 2016-02-02 2018-09-04 The Boeing Company Point cloud processing apparatus and method
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
JP6818471B2 (ja) * 2016-08-31 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10848761B2 (en) * 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
WO2019031386A1 (ja) * 2017-08-09 2019-02-14 シャープ株式会社 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体
US11405643B2 (en) 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
EP3467789A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for reconstructing a point cloud representing a 3d object
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) * 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10789733B2 (en) * 2017-11-22 2020-09-29 Apple Inc. Point cloud compression with multi-layer projection
US11172201B2 (en) * 2017-12-18 2021-11-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CA3030513A1 (en) * 2018-01-19 2019-07-19 Sofdesk Inc. Automated roof surface measurement from combined aerial lidar data and imagery
US10964067B2 (en) * 2018-04-12 2021-03-30 Samsung Electronics Co., Ltd. Visual quality enhancement of reconstructed point clouds via color smoothing
US10904576B2 (en) * 2018-04-27 2021-01-26 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed
US20200004225A1 (en) * 2018-06-29 2020-01-02 Velo3D, Inc. Manipulating one or more formation variables to form three-dimensional objects
US11348283B2 (en) * 2018-07-10 2022-05-31 Samsung Electronics Co., Ltd. Point cloud compression via color smoothing of point cloud prior to texture video generation
US11544424B2 (en) * 2018-12-31 2023-01-03 Palo Alto Research Center Incorporated Method and system for creating a cut mask from a 3D surface mesh
US10977773B2 (en) * 2019-02-19 2021-04-13 Google Llc Cost-driven framework for progressive compression of textured meshes
US11272158B2 (en) 2019-03-01 2022-03-08 Tencent America LLC Method and apparatus for point cloud compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886620A (zh) * 2016-03-24 2018-11-23 诺基亚技术有限公司 用于视频编码和解码的装置、方法及计算机程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
anonymous.V-PCC Codec description.ISO/IEC JTC1/SC29/2G11 MPEG2018/N18017.2019,第2节，图2和16. *
V-PCC Codec description;anonymous;ISO/IEC JTC1/SC29/2G11 MPEG2018/N18017;第2节，图2和16 *

Also Published As

Publication number Publication date
WO2020180723A1 (en) 2020-09-10
EP3932077A4 (en) 2022-04-27
EP3932077A1 (en) 2022-01-05
US20200279403A1 (en) 2020-09-03
US11127166B2 (en) 2021-09-21
JP2022511871A (ja) 2022-02-01
CN113508598A (zh) 2021-10-15
US11587263B2 (en) 2023-02-21
JP7118501B2 (ja) 2022-08-16
US20210383574A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
JP7118278B2 (ja) 符号化された点群データの分割
CN112188209B (zh) 视频流解码方法、装置、计算机设备和存储介质
US11451836B2 (en) Techniques and apparatus for PCM patch creation using Morton codes
CN113170154B (zh) 采用退火迭代几何平滑的点云编解码方法、装置和介质
US11587263B2 (en) Method and apparatus for enhanced patch boundary identification for point cloud compression
CN113170155B (zh) 点云编解码方法和装置
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
US20220394294A1 (en) Non-binary occupancy map for video based point cloud coding
CN112188201A (zh) 对视频流进行编码的方法、装置、电子设备及存储介质
KR20230011406A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색
EP3908976A1 (en) Method and apparatus for point cloud chunking for improved patch packing and coding efficiency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056290

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant