CN111512342A - 在点云压缩中处理重复点的方法和装置 - Google Patents

在点云压缩中处理重复点的方法和装置 Download PDF

Info

Publication number
CN111512342A
CN111512342A CN201880082358.XA CN201880082358A CN111512342A CN 111512342 A CN111512342 A CN 111512342A CN 201880082358 A CN201880082358 A CN 201880082358A CN 111512342 A CN111512342 A CN 111512342A
Authority
CN
China
Prior art keywords
geometry
point cloud
frames
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880082358.XA
Other languages
English (en)
Inventor
I.辛哈罗伊
M.布达加维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111512342A publication Critical patent/CN111512342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

解码器，编码器和用于解码3D点云数据的方法。解码器包括通信接口和处理器，该通信接口被配置为接收包括3D点云数据的编码比特流。所述处理器被配置为解码比特流以识别多个二维(2D)帧；基于两个或更多个几何图形帧中的相应像素的位置，识别多个2D帧中两个或更多个几何图形帧中的相应像素；识别两个或多个几何图形帧中相应像素的深度值；基于所识别的两个或更多个几何图形帧中的相应像素的深度值，在两个或更多个几何图形帧中的至少一个中识别重复点；和在重构3D点云数据时，去除或忽略所识别的重复点。

Description

在点云压缩中处理重复点的方法和装置
技术领域
本公开总体上涉及三维(3D)对象的点云压缩。更具体地，本公开涉及一种用于在点云压缩中处理重复点的方法和装置。
背景技术
由于功能强大的手持设备(如智能手机)的可用性，三百六十度(360°)视频正在成为体验沉浸式视频的新方法。360°视频通过捕捉360°世界全景，为消费者提供“真实生活”、“身临其境”的沉浸式体验。用户可以交互地更改其视点，并动态查看他们想要的捕获场景或对象的任何部分。显示和导航传感器实时跟踪头部运动，以确定用户要观看的360°视频区域。360°视频可提供三个自由度(3DoF)的沉浸式体验。六级自由度(6DoF)是沉浸式体验的下一个层次，其中用户可以在虚拟/增强环境中转过头并四处走动。需要自然界中的3D多媒体数据(例如点云)来提供6DoF体验。
点云和网格是一组3D点，代表3D对象表面的模型。点云在各种应用中很常见，例如游戏、3D地图、可视化、医疗应用、增强现实、虚拟现实、自动驾驶、多视图重播、6DoF沉浸式媒体等是其中的一些。但是，点云由需要压缩的大量数据组成。
发明内容
技术问题
本公开提供了点云压缩中重复点的处理。
解决问题
在一个实施例中，提供了一种用于解码3D点云数据的解码器。解码器包括通信接口和处理器，该通信接口被配置为接收包括3D点云数据的编码比特流。所述处理器被配置为解码所述比特流以识别多个2D帧；基于多个2D帧中两个或更多个几何图形帧中的相应像素的位置，识别多个2D帧中两个或更多个几何图形帧中的相应像素；识别两个或更多个几何图形帧中相应像素的深度值；基于所识别的两个或更多个几何图形帧中的相应像素的深度值，在两个或更多个几何图形帧中的至少一个中识别重复点；并在重构3D点云数据时去除或忽略识别的重复点。
在另一个实施例中，提供了一种用于对3D点云数据进行编码的编码器。编码器包括处理器和通信接口。处理器被配置为将3D点云数据的第一二维(2D)帧集编码为编码比特流；和对第一2D帧集执行预测，以将3D点云数据的第二2D帧集编码为编码比特流。其中，为了执行预测，处理器还被配置为：解码比特流以生成多个2D帧；基于多个2D帧中两个或更多个几何图形帧中的相应像素的位置，识别多个2D帧中两个或更多个几何图形帧中的相应像素；识别两个或更多个几何图形帧中相应像素的深度值；基于所识别的两个或更多个几何图形帧中的相应像素的深度值，在两个或更多个几何图形帧中的至少一个中识别重复点；和在重构3D点云数据时，去除或忽略识别的重复点。通信接口被配置为发送包括3D点云数据的编码比特流。
根据以下附图、说明书和权利要求，其他技术特征对于本领域技术人员而言将是显而易见的。
发明的有益效果
本公开提供了点云压缩中重复点的处理。
附图说明
为了更全面地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部分：
图1示出了根据本公开的示例计算系统；
图2和图3示出了根据本公开的实施例的计算系统中的示例设备；
图4示出了根据本公开的各种实施例的点云数据中的重复点的示例；
图5示出了根据本公开的各种实施例的编码器的示例框图；
图6示出了根据本公开的各种实施例的解码器的示例框图；
图7示出了根据本公开的各种实施例的基于几何图形的重复点去除过程的流程图；
图8示出了根据本公开的各种实施例的用于多属性点云的编码器的示例框图；
图9示出了根据本公开的各种实施例的基于几何图形和属性的重复点去除过程的流程图；和
图10示出了根据本公开的各种实施例的用于解码3D点云数据的过程的流程图。
具体实现方式
在进行下面的详细描述之前，阐述整个专利文件中使用的某些单词和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或多个元素之间的任何直接或间接通信，无论这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意味着和/或。短语“与...相关”及其派生词意指包括、包括在其中、与之互连、包含、包含在其中、与之连接、与之耦合、与之通信、与之合作、交错、并置、与之近似、与之绑定或具有、具有属性或具有某种关系、与之具有某种关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器关联的功能可以是集中式或分布式，无论本地或远程。短语“至少一个”当与项目列表一起使用时，意味着可以使用一个或多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A；B；C；A和B；A和C；B和C；以及A和B和C。
此外，下面描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其一部分，适于在合适的计算机可读程序代码中实施。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的内存。“非暂时性”计算机可读介质不包括传输瞬时电或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后覆盖的介质，例如可重写光盘或可擦除存储设备。
贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应该理解，在许多(如果不是大多数)情况下，这样的定义适用于这种定义的先前以及将来的使用。
以下讨论的图1至图10以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的系统或设备中实现。
本公开的实施例认识到就消耗的资源而言，诸如3D对象的解码和渲染点云数据可能是昂贵的。例如，在重构点云时可能会大量使用处理和存储资源。本公开的实施例通过减少所生成的冗余和重复顶点(vertice)的数量来提供对点云压缩的改进，诸如由运动图像专家组(MPEG)进行的基于视频的点云压缩(V-PCC)，进而还可以降低编解码器的复杂性。
本公开的实施例提供了减少点云的复杂度的解决方案。本公开的实施例认识到，尽管某些点云编码技术在客观和视觉测试中都可以很好地执行，但是与原始(源)点云中的点云编码技术相比，它们可以在解码后的点云中产生明显更多的点。另外，本公开的实施例认识到一些编码技术可以生成很大百分比的重复点，这增加了编解码器复杂度。
因此，本公开的实施例识别点重复的两个来源，并提供减少冗余点和重复点的数量的解决方案。另外，各种实施例提供了这种减少而不会降低重构点云的视觉质量。
图1示出了根据本公开的示例计算系统100。图1所示的系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用系统100的其他实施例。
系统100包括促进系统100中的各个组件之间的通信的网络102。例如，网络102可以在网络地址之间传送互联网协议(IP)分组、帧中继帧或其他信息。网络102包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如因特网之类的全球网络的全部或一部分，或者一个或更多位置的任何其他通信系统。
网络102促进服务器104与各种客户端设备106-116之间的通信。客户端设备106-116可以是例如智能电话、平板计算机、膝上型计算机、个人计算机、可穿戴设备或头戴式显示器(HMD)。服务器104可以代表一个或多个服务器。每个服务器104包括可以为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。每个服务器104可以例如包括一个或多个处理设备、一个或多个存储指令和数据的存储器、以及一个或多个便于通过网络102进行通信的网络接口。如下面更详细地描述的，服务器104可以编码或解码点云以处理重复点。在各种实施例中，每个服务器104可以包括用于处理点云压缩中的重复点的编码器。
每个客户端设备106-116表示通过网络102与至少一个服务器或一个或多个其他计算设备交互的任何合适的计算或处理设备。在该示例中，客户端设备106-116包括台式计算机106、移动电话或移动设备108(例如智能手机)、个人数字助理(PDA)110、膝上型计算机112、平板计算机114和HMD116。但是，系统100中可以使用任何其他或附加客户端设备。如下面更详细地描述的，每个客户端设备106-116可以编码或解码点云以处理重复的点。在各个实施例中，每个客户端设备106-116可以包括用于处理点云压缩中的重复点的解码器。
在该示例中，一些客户端设备108-116与网络102间接通信。例如，客户端设备108和110(分别为移动设备108和PDA 110)经由一个或多个基站118(诸如蜂窝基站或eNodeB(eNB))进行通信。移动设备108包括智能手机。而且，客户端设备112、114和116(分别是膝上型计算机、平板计算机和HMD)经由一个或多个无线接入点120(诸如IEEE 802.11无线接入点)进行通信。如下面更详细描述的，HMD 116可以显示包括一个或多个点云的360°场景。注意，这些仅用于说明，并且每个客户端设备106-116可以直接与网络102通信，或者经由任何合适的中间设备或网络与网络102间接通信。在各种实施例中，服务器104或任何客户端设备106-114可用于压缩点云并将数据发送到例如任何客户端设备106-116的另一客户端设备。
在各种实施例中，移动设备108(或任何其他客户端设备106-116)可以安全且有效地向另一设备(例如，服务器104)发送信息。移动设备108(或任何其他客户端设备106-116)当通过托架连接到头戴式耳机时，可以用作VR显示器，并且类似于HMD 116的功能。移动设备108(或任何其他客户端设备106-116)可以触发其自身与服务器104之间的信息传输。
尽管图1示出了系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以以任何合适的布置包括任何数量的每个组件。通常，计算和通信系统具有各种各样的配置，并且图1不将本公开的范围限制为任何特定配置。而图1示出了一种操作环境，在该操作环境中可以使用在本专利文件中公开的各种特征，这些特征可以在任何其他合适的系统中使用。
在本公开中提供的过程和系统允许客户端设备106-116或服务器104对点云进行编码、压缩、发送、接收、渲染点云或其组合。例如，服务器104然后可以压缩、编码点云数据并将其发送到客户端设备106-116。对于另一个示例，任何客户端设备106-116可以压缩点云数据并将其发送到任何客户端设备106-116或服务器104。
图2和图3示出了根据本公开的实施例的计算系统中的示例设备。特别地，图2示出了示例服务器200，图3示出了示例电子设备300。服务器200可以代表图1的服务器104，电子设备300可以代表图1的客户端设备106-116中的一个或多个。
服务器200可以代表一个或多个本地服务器、一个或多个压缩服务器或一个或多个编码服务器。如图2所示，服务器200包括总线系统205，该总线系统205支持至少一个处理器210、至少一个存储设备215、至少一个通信接口220和至少一个输入/输出(I/O)单元225之间的通信。在各种实施例中，服务器200是编码器或解码器。
处理器210执行可以存储在存储器230中的指令。存储在存储器230中的指令可以包括用于分解点云、压缩点云的指令。存储在存储器230中的指令还可以包括用于对点云进行编码以便生成比特流的指令。存储在存储器230中的指令还可以包括用于在点云压缩中处理重复的点和/或在如通过VR头戴式耳机(例如图1的HMD 116)所看到的的全向360°场景上渲染点云的指令。处理器210可以以任何适当的布置包括任何适当数量和类型的处理器或其他设备。处理器210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和持久性存储装置235是存储设备215的示例，其代表能够存储和促进信息(例如数据，程序代码或临时或永久的其他合适信息)检索的任何结构。存储器230可以代表随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久性存储装置235可以包含一个或多个支持长期存储数据的组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。
通信接口220支持与其他系统或设备的通信。例如，通信接口220可以包括网络接口卡或无线收发器，以促进在图1的网络102上的通信。通信接口220可以支持通过任何适当的物理或无线通信链路的通信。
I/O单元225允许数据的输入和输出。例如，I/O单元225可以提供用于通过键盘、鼠标、小键盘、触摸屏、运动传感器或任何其他合适的输入设备的用户输入的连接。I/O单元225还可以将输出发送到显示器、打印机或任何其他合适的输出设备。
在各种实施例中，服务器200在点云压缩中实现对重复点的处理，这将在下面更详细地讨论。注意，虽然将图2描述为代表图1的服务器104，但是相同或相似的结构可以在各种客户端设备106-116中的一个或多个中使用。例如，台式计算机106或膝上型计算机112可以具有与图2所示相同或相似的结构。
图3示出了根据本公开的实施例的电子设备300。图3中所示的电子设备300的实施例仅用于说明，并且可以使用其他实施例而不脱离本公开的范围。电子设备300可以具有各种各样的配置，并且图3将本公开的范围不限于电子设备的任何特定实现。在各种实施例中，图1的客户端设备106-116中的一个或多个可以被配置为包括与电子设备300相同或相似的配置。在各个实施例中，电子设备300是编码器、解码器或两者。
在各种实施例中，电子设备300可用于数据传输、图像或视频压缩、图像或视频解压缩、编码、解码和媒体渲染应用。电子设备300可以是移动通信设备，例如无线终端、台式计算机(类似于图1的台式计算机106)、移动设备(类似于图1的移动设备108)、PDA(类似于图1的PDA 110)、膝上型计算机(类似于图1的便携式计算机112)、平板电脑(类似于图1的平板计算机114)、头戴式显示器(类似于图1的HMD 116)等。
如图3所示，电子设备300包括天线305、射频(RF)收发器310、发送(TX)处理电路315、麦克风320和接收(RX)处理电路325。电子设备300还包括扬声器330、一个或多个处理器340、输入/输出(I/O)接口(IF)345、输入350、显示器355和存储器360。存储器360包括操作系统(OS)361、一个或多个应用362和点云363。
RF收发器310从天线305接收由系统上的另一组件发送的输入RF信号。例如，RF收发器310从网络102(例如，WI-FI、蓝牙，蜂窝，5G，LTE，LTE-A，WiMAX或任何其他类型的无线网络)的接入点(例如，基站，WI-FI路由器，蓝牙设备)接收通过蓝牙或WI-FI信号发送的RF信号。RF收发器310可以将输入的RF信号下变频以生成中频或基带信号。中频或基带信号被发送到RX处理电路325，RX处理电路325通过对基带或中频信号或其组合进行滤波、解码或数字化来生成处理后的基带信号。RX处理电路325将处理后的基带信号发送到扬声器330(例如用于语音数据)或处理器340以进行进一步处理(例如用于网页浏览数据)。
TX处理电路315从麦克风320接收模拟或数字语音数据，或者从处理器340接收其他输出基带数据。输出基带数据可以包括网络数据、电子邮件或交互式视频游戏数据。TX处理电路315对输出基带数据进行编码、复用、数字化或其组合，以生成经处理的基带或中频信号。RF收发器310从TX处理电路315接收传出的经处理的基带或中频信号，并将基带或中频信号上变频为经由天线305发送的RF信号。
处理器340可以包括一个或多个处理器或其他处理设备，并且执行存储在存储器360中的OS 361，以便控制电子设备300的整体操作。例如，处理器340可以控制前向信道信号的接收、射频收发器310、RX处理电路325和TX处理电路315按照公知原理进行反向信道信号的传输。处理器340还能够执行驻留在存储器360中的例如用于处理点云压缩中的重复点的其他应用362。
处理器340可以执行存储在存储器360中的指令。处理器340可以以任何适当的布置包括任何适当数量和类型的处理器或其他设备。例如，在一些实施例中，处理器340包括至少一个微处理器或微控制器。处理器340的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
处理器340还能够执行驻留在存储器360中的其他处理和程序，例如通过提供图像捕获和处理来接收、存储和及时指令的操作。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS 361或响应于从eNB(类似于图1的基站118)或运营商接收到的信号来执行多个应用362。处理器340还耦合到I/OIF 345，该I/O IF 345使电子设备300能够连接到其他设备，例如客户端设备106-116。I/OIF 345是这些附件与处理器340之间的通信路径。
处理器340也耦合到输入端350。电子设备300的操作员可以使用输入端350向电子设备300中输入数据或输入。输入端350可以是键盘、触摸屏、鼠标、轨迹球、语音输入或任何其他能够充当用户界面以允许用户与电子设备300交互的设备。例如，输入端350可以包括语音识别处理，从而允许用户通过麦克风320输入语音命令。在另一示例中，输入端350可以包括触摸面板、(数字)笔传感器、按键或超声输入设备。触摸面板可以例如以电容性方案、压敏方案、红外方案或超声方案中的至少一种方案来识别触摸输入。例如，在电容性方案中，输入端350可以识别触摸或接近。输入端350还可包括控制电路。通过向处理器340提供附加输入，输入端350可以与一个或多个传感器365和/或照相机相关联。如以下更详细地讨论的，传感器365包括惯性传感器(例如加速度计、陀螺仪和磁力计)、光学传感器、运动传感器、照相机、压力传感器、心率传感器、高度计等。例如，输入端350可以在渲染3D视频时利用由与传感器365相关联的运动传感器检测到的运动作为输入。
处理器340也耦合到显示器355。显示器355可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)、有源矩阵OLED(AMOLED)或其他能够渲染(例如来自网站，视频，游戏，图像等的)文本和/或图形的显示器。显示器355的尺寸可以设置成适合HMD。显示器355可以是单个显示屏或能够创建立体显示器的多个显示屏。在各种实施例中，显示器355是平视显示器(HUD)。
存储器360耦合到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其他只读存储器(ROM)。
存储器360可以包括表示能够存储和促进信息(例如数据、程序代码和/或临时或永久的其他合适信息)的检索的任何结构的持久性存储。存储器360可以包含一个或多个支持长期存储数据的组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。点云数据363可以包括各种3D点云、3D网格、3D对象等。在各种实施例中，电子设备300在点云数据363的压缩或解压缩中处理重复的点。电子设备300可以重构点云数据363以在显示器355上显示一个或多个3D对象或3D场景。
电子设备300可以进一步包括一个或多个传感器365，其对物理量进行计量或检测电子设备300的激活状态，并将所计量或检测到的信息转换为电信号。例如，传感器365可以包括用于触摸输入的一个或多个按钮(位于耳机或电子设备300上)、一个或多个照相机、手势传感器、眼睛跟踪传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、抓握传感器、接近传感器、颜色传感器(例如红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、超声传感器、虹膜传感器、指纹传感器等。传感器365可以进一步包括用于控制包括在其中的传感器中的至少一个的控制电路。如将在下面更详细地讨论的，这些传感器365中的一个或多个可以用于控制用户界面(UI)、检测UI输入、确定三维内容显示识别的用户方向和朝向用户的方向。这些传感器365中的任何一个可以位于电子设备300内、可操作地连接到电子设备300的辅助设备内、配置为保持电子设备300的头戴式耳机内或电子设备300包括耳机的单个设备内。
如将在下面更详细地讨论的，在该说明性实施例中，电子设备300和/或服务器200接收包括3D点云数据的编码比特流，对该比特流进行解码以识别2D帧，基于深度值识别帧中的重复点，并在重构3D点云数据时去除或忽略重复点。
尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3进行各种改变。例如，图2和图3中的各个组件可以组合，进一步细分或省略，并且可以根据特定需要添加其他组件。作为特定示例，处理器340可以被划分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。另外，与计算和通信网络一样，电子设备和服务器可以有各种各样的配置，并且图2和图3不将本公开限制于任何特定的电子设备或服务器。
如本文所讨论的，点云是一组(x，y，z)坐标(也称为点或顶点)，用于表示3D空间中的对象(例如对象的外表面)。点云是使用激光雷达，RGB+深度相机从3D扫描获得的，或者是使用多视图立体从多个图像进行的3D重构而获得的。点云中的每个点可以具有与该点相关联的多个属性，例如颜色、材料属性、法线、强度(在扫描过程中生成点的激光脉冲的返回强度的量度)等。由于点云(尤其是用于表示3D地图的点云)可能包含数百万个点，因此原始数据尺寸通常非常庞大，需要压缩。
例如，用于压缩动态点云的用于类别2的MPEG测试模型(TMC2)通过将每个3D点云帧转换为多个2D图像/视频帧来工作。动态点云是一组点云帧，用于表示随时间推移的运动/移动3D对象。例如，当视频是图像时，动态点云是静态点云。对于TMC2，一组图像/视频帧用于捕获几何图形，另一组用于纹理。在从3D到2D的转换过程中，在V-PCC中采用了正交投影，因此，三个几何坐标中的两个隐式编码在图像/视频帧中投影像素的2D位置，第三个坐标值(或从第三坐标得出的某值)被存储为代表距平面的3D坐标的深度的像素的值(即，深度值)。确切地说，将x，y或z坐标中的哪个作为值存储取决于投影的方向(或投影平面的方向)。然后，使用现有的图像/视频编解码器(例如，高效视频编码(HEVC))对图像/视频帧进行压缩，从而使TMC2可以将现有的编解码器用于大部分压缩过程。在解码器处，从压缩的比特流中解压缩用于几何图形和纹理的一组图像/视频帧。然后通过将点从2D帧重新投影到3D空间来重构点云。TMC2只是一个示例，其他实施例和坐标系也是可能的。
但是，与原始(源)点云相比，此类编码技术在解码点云中生成的点可能要多得多。另外，在重构的点云中可能发生大量的顶点重复。通常，点云包含每个点每种属性类型的单个属性。例如，如果给定点云的唯一属性类型是颜色，则对于每个几何点(x，y，z)，只有一种相关颜色，例如3元组(r，g，b)颜色。此外，在一些实施例中，每个点只能渲染一种颜色或属性。在其他实施例中，每个点可以具有多个属性。在这些实施例中的一个或多个中，点云中的重复点是具有相同(或相似)几何值(x，y，z)的点。在这些实施例的其他实施例中，点云中的重复点是具有相同(或相似)几何值(x,y,z)并且某些或所有属性(或顶点)相同(或相似)的点。此处，相同或相似表示根据上下文，这些值完全相同或这些值在设置的阈值内。例如，如果使用浮点表示，则“精确”比较可能没有意义，而采用阈值相似度。
本公开的实施例认识到，几乎没有好处导致在点云中生成重复的顶点，因为重复不能用于增强视觉体验(例如，诸如提供视场相关的颜色或像光场一样的反射率调制)。相反，这些重复点会导致计算资源的浪费，特别是对于有损PCC方案而言，因为这会增加数据尺寸，并为传输带来不必要的开销。此外，顶点数量的显着增加会成比例地增加处理链的复杂性。
图4示出了根据本公开的各种实施例的点云数据中的重复点的示例。图4中所示的点云数据中的重复点的示例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
从点云投影到多个平面(深度层)期间遇到的常见情况是，多个点可能会投影在2D平面中的同一像素位置上。这种情况可能发生的一个例子是使用点云来表示可能具有多个折叠/层的衣物。为了将这些点同化为补丁，可以为每个补丁使用两个深度向量：patch.depth[0]和patch.depth[1]。这些向量用于存储沿投影平面(例如，沿深度的维)交错的点的深度值。每个点的其他两个维度由2D平面上的投影位置编码。
在图4中，点1投影到2D投影平面上的像素位置p[i]。相对于补丁的最小深度d(1)的深度存储在索引位置[i]的矢量patch.depth[0]中。在投影之后，点2、3、4和5在投影平面上共享相同的位置。同样，点6和7在投影平面上共享相同的位置。在此示例中，点2和4的相对深度(分别为d(2)和d(4))将分别存储在补丁中的索引位置p[i+1]的patch.depth[0]和patch.depth[1]中。可以将点3和点5重新考虑用于后续迭代中的投影。在点6和点7之间，因为点7距离点6的深度大于参数“surfaceThickness”，所以仅将点6的相对深度d(6)存储在索引位置[i+2]的patch.depth[0]中。在此示例中，对于矢量patch.depth[1]，三个索引位置中只有一个存储唯一点(即从点4开始)的深度值。矢量patch.depth[1]中的剩余位置中的值是从patch.depth[0]中的相应位置复制的。随后在编码管道中，当生成一对2D帧以捕获几何图形时，使用patch.depth[1]中的值创建第一几何图形帧，并且在一个实施例中，差值(或增量值)(例如，patch.depth[1]–patch.depth[0])存储在第二几何图形帧中。在另一个实施例中，来自patch.depth[1]的实际值(代替增量值)被存储在第二几何图形帧中。
之后，从编码的比特流中重构点云的几何图形。此重构也将在编码器处复制，并且将再生的点云几何图形用于编码器处的颜色逼近和纹理生成。在点云几何重构期间，由于在创建补丁期间从patch.depth[0]复制的patch.depth[1]中有多个值，因此在重构的点云几何图形中会生成多个重复的点。此外，在较低的比特率设置下，复制百分比会增加。
在较低比特率设置下，点重复的增加是有损压缩的量化伪像的结果。这是在重构点云中重复点的第二个原因。在有损压缩期间，尤其是对于低比特率，如果存储在两个或多个几何图形帧中相应像素位置的值之间的差小于量化步长，则这些像素位置的深度值在压缩后可能变得相同。从这些像素位置重构3D点会导致点云中出现重复的点。
图5示出了根据本公开的各种实施例的编码器500的示例框图。图6示出了根据本公开的各种实施例的解码器600的示例框图。编码器500可以类似于图1的服务器104、图1的客户端设备106-116中的任何客户端设备，并包括与图2的服务器200和图3的电子设备300相似的内部组件。解码器600可以类似于图1的客户端设备106-116中的任何一个，并包括与图3的电子设备300相似的内部组件。编码器500可以经由网络102与解码器750通信。编码器500和解码器600的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
编码器500可以压缩、编码和发送点云、网格或两者，作为编码的比特流525。在各种实施例中，编码器500生成其中点云或网格被映射或投射的多个2-D帧。例如，点云被展开并映射到多个2-D帧上。例如，点云可以沿一个轴(例如Y轴)展开，并且图像沿其余轴(例如X和Z轴)映射。在各种实施例中，编码器500生成占用图(诸如占用图522)，该占用图指示当点云被映射到2-D帧上时点云的每个像素位于何处。例如，占用图指示每个帧的有效点和无效点。无效点是不对应于点云的点的帧的位置，而有效点是对应于3D点云中的点的帧的位置。在各种实施例中，编码器500是网络服务器、服务器计算机(例如管理服务器)或能够将点云的三个维度映射成两个维度、压缩帧并编码图像以进行传输的任何其他电子计算系统。在各种实施例中，编码器500可以是由一个或多个网络互连的计算机的“云”，其中每个是当通过图1的网络102访问时利用集群计算机和组件来充当无缝资源的单个池的计算系统。
解码器600可以解码、解压缩并生成包括点云、网格或两者的表示的接收到的编码比特流(诸如图5的编码比特流525)。在各个实施例中，解码器550从包括多个2-D帧的接收到的比特流中生成多个点云。例如，可以基于在2-D帧中接收到的信息和接收到的占用图来映射点云的每个像素。
编码器500示出了处理点云压缩中的重复点的电子设备的本公开的实施例的高级概述。在各种实施例中，编码器500打包点云，以通过比特流传输到一个或多个解码器(例如，解码器600)。编码器500接收点云502并对其进行编码。为此，编码器500包括补丁生成块504、辅助补丁信息压缩块506、帧打包块512、几何图形重构块530、占用图压缩块532、图像填充块534、视频压缩块536、平滑块538和多路复用器524。在生成编码比特流525时，编码器500生成各种帧(例如几何图形帧514和纹理帧518)和占用图522。
点云502表示输入到编码器500的输入。点云502可以存储在与编码器500相关联的存储器中。补丁生成块504分解点云502并创建多个补丁。补丁可以通过属性进行组织。例如，属性可以包括几何图形和纹理。几何图形是点云502的每个点的地理位置。纹理表示点云502的每个点的各个方面，例如颜色、强度、法线、反射等。补丁生成块504将几何图形属性和纹理属性聚类。聚类可以基于诸如法线方向、到投影帧的距离、连续性等标准。每个生成的群集都表示为补丁。
在各种实施例中，补丁生成块504经由一对一映射将点云的点投影并映射到2-D帧上。在各个实施例中，补丁生成块504通过将点的投影到不同的平面上来投影并将点云的点映射到2-D帧上。在各种实施例中，将点云的点投影并映射到2-D帧上可以是基于光栅扫描映射、基于X几何坐标的映射、基于Y几何坐标的映射、基于Z几何坐标的映射、基于颜色的映射、基于法线方向的映射等。
在各种实施例中，在将点云的点投影并映射到2-D帧上之后，帧打包块512将点分类并打包在2-D帧中以增加编码效率。帧打包块512将点分类并打包在补丁内。在各种实施例中，编码器500还可以包括将相邻点和包括空间相关数据的点彼此相邻放置的分类引擎(未示出)。
补丁生成块504还生成由辅助补丁信息块506压缩的辅助补丁信息辅助补丁信息。辅助补丁信息506是与每个生成的补丁相关联的信息。在各个实施例中，辅助补丁信息是关于补丁的元数据。例如，每个补丁都具有与其相关的辅助信息，例如(i)空间位置偏移、(ii)深度偏移、(iii)补丁在视频帧中的位置、(iv)补丁的尺寸(例如补丁的高度和的宽度)、(v)投影平面的索引等。辅助补丁信息被诸如解码器600之类的解码器用来重构点云。
帧打包块512将补丁分类并打包到几何图形帧514和纹理帧518中。与由补丁生成块504生成的补丁相对应的几何图形和纹理信息被打包到单独的视频帧中，例如几何图形帧514和纹理帧518。在各个实施例中，帧包装块512创建几何图形帧514和纹理帧518。帧包装块512还基于补丁如何布置和打包到帧中来确定帧的高度和宽度。常规补丁被安排为占据一帧中的最小空间。即，基于每个补丁在帧内的位置来确定帧的尺寸。因此，基于补丁如何在帧内定向和定位，帧是最小的可能尺寸。
帧打包块512还创建占用图522。占用图522指示包含投影或映射到。各个帧上的点云的有效点的帧(例如几何图形帧514和纹理帧518)中的像素位置。例如，占用图522指示每一帧(诸如几何图形帧514和纹理帧518)上的每个像素是有效像素还是空白。占用图上的有效像素指示2D帧上与点云中3D点相对应的像素。在各个实施例中，对于每个帧，例如几何图形帧514和纹理帧518，占用图522可以是相同的。在各个实施例中，占用图522代表多个占用图，其中每个占用图对应于一个帧(例如几何图形帧514和纹理帧518)。占用图522可以被包括在类似于几何图形帧514或纹理帧518的另一帧中。在各个实施例中，占用图522可以作为元数据作为单独的比特流被发送。图像填充块534基于由占用图522指示的位置将填充添加到几何图形帧514和纹理帧518。视频压缩块536例如使用例如HEVC的视频压缩编解码器或其他视频编解码器来压缩几何图形帧514和纹理帧518。
在各种实施例中，几何图形重构块530通过为几何图形帧514和/或纹理帧518的当前集合重构点云数据并将当前帧与下一组帧进行比较来执行预测。在这些实施例中，几何图形重构块530可以生成帧集合之间的差异或增量信息，以提供附加的编码效率或对编码比特流中的相关帧的改进。在通过平滑块538执行平滑之后，该差异或增量信息可以被编码为纹理帧518的下一集合或在下一集合中。在这样的情况下，在各种实施例中，几何图形重构块530提供了处理点云压缩中的重复点，如下面更详细讨论的。例如，几何图形重构块530可以在执行预测以减少重构点云所需的计算资源量的同时，识别和忽略或去除点云的重构中的重复点。
在各种实施例中，辅助补丁信息，占用图522(在由占用图压缩块532压缩之后)或两者也被编码。此后，通过多路复用器524对辅助补丁信息、编码的几何图形帧514和编码的纹理帧518以及占用图522进行复用。多路复用器524将辅助补丁信息506、编码的几何图形帧514、编码的纹理帧518和占用图522组合以创建单个编码的比特流525。
图6示出了根据本公开的各种实施例的解码器600的高级概述。例如，解码器600可以被包括在电子设备中以解码和重构点云以进行渲染。在各个实施例中，解码器从比特流625中提取压缩的几何图形和属性。在各个实施例中，解码器600映射在比特流625中编码的几何图形和属性信息以重新生成点云602。解码器600分别包括解复用器624、用于视频、占用图和补丁信息解压缩的解压缩块636、632和606、以及几何图形和纹理重构块614和618的解压缩块。为了重构3D点云，解码器600使用各种视频帧(例如几何图形帧514和纹理帧518)的补丁内的信息和(例如辅助补丁信息和占用图522中所包括的)从编码比特流625解复用和解压缩的补丁元数据。
解码器600接收例如由编码器500编码并从编码器500接收的编码比特流625。在接收到编码比特流625时，解复用器624从编码比特流625分离各种数据流。例如，解复用器624分离各种数据流，例如几何图形帧信息(最初是几何图形帧514)、纹理帧信息(例如纹理帧518)、占用图信息(例如占用图522)和辅助补丁信息。例如，解复用器662将编码的比特流626解复用为用于点云几何图形、纹理、其他属性、占用图和补丁信息的单独的压缩比特流。
由占用图解压缩块632解压缩的占用图信息指示2D帧内的有效像素位置以重构点云602。从由补丁信息解压缩块606解压缩的解码的辅助补丁信息中检索常规补丁的位置和尺寸。例如，通过将补丁偏移量(来自解码的辅助补丁信息)添加到视频中这些点的空间位置，并将补丁的深度偏移量添加到空间位置中的像素值，可以从常规补丁中重构点位置。在各种实施例中，解码引擎672可以是无损的或有损的。在各种实施例中，解码器60可以从有损或无损编码的比特流重构点云。
在各种实施例中，几何图形重构块614解码几何图形帧信息并例如基于点几何图形和/或该点的其他属性、占用图和或补丁信息来识别重复的点，如下面更详细地讨论的那样，并且在重构点云602时去除或忽略重复的点。几何图形重构块614从由平滑块620平滑的2D几何图形帧中生成点云602中的点的几何图形。纹理重构块618应用纹理(例如，颜色、与视图相关的颜色、法线、反射等)到点云602中的点，这些点由颜色平滑块622平滑。在识别和去除(或忽略)重复点时，根据在本公开中，大大减少了几何图形和纹理重构中的硬件资源量。另外，根据本公开的实施例，忽略或去除的点是重复的，使得它们的去除不会显着影响渲染的3D点云的质量。
虽然图5和图6示出了解码器和编码器的示例，可以对图5和图6进行各种改变。例如，图5和图6中的各种组件可以被组合，进一步细分或省略图5和图6中的示例，并且可以根据特定需要添加或删除其他组件。例如，用于MPEG TMC2(V-PCC)的编码和解码被用作示例，并且本公开的实施例可以与其他类型的点云编码和解码技术一起使用。
图7示出了根据本公开的各种实施例的基于几何图形的重复点去除过程700的流程图。例如，图7中描绘的过程可以分别由图2中的服务器20或图3中的电子设备3000或图5和图6中的几何图形重构块530和/或614执行，这里通常被称为系统。
该系统开始于几何图形帧中的第一像素(i＝0，j＝0)(步骤702)。如果被占用(步骤704)(例如，基于占用图)，则系统在两个深度层中寻找值(步骤706)，创建新点(步骤708)，并将该点添加到重构的点云中(步骤710)用于第一深度层(D0)。
例如，返回参考图4，在一个实施例中，编码器500采用两个帧来对每个点云帧的几何图形和纹理进行编码，从第一深度层(D0)中的值获得第一几何图形视频帧中存储的值，并存储该值。从第二深度层(D1)中的对应值减去第一深度层中的值之后，获得第二几何图形帧中存储的值。在这样的实现中，将delta(i，j)定义为在位置(i，j)处的第二深度层(D1)和第一深度层(D0)的值之间的差，delta(i，j)为在解码压缩的比特流之后，直接通过读取第二视频帧中位置(i，j)的像素值获得。该像素编码被称为实际值或绝对值(即，在步骤712处的标志“绝对D1”＝＝1)作为从投影平面开始的点的实际深度值(或实际深度值减去偏移量)。例如，将偏移量用作一组点(即补丁)中所有点的深度值的最小值。这样做主要是为了确保10比特深度值可以“分解”以存储在8比特视频帧中。第一帧用于存储实际值减去偏移量。对于绝对值，第二帧还存储实际值减去其偏移量。
结果，将增量delta计算为depth1–depth0的值(步骤716)，并且如果不大于零(步骤718)(或在某些实施例中在设定的阈值零内)，则系统将该点识别为几何图形重复并在系统寻找下一个宽度像素(即j＝j+1)时从点云中去除该点(或忽略/不包括/创建)(步骤724)。但是，如果该点不是几何图形重复的，则系统创建新点并将新点添加到第二深度(d1)层的重构点云中(步骤720和722)，类似于对第一深度深度(d0)层进行的操作如上所述的操作。
在另一个实施例中，编码器500采用两个(或更多)帧来对每个点云帧的几何图形和纹理进行编码，从第一深度层(D0)中的值获得存储在第一几何图形视频帧中的值，并且从第二深度层(D1)获得第二几何图形帧中存储的值。在这样的实现中，在解码压缩的比特流之后，通过减去位置(i，j)处的第一几何图形视频帧和位置(i，j)处的第二几何图形视频帧的值来获得delta(i，j)。将该值称为增量值(即，在步骤712未设置标志“绝对D1”)作为实际点深度与前一帧中的点深度之间的差。
结果，增量delta是为像素存储的值，并且如果不大于零(步骤718)(或在某些实施例中在设置的阈值零内)，则系统将点识别为几何图形重复并去除该点(或当系统寻找下一个宽度像素(即，j＝j+1)时，从点云忽略/不包括/不包括/创建)(步骤724)。但是，如果该点不是几何图形重复的，则系统创建新点并将新点添加到第二深度(d1)层的重构点云中(步骤720和722)，类似于如上所述的对第一深度(d0)层的点进行的操作。此后，系统继续对所有帧宽度坐标j(步骤724和726)的过程，然后对所有帧高度坐标i(步骤728和730)进行处理，直到已处理完所有帧集合为止。
如本文所讨论的，absoluteD1是用于区分上述两个编码配置的标志。也就是说，如果absoluteD1＝1，则第二视频帧存储第二深度层(D1)的值(如果使用偏移，则可能减去偏移)，否则第二视频帧存储第二深度层(D1)和第一深度层(D0)的差值层(如果使用偏移，则可能减去偏移)。
在这些实施例中，系统通过检查增量的值来避免将这些几何图形重复点添加到重构的点云几何图形中，并且仅当且仅当增量大于零时才将点添加到云中(即，不是几何图形重复)。来自解码的几何视频帧的点云通过称为GeneratePointCloud()的函数进行重构。下面第二帧显示了用于添加点的伪代码：
对于2D几何图形帧中的每个位置：
Figure BDA0002547146460000181
Figure BDA0002547146460000191
在图6中示出的实施例意欲作为示例。例如，当讨论两个几何图形和纹理帧的比较时，可以比较任何数量的几何图形和纹理帧，并且可以如所讨论的那样处理其中的重复点。在另一个示例中，相关的投影点(基于投影方向，邻域，颜色相似性等)以补丁的形式进行分组。在从解码的几何图形帧重构点云的过程中，以逐个补丁的方式从几何图形帧中检索点。如下面提供的以下伪代码中所述，重复检查也以逐个补丁的方式进行，其变量在下表1中定义。
示出了当投影点被存储在几何图形帧内的相关组中时如何防止重复点的实施例的伪代码：
Figure BDA0002547146460000192
Figure BDA0002547146460000201
Figure BDA0002547146460000211
表1：上面提供的伪代码中变量的说明，它说明了当投影点存储在几何图形帧内的相关组中时，如何处理重复点。
Figure BDA0002547146460000212
Figure BDA0002547146460000221
在又一个实施例中，其中将投影点分组为补丁，这些补丁被打包并编码在每个点云帧的两个几何图形视频帧和两个属性视频帧中，并且在点云中存在的唯一属性是颜色(或纹理)，解码器处的点云是根据两个解码的几何图形和两个解码的属性帧中的补丁重构的。此外，在该实施例中，补丁尺寸被差分编码为辅助补丁信息(即，作为元数据的一部分)。
在本实施例中，首先，补丁信息的检索如下：
Patch2dShiftU＝patch.patch_2d_shift_u*patch.occpancy_packing_block_size
Patch2dShiftV＝patch.patch_2d_shift_v*patch.occupancy_packing_block_size
Patch2dSizeU＝patch.patch_2d_delta_size_u*patch.occupancy_packing_block_size
Patch2dSizeV＝patch.patch_2d_delta_size_v*patch.occupancy_packing_block_size
Patch3dShiftX＝patch.patch_3d_shift_tangent_axis
Patch3dShiftY＝patch.patch_3d_shift_bitangent_axis
Patch3dShiftZ＝patch.patch_3d_shift_normal_axis
where,
occupancy_packing_block_size is the same as occupancyResolution inTable 1.
patch_2d_shift_u specifies the x-coordinate of the top-left corner ofthe patch bounding box expressed as multiple of occupancy_packing_block_size.The value of patch_2d_shift_u is in the range of 0to(frame_width/occupancy_packing_block_size-1),inclusive.
patch_2d_shift_v specifies the y-coordinate of the top-left corner ofthe patch bounding box expressed as multiple of occupancy_packing_block_size.The value of patch_2d_shift_v is in the range of 0to(frame_height/occupancy_packing_block_size-1),inclusive.
patch_2d_delta_size_u is the difference of patch width between thecurrent patch and the previous one.
patch_2d_delta_size_v is the difference of patch height between thecurrent patch and the previous one.
patch_3d_shift_tangent_axis is the same as patch.tangentAxis in Table1.
patch_3d_shift_bitangent_axis is the same as patch.bitangentAxis inTable 1.
patch_3d_shift_normal_axis is the same as patch.normalAxis in Table1.
在此步骤中，从解码的几何图形帧以及解码的帧补丁信息和解码的占用图生成没有添加颜色的点云。在第二步，为了进行有损编码，将生成的(重构的)点云输入到几何图形平滑过程中。最后，从解码的纹理帧将颜色添加到平滑的云点。解码的几何图形帧包含每个点云对应于近层和远层的两个帧，并且解码属性帧包含每个点云对应于近层和远层的两个帧。如果该像素处的占用值为1，则每个像素位置会生成两个点，一个来自近层，一个来自远层。
从补丁中的每个像素生成两个点，其中x从Patch2dShiftU到(Patch2dShiftU+Patch2dSizeU)，而y从Patch2dShiftV到(Patch2DShiftV+Patch2dSizeV)。如果像素的占用值oFrame[x][y]等于1，则按如下方式导出第一点并将其添加到重构的点云中：
1.首先，基于补丁打包方向为像素(x，y)获得x_new和y_new。
2.点的坐标是从几何图形帧中得出的，如下所示：
point1[0]＝x_new+Patch3dShiftX
point1[1]＝y_new+Patch3dShiftY
point1[2]＝gFrame[0][x_new][y_new]+Patch3dShiftZ
3.通过使用属性帧对点进行着色，如下所示：
point1[3]＝aFrame[0][0][x_new][y_new]
point1[4]＝aFrame[0][1][x_new][y_new]
point1[5]＝aFrame[0][2][x_new][y_new]
4.然后将该点添加到重构的点云中，如下所示：
addPointToPointCloud(recPc,point1)
第二点推导如下：
1.首先，从几何图形帧中得出点的坐标，如下所示：
Figure BDA0002547146460000241
Figure BDA0002547146460000251
2.通过使用属性帧对点进行着色，如下所示：
point2[3]＝aFrame[1][0][x_new][y_new]
point2[4]＝aFrame[1][1][x_new][y_new]
point2[5]＝aFrame[1][2][x_new][y_new]
3.如果该点不是第一点的重复，则将其添加到重构的点云中，如下所示：
if((point1[0]–point2[0])&&(point1[1]–point2[1]&&(point1[2]–point2[2]))
addPointToPointCloud(recPc,point2)
下面提供上述步骤中讨论的实施例的伪代码实现。
一个示例的伪代码，其中将投影点分组为补丁，然后将其打包并编码在每个点云帧两个几何图形视频帧和两个属性视频帧中，点云中唯一存在的属性是颜色(或纹理)，解码器处的点云是根据两个解码后的几何图形和两个解码后的属性帧中的补丁重构的。
Figure BDA0002547146460000252
Figure BDA0002547146460000261
本公开的实施例认识到，在低比特率下，如果在编码器处防止了点的重复，则在重构的点云中可能发生轻微的劣化。因此，在一些实施例中，如果比特率低(即，也没有植入编码器)，则仅在解码器处实现重复点处理。下面示出了仅在解码器处用于在点云几何重构期间防止点重复的伪代码。
用于从GeneratePointCloud()的第二帧添加点的伪代码，以避免在解码器处重复点：
对于2D几何图形帧中的每个位置：
--->if(first frame):
------>generate 3D point from the position in 2D frame and value ofdepth at that location
------>add point to the point cloud
--->if(second frame):
------>if(absoluteD1):
---------->delta＝value in the current location in frame–value in thecurrent location in the first frame
------>else:
---------->delta＝value in the current location in frame
------>if(encoder)
--------->generate 3D point from the position in the 2D frame andvalue of the depth at that location
------>else if(decoder and delta>0):
--------->generate 3D point from the position in the 2D frame andvalue of the depth at that location
图8示出了根据本公开的各种实施例的用于多属性点云的编码器800的示例框图。编码器800的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
在某些高端沉浸式媒体应用中，使用多属性点云，其中对于同一几何点有多个属性值(例如，视图相关的颜色、法线、反射等)。这些应用通常使用表面光场(如点云)来渲染视图相关属性。即，渲染(或观察到)的点云中的点的颜色取决于视图方向。在其他情况下，例如从激光雷达获得的数据，源点云可能每个几何图形点包含多个与视图相关的属性。
在这些实施例中，源点云包含每个唯一定义的几何坐标的多个属性。即，几何坐标不在源点云中重复。对于在解码器(和在编码器)处的这种点云重构，可以通过在几何点的重构期间仅比较各点的几何值来去除重复的点，如上面关于图5-7所讨论的。
对于多属性编码，点云几何图形像以前一样从3D空间投影到2D空间。本质上，深度(沿投影方向的点的坐标)存储在多个几何图形视频帧中的多个深度层中。点的其他两个坐标被隐式编码为该点在多个几何视频帧中的2D位置。此外，每个属性都使用一组单独的属性视频帧。例如，编码器中的补丁生成块504和帧打包块512生成多组(n组)属性帧8180至818N-1，一组针对与几何图形帧组514中的几何点相关联的每种不同类型的属性。压缩和多路复用与关于图5所讨论的类似地发生。参照图5，生成用于多属性3D点云数据的编码比特流825。
使用这些编码技术，存在几何图形的2D位置与每个投影点的多个几何图形和属性帧中的属性的对应关系。结果，基于源(未压缩)点云中没有重复点的假设，与点云中每个点关联的几何图形都是唯一的。因此，解码器600可以单独使用几何图形帧514中的几何图形信息来处理重复点，以在从未压缩和解码的比特流重构点云期间检测点的重复。因此，解码器600可以使用类似的技术来处理点的重复，如关于图6和图7所描述的。
图9示出了根据本公开的各种实施例的基于几何图形和属性的重复点去除过程900的流程图。例如，图9中描绘的过程可以分别由图2中的服务器200或图3中的电子设备300或图5和图6中的几何图形重构块530和/或614来执行，这里通常被称为系统。
例如，在各种实施例中，在将重复点定义为具有相同几何图形和属性的应用中，仅比较几何图形不足以确定这些点是重复的。在这些实施例中，比较几何图形和属性以确定重复点。在图8中，以颜色为例，但是可以将任何其他属性或多个属性与几何图形结合使用，以确定一个点是否重复。同样，如上所述，可以使用任意数量的层而不是两个。
该系统开始于几何图形帧中的第一像素(i＝0，j＝0)(步骤902)。如果被占用(步骤904)(例如，基于占用图)，则系统查找两个几何图形帧和两个颜色帧中的值(步骤906)，创建新点(步骤908)并将该点添加到第一深度层(D0)的重构点云(步骤910)。
如果设置了标志“absolute D1”＝＝1(在步骤912)，则将深度增量计算为depth1-deep0的值(步骤916)，并且如果不大于零并且颜色值相同(步骤918)(或在某些设置的零/相似度阈值内)，系统将点识别为几何图形重复和颜色重复，并在系统查看下一个宽度像素(即，j＝j+1)时从点云中去除该点(或忽略/不包括/创建)(步骤924)。但是，如果该点不是几何图形和颜色重复，则系统会创建新点并将新点添加到第二深度(d1)层的重构点云中(步骤920和922)，类似于对第一深度(d 0)层的点所做的如上所述的操作。
对于未设置的标志“absolute D1”＝＝1(在步骤912)，增量是为像素存储的值，并且如果不大于零且颜色值相同(步骤918)(或在一些实施例中在设置的零/相似度阈值内)，系统将点识别为几何图形重复和颜色重复，并在系统寻找下一个宽度像素(即j＝j+1)时从点云中去除该点(或忽略/不包括/创建))(步骤724)。但是，如果该点不是几何图形和颜色重复，则系统会创建新点并将新点添加到第二深度(d1)层的重构点云中(步骤920和922)，类似于对第一深度(d0)层的点所做的如上所述的操作。此后，系统继续所有帧宽度坐标j的处理(步骤924和926)，然后是所有帧高度坐标i的处理(步骤928和930)，直到已处理了整个帧集。
在另一个实施例中，在存储到视频帧中之前，以补丁的形式对投影点进行相关分组。因此，在从解码的几何图形帧重构点云的过程中，以逐个补丁的方式从几何图形和属性帧中检索点。重复检查也需要逐个补丁进行。下面提供了为此的伪代码，表2列出了伪代码中使用的变量，伪代码本身如下所示。
一个实施例的示例伪代码，用于比较几何图形和属性信息，以在将2D点存储到相应帧中之前将2D点分组为相关补丁时防止点重复：
Figure BDA0002547146460000291
Figure BDA0002547146460000301
Figure BDA0002547146460000311
表2：以上为实施例提供的示例伪代码中的变量的说明，以比较在将2D点存储到对应帧中之前将2D点分组为相关补丁时防止点重复的几何图形和属性信息。
Figure BDA0002547146460000321
在另一实施例中，几何坐标被重复与源(多属性)点云中的属性一样多的次数。换句话说，在源(未压缩)点云中存在几何坐标的固有重复，这些几何坐标表示3D空间中的相同位置。对于这种类型的点云，不能仅基于比较几何图形信息来确定给定的重构点是否是重复点。取而代之的是，使用几何图形和关联的颜色集(以及其他属性，如果存在)来确定某个点是否是先前点的重复。
在一个实施例中，类似于先前的说明性示例，深度层的数量(图8中的“d”)可以被限制为两个。在这种情况下，可以在单独的补丁中编码相同的3D点(具有不同的属性)。在另一个实施例中，深度层的数量(图8中的“d”)可以大于或等于属性的数量(即，源点云中的几何图形重复的数量)。即使对于这样的实施例，也可以将相同的3D点(具有不同的属性)编码在单独的补丁中。因此，在这两个实施例中，很有可能所有潜在具有相同几何坐标和/或属性值的点都无法同时用于比较(用于计算“增量”)。结果，首先使用映射数据结构(例如字典)来存储几何坐标值和几何图形帧信息。例如，根据重构的坐标值构造唯一的哈希，并将其用作字典的关键字，并且从中检索点的帧号被存储在与字典中的关键字相对应的列表中。字典中与每个键对应的列表尺寸(可用于唯一识别3D几何坐标)指示共享相同几何坐标的点数。在重构所有几何点之后，仅(使用哈希密钥(hash key))获取那些点，其对应的列表尺寸大于属性的数量(指示重复点的生成)。然后，使用属性信息仅保留“n”个最独特的点。
在又一个实施例中，不管如何定义多属性点云的几何图形和属性，重构的点云都包含具有不同属性的几何图形的多个重复(源自点云的多属性性质)。对于这种重构点云，再次通过比较几何图形和属性来确定给定的重构点是否重复。
如上文所讨论并在本文中重申的，不需要比较几何值和/或属性值之间的精确相似性来确定重构点云中的点是否重复。在一些实施例中，如果点使用适当的度量彼此接近，则它们将是重复的。例如，如果绝对增量(如上所述)小于某个小阈值和/或为两个点之间的属性计算的欧几里得距离小于一小阈值，则可以将一个点定义为另一个点的重复。当一些浮点属性(例如，反射，法向矢量等)也与点云中的每个点相关联时，这种策略特别有用。
在又一个实施例中，单个几何图形视频帧和对应的单个属性视频帧由每个点云帧的两个深度层组成。可以使用几种插值技术将两个深度层转换为单个视频几何图形帧。在一个实施例中，解码的几何图形帧包括每个点云单个帧，并且解码的属性帧包含每个点云单个帧。单个几何层包含来自几何的近层和远层的交错像素，单个属性层包含来自属性的近层和远层的交错像素。交错(几何或属性)帧是通过从近层获取一个像素，然后从远层获取一个像素而形成的。例如，在像素(x，y)处，如果(x+y)是偶数，则使用来自近层的值，而当(x+y)为奇数时，则使用来自远层的值。
如果像素的占用值为1，则每个该像素位置将生成两个点，一个来自近层，一个来自远层。由于交错的帧仅包含来自两层之一的信息，因此可通过对邻居进行插值来预测丢失的层值。当(x+y)为偶数时，可使用近层的值，并内插远层的值。类似地，当(x+y)为奇数时，可以使用远层的值，并内插近层的值。在这样的实施例中，由于将3D点的深度值复制到多个深度层中而在编码器处避免了重复。然而，由于有损编码和/或像素内插和外推(预测)两者的结果，可能导致几何点和/或属性值的重复。最终重构的点云中点的重复的处理遵循以上关于图5-7讨论的过程。更具体地说，在导出了第一层或第二层的几何和/或属性值之后，将预测的几何和/或属性值与直接从解码的几何图形和/或属性视频帧获得的相同2D像素位置的对应几何和/或属性值进行比较。如果检测到可能的重复，也就是说，如果预测(外推)点的几何和/或属性值恰好等于直接获得的点的相应几何和/或属性值的某个阈值或在直接获得的点的相应几何和/或属性值的某个阈值之内，则预测点不会添加到重构点云中。
本公开的各种实施例可以应用于多边形网格(或“网格”)的编码和解码。像点云一样，网格可用于表示虚拟3D对象。与点云一样，大多数网格文件也包含顶点和属性的列表。此外，大多数网格文件还包含用于生成分段连续表面的面和边的列表。本公开的实施例可用于结合采用基于深度层的技术(例如MPEG V-PCC)的任何网格压缩算法来处理重复的顶点，以便利用成熟的2D图像/视频压缩技术。
图10示出了根据本公开的各种实施例的用于解码3D点云数据的过程1000的流程图。例如，图10中描绘的过程可以分别由图2中的服务器200或图3中的电子设备300或图5和图6中的几何图形重构块530和/或614执行。在此通常被称为系统。
该过程开始于系统接收包括3D点云数据的编码比特流(步骤1005)。例如，在步骤1005中，可以将3D点云数据压缩为2D帧和元数据，其中，对帧进行编码以包含3D点云数据。此后，系统对比特流进行解码以识别多个2D帧(步骤1010)。例如，在步骤1010中，系统可以如上所述解压缩并分离出压缩帧和元数据。
然后系统识别两个或更多个几何图形帧中的对应像素(步骤1015)。例如，在步骤1015中，系统可以基于来自多个2D帧的两个或更多个2D几何图形帧中的对应像素的位置来识别对应像素。例如，对于不同的深度或层，相应的像素在帧之间可以具有相同的i，j像素坐标值。在一些实施例中，系统可以使用占用图来识别相应的像素。此后，系统识别相应像素的深度值(步骤1020)。例如，在步骤1020中，系统可以读取在两个或更多个几何图形帧中的i，j坐标位置处编码的值。
然后，系统基于所识别的深度值来识别重复点(步骤1025)。例如，在步骤1025中，系统可以基于所识别的两个或更多个几何图形帧中相同或相似的对应像素的深度值来识别重复点。在一个示例中，如果对实际(或绝对)深度值进行了编码，则系统可以在两个或多个几何图形帧的第一个中识别对应像素中第一个的第一深度值，然后将该值与对应像素中的第二个的、两个或多个几何图形帧的第二个的第二深度值进行比较。然后，如果比较的深度值相同或在彼此的阈值之内，则系统确定第二几何图形帧中的第二像素表示的点是重复点。在此，深度值指示来自点被投影到的平面的3D点云中的点的深度，并被编码为实际深度值或实际深度值减去几何图形帧中相应像素位置的偏移。在另一个示例中，如果增量值被编码，则系统可以确定两个或更多个几何图形帧中的第二个几何图形帧中的第二个相应像素的深度值是零还是低于阈值。如果是这样，则系统将第二几何图形帧中第二像素表示的点确定为重复点。在此，深度值指示来自点被投影到的平面的3D点云中的点的深度，对于第二几何图形帧，这些深度被编码为相对于第一几何图形帧的增量值(可能有偏移)。
另外，在各种实施例中，除了几何值之外，系统还可以使用纹理或属性值来确定点是否重复。系统可以基于相应像素的深度值来确定两个或更多几何图形帧中的第二个几何图形帧中的像素是几何重复，如上所述的。另外，系统可以确定分别对应于一个或多个几何可重复第二像素的一个或多个第二纹理值是否是分别对应于一个或多个第一像素的一个或多个第一纹理值的纹理重复。如果是这样，则系统确定这些点是纹理重复的；如果几何图形和纹理都重复，则确定该点为重复点。例如，每个识别出的重复点具有由两个或多个几何图形帧表示的几何图形以及由一个或多个属性帧集指示的一个或多个属性，并且系统基于两个或多个几何图形帧和一个或多个属性帧集识别重复点。
此后，系统在重构3D点云数据的同时去除或忽略所识别的重复点(步骤1030)。例如，在步骤1030中，在生成一个或多个3D对象时，系统可以不创建、去除重复点或不将重复点添加到点云。
在各种实施例中，是否不添加重复点可以取决于用于重构3D点云的应用的类型。例如，在为不依赖于视图但使用至少某些所识别的重复点的应用类型重构3D点云数据时，在为与视图相关的应用类型重构3D点云数据时，系统可能会去除或忽略所识别的重复点。例如，依赖于视图的应用(例如6DoF应用)允许从各种视点看到对象(例如，用户可以在场景中“四处走动”的AR/VR应用)。在这种情况下，可能需要其他属性才能从不同角度查看点(例如，取决于视图的颜色或反射等)。在这些实施例中，系统可以识别用于重构3D点云的应用的类型(即，是否依赖于视图)，并且去除或忽略对于依赖于视图的应用而言是几何重复的但不是纹理(或属性)重复的点。对于不依赖于视图的应用，系统会在重构3D点云数据时去除或忽略几何重复的任何点，包括那些不是纹理(或属性)重复的点。
虽然图7、9和10示出了用于重复点去除或解码3D点云数据的过程的示例，但是可以对图7、9和10进行各种改变。例如，虽然显示为一系列步骤，但是每个图中的各个步骤可以重叠、并行发生，以不同顺序发生或发生多次。
尽管附图示出了用户设备的不同示例，但是可以对附图进行各种改变。例如，用户设备可以以任何适当的布置包括任意数量的每个组件。通常，附图不将本公开的范围限制为任何特定配置。此外，尽管附图示出了可以使用本专利文件中公开的各种用户设备特征的操作环境，但是这些特征可以用于任何其他合适的系统中。
尽管已经利用示例性实施例描述了本公开，但是可以向本领域技术人员提出各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这种改变和修改。

Claims (15)

1.一种用于解码三维(3D)点云数据的解码器，该解码器包括：
通信接口，被配置为接收包括3D点云数据的编码比特流；和
处理器，被配置为：
解码比特流以识别多个二维(2D)帧；
基于多个2D帧中两个或更多个几何图形帧中的相应像素的位置，识别多个2D帧中两个或更多个几何图形帧中的相应像素；
识别两个或更多个几何图形帧中相应像素的深度值；
基于所识别的两个或更多个几何图形帧中的相应像素的深度值，在两个或更多个几何图形帧中的至少一个中识别重复点；和
在重构3D点云数据时，去除或忽略所识别的重复点。
2.根据权利要求1所述的解码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
在两个或更多个几何图形帧的第一个中，识别相应像素中的第一个的第一深度值；
在两个或更多个几何图形帧中的第二个中，识别相应像素中的第二个的第二深度值，其中第一像素和第二像素在其各自的几何图形帧中具有相应位置；
比较所识别的第一深度值和第二深度值，以确定所识别的第一深度值和第二深度值是否相同或在彼此的阈值内；和
基于确定第一深度值和第二深度值相同或彼此在阈值以内，确定第二几何图形帧中第二像素表示的点是重复点之一，
其中，深度值指示来自点被投影到的平面的3D点云中的点的深度，并被编码为实际深度值或实际深度值减去两个或更多个几何图形帧中相应像素位置的偏移。
3.根据权利要求1所述的解码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
在两个或更多个几何图形帧的第一个中，识别相应像素中的第一个的第一深度值；
确定两个或更多个几何图形帧中的第二个几何图形帧中的相应像素中的第二个的第二深度值是否为零或低于阈值，第一像素和第二像素在其各自的几何图形帧中具有相应位置；和
基于确定第二深度值为零或低于阈值，确定第二几何图形帧中第二像素表示的点为重复点之一，
其中，深度值指示来自点被投影到的平面的3D点云中的点的深度，并且对于第二几何图形帧，被编码为相对于第一几何图形帧的增量值。
4.根据权利要求1所述的解码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
基于所述两个或更多个几何图形帧中的相应像素的深度值，确定所述两个或更多个几何图形帧中的第二个中的相应像素的一个或多个第二像素是在两个或多个几何图形帧中的第一个中的相应像素的一个或多个第一像素的几何重复；
基于确定一个或多个第二像素是几何重复，确定分别对应于一个或多个几何重复的第二像素的一个或多个第二纹理值是否是分别对应于一个或多个第一像素的一个或多个第一纹理值的纹理重复；和
基于确定一个或多个第二像素中的至少一个是一个或多个第一像素中的至少一个的几何和纹理复制，确定由至少一个第二像素表示的点是重复点之一，
其中，分别从多个2D帧中的第一和第二纹理帧中识别第一和第二纹理值，并且第一和第二纹理帧分别对应于第一和第二几何图形帧。
5.根据权利要求1所述的解码器，其中：
所述处理器还被配置为识别用于重构3D点云的应用的类型；
其中，为了在重构3D点云数据的同时去除或忽略所识别的重复点，所述处理器还被配置为在重构不依赖于视图的应用类型的3D点云数据的同时去除或忽略所识别的重复点；以及
所述处理器还被配置为在重构依赖于视图的应用类型的3D点云数据时使用至少一些所识别的重复点。
6.根据权利要求1所述的解码器，其中：
所述处理器还被配置为识别用于重构3D点云的应用的类型，其中，所识别的重复点是几何图形重复的，并且至少一些所识别的重复点是几何图形重复的但不是纹理重复的，
为了在重构3D点云数据的同时去除或忽略所识别的重复点，所述处理器还被配置为在重构不依赖于视图的应用类型的3D点云数据的同时去除或忽略所有所识别的重复点，以及
所述处理器还被配置为在重构依赖于视图的应用类型的3D点云数据时，使用至少一些所识别的几何重复的而不是纹理重复的重复点。
7.根据权利要求1所述的解码器，其中：
每个识别出的重复点都具有由两个或更多个几何图形帧指示的几何图形，以及由一个或多个属性帧集合指示的一个或多个属性，以及
为了识别重复点，所述处理器还被配置为基于两个或更多个几何图形帧和一个或多个属性帧集来识别重复点。
8.一种用于对三维(3D)点云数据进行编码的编码器，该编码器包括：
处理器，被配置为：
将3D点云数据的第一二维(2D)帧集编码为编码比特流；和
对第一2D帧集执行预测，以将3D点云数据的第二2D帧集编码为编码比特流，其中，为了执行预测，所述处理器还被配置为：
解码比特流以生成多个2D帧；
基于多个2D帧中两个或更多个几何图形帧中的相应像素的位置，识别多个2D帧中两个或更多个几何图形帧中的相应像素；
识别两个或更多个几何图形帧中相应像素的深度值；
基于所识别的两个或更多个几何图形帧中的相应像素的深度值，在两个或更多个几何图形帧中的至少一个中识别重复点；和
在重构3D点云数据时，去除或忽略识别的重复点；和
通信接口，被配置为发送包括3D点云数据的编码比特流。
9.根据权利要求8所述的编码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
在两个或更多个几何图形帧的第一个中，识别相应像素中的第一个的第一深度值；
在两个或更多个几何图形帧中的第二个中，识别相应像素中的第二个的第二深度值，其中第一像素和第二像素在其各自的几何图形帧中具有相应位置；
比较所识别的第一深度值和第二深度值，以确定所识别的第一深度值和第二深度值是否相同或在彼此的阈值内；和
基于确定第一深度值和第二深度值相同或彼此在阈值以内，确定第二几何图形帧中第二像素表示的点是重复点之一，
其中，深度值指示来自点被投影到的平面的3D点云中的点的深度，并被编码为实际深度值或实际深度值减去两个或更多个几何图形帧中相应像素位置的偏移。
10.根据权利要求8所述的编码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
在两个或更多个几何图形帧的第一个中，识别相应像素中的第一个的第一深度值；
确定两个或更多个几何图形帧中的第二个几何图形帧中的相应像素中的第二个的第二深度值是否为零或低于阈值，第一像素和第二像素在其各自的几何图形帧中具有相应位置；和
基于确定第二深度值为零或低于阈值，确定第二几何图形帧中第二像素表示的点为重复点之一，
其中，深度值指示来自点被投影到的平面的3D点云中的点的深度，并且对于第二几何图形帧，被编码为相对于第一几何图形帧的增量值。
11.根据权利要求8所述的编码器，其中，为了基于所识别的深度值来识别所述两个或更多个几何图形帧中的至少一个中的重复点，所述处理器还被配置为：
基于所述两个或更多个几何图形帧中的相应像素的深度值，确定所述两个或更多个几何图形帧中的第二个中的相应像素的一个或多个第二像素是在两个或更多个几何图形帧中的第一个中的相应像素的一个或多个第一像素的几何重复；
基于确定一个或多个第二像素是几何重复，确定分别对应于一个或多个几何重复的第二像素的一个或多个第二纹理值是否是分别对应于一个或多个第一像素的一个或多个第一纹理值的纹理重复；和
基于确定一个或多个第二像素中的至少一个是一个或多个第一像素中的至少一个的几何和纹理复制，确定由至少一个第二像素表示的点是复制点之一，
其中，分别从多个2D帧中的第一和第二纹理帧中识别第一和第二纹理值，并且第一和第二纹理帧分别对应于第一和第二几何图形帧。
12.根据权利要求8所述的编码器，其中：
所述处理器还被配置为识别用于重构3D点云的应用的类型；
其中，为了在重构3D点云数据的同时去除或忽略所识别的重复点，所述处理器还被配置为在重构不依赖于视图的应用类型的3D点云数据的同时去除或忽略所识别的重复点；以及
所述处理器还被配置为在重构依赖于视图的应用类型的3D点云数据时使用至少一些所识别的重复点。
13.根据权利要求8所述的编码器，其中：
所述处理器还被配置为识别用于重构3D点云的应用的类型，其中，所识别的重复点是几何图形重复的，并且至少一些所识别的重复点是几何图形重复的但不是纹理重复的，
为了在重构3D点云数据的同时去除或忽略所识别的重复点，所述处理器还被配置为在重构不依赖于视图的应用类型的3D点云数据的同时去除或忽略所有所识别的重复点，以及
所述处理器还被配置为在重构依赖于视图的应用类型的3D点云数据时，使用至少一些所识别的重复点。
14.一种用于操作解码器的方法，所述解码器被配置为实现权利要求1至7中的一项。
15.一种用于操作编码器的方法，所述编码器被配置为实现权利要求8至13中的一项。
CN201880082358.XA 2017-12-22 2018-12-20 在点云压缩中处理重复点的方法和装置 Pending CN111512342A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762609716P 2017-12-22 2017-12-22
US62/609,716 2017-12-22
US201862743044P 2018-10-09 2018-10-09
US62/743,044 2018-10-09
US201862774487P 2018-12-03 2018-12-03
US62/774,487 2018-12-03
US16/219,433 2018-12-13
US16/219,433 US10783668B2 (en) 2017-12-22 2018-12-13 Handling duplicate points in point cloud compression
PCT/KR2018/016336 WO2019125010A1 (en) 2017-12-22 2018-12-20 Method and apparatus for handling duplicate points in point cloud compression

Publications (1)

Publication Number Publication Date
CN111512342A true CN111512342A (zh) 2020-08-07

Family

ID=66951374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082358.XA Pending CN111512342A (zh) 2017-12-22 2018-12-20 在点云压缩中处理重复点的方法和装置

Country Status (5)

Country Link
US (1) US10783668B2 (zh)
EP (1) EP3721413A4 (zh)
KR (1) KR102602375B1 (zh)
CN (1) CN111512342A (zh)
WO (1) WO2019125010A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111612A (zh) * 2021-06-15 2021-07-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于自适应空间剖分的离散点云重复点快速查找方法
WO2022116118A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质
CN114651192A (zh) * 2020-08-17 2022-06-21 腾讯美国有限责任公司 用于点云编解码的基于哈希的属性预测
CN114782564A (zh) * 2022-06-21 2022-07-22 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
WO2023174334A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 编码、解码方法、装置及设备
WO2023179705A1 (zh) * 2022-03-25 2023-09-28 维沃移动通信有限公司 编码、解码方法、装置及设备
WO2024083043A1 (zh) * 2022-10-19 2024-04-25 维沃移动通信有限公司 网格编码方法、装置、通信设备及可读存储介质

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10805646B2 (en) 2018-06-22 2020-10-13 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
HUE063585T2 (hu) * 2018-04-11 2024-01-28 Interdigital Vc Holdings Inc Eljárás és berendezés 3D objektumot reprezentáló pontfelhõ kódolására/dekódolására
US11756234B2 (en) * 2018-04-11 2023-09-12 Interdigital Vc Holdings, Inc. Method for encoding depth values of a set of 3D points once orthogonally projected into at least one image region of a projection plane
CN110662087B (zh) * 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器
US11044478B2 (en) 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US10911787B2 (en) * 2018-07-10 2021-02-02 Apple Inc. Hierarchical point cloud compression
CN110719497B (zh) * 2018-07-12 2021-06-22 华为技术有限公司 点云编解码方法和编解码器
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US20200045344A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Video processing mechanism
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11386524B2 (en) * 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11132818B2 (en) 2018-09-28 2021-09-28 Apple Inc. Predicting attributes for point cloud compression according to a space filling curve
MX2024006502A (es) * 2018-10-02 2024-06-05 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US10853973B2 (en) 2018-10-03 2020-12-01 Apple Inc. Point cloud compression using fixed-point numbers
BR112021005167A2 (pt) * 2018-10-05 2021-06-15 Interdigital Vc Holdings, Inc. método e dispositivo para codificar/reconstruir pontos 3d
US11430155B2 (en) * 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
WO2020101021A1 (ja) * 2018-11-16 2020-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11095900B2 (en) * 2018-12-19 2021-08-17 Sony Group Corporation Point cloud coding structure
US11454710B2 (en) 2019-01-08 2022-09-27 Apple Inc. Point cloud compression using a space filling curve for level of detail generation
US11348284B2 (en) 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
US11284091B2 (en) 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box
US11250594B2 (en) * 2019-01-09 2022-02-15 Tencent America LLC Method and apparatus for geometry smoothing by local geometry projection
US11823421B2 (en) * 2019-03-14 2023-11-21 Nokia Technologies Oy Signalling of metadata for volumetric video
CN118474424A (zh) * 2019-03-21 2024-08-09 Lg电子株式会社 对画面进行解码/编码的方法
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
JPWO2020230710A1 (zh) * 2019-05-10 2020-11-19
WO2020235979A1 (ko) 2019-05-23 2020-11-26 삼성전자 주식회사 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치
US11461275B2 (en) * 2019-05-31 2022-10-04 Apple Inc. Compression techniques for vertices of graphic models
US11393068B2 (en) * 2019-06-20 2022-07-19 Samsung Electronics Co., Ltd. Methods and apparatus for efficient interpolation
US11594014B2 (en) * 2019-06-21 2023-02-28 Nvidia Corporation Annotating high definition map points with measure of usefulness for localization
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
WO2021002657A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021025392A1 (ko) * 2019-08-02 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US11450030B2 (en) 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11202078B2 (en) 2019-09-27 2021-12-14 Apple Inc. Dynamic point cloud compression using inter-prediction
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11409998B2 (en) 2019-10-02 2022-08-09 Apple Inc. Trimming search space for nearest neighbor determinations in point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11682144B2 (en) * 2019-10-06 2023-06-20 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11380019B2 (en) 2019-10-07 2022-07-05 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2021075681A1 (ko) * 2019-10-17 2021-04-22 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN114982249A (zh) * 2019-11-29 2022-08-30 诺基亚技术有限公司 用于视频编码和视频解码的方法、装置和计算机程序产品
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
JP7376211B2 (ja) * 2020-01-06 2023-11-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 点群コーディングにおけるカメラパラメータのシグナリング
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
WO2021141093A1 (ja) * 2020-01-08 2021-07-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11477483B2 (en) 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
CN113114608B (zh) * 2020-01-10 2022-06-10 上海交通大学 点云数据封装方法及传输方法
CN115004230A (zh) * 2020-01-14 2022-09-02 华为技术有限公司 用于v-pcc的缩放参数
WO2021145573A1 (ko) * 2020-01-16 2021-07-22 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US20210245047A1 (en) 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming
US11710259B2 (en) * 2020-02-10 2023-07-25 Tencent America LLC Predictive tree coding for point cloud coding
US11430179B2 (en) * 2020-02-24 2022-08-30 Microsoft Technology Licensing, Llc Depth buffer dilation for remote rendering
KR102406846B1 (ko) * 2020-03-18 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021201386A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11310528B2 (en) * 2020-03-30 2022-04-19 Tencent America LLC Methods of coding duplicate and isolated points for point cloud coding
WO2021210860A1 (ko) * 2020-04-12 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115398926B (zh) * 2020-04-14 2023-09-19 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11501470B2 (en) 2020-05-27 2022-11-15 Microsoft Technology Licensing, Llc Geometric encoding of data
US10853955B1 (en) 2020-05-29 2020-12-01 Illuscio, Inc. Systems and methods for point cloud encryption
US20210385303A1 (en) * 2020-06-09 2021-12-09 Qualcomm Incorporated Attribute residual coding in g-pcc
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11321878B2 (en) * 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
US11893691B2 (en) * 2020-07-09 2024-02-06 Tencent America LLC Point cloud geometry upsampling
US12094178B2 (en) 2020-08-21 2024-09-17 Samsung Electronics Co., Ltd. Complexity reduction of video-based point cloud compression encoding using grid-based segmentation
US20230290006A1 (en) * 2020-09-03 2023-09-14 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230328270A1 (en) * 2020-09-09 2023-10-12 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point coud data reception device, and point cloud data reception method
US11651472B2 (en) * 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
KR102488423B1 (ko) * 2020-11-18 2023-01-13 광운대학교 산학협력단 포인트 클라우드 압축 방법
KR102447796B1 (ko) * 2020-11-27 2022-09-27 한국전자기술연구원 V-pcc 부호화기를 위한 패치 세그먼트 고속 정제 장치 및 그 방법
CN112565794B (zh) * 2020-12-03 2022-10-04 西安电子科技大学 一种点云孤立点编码、解码方法及装置
US20220284633A1 (en) * 2021-03-05 2022-09-08 Tencent America LLC Method and apparatus for constructing a 3d geometry
CN113011113B (zh) * 2021-03-23 2022-04-05 中国空气动力研究与发展中心计算空气动力研究所 一种离散点云重复点快速查找方法
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
KR102533985B1 (ko) * 2021-05-21 2023-05-17 한국항공대학교산학협력단 포인트 클라우드 복원 시스템 및 방법
WO2022250276A1 (ko) * 2021-05-28 2022-12-01 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2023287220A1 (ko) * 2021-07-15 2023-01-19 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
US11734861B2 (en) * 2021-09-22 2023-08-22 Awe Company Limited 2D and 3D floor plan generation
US11386235B1 (en) 2021-11-12 2022-07-12 Illuscio, Inc. Systems and methods for dynamic checksum generation and validation with customizable levels of integrity verification
CN118661196A (zh) * 2022-02-16 2024-09-17 Lg 电子株式会社 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN116934880A (zh) * 2022-04-08 2023-10-24 维沃移动通信有限公司 编码、解码方法、装置及设备
US11527017B1 (en) 2022-05-03 2022-12-13 Illuscio, Inc. Systems and methods for dynamic decimation of point clouds and data points in a three-dimensional space
US11468583B1 (en) 2022-05-26 2022-10-11 Illuscio, Inc. Systems and methods for detecting and correcting data density during point cloud generation
US11710258B1 (en) * 2023-01-25 2023-07-25 Illuscio, Inc. Systems and methods for compressing three-dimensional image data
CN116758174B (zh) * 2023-08-16 2023-11-10 北京易控智驾科技有限公司 激光雷达点云数据的压缩传输方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452062A (zh) * 2017-07-25 2017-12-08 深圳市魔眼科技有限公司 三维模型构建方法、装置、移动终端、存储介质及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165221B2 (en) 2006-04-28 2012-04-24 Netapp, Inc. System and method for sampling based elimination of duplicate data
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
EP2816966B1 (en) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US9305241B2 (en) 2013-07-29 2016-04-05 Google Inc. Systems and methods for reducing a data set
US9858640B1 (en) 2015-07-15 2018-01-02 Hrl Laboratories, Llc Device and method for merging 3D point clouds from sparsely distributed viewpoints
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452062A (zh) * 2017-07-25 2017-12-08 深圳市魔眼科技有限公司 三维模型构建方法、装置、移动终端、存储介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EDUARDO PAVEZ ET AL.: "DYNAMIC POLYGON CLOUD COMPRESSION", 《2017 ICASSP》, 9 March 2017 (2017-03-09) *
SEBASTIAN SCHWARZ ET AL.: "Nokia\'s response to CfP for Point Cloud Compression (Category 2)", 《 MPEG MEETING 120》, 17 October 2017 (2017-10-17), pages 1 - 3 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114651192A (zh) * 2020-08-17 2022-06-21 腾讯美国有限责任公司 用于点云编解码的基于哈希的属性预测
WO2022116118A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质
CN113111612A (zh) * 2021-06-15 2021-07-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于自适应空间剖分的离散点云重复点快速查找方法
WO2023174334A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 编码、解码方法、装置及设备
WO2023179705A1 (zh) * 2022-03-25 2023-09-28 维沃移动通信有限公司 编码、解码方法、装置及设备
CN114782564A (zh) * 2022-06-21 2022-07-22 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
CN114782564B (zh) * 2022-06-21 2022-09-09 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
WO2024083043A1 (zh) * 2022-10-19 2024-04-25 维沃移动通信有限公司 网格编码方法、装置、通信设备及可读存储介质

Also Published As

Publication number Publication date
US20190197739A1 (en) 2019-06-27
EP3721413A1 (en) 2020-10-14
EP3721413A4 (en) 2021-01-06
WO2019125010A1 (en) 2019-06-27
KR20200092418A (ko) 2020-08-03
KR102602375B1 (ko) 2023-11-16
US10783668B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US10783668B2 (en) Handling duplicate points in point cloud compression
US10853974B2 (en) Point cloud compression using non-orthogonal projection
US11138762B2 (en) Visual quality of video based point cloud compression using one or more additional patches
EP3665658B1 (en) Point cloud compression using hybrid transforms
US20220164994A1 (en) Overlapped patches for mesh coding for video based point cloud compression
US11348283B2 (en) Point cloud compression via color smoothing of point cloud prior to texture video generation
US11288843B2 (en) Lossy compression of point cloud occupancy maps
US11216984B2 (en) Patch splitting for improving video-based point cloud compression performance
US11665372B2 (en) Fast projection method in video-based point cloud compression codecs
US11210812B2 (en) Single-pass boundary detection in video-based point cloud compression
US11803987B2 (en) Attribute transfer in V-PCC
CN114467307A (zh) 用于属性平滑的决策规则
US12094178B2 (en) Complexity reduction of video-based point cloud compression encoding using grid-based segmentation
KR102677403B1 (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 패치 생성
US12100184B2 (en) Attribute transfer in V-PCC
US20240185469A1 (en) Coding of displacements using hierarchical coding at subdivision level for vertex mesh (v-mesh)
US20240236362A9 (en) Vertex motion vector predictor coding for vertex mesh (v-mesh)
JP2023533419A (ja) ビデオベースの点群コーディングのための高速リカラー
CN118215940A (zh) 使用实例分段的点云优化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination