CN117337449A - 点云质量增强方法、编码和解码方法及装置、存储介质 - Google Patents

点云质量增强方法、编码和解码方法及装置、存储介质 Download PDF

Info

Publication number
CN117337449A
CN117337449A CN202180097152.6A CN202180097152A CN117337449A CN 117337449 A CN117337449 A CN 117337449A CN 202180097152 A CN202180097152 A CN 202180097152A CN 117337449 A CN117337449 A CN 117337449A
Authority
CN
China
Prior art keywords
point cloud
points
dimensional
quality enhancement
attribute data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180097152.6A
Other languages
English (en)
Inventor
元辉
王韦韦
王婷婷
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117337449A publication Critical patent/CN117337449A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本实施例提供一种点云质量增强方法、编码和解码方法及相应的装置、存储介质，进行质量增强时，从点云中提取多个三维补丁(步骤10)，将提取的多个三维补丁转换成二维图像(步骤20)；对转换成的二维图像的属性数据进行质量增强并更新点云的属性数据(步骤30)。本实施例还提供了相应的编码、解码方法，及实现相应方法的装置和存储介质。本实施例可实现对点云的质量增强。

Description

点云质量增强方法、编码和解码方法及装置、存储介质 技术领域
本公开实施例涉及但不限于点云处理技术，尤其涉及一种点云质量增强方法、点云编码方法、点云解码方法及设备、存储介质。
背景技术
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是三维空间的点集，称之为“点云”(Point Cloud)。点云可通过测量直接得到，根据摄影测量得到的点云包括三维坐标和颜色信息。
通过数字视频压缩技术能够减少点云数据传输的带宽和流量压力，但也会带来图像质量上的损失。
发明概述
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开实施例提供了一种点云的质量增强方法，包括：
从点云中提取多个三维补丁，其中，所述点云包括属性数据和几何数据；
将提取的多个三维补丁转换成二维图像；
对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
本公开实施例还提供了一种确定质量增强网络参数的方法，包括：
确定训练数据集，其中，所述训练数据集包括第一二维图像的集合及与所述第一二维图像对应的第二二维图像的集合；
以所述第一二维图像为输入数据、所述第二二维图像为目标数据，对所述质量增强网络进行训练，确定所述质量增强网络的参数；
其中，所述第一二维图像通过从第一点云中提取一个或多个三维补丁、将提取的一个或多个三维补丁转换成二维图像而得到；所述第一二维图像的属性数据从所述第一点云的属性数据中提取得到，所述第二二维图像的属性数据从第二点云的属性数据中提取得到，所述第一点云和第二点云不同。
本公开一实施例还提供了一种点云解码方法，包括：
对点云码流进行解码，输出点云，其中，所述点云包括属性数据和几何数据；
从所述点云中提取多个三维补丁；
将提取的多个三维补丁转换成二维图像；
对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
本公开一实施例还提供了一种点云编码方法，包括：
从点云中提取多个三维补丁，其中，所述点云包括属性数据和几何数据；
将提取的多个三维补丁转换成二维图像；
对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据；
对属性数据更新后的所述点云进行编码，输出点云码流。
本公开实施例还提供了一种质量增强装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的质量增强方法。
本公开实施例还提供了一种确定质量增强网络参数的装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例 所述的训练方法。
本公开一实施例还提供了一种点云解码装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的点云解码方法。
本公开一实施例还提供了一种点云编码装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的点云编码方法。
本公开实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的质量增强方法或训练方法。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图概述
附图用来提供对本公开实施例的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为一种点云编码框架的结构示意图；
图2为一种点云解码框架的结构示意图；
图3为本公开一实施例的点云质量增强方法的流程图；
图4是本公开一实施例的在解码侧对点云进行质量增强的系统的结构示意图；
图5是图4中的点云质量增强装置的单元结构图；
图6是本公开一实施例的在编码侧对点云进行质量增强的系统的结构示意图；
图7A、图7B、图7C分别是本公开一实施例采用的三种扫描方式的示意图；
图8是本公开一实施例确定质量增强网络参数的方法的流程图；
图9是本公开一实施例的点云解码方法的流程图；
图10是本公开一实施例的点云编码方法的流程图；
图11是本公开另一实施例的点云编码方法的流程图；
图12是本公开另一实施例的点云质量增强装置的结构示意图；
图13是本公开一实施例用于点云的质量增强网络的结构示意图。
详述
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。
本公开的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开中被描述为“示例性的”或者“例如”的任何实施例不应被解释为比其他实施例更优选或更具优势。本文中的“和/或”是对关联对象的关联关系的一种描述，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。“多个”是指两个或多于两个。另外，为了便于清楚描述本公开实施例的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在描述具有代表性的示例性实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
点云是物体表面的三维表现形式，通过光电雷达、激光雷达、激光扫描仪、多视角相机等采集设备，可以采集得到物体表面的点云数据。
点云(Point Cloud)是指海量三维点的集合，所述点云中的点可以包括点的位置信息和点的属性信息。文中，点云中点的位置信息也可称为点云的几何信息或几何数据，点云中点的属性信息也可以称为点云的属性数据。例如，点的位置信息可以是点的三维坐标信息。例如，点的属性信息包括但不限于颜色信息、反射强度、透明度、法线矢量中的一种或多种。所述颜色信息可以是任意一种色彩空间上的信息。例如，所述颜色信息可以表示为红、绿、蓝三个通道的颜色(RGB)。再如，所述颜色信息可以表示为亮度色度信息(YCbCr，YUV)，其中，Y表示亮度(Luma)，Cb(U)表示蓝色色差，Cr(V)表示红色色差。
例如，根据激光测量原理得到的点云，所述点云中的点可以包括点的三维坐标信息和点的激光反射强度(Intensity)。再如，根据摄影测量原理得到的点云，所述点云中的点可以可包括点的三维坐标信息和点的颜色信息。再如，结合激光测量和摄影测量原理得到点云，所述点云中的点可以可包括点的三维坐标信息、点的激光反射强度和点的颜色信息。
例如，点云可以按获取的途径分为：
第一静态点云：即物体是静止的，获取点云的设备也是静止的；
第二类动态点云：物体是运动的，但获取点云的设备是静止的；
第三类动态获取点云：获取点云的设备是运动的。
例如，按点云的用途分为两大类：
类别一：机器感知点云，其可以用于自主导航系统、实时巡检系统、地理信息系统、视觉分拣机器人、抢险救灾机器人等场景；
类别二：人眼感知点云，其可以用于数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。
由于点云是海量点的集合，存储所述点云不仅会消耗大量的内存，而且不利于传输，也没有这么大的带宽可以支持将点云不经过压缩直接在网络层进行传输，因此对点云进行压缩是很有必要的。
截止目前，可通过点云编码框架对点云进行压缩。
点云编码框架可以是运动图象专家组(Moving Picture Experts Group，MPEG)提供的基于几何的点云压缩(Geometry Point Cloud Compression，G-PCC)编解码框架或基于视频的点云压缩(Video Point Cloud Compression，V-PCC)编解码框架，也可以是音视频编码标准(Audio Video Standard，AVS)提供的AVS-PCC编解码框架。G-PCC编解码框架可用于针对第一静态点云和第三类动态获取点云进行压缩，V-PCC编解码框架可用于针对第二类动态点云进行压缩。G-PCC编解码框架也称为点云编解码器TMC13，V-PCC编解码框架也称为点云编解码器TMC2。
下面以G-PCC编解码框架为例对本公开实施例可适用的点云编解码框架进行说明。
图1是本公开实施例提供的编码框架100的示意性框图。
如图1所示，编码框架100可以从采集设备获取点云的位置信息和属性信息。点云的编码包括位置编码和属性编码。在一个实施例中，位置编码的过程包括：对原始点云进行坐标变换、量化去除重复点等预处理；构建八叉树后进行编码形成几何码流。
属性编码过程包括：通过给定输入点云的位置信息的重建信息和输入点云的属性信息的真实值，选择三种预测模式的一种进行点云预测，对预测后的结果进行量化，并进行算术编码形成属性码流。
如图1所示，位置编码可通过以下单元实现：坐标转换(Tanmsform coordinates)单元101、量化和移除重复点(Quantize and remove points)单元102、八叉树分析(Analyze octree)单元103、几何重建(Reconstruct geometry)单元104以及第一算术编码(Arithmetic enconde)单元105。
其中：
坐标转换单元101可用于将点云中点的世界坐标变换为相对坐标。例如，点的几何坐标分别减去xyz坐标轴的最小值，相当于去直流操作，以实现将点云中的点的坐标从世界坐标转换为相对坐标。
量化和移除重复点单元102可通过量化减少坐标的数目；量化后原先不同的点可能被赋予相同的坐标，基于此，可通过去重操作将重复的点删除；例如，具有相同量化位置和不同属性信息的多个云可通过属性转换合并到一个云中。在本公开的一些实施例中，量化和移除重复点单元102为可选的单元模块。
八叉树分析单元103可利用八叉树(octree)编码方式编码量化的点的位置信息。例如，将点云按照八叉树的形式进行划分，由此，点的位置可以和八叉树的位置一一对应，通过统计八叉树中有点的位置，并将其标识(flag)记为1，以进行几何编码。
第一算术编码单元105可以采用熵编码方式对八叉树分析单元103输出的位置信息进行算术编码，即将八叉树分析单元103输出的位置信息利用算术编码方式生成几何码流；几何码流也可称为几何比特流(geometry bitstream)。
属性编码可通过以下单元实现：
颜色空间转换(Transform colors)单元110、属性转化(Transfer attributes)单元111、区域自适应分层变换(Region Adaptive Hierarchical Transform，RAHT)单元112、预测变化(predicting transform)单元113以及提升变化(lifting transform)单元114、量化系数(Quantize coefficients)单元115以及第二算术编码单元116。
其中：
颜色空间转换单元110可用于将点云中点的RGB色彩空间变换为YCbCr格式或其他格式。
属性转化单元111可用于转换点云中点的属性信息，以最小化属性失真。例如，属性转化单元111可用于得到点的属性信息的真实值。例如，所述属性信息可以是点的颜色信息。
经过属性转化单元111转换得到点的属性信息的真实值后，可选择任一种预测单元，对点云中的点进行预测。预测单元可包括：RAHT 112、预测变化(predicting transform)单元113以及提升变化(lifting transform)单元114。换言之，RAHT 112、预测变化(predicting transform)单元113以及提升变化(lifting transform)单元114中的任一单元可用于对点云中点的属性信息进行预测，以得到点的属性信息的预测值，进而基于点的属性信息的预测值得到点的属性信息的残差值。例如，点的属性信息的残差值可以是点的属性信息的真实值减去点的属性信息的预测值。
预测变换单元113还可用于生成细节层(level of detail，LOD)。LOD的生成过程包括：根据点云中点的位置信息，获取点与点之间的欧式距离；根据欧式距离，将点分为不同的LOD层。在一个实施例中，可以将欧式距离进行排序后，将不同范围的欧式距离划分为不同的LOD层。例如，可以随机挑选一个点，作为第一LOD层。然后计算剩余点与该点的欧式距离，并将欧式距离符合第一阈值要求的点，归为第二LOD层。获取第二LOD层中点的质心，计算除第一、第二LOD层以外的点与该质心的欧式距离，并将欧式距离符合第二阈值的点，归为第三LOD层。以此类推，将所有的点都归到LOD层中。通过调整欧式距离的阈值，可以使得每层LOD的点的数量是递增的。应理解，LOD层划分的方式还可以采用其它方式，本公开对此不进行限制。需要说明的是，在其他的实施方式中，可以直接将点云划分为一个或多个LOD层，也可以先将点云划分为多个点云切块(slice)，再将每一个切块划分为一个或多个LOD层。例如，可将点云划分为多个切块，每个切块的点的个数可以在55万-110万之间。每个切块可看成单独的点云。每个点云切块又可以划分为多个LOD层，每个LOD层包括多个点，在一个示例中，可根据点与点之间的欧式距离，进行LOD层的划分。
量化单元115可用于量化点的属性信息的残差值。例如，若所述量化单元115和所述预测变换单元113相连，则所述量化单元可用于量化所述预测变换单元113输出的点的属性信息的残差值。例如，使用量化步长对预测变换单元113输出的点的属性信息的残差值进行量化，以实现提升系统性能。
第二算术编码单元116可使用零行程编码(Zero run length coding)对点的属性信息的残差值进行熵编码，以得到属性码流。所述属性码流可以是比特流信息。
在一实施例中，点云中点的属性信息的预测值(predictedvalue)也可称为LOD模式下的颜色预测值(predictedColor)。点的属性信息的真实值减去点的属性信息的预测值可得到点的残差值(residualvalue)。点的属性信息的残差值也可称为LOD模式下的颜色残差值(residualColor)。点的属性信息的预测值和点的属性信息的残差值相加可生成点的属性信息的重建值(reconstructedvalue)。 在该实施例中，点的属性信息的重建值也可称为LOD模式下的颜色重建值(reconstructedColor)。
图2是对本公开实施例可适用的一种点云解码框架200的示意性框图。
如图2所示，解码框架200可以获取编码设备生成的点云的码流，通过解析码流得到点云中点的位置信息和属性信息。点云的解码包括位置解码和属性解码。在一个实施例中，位置解码的过程包括：对几何码流进行算术解码；构建八叉树后进行合并，对点的位置信息进行重建，以得到点的位置信息的重建信息；对点的位置信息的重建信息进行坐标变换，得到点的位置信息。点的位置信息也可称为点的几何信息。
属性解码过程包括：通过解析属性码流，获取点云中点的属性信息的残差值；通过对点的属性信息的残差值进行反量化，得到反量化后的点的属性信息的残差值；基于位置解码过程中获取的点的位置信息的重建信息，选择三种预测模式的一种进行点云预测，得到点的属性信息的重建值；对点的属性信息的重建值进行颜色空间反转化，以得到解码点云。
如图2所示，位置解码可通过以下单元实现：第一算数解码单元201、八叉树分析(synthesize octree)单元202、几何重建(Reconstruct geometry)单元204以及坐标反转换(inverse transform coordinates)单元205。
属性编码可通过以下单元实现：第二算数解码单元210、反量化(inverse quantize)单元211、RAHT单元212、预测变化(predicting transform)单元213、提升变化(lifting transform)单/214以及颜色空间反转换(inverse trasform colors)单元215。
需要说明的是，解压缩是压缩的逆过程，类似的，解码框架200中的各个单元的功能可参见编码框架100中相应的单元的功能。
例如，解码框架200可根据点云中点与点之间的欧式距离将点云划分为多个LOD；然后，依次对LOD中点的属性信息进行解码；例如，计算零行程编码技术中零的数量(zero_cnt)，以基于zero_cnt对残差进行解码；接着，解码框架200可基于解码出的残差值进行反量化，并基于反量化后的残差值与当前点的预测值相加得到该点云的重建值，直到解码完所有的点云。当前点将会作为后续LOD中点的最近邻居，并利用当前点的重建值对后续点的属性信息进行预测。
在计算机视觉领域，质量增强对提高视频(或图像)质量、改善视频(或图像)视觉效果有重要影响；视频(或图像)质量增强一般是指提高质量受损的视频(或图像)的质量。在现在的通信系统中，视频(或图像)传输需要经过压缩编码的过程，在此过程中，视频(或图像)质量会受到损失；同时，传输信道往往存在噪声，这也会导致经过信道传输后的视频(或图像)质量受损；因此，对解码后的视频(或图像)进行质量增强可以提高视频(或图像)质量，基于卷积神经网络实现视频(或图像)质量增强是一种有效的方法。但是，如何点云进行质量增强，目前还没有相应的解决方案。
为此，本公开一实施例提供一种点云的质量增强方法，如图3所示，所述方法包括：
步骤10，从点云中提取多个三维补丁(patch)，其中，所述点云包括属性数据和几何数据；
步骤20，将提取的多个三维补丁转换成二维图像；及，
步骤30，对转换得到的二维图像的进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
在本公开一些实施例中，patch是指点云中部分点构成的集合。例如点云是表示一物体表面的三维点的集合，则patch可以是表示该物体表面中的一片的三维点的集合。在一示例中，以点云中的一个点为目标点，将与该点的欧式距离最近的特定数量(例如，1023)个点，组成一个三维补丁(patch)。
本公开实施例点云的质量增强方法将三维点云的质量增强问题转化为二维图像的质量增强，通过提取三维补丁和三维至二维转换等处理，结合二维图像的质量增强方法，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，实现了三维点云的质量增强。
本实施例步骤10从点云中提取多个三维补丁时，这些三维补丁可以有部分点重叠，也不要求提取出的多个三维补丁可以组成完整的点云(在其他实施例也可以要求提取出的多个三维补丁可以组成完整的点云)，即本实施例的点云中可能存在部分点在任何三维补丁中都不存在，这部分点的属性数据在进行更新时可保持不变。从点云中提取出的三维补丁的数量和大小可以预先设定，也可以通过对码 流的解码得到三维补丁的数量和大小，或者从多个预先设定的值中根据当前点云的大小、质量增强的要求等来选择。
本公开一实施例中，上述进行质量增强的点云是点云解码器对点云码流进行解码后输出得到的，即本公开实施例点云的质量增强方法可以用于解码器的后处理模块，其输入是解码器解码码流得到的点云数据。相应的一示例性的点云编解码系统的框图如图4所示。
图4所示的点云编解码系统分为编码端设备1和解码端设备2，编码端设备1产生经编码点云数据(即经过编码的点云数据)。解码端设备2可对经编码点云数据进行解码和质量增强。编码端设备1和解码端设备2可包含一或多个处理器以及耦合到所述一个或多个处理器的存储器，如随机存取存储器、带电可擦可编程只读存储器、快闪存储器或其它媒体。编码端设备1和解码端设备2可以用各种装置实现，如台式计算机、移动计算装置、笔记本电脑、平板计算机、机顶盒、电视机、相机、显示装置、数字媒体播放器、车载计算机或其类似的装置。
解码端设备2可经由链路3从编码端设备1接收经编码点云数据。链路3包括能够将经编码点云数据从编码端设备1移动到解码端设备2的一或多个媒体或装置。在一个示例中，链路3可包括使得编码端设备1能够实时将经编码点云数据直接发送到解码端设备2的一或多个通信媒体。编码端设备1可根据通信标准(例如无线通信协议)来调制经编码点云数据，且可将经调制的点云数据发送到解码端设备2。所述一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(radio frequency，RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于分组的网络的一部分，基于分组的网络例如为局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从编码端设备1到解码端设备2的通信的其它设备。在另一示例中，也可将经编码点云数据从输出接口15输出到一个存储装置，解码端设备2可经由流式传输或下载从该存储装置读取所存储的点云数据。该存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、数字多功能光盘、只读光盘、快闪存储器、易失性或非易失性存储器、文件服务器等等。
在图4所示的示例中，编码端设备1包含点云数据源装置11、点云编码器13和输出接口15。在一些示例中，输出接口15可包含调节器、调制解调器、发射器。点云数据源装置11可包括点云捕获装置(例如，摄像机)、含有先前捕获的点云数据的点云存档、用以从点云内容提供者接收点云数据的点云馈入接口，用于产生点云数据的图形系统，或这些来源的组合。点云编码器13可对来自点云数据源装置11的点云数据进行编码。在一示例中，点云编码器13采用图1所示的点云编码框架100来实现但本公开不局限于此。
在图4所示的实施例中，解码端设备2包含输入接口21、点云解码器23、点云质量增强装置25和显示装置27。在一些示例中，输入接口21包含接收器和调制解调器中的至少之一。输入接口21可经由链路3或从存储装置接收经编码点云数据。显示装置27用于显示经解码和质量增强的点云数据，显示装置27可与解码端设备2的其他装置集成在一起或者单独设置。显示装置27例如可以是液晶显示器、等离子显示器、有机发光二极管显示器或其它类型的显示装置。在其他示例中，解码端设备2也可以不包含所述显示装置27，而是包含应用点云数据的其他装置或设备。在一示例中，点云解码器23可以采用图2所示的点云解码框架200来实现但本公开不局限于此。图4所示的实施例中，点云解码装置22包括点云解码器23和点云质量增强装置25，点云解码器23设置为对点云码流进行解码，点云质量增强装置25设置为对点云解码器输出的点云进行质量增强，此处的解码应作广义的理解，对点云解码器输出的点云进行质量增强的过程也视为解码的一部分。
在本公开一实施例中，点云质量增强装置25的功能框图如图5所示，点云解码器对点云码流进行解码后输出的点云输入到补丁提取单元31，提取出多个三维补丁，这些三维补丁在三维至二维转换单元33转换成二维图像后送入点云的质量增强网络(例如训练好的卷积神经网络)35。质量增强网络35输出质量增强后的二维图像，在属性更新单元37中利用质量增强后的二维图像的属性数据更新点云的属性数据，就得到了质量增强后的点云。点云质量增强装置25或点云解码装置22可使用以下电路中的任一实现：一个或多个微处理器、数字信号处理器、专用集成电路、现场可编程门阵列、离散逻辑、硬件或其任何组合。如果部分地以软件来实施本公开，那么质量增强装置可将用于软件的指令存储在合适的非易失性计算机可读存储媒体中，且可使用一或多个处理器在硬件中执行所述指令从而实施本公开技术。点云质量增强装置25可以和点云解码器23、输入接口21和显示装置27中的一种或多种集成在一起，也可以是一个单独设置的装置。
基于图4所示的系统，本公开一实施例中，编码侧设备中的点云编码器13对点云数据源装置11 采集的点云进行属性有损的编码，例如采用MPEG给出的点云标准编码平台TMC下的几何无损、颜色有损(也即颜色属性有损)的编码方式，TMC13v9.0提供了六个码率点，分别是r01～r06，对应的颜色量化步长分别为51、46、40、34、28和22。而解码侧设备2中的点云质量增强装置25对点云解码器23输出的点云进行质量增强。点云质量增强装置25可以使用本公开任一实施例所述的质量增强方法对解码后点云进行质量增强。但本公开并不局限于在解码侧对经属性有损编码和解码后的点云进行质量增强，在另一实施例中，即使点云编码器采用的是属性无损的编码，也可以在解码侧对解码后的点云进行质量增强，以去除码流在信道传输时混入的噪声或者达到需要的视觉效果。
图4所示的实施例是对经属性有损编码和解码后的点云进行质量增强，而本公开另一实施例中，进行质量增强的点云是点云数据源装置输出的点云，即本公开实施例点云的质量增强方法可以用于点云编码器的前处理模块，其输入是原始点云数据。点云数据源装置如可包括点云捕获装置、含有先前捕获的点云数据的点云存档、用以从点云内容提供者接收点云数据的点云馈入接口，用于产生点云数据的图形系统，或这些来源的组合。对原始点云数据进行质量增强如可以是去除噪声、去模糊或者达到需要的视觉效果。相应的示例性的点云编解码系统如图6所示。
图6所示的点云编解码系统与上述图4所示的点云编解码系统的主要差别在于点云质量增强装置设置在编码侧设备1’中，以用于对点云数据源装置输出的点云进行质量增强。图6中编码侧设备1’和解码侧设备2’中的其他装置见图4中的相应装置的说明，这里不再赘述。图6中的点云编码装置12包括点云质量增强装置17和点云编码器13。其中，点云质量增强装置17设置为对点云数据源装置输出的点云进行质量增强，而点云编码器13设置为对质量增强后的点云进行编码，输出编码码流。此处的编码应作广义地理解，包括了编码前的质量增强处理。点云质量增强装置17或点云编码装置12可使用以下电路中的任一实现：一或多个微处理器、数字信号处理器、专用集成电路、现场可编程门阵列、离散逻辑、硬件或其任何组合。如果部分地以软件来实施本公开，那么质量增强装置可将用于软件的指令存储在合适的非易失性计算机可读存储媒体中，且可使用一或多个处理器在硬件中执行所述指令从而实施本公开技术。
本公开另一实施例中，也可以在点云编解码系统的编码侧设备和解码侧设备分别设置一个点云质量增强装置，编码侧设备的点云质量增强装置用于对点云数据源装置输出的点云进行质量增强，解码侧设备的点云质量增强装置用于对点云解码器对点云码流解码后输出的点云进行质量增强。
图3所示实施例的点云的质量增强方法中，在对点云进行质量增强时，点云可以有多种属性数据(如颜色属性数据、反射强度属性数据)有损，本公开实施例对转换得到的二维图像的属性数据进行质量增强时，可以只针对其中的部分属性数据进行质量增强。当一种属性数据有多个分量时，也可以只针对该属性数据中的部分分量进行增强。相应地，根据质量增强后的二维图像的属性数据更新所述点云的属性数据时，也可以只对点云的部分属性数据或者属性数据中的部分分量进行更新。在本公开一示例性的实施例中，所述属性数据包含亮度分量，所述对转换得到的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换得到的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。虽然本实施例是对亮度分量即Y分量进行质量增强，但在其他实施例中，也可以对其他的颜色分量如R、G、B中的一个或多个分量，或者Cb、Cr中的一个或多个分量进行质量增强和属性数据更新。
本公开一示例性实施例中，所述步骤10从点云中提取多个三维补丁，包括：确定所述点云中的多个代表点；分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；及，基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。按照本实施例提取的三维补丁中包含的点就是所述点云中的点，点的几何数据和属性数据不变。其中，可以使用最远点采样(FPS：Farthest Point Sampling)算法确定所述点云中的一个或多个代表点。最远点采样算法是一种对点云的均匀采样方法，采集到的代表点在点云中的分布比较均匀，但本公开并不局限于这种采样算法。例如，也可以采用格点采样等其他的点云采样方法。在一个示例中，通过FPS算法确定点云中设定个数的代表点，设定个数如可以是128、256、512、1024或其他值；对确定的多个代表点分别找出其最近邻点，其中一个代表点及其最近邻点可以构造一个三维补丁，一个代表点的最近邻点的个数如可以设定为511、1023、2047或4095，相应地，三维补丁包含的点的个数为512、1024、2048或4096，但这些个数仅仅是示例性的，一个代表点的最近邻点的个数完全可以设置为其他 值。点云中的点到代表点的距离远近可以用欧式距离来衡量，一个点到一代表点的欧式距离越小，则该点到该代表点的距离越近。
本公开一示例性实施例中，所述步骤20将提取的多个三维补丁转换成二维图像时，可以转换为一个或多个二维图像，当转换为多个二维图像时，对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定的扫描方式在二维平面上扫描，将所述三维补丁中的其他点按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。在一个示例中，所述三维补丁包括S 1×S 2个点，S 1、S 2为大于或等于2的正整数；所述预定的扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。将一个三维补丁转换为二维图像时，可以使用一种扫描方式，将一个三维补丁转换成一个二维图像，也可以使用多种扫描方式，将一个三维补丁转换成多个二维图像。此时三维补丁上的一个点对应于多个二维图像上的点，因为三维补丁上的一个点即点云上的一个点，因此也可以说点云上的一个点在二维图像上有多个对应点。对所述多个二维图像分别进行质量增强后，可以根据质量增强后的所述多个对应点的属性数据的加权平均值去更新点云上的该点的属性数据。
图7A，图7B和图7C所示分别是一种自定义的扫描方式下将三维补丁中的点顺序映射到扫描的路径上的示意图。图中以三维补丁有16个点，通过扫描将该16个点映射到4×4个点的二维图像为例。图中每个小方框表示一个点，在二维图像上可以对应于一个像素，该点所在小方框内的数字表示映射的顺序，例如数字为1的小方框表示扫描时第一个映射到该二维图像的点即代表点，数字为2的小方框表示扫描时第二个映射到该二维图像的点，依次类推。根据本实施例的转换方法，将代表点映射到二维图像的相应位置后(回字形扫描时代表点映射到二维图像的中心，光栅式扫描和Z字形扫描时将代表点映射到二维区域的角部)，第二个映射到二维图像的点是在三维补丁中距离代表点最近的点(即到该代表点的欧式距离最小的点)，第三个映射到二维图像的点是在三维补丁中距离代表点第二近的点，依次类推。也就是说，扫描时三维补丁中的其他点是按照到代表点的欧式距离从近到远的顺序映射到扫描的路径上，如按照扫描的路径来看，三维补丁中距离代表点越近的点，在所述扫描的路径上距离代表点也越近，扫描时也越早映射到二维图像上。本文中，将三维补丁和二维图像中具有映射关系的点称为三维补丁和二维图像中对应的点。
回字形扫描如图7A所示，扫描时以代表点为中心，按照顺时针或逆时针的顺序，旋转向外进行扫描，直到将三维补丁中所有的点映射完成。
光栅式扫描，可以是图7B所示的列扫描方式，也可以是行扫描方式。先扫描一行或一列上的设定数量的点(如S 1个点)，再扫描相邻行或相邻列上的设定数量的点(如S 1个点)，直到完成设定数量的行或列的扫描(如S 2行或S 2列，此时三维补丁中点的数量为S 1×S 2)。
Z字形扫描如图7C所示，不再赘述。
以不同扫描方式得到的二维图像作为输入数据，对训练的质量增强网络所达到的质量增强效果有一定的影响，经过测试，采用回字形扫描方式来实现三维补丁到二维图像的转换时，所训练的质量增强网络可以取得较优的质量增强效果。
本公开另一实施例中，将三维补丁转换成二维图像也可以采用其他方法，例如通过卷积操作FPConv来实现，FPConv是一类基于物体表面表示的点云处理方法，该方法为每一个面片学习出非线性投影，将邻域内的点展平到二维的栅格平面内，随后二维卷积就可以便捷地应用于特征抽取。
本公开一示例性实施例中，所述步骤20将提取的多个三维补丁转换成一个二维图像，此时也可以采用上述实施例将提取的三维补丁转换成二维图像的方法，只是需要将多个三维补丁转换成的多个二维图像再拼接为一个大的二维图像，对拼接后的二维图像的属性数据进行质量增强。
在本公开一示例性实施例中，所述对转换成的二维图像的属性数据进行质量增强，包括：使用卷积神经网络对转换成的二维图像的属性数据进行质量增强。在一个示例中，对于不同类别的点云训练不同的质量增强网络如基于深度学习的卷积神经网络，在对所述二维图像的属性数据进行质量增强之前，先确定所述点云的类别，然后使用确定的类别对应的质量增强网络对所述二维图像的属性数据进行质量增强。上述点云的类别例如可以分为建筑类、人像类、风景类、植物类、家具类等等，而其中的一个大类还可细分为多个小类，中人像类可以再细分为儿童类和成人类等等，本公开对此不做任何 的局限。在另一个示例中，为属性码流码率不同的点云训练不同的质量增强网络，在对所述二维图像的属性数据进行质量增强之前，先确定所述点云的属性码流的码率，然后使用确定的码率对应的质量增强网络对所述二维图像的属性数据进行质量增强。上述属性码流的码率如可以是TMC13v9.0提供的六个码率点r01～r06中的一种，对应的颜色量化步长分别为51、46、40、34、28和22。在另一示例中，也可以先确定所述点云的类别和属性码流码率，然后使用确定的类别和属性码流码率对应的质量增强网络对所述二维图像的属性数据进行质量增强，该示例对点云的类别和编码码率的不同组合训练不同的质量增强网络。
在本公开一示例性实施例中，所述质量增强方法还包括：确定所述点云的质量增强参数，根据确定的所述质量增强参数对所述点云进行质量增强；其中，所述质量增强参数包括以下参数中的至少一种：从点云中提取的三维补丁的数量；二维图像中的点的数量；二维图像中的点的排列方式；将三维补丁转换成二维图像时使用的扫描方式；质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；及，点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络。其中，所述点云的数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。点云的类别可以在解码侧通过对点云检测(如纹理复杂度的检测等)的结果确定，在编码侧对该参数编码时点云的类别也可以通过解码码流得到，或者点云的类别也可以设定。点云的属性码流的码率可以由点云解码器确定后通知点云质量增强装置。
在本公开的一示例性实施例中，所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：
对所述点云中的点，如该点在多个质量增强后的二维图像中存在对应点，将该点在所述点云中的属性数据设置为等于所述多个质量增强后的二维图像中对应点的属性数据的加权平均值；其中不同点的权重可以设定，也可以默认为相等。算术平均值可视为权重相等的加权平均值。
对所述点云中的点，如该点只在一个质量增强后的二维图像中存在对应点，将该点在所述点云中的属性数据设置为等于该质量增强后的二维图像中对应点的属性数据；
对所述点云中的点，如该点在所有质量增强后的二维图像中均不存在对应点，不对该点在所述点云中的属性数据进行更新。
在本公开的一示例性实施例中，所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：
对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；
如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；
如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值；
如果所述对应点的数量为0(即该点在所有质量增强后的二维图像中均不存在对应点)，不对该点在所述点云中的属性数据进行更新。
本公开上述实施例的点云的质量增强方法，可以对点云进行质量增强，利用用于二维图像质量增强的深度学习方法，将三维点云的质量增强问题转化为二维图像的质量增强问题，提出了三维空间中质量增强的解决方案。例如，可以用于针对TMC13编码框架下几何无损、颜色有损的编码条件，在对解码后得到的点云的颜色属性数据进行质量增强。
本公开一实施例还提供了一种确定质量增强网络参数的方法(也可以视为对质量增强网络的训练方法)，如图8所示，包括：步骤40，确定训练数据集，其中，所述训练数据集包括第一二维图像的集合及与所述第一二维图像对应的第二二维图像的集合；步骤50，以所述第一二维图像为输入数据、所述第二二维图像为目标数据，对所述质量增强网络进行训练，确定所述质量增强网络的参数；其中，所述第一二维图像通过从第一点云中提取一个或多个三维补丁、将所述三维补丁转换成二维图像而得到，所述第一点云包括属性数据和几何数据；所述第一二维图像的属性数据从所述第一点云的属性数据中提取得到，所述第二二维图像的属性数据从第二点云的属性数据中提取得到，所述第一点云和第二点云不同。
本公开一实施例中，所述质量增强网络为卷积神经网络，如基于深度学习的卷积神经网络，用于对点云的属性数据进行质量增强。卷积神经网络通常包括输入层、卷积层、下采样层、全连接层和输出层。卷积神经网络的参数包括卷积层和全连接层的权值和偏置量等普通参数，还可以包括层数、学习率等超参数。通过对卷积神经网络进行训练可以确定卷积神经网络的参数。作为示例的，卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段。作为示例的，卷积神经网络的训练过程为：步骤一、网络进行权值的初始化；步骤二、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出数据(如输出值)；步骤三、求出网络的输出数据与目标数据(如目标值)之间的误差；步骤四、当误差大于设定的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差(各层的误差可以理解为对于网络的总误差由本层网络承担多少)。执行步骤五；如果误差等于或小于期望值，结束训练。步骤五、根据求得的误差进行权值更新。然后再进入到步骤二。
本公开一实施例中，所述第一点云通过对训练用点云集合中的第二点云进行编码和解码得到，所述编码为几何数据无损、属性数据有损编码。此实施例训练用点云集合中的第二点云可以视为属性数据无损的原始点云，因此可以作为质量增强网络训练时使用的目标数据，使得质量增强网络对属性有损的点云具备质量增强的效果。但是，第一点云并不需要是第二点云编码和解码后得到的，在本公开其他实施例中，第二点云可以是相对第一点云具有一种或多种视觉效果的点云，如美颜等，或者，第二点云也可以是第一点云经过去噪声、去模糊等其他处理后得到的点云，等等。
本公开一实施例中，所述第一二维图像中的点的属性数据等于所述第一点云中的对应点的属性数据；所述第二二维图像中的点的属性数据等于所述第二点云中的对应点的属性数据；所述第一二维图像中的点在所述第一点云中的对应点与对应第二二维图像中位置相同的点在所述第二点云中的对应点的几何数据相同。取例来说，从第一点云提取三维补丁并转换为二维图像后，假定是通过对第二点云(如原始点云序列)进行几何数据无损、属性数据有损编码(即几何无损、属性有损编码)和解码后得到第一点云，第二点云中的A 0点和第一点云中的A 1点的几何数据相同，属性数据可能不同(也可能相同)，第一点云上的A 1点映射为第一二维图像上的A 2点。A 2点的属性数据等于A 1点的属性数据，假定与所述第一二维图像对应的第二二维图像中相同位置上的点为A 3点，则A 3点在第二点云中的对应点为A 0点，且A 3点的属性数据等于第二点云中的A 0点的属性数据，而A 2点在第一点云中的对应点A 1点和A 3点在第二点云中的对应点A 0点的几何数据相同。
本公开一实施例中，所述从点云中提取多个三维补丁，包括：确定所述第一点云中的多个代表点；分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述第一点云中距离所述代表点最近的一个或多个点；及，基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。本实施例从点云中提取多个三维补丁的处理可以与本公开前述其他实施例描述的从点云中提取多个三维补丁的处理相同，不再重复说明。
本公开一实施例中，所述将提取的多个三维补丁转换成二维图像，包括：对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。在一示例中，所述三维补丁包括S 1×S 2个点，S 1、S 2为大于等于2的正整数；所述预定扫描方式包括以下一种或多种：光栅式扫描、回字形扫描、Z字形扫描，这些描述方式具体见上文的描述。所述预定方式有多种时，可以将按照所述多种预定扫描方式确定的多个二维图像均作为所述输入数据。以扩展训练数据集，取得更好的训练效果。
本公开一实施例中，所述质量增强网络对应于一个类别的点云；所述确定训练数据集，包括：使用所述类别的点云数据，确定所述质量增强网络的所述训练数据集。这样可为不同类别的点云训练不同的质量增强网络，更有针对性，可以提高对点云的质量增强效果。
本公开一实施例还提供了一种点云解码方法，如图9所示，包括：
步骤60，对点云码流进行解码，输出点云；
步骤70，从所述点云中提取多个三维补丁；
步骤80，将提取的多个三维补丁转换成二维图像；
步骤90，对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
本实施例中，所述属性数据包含亮度分量；所述对转换成的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换成的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。
本实施例中，所述从所述三维点云中提取多个三维补丁，包括：确定所述点云中的多个代表点；分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；及，基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
本实施例中，所述将提取的多个三维补丁转换成二维图像，包括：对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点，按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。在一个示例中，所述预定扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。
本实施例中，所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值；如果所述对应点的数量为0，不对该点在所述点云中的属性数据进行更新。
本实施例中，所述点云解码方法还包括：对所述点云码流进行解码，输出所述点云的至少一种质量增强参数；所述对所述点云进行质量增强，包括：根据解码输出的质量增强参数对所述点云进行质量增强；其中，所述质量增强网络参数可以包括以下参数中的至少一种：从点云中提取的三维补丁的数量；二维图像中的点的数量；二维图像中的点的排列方式；将三维补丁转换成二维图像时使用的扫描方式；质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；及，点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络，也就是说，不同的数据特征参数可以使用不同的质量增强网络进行质量增强。在一个示例中，所述数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。
本实施例质量增强所需的质量增强参数可部分或全部解码得到，例如点云的属性码流的码率(属于数据特征参数)。不能通过解码得到的质量增强参数可以通过本地检测得到(例如通过检测点云的纹理复杂度等信息来确定点云的类别)，或者通过配置得到(如在本地配置质量增强网络的参数)。在一个示例中，质量增强网络的参数也可以通过解析码流得到，在该示例中，质量增强网络的至少部分参数和其他需要编码的质量增强参数输入点云编码器进行编码后写入点云码流中，如图4所示。而质量增强网络的至少部分参数和其他需要编码的质量增强参数例如可以与点云数据一起保存在点云数据源装置中。本实施例基于从码流中解析出的质量增强参数对点云进行质量增强，这些码流中的质量增强参数可以是经过测试确定的对于第一点云进行质量增强的最佳参数。将这些参数和第一点云编码写入码流，可以解决解码端难以确定合适的质量增强参数或者难以实时确定合适的质量增强参数的问题，取得良好的质量增强效果。
图4所示解码侧设备2中的点云解码装置22可用于实现本实施例的点云解码方法。上述步骤70至步骤90对所述点云进行质量增强时，可以按照本公开任一实施例所述的质量增强方法对所述点云进行质量增强。
本实施例的一个示例中，在对所述点云进行质量增强的过程中，所述对转换成的二维图像的属性数据进行质量增强，包括：使用质量增强网络对转换成的所述二维图像的属性数据进行质量增强，所述质量增强网络的参数按照本公开任一实施例所述的确定质量增强网络参数的方法确定。在该示例中，所述质量增强网络的参数按照以下方法确定：确定训练数据集，所述训练数据集包括第一二维图像的集合及与所述第一二维图像对应的第二二维图像的集合；及，以所述第一二维图像为输入数据、所述第二二维图像为目标数据，对所述质量增强网络进行训练，确定所述质量增强网络的参数；其中，所 述第一二维图像通过从第一点云中提取一个或多个三维补丁、将提取的一个或多个三维补丁转换成二维图像而得到；所述第一二维图像的属性数据从所述第一点云的属性数据中提取得到，所述第二二维图像的属性数据从第二点云的属性数据中提取得到，所述第一点云和第二点云不同。在该示例中，所述第一点云通过对训练用点云集合中的第二点云进行编码和解码得到，所述编码为几何数据无损、属性数据有损编码；所述第一二维图像中的点的属性数据等于所述第一点云中的对应点的属性数据；所述第二二维图像中的点的属性数据等于所述第二点云中的对应点的属性数据；所述第一二维图像中的点在所述第一点云中的对应点与对应第二二维图像中位置相同的点在所述第二点云中的对应点的几何数据相同。
本公开一实施例还提供了一种点云解码方法，包括：对点云码流进行解码，得到点云和所述点云的至少一种质量增强参数；其中，所述质量增强参数用于在解码端按照如本公开任一实施例所述的质量增强方法对所述点云进行质量增强时使用。这些质量增强网络参数可以包括以下参数中的至少一种：从点云中提取的三维补丁的数量；二维图像中的点的数量；二维图像中的点的排列方式；将三维补丁转换成二维图像时使用的扫描方式；质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；及，点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络，也就是说，不同的数据特征参数可以使用不同的质量增强网络进行质量增强。
本公开一实施例还提供了一种点云编码方法，如图10所示，包括：
步骤810，从点云中提取多个三维补丁，其中，所述点云包括属性数据和几何数据；
步骤820，将提取的多个三维补丁转换成二维图像；
步骤830，对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据；
步骤840，对属性数据更新后的所述点云进行编码，输出点云码流。
在上述步骤810至830中，可以按照本公开任一实施例所述的点云的质量增强方法对点云进行质量增强。
本实施例中，所述属性数据包含亮度分量；所述对转换成的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换成的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。
本实施例中，所述从所述三维点云中提取多个三维补丁，包括：确定所述点云中的多个代表点；分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；及，基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
本实施例中，所述将提取的多个三维补丁转换成二维图像，包括：对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点，按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。在一个示例中，所述预定扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。
本实施例中，所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值；如果所述对应点的数量为0，不对该点在所述点云中的属性数据进行更新。
本实施例中，所述点云编码方法还包括：确定所述点云的第一质量增强参数，根据确定的所述第一质量增强参数对所述点云进行质量增强；其中，所述第一质量增强参数包括以下参数中的至少一种：从点云中提取的三维补丁的数量；二维图像中的点的数量；二维图像中的点的排列方式；将三维补丁 转换成二维图像时使用的扫描方式；质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络，所述数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。在一示例中，所述第一质量增强参数中的至少一种从所述点云的点云数据源装置获取得到。
本实施例中，所述点云编码方法还包括：获取第二质量增强参数；对所述第二质量增强参数进行编码，写入所述点云码流；其中，所述第二质量增强参数用于在解码端对所述点云码流解码后输出的点云进行质量增强时使用。第二质量增强参数可以从点云数据源装置或者其他设备获取。
本公开一实施例还提供了一种点云编码方法，如图11所示，包括：步骤510，获取第一点云以及第二点云的至少一种质量增强参数；步骤520，对所述第一点云和所述质量增强参数进行编码，输出点云码流；其中，所述质量增强参数用于在解码端按照如本公开任一实施例所述的质量增强方法对所述第二点云进行质量增强时使用，所述第二点云是解码端对所述点云码流解码后输出的点云。
本公开一实施例还提供了一种点云质量增强装置，如图12所示，包括处理器50以及存储有可在所述处理器上运行的计算机程序的存储器60，其中，所述处理器50执行所述计算机程序时实现如本公开任一实施例所述的质量增强方法。
本公开一实施例还提供了一种确定质量增强网络参数的装置，可参见图12，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的确定质量增强网络参数的方法。
本公开一实施例还提供了一种点云解码装置，可参见图12，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的点云解码方法。
本公开一实施例还提供了一种点云编码装置，可参见图12，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的点云编码方法。
本公开一实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的方法。
本公开一实施例还提供了一种点云码流，其中，所述码流根据如本公开任一实施例所述的编码方法生成，其中，所述码流中包括对第二点云进行质量增强所需的参数信息，所述第二点云是解码端对所述点云码流解码后输出的点云。
本公开一示例性的实施例针对运动图像专家组(MPEG：Moving Picture Experts Group)给出的点云标准编码平台TMC(以TMC13v9.0为例)下的几何无损、颜色有损的编码方式，提出一种质量增强方法，用于在解码端对失真后的点云进行数据恢复。TMC13v9.0编码平台提供了六个码率点，分别是r01～r06，对应的颜色量化步长分别为51、46、40、34、28和22。本实施例首先对原始的点云序列在r01码率下进行编码和解码，提取其亮度分量的值即Y值；然后针对不同类别的点云分别制作训练用数据集，送入该类别对应的质量增强网络进行训练。在测试阶段用训练好的质量增强网络对同样是r01码率下编码失真(即颜色有损)的其他点云序列进行质量增强。
制作训练数据集
在MPEG给出的所有测试序列中，挑选出带有颜色属性信息的点云序列，然后通过对每个点云序列的纹理复杂度的评估，将序列分为建筑物和人像类以分别进行训练和测试。
由于三维点云本身在三维空间分布的不规则性，为更好的在神经网络中提取其特征，本实施例从点云中提取三维补丁(patch)进行训练和测试，并将patch转换为二维图像送入卷积神经网络进行训练。具体来说，对于上述两个类别中用于训练的点云序列(即原始点云序列)，经几何无损、颜色有损编码、解码后得到颜色有损的点云序列后，通过FPS算法从每个颜色有损的点云序列采集pointNum个 代表点，pointNum是设定的每个序列中含有的代表点的个数，本实施例的pointNum＝256但本公开不局限于此，也可以是128、512、1024等其他设定值；接着，找出距每个代表点的欧式距离最近的SxS-1个点组成包括SxS个点的patch，并从点云的属性数据中提取出patch中所有点的Y值；然后，将提取的多个patch分别转换成SxS的二维图像。
本实施例的patch中含有的点的个数设置为1024，即patch中的数据最终被转化为32x32的二维形式送入质量增强网络。在将1024个点组成的patch转换成二维图像时，本实施例采用两种扫描方式：回字形扫描方式和光栅式扫描方式，但其他实施列也可以只采用一种扫描方式。这两种扫描方式也代表了将patch中的点映射到二维图像中时的两种排列方式。其中，回字形扫描方式见图7A，光栅式扫描方式可见图7B。如图所示，每种排列方式的起始点均为代表点(带有数字1的小方框)，在二维区域上扫描时，将patch中除代表点外的其他点按照到该代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到二维图像，其中，patch中距离代表点越近的点，在二维图像中的所述扫描的路径上距离代表点也越近，且所有点映射后的属性数据不变。本实施例对于每个patch均按照两种扫描方式进行转化，这也相当于做了数据增广，有利于提升训练效果。
上述转换成的二维图像(上文称为第一二维图像)用于作为训练时使用的输入数据，把转换成的二维图像中所有点的属性数据(如Y值)替换为该点在原始点云序列中的对应点的属性数据(即属性的真实值)，即可得到训练时作为目标数据使用的二维图像(上文称为第二二维图像)。假定转换成的二维图像中的A 2点由从颜色有损的点云序列中提取的三维补丁中的A 1点映射得到，则A 2点在原始点云序列中的对应点(A 0点)与A 1点具有相同的几何数据或者说具有相同的几何位置，A 0点的属性数据代表属性的真实值。
搭建并训练神经网络
本实施例采用卷积神经网络作为质量增强网络，该卷积神经网络一共设有N个卷积层，N＝20但本公开不局限于此，例如可以是N≥10的其他值。除了最后一个卷积层外，其他层每个卷积层后都加了激活函数，且为加快网络训练的速度，还添加了跳跃连接，该卷积神经网络的结构示意图如图13所示。在实施训练的时候，卷积神经网络的初始学习率设置为5e-4，且设置为等间隔调整学习率，优化器选择的是常用的Adam算法。通过训练可以确定卷积神经网络中使用的权重、偏置等参数。在其他实施例中，还可以通过验证数据集对该卷积神经网络层数、学习率等参数进行调整。
模型测试
在测试阶段，根据所测序列的纹理复杂情况确定点云的类别，选择所述类别对应的质量增强网络进行测试。具体的，对于用于测试的原始点云序列，首先经有损编码、解码后得到的颜色有损的点云序列，按照制作数据集时的方式将从颜色有损的点云序列提取多个patch并分别转换成二维图像，将转换成的二维图像送入训练好的卷积神经网络中进行质量增强。对于不同的patch中重复使用到的点，可以取该点在质量增强后的二维图像中的多个对应点的属性数据的加权平均值作为该点经质量增强后的属性数据，对于所有patch中均没有提取到的点，可以保持该点在颜色有损的点云序列中的属性数据不变，以得到最终的质量增强后的三维点云数据。
本实施例方法在MPEG给出的点云编码平台TMC13v9.0上进行，编码时选择几何无损、颜色属性为有损编码，颜色属性编码方式为区域自适应分层变换(RAHT：Region Adaptive Hierarchical Transform)，码率点选择在r01时，测试结果表示，针对建筑物类的训练模型选择的三个测试序列，使用卷积神经网络对解码后颜色有损的点云进行质量增强后，亮度分量的PSNR值相对于不进行质量增强时亮度分量的PSNR值分别提高0.14dB、0.1三维B、0.09dB。针对人像类的训练模型选择的四个序列，经质量增强后亮度分量的PSNR值分别提高0.28dB、0.17dB、0.3二维B、0.10dB，也即r01码率下亮度分量的PSNR值平均提高0.18dB，取得了质量增强的效果。
另外，本实施例在r02,r03,r04码率点下，针对每一种码率都训练了一个用于点云质量增强的卷积神经网络，并且也进行了测试，测试结果表示，r02码率下PSNR值平均提高0.19dB，r03码率下PSNR值平均提高0.17dB，r04码率下PSNR值平均提高0.1，这一数据说明本公开实施例有利于提升有损编码后的点云质量。
本公开上述实施例针对TMC13编码框架下几何无损、颜色有损的编码条件下得到的有损点云数据进行质量增强，利用深度学习方法在二维图像质量增强任务中的已有应用，将三维点云的质量增强问题转化为二维图像，作为三维空间中质量增强的解决方案，并提出了一个能够进行质量增强的网络 框架。本公开实施例用于点云质量增强的网络，可以根据目前二维图像中流行的去噪、去模糊、上采样等网络进行改进得到。
本公开实施例采用的训练数据集可以根据目前深度学习领域的三维点云数据库选择带有颜色的点云序列适当进行扩展，更多的数据集能够带来更好的增益。即所述训练用点云集合包括以下至少一种：动态图像专家组MPEG给出的带有颜色属性的点云(或称为点云序列)的集合；深度学习领域使用的点云数据库中带有颜色属性的点云(或称为点云序列)的集合。
在一或多个示例性实施例中，所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输，且由基于硬件的处理单元执行。计算机可读介质可包含对应于例如数据存储介质等有形介质的计算机可读存储介质，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何介质的通信介质。以此方式，计算机可读介质通常可对应于非暂时性的有形计算机可读存储介质或例如信号或载波等通信介质。数据存储介质可为可由一或多个计算机或者一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
举例来说且并非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它介质。而且，还可以将任何连接称作计算机可读介质举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双纹线、DSL或例如红外线、无线电及微波等无线技术包含于介质的定义中。然而应了解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它瞬时(瞬态)介质，而是针对非瞬时有形存储介质。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘或蓝光光盘等，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读介质的范围内。
可由例如一或多个数字信号理器(DSP)、通用微处理器、专用集成电路(ASIC)现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或多个电路或逻辑元件中。
本公开实施例的技术方案可在广泛多种装置或设备中实施，包含无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开实施例中描各种组件、模块或单元以强调经配置以执行所描述的技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或多个处理器)的集合结合合适软件和/或固件来提供。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (42)

  1. 一种点云的质量增强方法，包括：
    从点云中提取多个三维补丁，其中，所述点云包括属性数据和几何数据；
    将提取的多个三维补丁转换成二维图像；
    对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
  2. 如权利要求1所述的质量增强方法，其中:
    所述点云包括点云数据源装置输出的点云；或者
    所述点云包括点云解码器对点云码流进行解码后输出的点云。
  3. 如权利要求1所述的质量增强方法，其中:
    所述属性数据包含亮度分量；所述对转换成的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换成的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。
  4. 如权利要求1所述的质量增强方法，其中：
    所述从所述三维点云中提取多个三维补丁，包括：
    确定所述点云中的多个代表点；
    分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；
    基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
  5. 如权利要求4所述的质量增强方法，其中：
    所述确定所述点云中的一个或多个代表点，包括：使用最远点采样算法，从所述点云中选择一个或多个代表点。
  6. 如权利要求4所述的质量增强方法，其中：
    所述将提取的多个三维补丁转换成二维图像，包括：
    对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点，按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。
  7. 如权利要求6所述的质量增强方法，其中：
    所述三维补丁包括S 1×S 2个点，S 1、S 2为大于或等于2的正整数；
    所述预定扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。
  8. 如权利要求1所述的质量增强方法，其中：
    所述质量增强方法还包括：确定所述点云的质量增强参数，根据确定的所述质量增强参数对所述点云进行质量增强；
    其中，所述质量增强参数包括以下参数中的至少一种：
    从点云中提取的三维补丁的数量；
    二维图像中的点的数量；
    二维图像中的点的排列方式；
    将三维补丁转换成二维图像时使用的扫描方式；
    质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；
    点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络。
  9. 如权利要求8所述的质量增强方法，其中：
    所述点云的数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。
  10. 如权利要求1所述的质量增强方法，其中:
    所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：
    对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；
    如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；
    如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值。
  11. 如权利要求10所述的质量增强方法，其中:
    所述质量增强方法还包括：如果所述对应点的数量为0，不对该点在所述点云中的属性数据进行更新。
  12. 一种确定质量增强网络参数的方法，包括：
    确定训练数据集，其中，所述训练数据集包括第一二维图像的集合及与所述第一二维图像对应的第二二维图像的集合；
    以所述第一二维图像为输入数据、所述第二二维图像为目标数据，对所述质量增强网络进行训练，确定所述质量增强网络的参数；
    其中，所述第一二维图像通过从第一点云中提取一个或多个三维补丁、将提取的一个或多个三维补丁转换成二维图像而得到；所述第一二维图像的属性数据从所述第一点云的属性数据中提取得到，所述第二二维图像的属性数据从第二点云的属性数据中提取得到，所述第一点云和第二点云不同。
  13. 如权利要求12所述的方法，其中：
    所述第一点云通过对训练用点云集合中的第二点云进行编码和解码得到，所述编码为几何数据无损、属性数据有损编码。
  14. 如权利要求13所述的方法，其中：
    所述第一二维图像中的点的属性数据等于所述第一点云中的对应点的属性数据；所述第二二维图像中的点的属性数据等于所述第二点云中的对应点的属性数据；所述第一二维图像中的点在所述第一点云中的对应点与对应第二二维图像中位置相同的点在所述第二点云中的对应点的几何数据相同。
  15. 如权利要求12所述的方法，其中：
    所述从所述第一点云中提取多个三维补丁，包括：
    确定所述第一点云中的多个代表点；
    分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述第一点云中距离所述代表点最近的一个或多个点；
    基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
  16. 如权利要求15所述的方法，其中：
    所述将提取的多个三维补丁转换成二维图像，包括：对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。
  17. 如权利要求16所述的方法，其中：
    所述三维补丁包括S 1xS 2个点，S 1、S 2为大于等于2的正整数；
    所述预定扫描方式包括以下一种或多种：光栅式扫描、回字形扫描、Z字形扫描；其中，所述预定扫描方式有多种时，将按照所述多种预定扫描方式确定的多个二维图像均作为所述输入数据。
  18. 如权利要求12所述的方法，其中：
    所述质量增强网络是卷积神经网络，用于对点云的属性数据进行质量增强。
  19. 如权利要求12所述的方法，其中：
    所述质量增强网络对应于一个类别的点云；所述确定训练数据集，包括：使用所述类别的点云数据，确定所述质量增强网络的所述训练数据集。
  20. 一种点云解码方法，包括：
    对点云码流进行解码，输出点云，其中，所述点云包括属性数据和几何数据；
    从所述点云中提取多个三维补丁；
    将提取的多个三维补丁转换成二维图像；
    对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据。
  21. 如权利要求20所述的点云解码方法，其中:
    所述属性数据包含亮度分量；所述对转换成的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换成的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。
  22. 如权利要求20所述的点云解码方法，其中：
    所述从所述三维点云中提取多个三维补丁，包括：
    确定所述点云中的多个代表点；
    分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；
    基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
  23. 如权利要求22所述的点云解码方法，其中：
    所述将提取的多个三维补丁转换成二维图像，包括：
    对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点，按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。
  24. 如权利要求23所述的点云解码方法，其中：
    所述预定扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。
  25. 如权利要求20所述的点云解码方法，其中:
    所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：
    对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；
    如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；
    如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值；
    如果所述对应点的数量为0，不对该点在所述点云中的属性数据进行更新。
  26. 如权利要求20所述的点云解码方法，其中：
    所述点云解码方法还包括：对所述点云码流进行解码，输出所述点云的至少一种质量增强参数；
    所述对所述点云进行质量增强，包括：根据解码输出的质量增强参数对所述点云进行质量增强；
    其中，所述质量增强参数包括以下参数中的至少一种：
    从点云中提取的三维补丁的数量；
    二维图像中的点的数量；
    二维图像中的点的排列方式；
    将三维补丁转换成二维图像时使用的扫描方式；
    质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；
    点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络，所述数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。
  27. 如权利要求20所述的点云解码方法，其中：
    所述对转换成的二维图像的属性数据进行质量增强，包括：使用质量增强网络对转换成的所述二维图像的属性数据进行质量增强，所述质量增强网络的参数按照以下方法确定：
    确定训练数据集，其中，所述训练数据集包括第一二维图像的集合及与所述第一二维图像对应的第二二维图像的集合；
    以所述第一二维图像为输入数据、所述第二二维图像为目标数据，对所述质量增强网络进行训练，确定所述质量增强网络的参数；
    其中，所述第一二维图像通过从第一点云中提取一个或多个三维补丁、将提取的一个或多个三维补丁转换成二维图像而得到；所述第一二维图像的属性数据从所述第一点云的属性数据中提取得到，所述第二二维图像的属性数据从第二点云的属性数据中提取得到，所述第一点云和第二点云不同。
  28. 如权利要求27所述的点云解码方法，其中：
    所述第一点云通过对训练用点云集合中的第二点云进行编码和解码得到，所述编码为几何数据无损、属性数据有损编码；
    所述第一二维图像中的点的属性数据等于所述第一点云中的对应点的属性数据；所述第二二维图像中的点的属性数据等于所述第二点云中的对应点的属性数据；所述第一二维图像中的点在所述第一点云中的对应点与对应第二二维图像中位置相同的点在所述第二点云中的对应点的几何数据相同。
  29. 一种点云编码方法，包括：
    从点云中提取多个三维补丁，其中，所述点云包括属性数据和几何数据；
    将提取的多个三维补丁转换成二维图像；
    对转换成的二维图像的属性数据进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据；
    对属性数据更新后的所述点云进行编码，输出点云码流。
  30. 如权利要求29所述的点云编码方法，其中:
    所述属性数据包含亮度分量；所述对转换成的二维图像的属性进行质量增强，根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：对转换成的二维图像的亮度分量进行质量增强，根据质量增强后的所述二维图像的亮度分量更新所述点云的属性数据中包含的亮度分量。
  31. 如权利要求29所述的点云编码方法，其中：
    所述从所述三维点云中提取多个三维补丁，包括：
    确定所述点云中的多个代表点；
    分别确定所述多个代表点的最近邻点，其中，一个代表点的最近邻点指所述点云中距离所述代表点最近的一个或多个点；
    基于所述多个代表点和所述多个代表点的最近邻点构造多个三维补丁。
  32. 如权利要求31所述的点云编码方法，其中：
    所述将提取的多个三维补丁转换成二维图像，包括：
    对提取的所述三维补丁均按以下方式进行转换：以所述三维补丁中的代表点为起点，按照预定扫描方式在二维平面上扫描，将所述三维补丁中的其他点，按照到所述代表点的欧式距离由近到远的顺序映射到扫描的路径上，得到一个或多个二维图像，其中，所述三维补丁中距离所述代表点越近的点，在所述扫描的路径上距离所述代表点也越近，且所有点映射后的属性数据不变。
  33. 如权利要求32所述的点云编码方法，其中：
    所述预定扫描方式包括以下至少一种：回字形扫描、光栅式扫描、Z字形扫描。
  34. 如权利要求29所述的点云编码方法，其中:
    所述根据质量增强后的所述二维图像的属性数据更新所述点云的属性数据，包括：
    对所述点云中的点，确定该点在所述质量增强后的二维图像中的对应点；
    如果所述对应点的数量为1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据；
    如果所述对应点的数量大于1，将该点在所述点云中的属性数据设置为等于所述对应点的属性数据的加权平均值；
    如果所述对应点的数量为0，不对该点在所述点云中的属性数据进行更新。
  35. 如权利要求29所述的点云编码方法，其中：
    所述点云编码方法还包括：确定所述点云的第一质量增强参数，根据确定的所述第一质量增强参数对所述点云进行质量增强；
    其中，所述第一质量增强参数包括以下参数中的至少一种：
    从点云中提取的三维补丁的数量；
    二维图像中的点的数量；
    二维图像中的点的排列方式；
    将三维补丁转换成二维图像时使用的扫描方式；
    质量增强网络的参数，所述质量增强网络用于对所述二维图像的属性数据进行质量增强；
    点云的数据特征参数，所述数据特征参数用于确定对所述二维图像的属性数据进行质量增强时使用的质量增强网络，所述数据特征参数包含以下参数中的至少一种：所述点云的类别，所述点云的属性码流的码率。
  36. 如权利要求35所述的点云解码方法，其中：
    所述第一质量增强参数中的至少一种从所述点云的点云数据源装置获取得到。
  37. 如权利要求29所述的点云解码方法，其中：
    所述点云编码方法还包括：
    获取第二质量增强参数；
    对所述第二质量增强参数进行编码，写入所述点云码流；
    其中，所述第二质量增强参数用于在解码端对所述点云码流解码后输出的点云进行质量增强时使用。
  38. 一种点云质量增强装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求1至11中任一所述的质量增强方法。
  39. 一种确定质量增强网络参数的装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求12至19中任一所述的方法。
  40. 一种点云解码装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求20至28中任一所述的点云解码方法。
  41. 一种点云编码装置，包括处理器以及存储有可在所述处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如权利要求29或37所述的点云编码方法。
  42. 一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如权利要求1至37中任一所述的方法。
CN202180097152.6A 2021-04-28 2021-04-28 点云质量增强方法、编码和解码方法及装置、存储介质 Pending CN117337449A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/090753 WO2022226850A1 (zh) 2021-04-28 2021-04-28 点云质量增强方法、编码和解码方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN117337449A true CN117337449A (zh) 2024-01-02

Family

ID=83847716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180097152.6A Pending CN117337449A (zh) 2021-04-28 2021-04-28 点云质量增强方法、编码和解码方法及装置、存储介质

Country Status (3)

Country Link
US (1) US20240054685A1 (zh)
CN (1) CN117337449A (zh)
WO (1) WO2022226850A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058330B (zh) * 2023-10-11 2024-02-13 季华实验室 一种电力走廊三维重建方法、重建模型以及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678683B (zh) * 2016-01-29 2019-05-21 杭州电子科技大学 一种三维模型的二维存储方法
CN107578391A (zh) * 2017-09-20 2018-01-12 广东电网有限责任公司机巡作业中心 一种基于二维二值图像处理进行三维点云降噪的方法
US20200294270A1 (en) * 2019-03-15 2020-09-17 Industrial Technology Research Institute Patch extension method, encoder and decoder
CN111967484B (zh) * 2019-05-20 2024-06-11 长沙智能驾驶研究院有限公司 点云聚类方法、装置、计算机设备和存储介质
US11222409B2 (en) * 2019-05-22 2022-01-11 Nec Corporation Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
CN112509144A (zh) * 2020-12-09 2021-03-16 深圳云天励飞技术股份有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN112669230B (zh) * 2020-12-23 2022-07-08 天津博迈科海洋工程有限公司 基于卷积神经网络的点云数据去噪方法

Also Published As

Publication number Publication date
WO2022226850A1 (zh) 2022-11-03
US20240054685A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
US11328440B2 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
US11601488B2 (en) Device and method for transmitting point cloud data, device and method for processing point cloud data
US11580670B2 (en) Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
US20210006765A1 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
KR102633254B1 (ko) 학습된 비디오 압축을 위한 다중 스케일 광학 흐름
US20230342985A1 (en) Point cloud encoding and decoding method and point cloud decoder
US20240054685A1 (en) Point cloud decoding method, point cloud encoding method, and point cloud decoding device
EP4258671A1 (en) Point cloud attribute predicting method, encoder, decoder, and storage medium
CN115956363A (zh) 用于后滤波的内容自适应在线训练方法及装置
US20230377208A1 (en) Geometry coordinate scaling for ai-based dynamic point cloud coding
CN116250008A (zh) 点云的编码、解码方法、编码器、解码器以及编解码系统
CN116325732A (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
US20240121445A1 (en) Pre-analysis based image compression methods
US20240121395A1 (en) Methods and non-transitory computer readable storage medium for pre-analysis based resampling compression for machine vision
WO2023103565A1 (zh) 点云属性信息的编解码方法、装置、设备及存储介质
US20230082456A1 (en) Point cloud attribute prediction method and apparatus, and related device
EP4395321A1 (en) Point cloud encoding/decoding method, apparatus and device, and storage medium
WO2024065269A1 (zh) 点云编解码方法、装置、设备及存储介质
WO2022140937A1 (zh) 点云编解码方法与系统、及点云编码器与点云解码器
US20230051431A1 (en) Method and apparatus for selecting neighbor point in point cloud, encoder, and decoder
WO2022257150A1 (zh) 点云编解码方法、装置、点云编解码器及存储介质
CN117321991A (zh) 点云属性的预测方法、装置及编解码器
JP2023157502A (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
CN117121489A (zh) 点云编解码方法、编码器、解码器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination