CN114998699A - 一种压缩点云的失真恢复方法、装置及电子设备 - Google Patents

一种压缩点云的失真恢复方法、装置及电子设备 Download PDF

Info

Publication number
CN114998699A
CN114998699A CN202210651759.0A CN202210651759A CN114998699A CN 114998699 A CN114998699 A CN 114998699A CN 202210651759 A CN202210651759 A CN 202210651759A CN 114998699 A CN114998699 A CN 114998699A
Authority
CN
China
Prior art keywords
point cloud
features
compressed point
compressed
local texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210651759.0A
Other languages
English (en)
Inventor
高伟
张晓玉
廖桂标
李革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202210651759.0A priority Critical patent/CN114998699A/zh
Publication of CN114998699A publication Critical patent/CN114998699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及点云处理技术领域，具体提供了一种压缩点云的失真恢复方法、装置及电子设备，通过获取压缩点云；针对所述压缩点云进行多尺度采样，确定多组采样点云；将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。

Description

一种压缩点云的失真恢复方法、装置及电子设备
技术领域
本公开涉及点云处理技术领域，具体而言，涉及一种压缩点云的失真恢复方法、装置及电子设备。
背景技术
目前，随着虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)等3D研究领域的兴起，点云作为一种有效的3D表示形式变得流行起来。随着点云数据量的爆炸式增长，为了节省网络带宽和存储空间引入了点云压缩方法，其中，基于几何的点云压缩是一种比较成熟的点云数据编码方法。为了压缩点云，首先需要将世界坐标转换为内部坐标，量化位置，去除重复点。然后通过递归地细分立方体来构造八叉树，并且该立方体内的点由中心坐标表示。
与此同时，压缩后的点云具有以下特点：(1)位置偏移，这是量化和使用三次中心坐标的结果。(2)点数减少，这主要是由于位置量化和有限的递归深度造成的。此外，压缩点的数量取决于八叉树划分的结果，这导致不同输入点云的结果不同。进一步的，压缩引入了不需要的伪影，极大地降低了视觉质量，影响了分类和分割等高级视觉任务。因此，如何有效去除点云压缩所造成的伪影对于点云的高质量应用，仍是一个亟待解决的问题。
发明内容
本公开实施例至少提供一种压缩点云的失真恢复方法、装置及电子设备，可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。
本公开实施例提供了一种压缩点云的失真恢复方法，所述方法包括：
获取压缩点云；
针对所述压缩点云进行多尺度采样，确定多组采样点云；
将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；
根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；
将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
一种可选的实施方式中，所述将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征，具体包括：
将所述采样点云输入至预设的Transformer编码器进行编码，确定所述采样点云对应的粗略结构特征；
采用预设的多层感知器处理所述粗略结构特征，确定所述压缩点云对应的初步恢复点云；
将所述初步恢复点云与所述粗略结构特征输入至预设的Transformer解码器，确定所述压缩点云对应的精确结构特征。
一种可选的实施方式中，基于以下方法提取所述压缩点云对应的全局形状特征：
构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；
将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；
采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
一种可选的实施方式中，基于以下方法提取所述压缩点云对应的局部纹理特征：
构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；
将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；
采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
一种可选的实施方式中，所述图卷积网络基于以下方法确定所述压缩点云对应的部分局部纹理特征：
采用K近邻算法确定所述精确结构特征对应的多个邻居特征；
将所述邻居特征通过预设的多层感知器的处理，选取响应值最大的所述邻居特征作为所述压缩点云对应的部分局部纹理特征。
本公开实施例还提供一种压缩点云的失真恢复装置，所述装置包括：
获取模块，用于获取压缩点云；
分组模块，用于针对所述压缩点云进行多尺度采样，确定多组采样点云；
结构特征提取模块，用于将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；
分支复原模块，用于根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；
融合洗牌模块，用于将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
一种可选的实施方式中，所述结构特征提取模块具体用于：
将所述采样点云输入至预设的Transformer编码器进行编码，确定所述采样点云对应的粗略结构特征；
采用预设的多层感知器处理所述粗略结构特征，确定所述压缩点云对应的初步恢复点云；
将所述初步恢复点云与所述粗略结构特征输入至预设的Transformer解码器，确定所述压缩点云对应的精确结构特征。
一种可选的实施方式中，所述分支复原模块包括全局形状特征提取单元，所述全局形状特征提取单元用于：
构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；
将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；
采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
一种可选的实施方式中，所述分支复原模块包括局部纹理特征提取单元，所述局部纹理特征提取单元用于：
构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；
将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；
采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
一种可选的实施方式中，所述局部纹理特征提取单元还用于：
采用K近邻算法确定所述精确结构特征对应的多个邻居特征；
将所述邻居特征通过预设的多层感知器的处理，选取响应值最大的所述邻居特征作为所述压缩点云对应的部分局部纹理特征。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述压缩点云的失真恢复方法，或上述压缩点云的失真恢复方法中任一种可能的实施方式中的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述压缩点云的失真恢复方法，或上述压缩点云的失真恢复方法中任一种可能的实施方式中的步骤。
本公开实施例提供的一种压缩点云的失真恢复方法、装置及电子设备，通过获取压缩点云；针对所述压缩点云进行多尺度采样，确定多组采样点云；将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种压缩点云的失真恢复方法的流程图；
图2示出了本公开实施例所提供的一种压缩点云的失真恢复装置的示意图之一；
图3示出了本公开实施例所提供的一种压缩点云的失真恢复装置的示意图之二；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，为了压缩点云，首先需要将世界坐标转换为内部坐标，量化位置，去除重复点。然后通过递归地细分立方体来构造八叉树，并且该立方体内的点由中心坐标表示。与此同时，压缩后的点云具有以下特点：(1)位置偏移，这是量化和使用三次中心坐标的结果。(2)点数减少，这主要是由于位置量化和有限的递归深度造成的。此外，压缩点的数量取决于八叉树划分的结果，这导致不同输入点云的结果不同。进一步的，压缩引入了不需要的伪影，极大地降低了视觉质量，影响了分类和分割等高级视觉任务。因此，有效去除点云压缩所造成的伪影对于点云的高质量应用，是一个亟待解决的问题。
基于上述研究，本公开提供了一种压缩点云的失真恢复方法、装置及电子设备，通过获取压缩点云；针对所述压缩点云进行多尺度采样，确定多组采样点云；将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种压缩点云的失真恢复方法进行详细介绍，本公开实施例所提供的压缩点云的失真恢复方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该压缩点云的失真恢复方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种压缩点云的失真恢复方法的流程图，所述方法包括步骤S101～S105，其中：
S101、获取压缩点云。
在具体实施中，获取通过基于几何的点云压缩(G-PCC)方式压缩完成后的点云，G-PCC压缩后的点云会在压缩过程中引入不必要的伪影等失真情况，压缩后的点云会出现位置偏移、点数减少等不良影响，因此针对G-PCC压缩后的点云需要进行失真恢复处理，以得到质量较高的点云。
这里，点云的来源可以为通过测绘激光雷达、3D相机等三维扫描设备对物体表面采样所获取得到待压缩的点云，其中包含有反映被扫描物体表面特征的海量点数据集合。这些点云经过G-PCC压缩后即为本申请所述的压缩点云。
S102、针对所述压缩点云进行多尺度采样，确定多组采样点云。
在具体实施中，压缩点云在通过G-PCC压缩时，由于八叉树划分的结果不同，每个压缩点集的数量不同，由于Transformer模型中的二次内存复杂度，大输入点需要更多的计算资源，因此，为了更好地从不同失真水平下的不同压缩点云中提取结构特征，需要针对压缩点云进行多尺度采样分组，使其符合Transformer模型的可消耗计算需求。
这里，在针对所述压缩点云进行多尺度采样分组的过程中，有三个层次的点可供选择，训练时随机选择，测试时选择中间层次。之后，可以采用最远点采样(Farthest PointSampling，FPS)算法对压缩点云进行采样并馈送到预设的特征提取器。
具体的，可以基于以下公式对压缩点云进行最远点采样：
Figure BDA0003686384890000091
其中，Xs代表采样点云；
Figure BDA0003686384890000092
代表选定数量为M个点的FPS算法；Xi代表输入的压缩点云；
Figure BDA0003686384890000093
代表数域；C代表通道数。
这样，针对压缩点云进行多尺度采样以得到多组采样点云，可以通过控制采样点的数量来减少运行时内存消耗，同时，可以通过随机操作增加输入点云的多样性，从而提高整个网络的鲁棒性。
S103、将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征。
在具体实施中，为了应对多尺度输入和固定数量的点输出，需要将采样点云输入至预设的特征提取器，将输入的采样点云中的点映射到相同维度的特征空间，以确定压缩点云对应的精确结构特征。
需要说明的是，预设的特征提取器优选的为Transformer特征提取器。
作为一种可能的实施方式，当预设的特征提取器设置为Transformer特征提取器时，确定压缩点云对应的精确结构特征的方法可以包括以下步骤S1031-步骤S1033：
步骤S1031、将所述采样点云输入至预设的Transformer编码器进行编码，确定所述采样点云对应的粗略结构特征。
在具体实施中，Transformer特征提取器采用几何感知的Transformer编码器-解码器结构，可以通过建模长期依赖关系来提取压缩点云对应的结构特征，通过Transformer编码器对采样点云的编码处理，可以得到采样点云粗略的结构特征。
步骤S1032、采用预设的多层感知器处理所述粗略结构特征，确定所述压缩点云对应的初步恢复点云。
具体的，可以基于以下公式确定压缩点云对应的初步恢复点云：
Figure BDA0003686384890000094
其中，
Figure BDA0003686384890000101
代表Transformer编码器；Xs代表采样点云；
Figure BDA0003686384890000102
代表带有线性整流函数(Linear Rectification function，ReLU)激活的多层感知器(Multilayer Perceptron，MLP)；Xc代表初步恢复点云；
Figure BDA0003686384890000103
代表数域；C代表通道数。
需要说明的是，在采用预设的多层感知器处理粗略结构特征，确定压缩点云对应的初步恢复点云的过程中，需要结合预设的参考点云以及进行监督，其中，预设的参考点云可以根据实际需要进行设置，在此不做具体限制。
步骤S1033、将所述初步恢复点云与所述粗略结构特征输入至预设的Transformer解码器，确定所述压缩点云对应的精确结构特征。
在具体实施中，粗略结构特征与初步恢复点云通过Transformer解码器的处理后，得到被映射至固定维度的精确结构特征。
S104、根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征。
在具体实施中，在得到压缩点云对应的精确结构特征之后，本申请采用一个并行的双分支网络，分别提取压缩点云对应的全局形状特征以及局部纹理特征，以利用压缩点云的局部纹理特征和全局形状特征来更好地帮助恢复点云。
这里，全局形状特征可以反映点云中的点在压缩后的全局偏移情况，帮助校正点云中的点的位置，以避免点云在压缩过程中由于量化位置、世界坐标与中心坐标之间的坐标转换等原因导致的位置偏移，进而保证点云整体形状的保持和结构的合理性。而局部纹理特征可以帮助点云中的点进行扩展，以解决点云在压缩过程中由于位置量化以及有限的递归深度造成的点数减少的问题，同时局部纹理特征可以反映点云的纹理趋势，使扩展后的点满足详细纹理结构。
作为一种可能的实施方式，可以基于以下方法提取所述压缩点云对应的全局形状特征：构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
在具体实施中，全局形状特征提取网络可以由多个并行的极化自注意力(Polarized Self-Attention，PSA)网络组成，每个极化自注意力网络分别进行工作，通过聚合精确结构特征对应的关系邻域特征，输出压缩点云中不同的形状关系特征，之后通过预设的多层感知器将每个极化自注意力网络输出的形状关系特征进行融合，以得到压缩点云对应的全局形状特征。
优选的，全局形状特征提取网络中可以设置有两个并行的极化自注意力网络，通过以下公式确定压缩点云对应的全局形状特征：
Figure BDA0003686384890000111
其中，Fs代表全局形状特征；F代表精确结构特征；
Figure BDA0003686384890000112
代表带有线性整流函数激活的多层感知器；Pk代表极化自注意力网络内核，其邻居编号为k；
Figure BDA0003686384890000113
代表数域；C代表通道数；N代表点云中点的个数；r代表上采样的倍数。
进一步的，可以基于以下方法提取所述压缩点云对应的局部纹理特征：构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
在具体实施中，局部纹理特征提取网络可以由多个并行的图卷积网络组成，每个图卷积网络组成分别进行工作以输出反映压缩点云中不同纹理信息的部分局部纹理特征，之后通过预设的多层感知器将每个图卷积网络输出的部分局部纹理特征进行融合，以得到压缩点云对应的局部纹理特征。
这里，针对每个图卷积网络，可以采用K近邻算法(K-Nearest Neighbor，KNN)确定所述精确结构特征对应的多个邻居特征；将所述邻居特征通过预设的多层感知器的处理，选取响应值最大的所述邻居特征作为所述压缩点云对应的部分局部纹理特征。
具体的，可以基于以下公式计算部分局部纹理特征：
Figure BDA0003686384890000121
其中，
Figure BDA0003686384890000122
代表部分局部纹理特征；F代表精确结构特征；
Figure BDA0003686384890000123
代表带有线性整流函数激活的多层感知器；
Figure BDA0003686384890000124
代表带有参数k的K近邻算法，其邻居数为k。
进一步的，通过为不同的图卷积网络设置不同的邻居数k，通过预设的多层感知器将多个具体有不同邻居数k的图卷积网络输出的部分局部纹理特征进行融合，可以通过以下公式进行计算：
Figure BDA0003686384890000125
其中，Fg代表局部纹理特征；F代表精确结构特征；
Figure BDA0003686384890000126
代表带有线性整流函数激活的多层感知器；k1、k2代表K近邻算法中的不同邻居数；
Figure BDA0003686384890000127
代表数域；C代表通道数；N代表点云中点的个数；r代表上采样的倍数。
S105、将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
在具体实施中，提取到全局形状特征与局部纹理特征之后，可以使用加法运算将两者结合起来，并通过一组多层感知器进行融合，融合后的特征需要进行周期性的点云重排列，生成失真恢复完成后的恢复点云。
具体的，可以通过以下公式生成恢复点云：
Figure BDA0003686384890000131
其中，Xf代表恢复点云；Fs代表全局形状特征；Fg代表局部纹理特征；
Figure BDA0003686384890000132
代表带有线性整流函数激活的多层感知器；
Figure BDA0003686384890000133
为一个周期性改组运算符，可以将N×rC张量的元素重新排列成rN×C；
Figure BDA0003686384890000134
代表数域；C代表通道数；N代表点云中点的个数；r代表上采样的倍数。
这样，压缩点云中的点的个数可以扩张为原来的r倍。
本公开实施例提供的一种压缩点云的失真恢复方法，通过获取压缩点云；针对所述压缩点云进行多尺度采样，确定多组采样点云；将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与压缩点云的失真恢复方法对应的压缩点云的失真恢复装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述压缩点云的失真恢复方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图2和图3，图2为本公开实施例提供的一种压缩点云的失真恢复装置的示意图之一；图3为本公开实施例提供的一种压缩点云的失真恢复的示意图之二。如图2中所示，本公开实施例提供的失真恢复装置200包括：
获取模块210，用于获取压缩点云。
分组模块220，用于针对所述压缩点云进行多尺度采样，确定多组采样点云。
结构特征提取模块230，用于将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征。
分支复原模块240，用于根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征。
融合洗牌模块250，用于将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
可选的，如图3中所示，所述分支复原模块240还包括全局形状特征提取单元241以及局部纹理特征提取单元242，其中：
全局形状特征提取单元241用于：
构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；
将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；
采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
局部纹理特征提取单元242用于：
构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；
将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；
采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
一种可选的实施方式中，所述结构特征提取模块230具体用于：
将所述采样点云输入至预设的Transformer编码器进行编码，确定所述采样点云对应的粗略结构特征；
采用预设的多层感知器处理所述粗略结构特征，确定所述压缩点云对应的初步恢复点云；
将所述初步恢复点云与所述粗略结构特征输入至预设的Transformer解码器，确定所述压缩点云对应的精确结构特征。
一种可选的实施方式中，所述局部纹理特征提取单元242还用于：
采用K近邻算法确定所述精确结构特征对应的多个邻居特征；
将所述邻居特征通过预设的多层感知器的处理，选取响应值最大的所述邻居特征作为所述压缩点云对应的部分局部纹理特征。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例提供的一种压缩点云的失真恢复装置，通过获取压缩点云；针对所述压缩点云进行多尺度采样，确定多组采样点云；将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。可以有效去除点云在压缩过程中引入的压缩伪影，提高压缩点云的质量。
对应于图1中的压缩点云的失真恢复方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：
处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备400运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41执行图1中的压缩点云的失真恢复方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的压缩点云的失真恢复方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的压缩点云的失真恢复方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种压缩点云的失真恢复方法，其特征在于，包括：
获取压缩点云；
针对所述压缩点云进行多尺度采样，确定多组采样点云；
将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；
根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；
将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
2.根据权利要求1所述的方法，其特征在于，所述将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征，具体包括：
将所述采样点云输入至预设的Transformer编码器进行编码，确定所述采样点云对应的粗略结构特征；
采用预设的多层感知器处理所述粗略结构特征，确定所述压缩点云对应的初步恢复点云；
将所述初步恢复点云与所述粗略结构特征输入至预设的Transformer解码器，确定所述压缩点云对应的精确结构特征。
3.根据权利要求1所述的方法，其特征在于，基于以下方法提取所述压缩点云对应的全局形状特征：
构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；
将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；
采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
4.根据权利要求1所述的方法，其特征在于，基于以下方法提取所述压缩点云对应的局部纹理特征：
构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；
将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；
采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
5.根据权利要求4所述的方法，其特征在于，所述图卷积网络基于以下方法确定所述压缩点云对应的部分局部纹理特征：
采用K近邻算法确定所述精确结构特征对应的多个邻居特征；
将所述邻居特征通过预设的多层感知器的处理，选取响应值最大的所述邻居特征作为所述压缩点云对应的部分局部纹理特征。
6.一种压缩点云的失真恢复装置，其特征在于，包括：
获取模块，用于获取压缩点云；
分组模块，用于针对所述压缩点云进行多尺度采样，确定多组采样点云；
结构特征提取模块，用于将所述采样点云输入至预设的特征提取器，确定所述压缩点云对应的精确结构特征；
分支复原模块，用于根据所述精确结构特征，分别提取所述压缩点云对应的全局形状特征以及局部纹理特征；
融合洗牌模块，用于将所述全局形状特征与所述局部纹理特征融合后进行点云重排列，确定所述压缩点云对应的恢复点云。
7.根据权利要求6所述的装置，其特征在于，所述分支复原模块包括全局形状特征提取单元，所述全局形状特征提取单元用于：
构建由多个并行的极化自注意力网络组成的全局形状特征提取网络；
将所述精确结构特征输入至所述全局形状特征提取网络，由所述全局形状特征提取网络中的每个所述极化自注意力网络，确定所述压缩点云对应的形状关系特征，其中，多个所述极化自注意力网络之间选取有不同的邻居编号；
采用预设的多层感知器融合所述全局形状特征提取网络输出的多个形状关系特征，确定所述压缩点云对应的所述全局形状特征。
8.根据权利要求6所述的装置，其特征在于，所述分支复原模块包括局部纹理特征提取单元，所述局部纹理特征提取单元用于：
构建由多个并行的图卷积网络组成的局部纹理特征提取网络，其中，多个所述图卷积网络之间设置有不同的邻居数；
将所述精确结构特征输入至所述局部纹理特征提取网络，由所述局部纹理特征提取网络中的每个所述图卷积网络，确定所述压缩点云对应的部分局部纹理特征；
采用预设的多层感知器融合所述局部纹理特征提取网络输出的多个部分局部纹理特征，生成所述压缩点云对应的所述局部纹理特征。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5中任一项所述的压缩点云的失真恢复方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5中任一项所述的压缩点云的失真恢复方法的步骤。
CN202210651759.0A 2022-06-09 2022-06-09 一种压缩点云的失真恢复方法、装置及电子设备 Pending CN114998699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210651759.0A CN114998699A (zh) 2022-06-09 2022-06-09 一种压缩点云的失真恢复方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651759.0A CN114998699A (zh) 2022-06-09 2022-06-09 一种压缩点云的失真恢复方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114998699A true CN114998699A (zh) 2022-09-02

Family

ID=83033921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651759.0A Pending CN114998699A (zh) 2022-06-09 2022-06-09 一种压缩点云的失真恢复方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114998699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197063A (zh) * 2023-08-30 2023-12-08 深圳职业技术学院 基于多视角投影和transformer模型的点云质量评价方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197063A (zh) * 2023-08-30 2023-12-08 深圳职业技术学院 基于多视角投影和transformer模型的点云质量评价方法及相关产品

Similar Documents

Publication Publication Date Title
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
US20130114910A1 (en) Method for compressing/decompressing a three-dimensional mesh
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
WO2010144259A1 (en) Ultra-low dimensional representation for face recognition under varying expressions
EP2817783A1 (en) Method and apparatus for mesh simplification
CN111402412B (zh) 数据采集方法及装置、设备、存储介质
CN114782564B (zh) 一种点云的压缩方法、装置、电子设备及存储介质
CN110930503A (zh) 一种服装三维模型建立方法、系统、存储介质及电子设备
CN107203962B (zh) 一种利用2d图片制作伪3d图像的方法及电子设备
CN114998699A (zh) 一种压缩点云的失真恢复方法、装置及电子设备
CN102637304B (zh) 基于gpu的几何表面上各向同性/异性纹理合成方法
CN114785998A (zh) 一种点云的压缩方法、装置、电子设备及存储介质
CN112825199A (zh) 碰撞检测方法、装置、设备及存储介质
CN114119927A (zh) 一种倾斜摄影模型优化的模型处理方法及装置
Sarkar et al. 3d shape processing by convolutional denoising autoencoders on local patches
CN107644455B (zh) 人脸图像合成方法和装置
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN113298931A (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
WO2023071806A1 (zh) 先验空间的生成方法、装置、计算机设备、存储介质、计算机程序及计算机程序产品
CN111914106A (zh) 纹理与法线库构建方法、纹理与法线图生成方法及装置
CN115951778A (zh) 一种驱动虚拟人的方法、装置及相关设备
CN115888085A (zh) 游戏信息的处理方法、装置和存储介质
CN114973424A (zh) 特征提取模型训练、手部动作识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination