CN113628338A - 一种采样重建方法、装置、计算机设备及存储介质 - Google Patents

一种采样重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113628338A
CN113628338A CN202110813664.XA CN202110813664A CN113628338A CN 113628338 A CN113628338 A CN 113628338A CN 202110813664 A CN202110813664 A CN 202110813664A CN 113628338 A CN113628338 A CN 113628338A
Authority
CN
China
Prior art keywords
point cloud
sampling
layer
sub
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110813664.XA
Other languages
English (en)
Inventor
李镇
颜旭
赵伟兵
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiyu Biotechnology Co ltd
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202110813664.XA priority Critical patent/CN113628338A/zh
Publication of CN113628338A publication Critical patent/CN113628338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云进行自适应采样得到子点云和服从特定分布的嵌入；从所述特定分布中随机采样一个嵌入，连同所述子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。PointLIE把丢失的点中蕴含的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当需要重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程自适应地采样出的子点云一起反向通过网络即可。

Description

一种采样重建方法、装置、计算机设备及存储介质
技术领域
本发明实施例技术计算机技术领域，尤其是一种采样重建方法、装置、计算机设备及存储介质。
背景技术
近来，作为3D数据的基本表征形式，由各种深度扫描仪或LiDAR传感器收集的点云已应用于各种领域，例如自动驾驶，文化遗产重建和3D沉浸式远程呈现。但是，随着3D数据采集能力的提高，每秒可以生成千兆字节的原始点云数据(例如Velodyne HDL-64E每秒可以收集多达220万个点)。因此，由于对功耗，计算成本和通信负载的巨大需求，很难直接处理大规模的点云数据。点云采样和恢复(PCSR)任务旨在从密集点云中采样出有意义的点，以压缩原始点云的规模，同时保留被丢弃点的局部拓扑以供将来重建，这对于大规模实时点云收集和处理至关重要。
目前与本发明最接近的现有技术是单独做下采样和上采样任务的方法。做采样的方法主要有均匀采样的最远点采样FPS，FPS没有考虑到对采样点的后续处理和下游任务，所以会导致非最优的结果。最近有一些自适应采样的方法同时考虑了采样和下游任务，比如通过与任务相关的损失函数提高下游任务的结果。但是他们只是通过增加了下游任务的损失函数来提高重建效果，却没有考虑到丢失的点中的几何信息。上采样旨在增加点云分布的稠密度和均匀度，做上采样的方法主要有PU-Net、3PU、PU-GAN。PU-Net是第一个用于上采样的网络，它通过PointNet++提取逐点的特征，然后在特征空间把每个点的特征扩展到多个点，从而重建出一个上采样版本的点集。3PU是一个多步的逐级网络，它可以在多步中学习不同水平的特征。但是因为它多级的特点，3PU需要大量的计算和更多的数据来监督中间层的输出。PU-GAN利用生成对抗学习来更好地学习上采样点云的分布。但是上采样是一个病态问题，因为降采样的点云会对应多种可行的稠密点云，而现有的基于深度学习的上采样方法都是直接通过学习从稀疏点云到稠密点云的映射来建模这一不确定的问题，因此现在的上采样方法无法生成可信的完整的重建结果，因为忽略了采样过程中损失的珍贵信息。
之前的一系列方法，主要有三个缺陷：(1)现有的工作都是分开研究采样和上采样这两个任务；(2)因为没有利用到采样过程中损失的信息，现有的压缩或者上采样方法很难重建出真实的稠密点云。(3)传统的压缩任务是把点云压缩成一个不能观察的编码，再还原出稠密的点云，因此这个编码不能被用于实时回显，也不能被用到下游任务做快速处理或测试。
发明内容
为解决上述技术问题，本发明创造的实施例提供一种采样重建方法，包括：
获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定特定分布的嵌入；
从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
进一步地，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
进一步地，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
进一步地，所述利用预设的分解模块将所述点云特征分解为原始子点云特征和原始特征偏移，包括：
利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；
从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；
计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
进一步地，所述输入至所述PointLIE中进行自适应采样的最后一个RescaleLayer中，以及按照所述多个Rescale Layer自适应采样的反向顺序将采样出的子点和采样出的嵌入进行反向重建，包括：
将所述子点云和所述嵌入输入至所述最后一个Rescale Layer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；
将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个Rescale Layer中的分解模块进行合并重建出子点云特征和特征偏移；
按照所述多个Rescale Layer自适应采样的反向顺序进行重建直至所述PointLIE中每个Rescale Layer完成重建为止。
为解决上述问题，本发明提供一种影像数据处理装置，包括：
获取模块，用于获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；
处理模块，用于从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
执行模块，用于将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
进一步地，所述获取模块包括：
第一处理子模块，用于所述多个Rescale Layer中处于首位的第一层RescaleLayer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
第二处理子模块，用于按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
第三处理子模块，用于处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的RescaleLayer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
进一步地，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述处理模块包括：
第四处理子模块，用于利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
第五处理子模块，用于通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
进一步地，所述第四处理子模块包括：
第一获取子模块，用于利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；
第二获取子模块，用于从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；
第一执行子模块，用于计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
进一步地，所述执行模块，包括：
第三获取子模块，用于将所述子点云和所述嵌入输入至所述最后一个RescaleLayer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；
第四获取子模块，用于将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个Rescale Layer中的分解模块进行合并重建出子点云特征和特征偏移；
第二执行子模块，用于按照所述多个Rescale Layer自适应采样的反向顺序进行重建直至所述PointLIE中每个Rescale Layer完成重建为止。
本发明实施例的有益效果是：PointLIE通过双向学习把采样和上采样建模进同一个网络的两个方向。在采样的过程中，PointLIE可以采样出任意尺度的可观察的、对重建友好的子点云，同时递归地保留到被丢弃点的偏移。当需要被复原的时候，这些被采样出来的子点云可以被用来更好地重建出原始的稠密点云。受可逆神经网络(INN)的启发，基于INN的网络框架以减少对点云的存储需求，具体而言，PointLIE把丢失的点的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程采样出的子点云一起反向通过网络即可。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的采样重建方法的流程示意图；
图2为本发明实施例提供的一种流程示意图；
图3为本发明实施例提供的一种采样流程示意图；
图4为本发明实施例提供的再一种采样流程示意图；
图5为本发明实施例提供的一种重建流程示意图；
图6为本发明实施例提供的重建图像；
图7为本发明实施例提供的采样重建装置基本结构框图；
图8为本发明实施例提供的计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供一种影像数据处理方法，如图1所示，该方法具体包括如下步骤：
S110、获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；
S120、从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
S130、将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
本发明实施例PointLIE通过双向学习把采样和上采样建模进同一个网络的两个方向。在采样的过程中，PointLIE可以采样出任意尺度的可观察的、对重建友好的子点云，同时递归地保留到被丢弃点的偏移。当需要被复原的时候，这些被采样出来的子点云可以被用来更好地重建出原始的稠密点云。受可逆神经网络(INN)的启发，基于INN的网络框架以减少对点云的存储需求，具体而言，PointLIE把丢失的点的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程采样出的子点云一起反向通过网络即可。
本发明实施例，如图2所示，PointLIE将采样和重建过程整合到同一个网络中，在该网络中，前向路径将密集点云转换为稀疏点云和与实例无关的潜变量，即嵌入。在用于重建的反向路径中，PointLIE将从这个特定的分布中随机采一个变量，和下采样的子点云一起重建出一个稠密的点云。
本发明提供一种全新的局部可逆嵌入的框架PointLIE来对点云进行采样和上采样，以高效地存储和可视化中间采样的点云、和完整和准确的复原。PointLIE通过双向学习把采样和上采样建模进同一个网络的两个方向。在采样的过程中，PointLIE可以采样出任意尺度的可观察的、对重建友好的子点云，同时递归地保留到被丢弃点的偏移。当需要被复原的时候，这些被采样出来的子点云可以被用来更好地重建出原始的稠密点云。受可逆神经网络(INN)的启发，基于INN的网络框架以减少对点云的存储需求，具体而言，PointLIE把丢失的点的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程采样出的子点云一起反向通过网络即可。大量的实验证明PointLIE在定性指标和定量指标上都明显优于最新的采样和上采样技术。
本发明实施例提供一种利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
步骤一、所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
步骤二、按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
步骤三、处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
具体地，PointLIE用于PCSR任务的整体双向流程，PointLIE的整体结构包含了s个Rescale Layer，其中每一个Rescale Layer包含了一个分解模块和M个PI Blocks。每一个Rescale Layer把尺寸为(N,d)的点云特征当做输入，然后采样出尺寸为(N/2,d)的特征和尺寸为(N/2,d×k)的到k近邻的特征偏移。然后我们在通道维度连接这两个输出从而产生新的点云特征，这个新的点云特征会被输入到下一个Rescale Layer。最后一个RescaleLayer生成出的
Figure BDA0003169415280000101
和
Figure BDA0003169415280000102
就是PointLIE自适应地采样出来的子点云
Figure BDA0003169415280000103
和嵌入(embedding)z。
本发明的一个实施例中，由于每个所述Rescale Layer中包括分解模块和多个点云可逆模块，则利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
步骤一、利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
其中，利用预设的分解模块将所述点云特征分解为原始子点云特征和原始特征偏移，包括：
利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
具体地，如图3所示，在采样的过程中，分解模块可以把输入的点云特征分解成采到的子点云和丢失的点中蕴含的几何信息。具体而言，对于尺寸是(N，d)的输入点云的特征，先用最远点采样FPS从中选出
Figure BDA0003169415280000111
的点，并把剩余的
Figure BDA0003169415280000112
个点称为被丢弃的点。为了使网络保存丢失的点中蕴含的信息，对于被采出来的子点云Qs中的每一个点qi∈Qs，我们在被丢弃的点中找它们各自的k个最近的邻居，并把qi到其k近邻的空间距离偏移记作Qr。分解模块输出两支路的特征，即尺寸为
Figure BDA0003169415280000113
的特征偏移
Figure BDA0003169415280000114
和尺寸为
Figure BDA0003169415280000115
的采出来的子点云特征
Figure BDA0003169415280000116
通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
具体地，为了更好地表征两个支路的特征，我们设计了一个点云可逆模块(PIBlock)新特征。如图3所示，每一个PI Block接收两支的输入，即
Figure BDA0003169415280000121
采样的子点云特征
Figure BDA0003169415280000122
和它们的k近邻
Figure BDA0003169415280000123
然后通过公式(1)(2)生成更新后的特征
Figure BDA0003169415280000124
Figure BDA0003169415280000125
Figure BDA0003169415280000126
其中l表示通过第l个PI Block，
Figure BDA0003169415280000127
是三个独立的非线性的变换。对于
Figure BDA0003169415280000128
知
Figure BDA0003169415280000129
我们用了几个convld和非线性的激活层；对于
Figure BDA00031694152800001210
我们用[5]中的紧密连接的特征提取器。PI Block只用来逐渐增强对两个支路的表征，PI Block输入和输出的尺寸保持不变。
如图4所示，PointLIE的整个可逆的框架由s个Rescale Layer构成，当我们在处理r倍采样和下采样的点云采样和复原任务(PCSR)时，
Figure BDA00031694152800001211
其中，每个RescaleLayer由一个分解模块(Decomposition Module)和M个Point Invertible Blocks(PIBlocks)构成。
首先定义如下符号方便后续描述：
r：采样或上采样的倍数；
Figure BDA00031694152800001212
稠密点云的金标准；
Figure BDA00031694152800001213
预测的稠密点云；
Figure BDA00031694152800001214
稀疏点云的金标准；
Figure BDA00031694152800001215
预测的稀疏点云；
z：潜变量；
p(z)：特定的分布，本文中为高斯分布；
z*：从p(z)中采样出的潜变量；
fθ(·)：正向通过PointLIE；
Figure BDA00031694152800001216
反向通过PointLIE；
s：Rescale Layer的层数，
Figure BDA0003169415280000131
本发明的一个实施例，输入至所述PointLIE中进行自适应采样的最后一个Rescale Layer中，以及按照所述多个Rescale Layer自适应采样的反向顺序将提取的子点和嵌入进行反向重建，包括：
步骤一、将所述子点云和所述嵌入输入至所述最后一个Rescale Layer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；
步骤二、将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个Rescale Layer中的分解模块进行合并重建子点云特征和特征偏移；
步骤三、按照所述多个Rescale Layer自适应采样的反向顺序进行重建直至所述PointLIE中每个Rescale Layer完成重建为止。
具体地，为了重建出原始的稠密点云，用自适应采样出来的点集
Figure BDA0003169415280000132
和从p(z)随机取出的嵌入z*(z*～p(z))当做PointLIE反向的输入，即依次通过Rescale Layer s，s-1，...1，如图4的灰色虚箭头所示，在每一个Rescale Layer的内部，也会以反方向流动，即依次通过PI Block M，M-1，...，1，分解模块。PI Block和分解模块的反向流程如图5所示，在方向过程中，第l+1个PI Block旨在复原出输入到第l个PI Block的偏移
Figure BDA0003169415280000133
和采样出来的特征
Figure BDA0003169415280000134
反向过程如公式(3)(4)和图4所示，
Figure BDA0003169415280000135
Figure BDA0003169415280000136
当反向通过M个PI Blocks之后，输出
Figure BDA0003169415280000137
和
Figure BDA0003169415280000138
会被输入到分解模块的反向流程中。如图5所示，我们会把
Figure BDA0003169415280000139
在特征维度均分成k份，即把特征偏移变成k个尺寸为(N/2，d)的特征，表示N/2个点各自到其k近邻的距离偏移。因此我们把k个尺寸为(N/2,d)的特征分别加到
Figure BDA0003169415280000141
上得到((k+1)N/2,d)个点(包含
Figure BDA0003169415280000142
本身)，然后我们从(k+1)个点中用FPS均匀采样出N个点，实现点数加倍。
本发明在PU-147[1]上训练和测试，我们使用了官方的120/27的训练集和测试集的划分。在定量指标如表格1，和定性指标，如图6，都超过了最先进的自适应采样和上采样方法。先用不同的采样方法，比如FPS和可学习的采样方法来把金标准点云下采样不同的倍数，比如4,8,16倍，然后比较不同上采样方法的重建结果。如图6所示，可以重建出更好更真实的细节，比如雕像的手、鸟的爪子和龙的角。
表格1.定量实验结果
Figure BDA0003169415280000143
本发明实施例中点云的采样和复原任务可以在无人驾驶、无人机测绘等收集大规模点云、需要节省存储空间、实时回显点云场景、快速进行下游任务的应用场景中有着广泛的应用，例如，以下应用：
传输和存储大规模的点云，随着采集点云的设备的进步，现有的设备每秒可以收集到百万级数据量的点云(比如Velodyne HDL-64E每秒最多可以收集220万的点云)，这对传输和存储都产生了巨大的压力，因为点云的采样和还原任务可以帮助缓解对通讯带宽、存储容量、计算力的巨大需要。该算法可以部署在移动端，在传输中，运营商可以选择传输降采样后的点云然后通过该算法在远端进行稠密的点云重建来减少网络的负荷，即将稠密点云转稀疏的点云传输。
实时显示大规模的点云场景，无人机在航拍地貌的时候，可以采集到大规模的点云数据，点云的采样和还原可以帮助在屏幕上实时显示、建模出收集到的点云所构建出的地貌；如果想要看更细致的点云地貌，我们的算法可以后续帮助重建出完整、稠密的地貌。
快速进行下游任务的测试，无人驾驶的场景需要对收集到的点云进行实时的物体检测或者分割，这对移动端的计算力产生了很大的压力，因此我们的点云采样和还原任务可以帮助移动端进行实时的点云分类、目标检测、分割等下游任务。
如图7所示，为了解决上述问题，本发明实施例还提供一种采样重建装置，包括：获取模块2100，用于获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；处理模块2200，用于从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；执行模块2300，用于将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
在一些实施例中，所述获取模块包括：第一处理子模块，用于所述多个RescaleLayer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；第二处理子模块，用于按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；第三处理子模块，用于处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
在一些实施例中，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述处理模块包括：第四处理子模块，用于利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；第五处理子模块，用于通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
在一些实施例中，所述第四处理子模块包括：第一获取子模块，用于利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；第二获取子模块，用于从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；第一执行子模块，用于计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
在一些实施例中，所述执行模块，包括：第三获取子模块，用于将所述子点云和所述嵌入输入至所述最后一个Rescale Layer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；第四获取子模块，用于将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个Rescale Layer中的分解模块进行合并重建出子点云特征和特征偏移；第二执行子模块，用于用于按照所述多个RescaleLayer自适应采样的反向顺序进行重建直至所述PointLIE中每个Rescale Layer完成重建为止。
本发明提供一种全新的局部可逆嵌入的框架PointLIE来对点云进行采样和上采样，以高效地存储和可视化中间采样的点云、和完整和准确的复原。PointLIE通过双向学习把采样和上采样建模进同一个网络的两个方向。在采样的过程中，PointLIE可以采样出任意尺度的可观察的、对重建友好的子点云，同时递归地保留到被丢弃点的偏移。当需要被复原的时候，这些被采样出来的子点云可以被用来更好地重建出原始的稠密点云。受可逆神经网络(INN)的启发，基于INN的网络框架以减少对点云的存储需求，具体而言，PointLIE把丢失的点的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程采样出的子点云一起反向通过网络即可。大量的实验证明PointLIE在定性指标和定量指标上都明显优于最新的采样和上采样技术。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
如图8所示，计算机设备的内部结构示意图。如图8所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种图像处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图7中获取模块2100、处理模块2200和执行模块2300的具体内容，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有图像处理方法中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述图像处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于点云采样和重建的方法，其特征在于，包括：
获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；
从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
2.根据权利要求1所述的采样重建方法，其特征在于，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
3.根据权利要求1所述的点云采样和重建方法，其特征在于，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
4.根据权利要求1所述的采样和重建方法，其特征在于，所述利用预设的分解模块将所述点云特征分解为原始子点云特征和原始特征偏移，包括：
利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；
从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；
计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
5.根据权利要求3所述的采样和重建方法，其特征在于，所述输入至所述PointLIE中进行自适应采样的最后一个Rescale Layer中，以及按照所述多个Rescale Layer自适应采样的反向顺序将采样到的子点云和嵌入进行反向重建，包括：
将所述子点云和所述嵌入输入至所述最后一个Rescale Layer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；
将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个RescaleLayer中的分解模块进行合并重建出子点云特征和特征偏移；
按照所述多个Rescale Layer自适应采样的反向顺序进行重建直至所述PointLIE中每个Rescale Layer完成重建为止。
6.一种影像数据处理装置，其特征在于，包括：
获取模块，用于获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；
处理模块，用于从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个RescaleLayer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
执行模块，用于将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
7.根据权利要求6所述的采样和重建装置，其特征在于，所述获取模块包括：
第一处理子模块，用于所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
第二处理子模块，用于按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
第三处理子模块，用于处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的RescaleLayer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
8.根据权利要求6所述的采样和重建装置，其特征在于，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述处理模块包括：
第四处理子模块，用于利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
第五处理子模块，用于通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项权利要求所述图像处理方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项权利要求所述图像处理方法的步骤。
CN202110813664.XA 2021-07-19 2021-07-19 一种采样重建方法、装置、计算机设备及存储介质 Pending CN113628338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110813664.XA CN113628338A (zh) 2021-07-19 2021-07-19 一种采样重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110813664.XA CN113628338A (zh) 2021-07-19 2021-07-19 一种采样重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113628338A true CN113628338A (zh) 2021-11-09

Family

ID=78380113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813664.XA Pending CN113628338A (zh) 2021-07-19 2021-07-19 一种采样重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113628338A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292155A (zh) * 2022-06-22 2022-11-04 广州汽车集团股份有限公司 测试用例生成方法、装置以及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN112258626A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于图像级联生成稠密点云的三维模型生成方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN112258626A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于图像级联生成稠密点云的三维模型生成方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIZHEN LIU; WENTAO WANG AND MAOHONG ZHANG: ""The Quality Assessment of Student Learning Based on Cloud Model"", 《JOURNAL OF SOFTWARE 7 (3)》, 31 December 2012 (2012-12-31), pages 588 - 93 *
WEIBING ZHAO ET AL.: ""PointLIE: Locally Invertible Embedding for Point Cloud Sampling and Recovery"", 《ARXIV.ORG》, 30 April 2021 (2021-04-30), pages 1 - 14 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292155A (zh) * 2022-06-22 2022-11-04 广州汽车集团股份有限公司 测试用例生成方法、装置以及车辆
CN115292155B (zh) * 2022-06-22 2024-01-16 广州汽车集团股份有限公司 测试用例生成方法、装置以及车辆

Similar Documents

Publication Publication Date Title
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
Chen et al. The face image super-resolution algorithm based on combined representation learning
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
EP4432215A1 (en) Image processing method and device
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN113538235A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN111741329A (zh) 一种视频处理方法、装置、设备及存储介质
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN113628338A (zh) 一种采样重建方法、装置、计算机设备及存储介质
CN117651144A (zh) 基于深度学习的建筑物点云压缩方法及系统
CN116503420B (zh) 一种基于联邦学习的图像分割方法及相关设备
CN117009125A (zh) 一种故障检测方法、装置、电子设备及存储介质
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN115810152A (zh) 基于图卷积的遥感图像变化检测方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230602

Address after: Building 1, Hengtai Yu Building, Tangwei Community, Fenghuang Street, Guangming District, Shenzhen City, Guangdong Province, 518000, 504

Applicant after: Shenzhen Zhiyu Biotechnology Co.,Ltd.

Address before: No. 2001, Longxiang Avenue, Longgang District, Shenzhen, Guangdong 518000

Applicant before: THE CHINESE University OF HONGKONG SHENZHEN

TA01 Transfer of patent application right