CN116630573A - 一种基于反馈机制的点云上采样方法、装置及存储介质 - Google Patents

一种基于反馈机制的点云上采样方法、装置及存储介质 Download PDF

Info

Publication number
CN116630573A
CN116630573A CN202310505766.4A CN202310505766A CN116630573A CN 116630573 A CN116630573 A CN 116630573A CN 202310505766 A CN202310505766 A CN 202310505766A CN 116630573 A CN116630573 A CN 116630573A
Authority
CN
China
Prior art keywords
point cloud
feedback
module
upsampling
time step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310505766.4A
Other languages
English (en)
Inventor
卢莉
王瑄
阎鸿禹
王琳娜
叶庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310505766.4A priority Critical patent/CN116630573A/zh
Publication of CN116630573A publication Critical patent/CN116630573A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于反馈机制的点云上采样方法、装置及存储介质。该方法包括：将原始点云输入训练好的点云上采样模型，点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；级联反馈网络包括多个级联的反馈上采样模块，在相邻反馈上采样模块之间还连接有FPS模块，FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。通过时间步长和前馈信息流将高层信息与低层信息融合，能在时间步长上细化稀疏点云，进而得到具有代表性的精细点云。

Description

一种基于反馈机制的点云上采样方法、装置及存储介质
技术领域
本发明涉及计算机视觉中点云处理技术领域，尤其涉及一种基于反馈机制的点云上采样方法、装置及存储介质。
背景技术
点云广泛应用于3D重建和计算机视觉应用，包括自动驾驶、增强现实和机器人。然而，扫描设备获取的点云往往存在局限性和噪声问题，导致数据不规则和稀疏，密度和采样间隔不同。正如在KITTI和ScanNet等公共基准数据集中观察到的那样，这些不规则性会严重阻碍点云处理和分析的有效性。因此，将稀疏、不规则的点云处理成密集、规则的点集是提高点云质量的关键。
点云上采样是一种将不规则点云转换为规则点云的技术。点云处理方法加速了点云上采样技术的发展。PU-Net提出了一个经典的框架，包括特征提取、特征扩展和坐标重构三个部分。后续与点云上采样相关的工作，大多采用了这个框架。例如，PU-GCN将图卷积网络用于特征提取，而其上采样模块基于NodeShuffle，实验证明其性能优于PU-GAN。PU-EVA引入了基于边缘向量的近似上采样模块，利用邻域点和最大池化保证点的均匀性。最近，PUCRN提出了一种用于点云上采样的级联细化网络，该网络采用基于变压器的特征提取模块来学习全局和局部形状上下文。
但是，这些点云上采样方法都是基于前馈网络的，其中信息仅从低级流向高级，导致损失了大量的高层有用信息。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，提供一种基于反馈机制的点云上采样方法、装置及存储介质。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于反馈机制的点云上采样方法，包括：获取原始点云，将原始点云输入训练好的点云上采样模型，所述点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；所述级联反馈网络包括多个级联的反馈上采样模块，且在相邻反馈上采样模块之间还连接有FPS模块，所述FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种基于反馈的点云上采样装置，包括：输入模块，用于获取原始点云；点云上采样模块，将原始点云输入训练好的点云上采样模型，所述点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；所述级联反馈网络包括多个级联的反馈上采样模块，且在相邻反馈上采样模块之间还连接有FPS模块，所述FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面所述的基于反馈机制的点云上采样方法。
上述技术方案：本文采用多个级联的反馈上采样模块通过时间步长迭代来获取最终的上采样点云，点云上采样模型采用的级联反馈网络除了反馈上采样模块之间的前馈信息外，还包含从上层流向下层的反馈信息，通过时间迭代引入反馈机制，随着时间的增加，反馈信息从第t步回流到第t步，高层在第t-1步的输出具有精细的信息，将高层信息与低层信息融合在一起，可以帮助低层特征在第t步产生更细粒度的超分辨率点云，通过时间步长和前馈信息流，反馈上采样模块逐渐细化其输出，可以很容易地在时间步长上细化稀疏点云，进而得到具有代表性的精细点云。
附图说明
图1是本发明实施例1中的基于反馈机制的点云上采样方法的流程示意图；
图2是本发明实施例1中级联反馈网络的结构示意图；
图3是本发明实施例1中反馈上采样模块的结构示意图；
图4是本发明实施例1的点云上采样模型与现有模型在PU1K数据集上的定量测量结果；
图5是本发明实施例1的点云上采样模型与现有模型在PU-GAN数据集上的定量测量结果；
图6是本发明实施例1的点云上采样模型与现有模型输入1024点的PU-GAN数据集上的可视化结果。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例1
本实施例公开了一种基于反馈机制的点云上采样方法，如图1所示，包括：
步骤S1，获取原始点云。原始点云优选但不限于来自3D重建领域或计算机视觉领域，通过激光扫描仪等设备获取物体表面点获得点云数据。点云数据中包括每个点的三维坐标，优选地，点云数据还包括每个点的激光反射强度或颜色信息等。
步骤S2，将原始点云输入训练好的点云上采样模型，点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云。如图2所示，级联反馈网络(CFnet)包括多个级联的反馈上采样模块FUM，且在相邻反馈上采样模块FUM之间还连接有FPS模块，FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云。在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。
本实施例中，为便于观察，在图2中，用input表示输入的稀疏的原始点云(如图2中稀疏的小狗点云)。优选地，事先预设时间步长迭代的总步长数。如图2中，设时间步长迭代的总步长数为T，T优选但不限于为大于等于2，除了第0个步长外，从第1个步长开始，每个步长上都进行了信息反馈。如图2中，对于第1个步长，将第0个步长的FUM_0的输出特征反馈至当前第1个步长的FUM_0，反馈信息从第t-1步回流到第t步，从上层流向下层，高层在第t-1步的输出具有精细的信息，可以帮助低层特征在第t步产生更细粒度的超分辨率点云。
在本实施例中，点云上采样模型旨在跨时间步长从稀疏输入重构出密集点云，级联反馈网络(CFnet)中反馈上采样模块FUM参数共享。每个反馈上采样模块FUM都将前一个反馈上采样模块FUM的输出作为输入的一部分，即前馈信息。i表示反馈上采样模块FUM的索引，i为正整数。特别地，FPS模块(FPS是最远点采样算法的简称)将原始点云和第i-1个反馈上采样模块的前馈输出拼接起来，并通过最远点采样算法对拼接点云进行采样到固定尺度。这样，电流模块的输入与原始数据的先验信息融合，更有利于获得有利的输出。其中，第0个模块的输入仅为原始点云。
在本实施例中，优选地，如图2所示，级联反馈网络包括3个级联的反馈上采样模块，分别为FUM_0、FUM_1和FUM_2，用三个反馈上采样模块来生成前馈特征信息。除了前馈特征信息外，级联反馈网络CFNet还包含从上层流向下层的反馈信息，通过时间迭代引入反馈机制，如图2所示(从上到下)。随着时间的增加，反馈信息从第t-1步回流到第t步。
在本实施例中，如图3所示，反馈上采样模块包括依次连接的特征提取子模块(Feature Extraction)、特征融合子模块(Feature Fusion)、特征扩展子模块(FeatureExpansion)和坐标生成子模块(Coordinate Generation)，以及还包括将特征提取子模块的输入点云接入坐标生成子模块的跳线单元。反馈上采样模块还设置有FB模块集合，其表示从第t-1步回流的点和特征。
在本实施例中，进一步优选地，如图3所示，特征提取子模块包括依次连接的第一多层感知池化层、point-transformer单元和第二多层感知池化层。多层感知池化层即MLPs，具体包括：
第一阶段：以前的方法通常使用基于MLP的特征提取来学习输入的特征，然而，基于MLP的方法不能捕获本地和上下文特征。因此，本申请将3D视觉中的transformer引入特征提取子模块的网络中。具体来说，将第i个反馈上采样模块FUM(3个通道)在第t个时间步长的输入为特征提取的输出就是对应的点云特征(C个通道)/>其中N是点的个数，j表示点的索引。首先在原始点云j上通过多层感知器执行MLP操作来获取原始点的特征。然后在得到的点特征上利用最大池化层来获得全局特征。可以通过点特征和全局特征的融合运算κ得到最终特征F′。因此第一多层感知池化层获得的F′可表示为：
其中，M()和A()分别表示MLP操作和最大池化操作。[·]是连接操作。
第二阶段：使用point-transformer单元通过建立点之间的关系来提取局部和上下文特征F″。point-transformer单元获得的F″为：
其中，θ(，)是point-transformer函数。
第三阶段：像第一阶段一样，再次利用第二多层感知池化层对全局特征进行聚合，生成最终的点特征point-transformer，这个过程与公式(1)大致相同，在此不再赘述。
在本实施例中，进一步优选地，如图2所示，特征融合子模块包括交叉变换单元(Cross Transformer)，交叉变换单元用于融合上一时间步长中交叉变换单元所属反馈上采样模块的输出特征(反馈特征)和当前时间步长中交叉变换单元所属反馈上采样模块的特征提取子模块的输出特征(前馈特征)。
采用特征融合的方法对前馈特征和反馈特征进行聚合。在点云处理领域，跨层特征融合策略被广泛应用于点云补全方法中。前馈信息从下层流向上层，输出作为反馈信息回流到下一步进行融合。然而，跨层特征融合的前提是两者的分辨率一致。在点云处理领域，点云补全和上采样都涉及到上采样率，这将导致需要融合的特征分辨率不等。本申请的FBNet提出了交叉变换方法来融合两个不同分辨率点云的特征。FBNet也通过一系列的实验证明了它的有效性。因此，直接将交叉变换单元(Cross Transformer)应用到网络的特征融合模块中。
将第i步反馈上采样模块FUM的前馈点云及其特征分别记为Pi t和Fi t，相应的反馈点云及其特征分别为和/>基于交叉变换单元(Cross Transformer)的融合操作可以用公式表示，具体如下：
其中，R()表示Cross Transformer。r为当前反馈上采样模块FUM的上采样率。
具体来说，Cross Transformer通过注意力机制建立了前馈特征Fi t和反馈特征之间的关系。因此，Cross Transformer可以从反馈的点云中查询有用的信息，以丰富当前的点云，获得更有价值的特征。注意，当反馈信息为None时(例如，t＝0)，CrossTransformer退化为point-transformer。
在本实施例中，进一步优选地，如图3所示，特征扩展子模块包括点混淆单元pointshuffle，使用point shuffle来扩展聚合点特征首先应用一系列全连接层来获得尺度为rC×N的高维特征。然后，将扩展后的特征重构为低维高分辨率特征/>规模为C×Nr，本申请的特征扩展子模块省时，节省了一些计算资源。
在本实施例中，进一步优选地，坐标生成子模块包括第三多层感知池化层、重复运算单元和融合单元；第三多层感知池化层进一步对特征扩展子模块输出的特征进行特征提取；重复运算单元利用当前反馈上采样模块的上采样率对跳线单元引入的特征提取子模块的输入点云进行重复运算；融合单元用于融合第三多层感知器的输出特征和重复运算单元的输出特征获得反馈上采样模块的输出点云。
坐标重建的目的是从上采样点特征中生成新的点集/>一种常用的坐标重建方法是直接回归三维点坐标，但在无噪声环境下难以生成高保真的坐标。为了解决这一问题，本申请选择同时利用原始点云和上采样点特征进行坐标生成。坐标生成模块的输出可以计算为：
式(4)中D(，)表示重复运算。该方法在一个从粗到细的框架中减轻了多个阶段之间的学习冲突。这样，我们可以通过堆叠的反馈上采样模块FUM生成可靠的点坐标。
在本实施例中，进一步优选地，在点云上采样模型的训练过程中，采用联合损失函数：
其中，L表示联合损失，t表示时间步长迭代的步次，T表示预设的时间步长迭代的总步次，n表示点云上采样模型中反馈上采样模块的数量，i表示反馈上采样模块的索引，Pi t表示第i个反馈上采样模块在第t步时间步长的输出点云，GT表示Pi t对应的真实点云，LCD(Pi t，GT)表示第i个反馈上采样模块在第t步时间步长的损失，LCD(Pi t，GT)按照如下公式计算获得：
x表示Pi t中点云的值，y表示GT中点云的值，|Pi t|表示Pi t的点云数量，|GT|表示GT的点云数量。
级联反馈网络的损失函数是联合的，因为每个反馈上采样模块都有自己的预测输出，设n＝3，T＝3，所以总损失函数由9部分组成。
对本实施例提供的点云上采样模型的上采样效果进行实验验证，通过在点云上采样领域的公开可用数据集PU1K和PU-GAN上进行实验来证明我们提出的网络的有效性。实验时本申请提出的级联反馈网络CFNet中的时间步数设置为3，将第一个反馈上采样模块FUM的上采样率设置为1，其余反馈上采样模块FUM设置为2，以达到×4上采样。与CFNet比较的方法包含了现有的7种点云上采样方法，分别为PU-Net、MPU、PU-GAN、di-pu、PU-GCN、PU-EVA和PUCRN。通过倒角距离(CD)和豪斯多夫距离(HD)来评价模型的性能。这些指标的值越小，表示性能越好。
图4中展示了PU1K数据集(×4上采样率)在CD和HD方面的定量结果。输入点的个数不同，包括512(稀疏)、1024(中等)和2048(密集)。
图5展示了PU-GAN数据集(×4上采样率)在CD和HD方面的定量结果。输入点数为1024。
图6展示了输入1024点的PU-GAN数据集(×4upsampling)上的可视化结果。
从实验结果可以看出，本申请提出的级联反馈网络CFNet输出了更为精细点云。
实施例2
本实施例还公开了一种基于反馈的点云上采样装置，包括：输入模块，用于获取原始点云。输入模块优选但不限于为数据采集端口。
点云上采样模块，将原始点云输入训练好的点云上采样模型，点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；级联反馈网络包括多个级联的反馈上采样模块，且在相邻反馈上采样模块之间还连接有FPS模块，FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。点云上采样模块优选但不限于为计算机处理器。
本实施例的点云上采样模型详细结构参照实施例1，在此不再赘述。
实施例3
本实施例公开了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如实施例1所述的基于反馈机制的点云上采样方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于反馈机制的点云上采样方法，其特征在于，包括：
获取原始点云，将原始点云输入训练好的点云上采样模型，所述点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；
所述级联反馈网络包括多个级联的反馈上采样模块，且在相邻反馈上采样模块之间还连接有FPS模块，所述FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；
在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。
2.如权利要求1所述的基于反馈机制的点云上采样方法，其特征在于，所述级联反馈网络包括3个级联的反馈上采样模块。
3.如权利要求1或2所述的基于反馈机制的点云上采样方法，其特征在于，所述反馈上采样模块包括依次连接的特征提取子模块、特征融合子模块、特征扩展子模块和坐标生成子模块，以及还包括将特征提取子模块的输入点云接入坐标生成子模块的跳线单元。
4.如权利要求3所述的基于反馈机制的点云上采样方法，其特征在于，所述特征提取子模块包括依次连接的第一多层感知池化层、point-transformer单元和第二多层感知池化层。
5.如权利要求4所述的基于反馈机制的点云上采样方法，其特征在于，所述特征融合子模块包括交叉变换单元，交叉变换单元用于融合上一时间步长中交叉变换单元所属反馈上采样模块的输出特征和当前时间步长中交叉变换单元所属反馈上采样模块的特征提取子模块的输出特征。
6.如权利要求4或5所述的基于反馈机制的点云上采样方法，其特征在于，所述特征扩展子模块包括点混淆单元。
7.如权利要求6所述的基于反馈机制的点云上采样方法，其特征在于，所述坐标生成子模块包括第三多层感知池化层、重复运算单元和融合单元；
第三多层感知池化层进一步对特征扩展子模块输出的特征进行特征提取；
重复运算单元利用当前反馈上采样模块的上采样率对跳线单元引入的特征提取子模块的输入点云进行重复运算；
融合单元用于融合第三多层感知器的输出特征和重复运算单元的输出特征获得反馈上采样模块的输出点云。
8.如权利要求1或2或4或5或7所述的基于反馈机制的点云上采样方法，其特征在于，在点云上采样模型的训练过程中，采用联合损失函数：
其中，L表示联合损失，t表示时间步长迭代的步次，T表示预设的时间步长迭代的总步次，n表示点云上采样模型中反馈上采样模块的数量，i表示反馈上采样模块的索引，pi t表示第i个反馈上采样模块在第t步时间步长的输出点云，GT表示Pi t对应的真实点云，LCD(Pi t，GT)表示第i个反馈上采样模块在第t步时间步长的损失，LCD(Pi t，GT)按照如下公式计算获得：
x表示Pi t中点云的值，y表示GT中点云的值，表示Pi t的点云数量，|GT|表示GT的点云数量。
9.一种基于反馈的点云上采样装置，其特征在于，包括：
输入模块，用于获取原始点云；
点云上采样模块，将原始点云输入训练好的点云上采样模型，所述点云上采样模型基于级联反馈网络对初始点云进行时间步长迭代处理后输出上采样点云；
所述级联反馈网络包括多个级联的反馈上采样模块，且在相邻反馈上采样模块之间还连接有FPS模块，所述FPS模块的第一输入端与前一级的反馈上采样模块的输出端连接，FPS模块的第二输入端接入原始点云；
在每次时间步长迭代中，将上一时间步长中每个反馈上采样模块的输出作为当前时间步长中该反馈上采样模块的反馈输入。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8中任一项所述的基于反馈机制的点云上采样方法。
CN202310505766.4A 2023-05-06 2023-05-06 一种基于反馈机制的点云上采样方法、装置及存储介质 Pending CN116630573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310505766.4A CN116630573A (zh) 2023-05-06 2023-05-06 一种基于反馈机制的点云上采样方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310505766.4A CN116630573A (zh) 2023-05-06 2023-05-06 一种基于反馈机制的点云上采样方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116630573A true CN116630573A (zh) 2023-08-22

Family

ID=87620456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310505766.4A Pending CN116630573A (zh) 2023-05-06 2023-05-06 一种基于反馈机制的点云上采样方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116630573A (zh)

Similar Documents

Publication Publication Date Title
CN113409191B (zh) 一种基于注意力反馈机制的轻量级图像超分方法及系统
JP2022056316A (ja) 文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN112990219B (zh) 用于图像语义分割的方法和装置
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN109712108B (zh) 一种基于多样鉴别性候选框生成网络的针对视觉定位方法
Hoang et al. Practical analysis on architecture of EfficientNet
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN114119975A (zh) 一种语言引导的跨模态实例分割方法
Zhang et al. Multi-scale image super-resolution via a single extendable deep network
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN117409431B (zh) 一种多模态大型语言模型训练方法、电子设备及存储介质
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN110110775A (zh) 一种基于超连接网络的匹配代价计算方法
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
CN115546236B (zh) 基于小波变换的图像分割方法及装置
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
CN116630573A (zh) 一种基于反馈机制的点云上采样方法、装置及存储介质
CN113052209B (zh) 融合胶囊相似性的单样本语义分割方法
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN104574320B (zh) 一种基于稀疏编码系数匹配的图像超分辨率复原方法
CN113362240A (zh) 一种基于轻量级特征金字塔模型的图像修复方法
CN114092650B (zh) 一种基于高效图卷积的三维点云生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination