CN111724478B - 一种基于深度学习的点云上采样方法 - Google Patents
一种基于深度学习的点云上采样方法 Download PDFInfo
- Publication number
- CN111724478B CN111724478B CN202010426701.7A CN202010426701A CN111724478B CN 111724478 B CN111724478 B CN 111724478B CN 202010426701 A CN202010426701 A CN 202010426701A CN 111724478 B CN111724478 B CN 111724478B
- Authority
- CN
- China
- Prior art keywords
- sampling
- feature vectors
- point
- point cloud
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 108
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 abstract description 2
- 238000011960 computer-aided design Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
- Feedback Control In General (AREA)
Abstract
本发明揭示了一种基于深度学习的点云上采样方法，包括：获取由第一数量个稀疏输入点和第二数量个稠密输入点组成的训练数据；构建深度网络模型，用于对从第一数量个稀疏输入点提取的初始特征向量分别进行复制和基于曲率的采样操作，得到第二数量个中间特征向量，对每个中间特征向量进行拼接操作，将拼接操作之后的中间特征向量输入多层感知机，基于多层感知机输出的采样特征向量确定出采样预测点；训练深度网络模型，直到由采样预测点和稠密输入点确定出的目标函数收敛；测试深度网络模型，得到测试物体上采样后的点云数据。此方法能够将稀疏点云转化为基于曲率自适应分布的密集点云，准确表征了物体轮廓，更有利于三维数据的表达、渲染和可视化。
Description
技术邻域
本发明涉及计算机视觉技术邻域，特别涉及一种基于深度学习的点云上采样方法。
背景技术
随着深度摄像头和激光雷达传感器的流行，点云作为一种简单、高效的三维数据表征，逐渐引起研究人员的广泛关注。近年来，研究人员利用端到端的神经网络来直接处理原始的点云数据，在基于点云表征的视觉任务(例如、三维物体的识别和检测、三维场景分割等)上取得了质的突破。然而，原始的点云数据通常由消费者级别的扫描设备生成，存在稀疏性、不完整性和噪声干扰等问题，为点云语义分析带来巨大的考验。因此，为了更高效地用于渲染、分析或其他处理，需要对原始数据进行修复，提高数据的质量。而点云上采样则是缓解此类问题的一种代表性技术。
给定一个稀疏、不完整的点云，点云上采样的任务是生成一个密集、完整的点云，并使得生成的点云能够贴合物体潜在的表面。目前，常见的方案是通过对点云特征进行复制，生成一个密度均匀的上采样点云。然而，大多数情况下，点云的均匀性分布显然无法很好地表达和刻画物体的潜在形状。例如，要表征一张椅子，如果采取均匀采样的方式，椅子连接处的采样点与椅面的采样点一样多，而连接处由于曲率较大，容易出现局部刻画不到位的情况，从而导致物体的轮廓形状无法得到准确表征。
发明内容
为了解决相关技术中存在的无法准确表征物体轮廓形状的技术问题，本发明提供了一种基于深度学习的点云上采样方法。
本发明实施例第一方面公开了一种基于深度学习的点云上采样方法，所述方法包括：
步骤1:获取训练数据；所述训练数据包括第一数量个稀疏输入点和第二数量个稠密输入点，所述稀疏输入点是从CAD模型均匀采样得到，所述稠密输入点是基于曲率从所述CAD模型采样得到的；
步骤2:构建深度网络模型；所述深度网络模型用于提取所述第一数量个稀疏输入点的初始特征向量，并对所述初始特征向量分别进行复制操作和基于曲率特征的采样操作，得到第二数量个中间特征向量，以及对每个所述中间特征向量进行拼接操作，将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量，以及根据所述第二数量个采样特征向量确定第二数量个采样预测点；
步骤3:训练深度网络模型；根据所述采样预测点与所述稠密输入点确定目标函数，并基于所述目标函数对所述深度网络模型的参数进行调整，直到目标函数收敛；
步骤4:测试深度网络模型；从测试物体的点云表征采样出若干部分种子点，将每个所述种子点与其邻域点构成待测试输入点云，并将所述待测试输入点云输入到训练好的所述深度网络模型中，得到每一个所述待测试输入点云对应的测试点云，以及将所有所述测试点云进行聚合得到所述测试物体上采样后的点云数据。
作为一种可选的实施方式，在本发明实施例第一方面中，所述深度网络模型包括特征提取模块、特征采样模块以及坐标值回归模块，其中：
所述特征提取模块，用于提取所述深度网络模型接收到的所有稀疏输入点的特征向量，得到第一数量个稀疏输入点的初始特征向量；
所述特征采样模块，用于复制所述第一数量个初始特征向量，得到第三数量个第一特征向量，以及依据每个所述稀疏输入点的曲率值确定出采样概率，以所述采样概率采样得到第四数量个第二特征向量，并根据所有的所述第一特征向量和所述第二特征向量确定出第二数量个中间特征向量，以及分别在每个所述中间特征向量上拼接一个由二维网格机制产生的二维向量，其中，所述中间特征向量中相同的特征向量所拼接的二维向量不相同，并将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量；
所述坐标值回归模块，用于根据所述第二数量个采样特征向量确定第二数量个采样预测点。
作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述采样预测点与所述稠密输入点确定目标函数，包括：
根据所述采样预测点与所述稠密输入点之间的距离确定重构损失；
根据所述采样预测点云上任意点的曲率大小和其邻域的区域大小之间的关系确定曲率自适应损失；
根据所述采样预测点云上任意点关于其在所述稠密输入点云上的邻域上的几何关系确定确定平滑性损失；
根据所述重构损失、所述曲率自适应损失以及所述平滑性损失确定目标函数；
其中，所述采样预测点云由所述第二数量个采样预测点构成，所述稠密输入点云由所述第二数量个稠密输入点构成。
作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述重构损失、所述曲率自适应损失以及所述平滑性损失确定目标函数，包括：
对所述重构损失、所述曲率自适应损失以及所述平滑性损失进行加权求和，得到目标函数。
本发明实施例第二方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于深度学习的点云上采样方法。
本发明实施例第三方面公开一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明所提供的基于深度学习的点云上采样方法包括如下步骤，步骤1:获取训练数据；该训练数据包括第一数量个稀疏输入点和第二数量个稠密输入点，所述稀疏输入点是从CAD模型均匀采样得到，所述稠密输入点是基于曲率从所述CAD模型采样得到的；步骤2:构建深度网络模型；深度网络模型用于提取所述第一数量个稀疏输入点的初始特征向量，并对所述初始特征向量分别进行复制操作和基于曲率特征的采样操作，得到第二数量个中间特征向量，以及对每个所述中间特征向量进行拼接操作，将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量，以及根据所述第二数量个采样特征向量确定第二数量个采样预测点；步骤3:训练深度网络模型；根据采样预测点与稠密输入点确定目标函数，并基于目标函数对深度网络模型的参数进行调整，直到目标函数收敛；步骤4:测试深度网络模型；从测试物体的点云表征采样出若干部分种子点，将每个种子点与其邻域点构成待测试输入点云，并将待测试输入点云输入到训练好的深度网络模型中，得到每一个待测试输入点云对应的测试点云，以及将所有测试点云进行聚合得到测试物体上采样后的点云数据。
此方法下，能够在神经网络设计了基于曲率自适应的特征采样模块，将稀疏的点云转化为密度基于曲率自适应分布的密集点云，更能准确表征物体轮廓形状，从而更有利于三维数据的表达、渲染和可视化。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于深度学习的点云上采样方法的流程图；
图2为图1所示方法中根据采样预测点与稠密输入点确定目标函数的流程图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于深度学习的点云上采样方法的流程图。如图1所示，此方法包括以下步骤。
步骤1:获取训练数据；该训练数据包括第一数量个稀疏输入点和第二数量个稠密输入点，该稀疏输入点是从CAD模型均匀采样得到，该稠密输入点是基于曲率从CAD模型采样得到的。
本发明实施例中，上述稀疏输入点和稠密输入点均可以从CAD(ComputerAidedDesign，计算机辅助设计)模型上采样得到。具体来说，第一数量可以是256，第二数量可以是1024，那么，可以将每个用于物体的网格(mesh)数据分割成切片，对于每个切片，均匀采样出256个点作为稀疏输入点(稀疏的输入点云P)并估计每个稀疏输入点的曲率值；此外，依据每个稀疏输入点的曲率值确定出采样概率，并以该采样概率采样出1024个点作为稠密输入点(密集的Ground Truth点云Q)并估计每个点的法向量。
步骤2:构建深度网络模型；深度网络模型用于提取第一数量个稀疏输入点的初始特征向量，并对初始特征向量分别进行复制操作和基于曲率特征的采样操作，得到第二数量个中间特征向量，以及对每个中间特征向量进行拼接操作，将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量，以及根据第二数量个采样特征向量确定第二数量个采样预测点。
本发明实施例中，构建深度网络模型，进行模型参数初始化。具体来说，该深度网络模型可以包括特征提取模块、特征采样模块以及坐标值回归模块，其中：
上述特征提取模块，用于提取深度网络模型接收到的所有稀疏输入点的特征向量，得到第一数量个稀疏输入点的初始特征向量。
本发明实施例中，举例来说，上述第一数量可以是256，那么，该特征提取模块可以以稀疏输入点云为输入，该稀疏输入点云包括256个稀疏输入点，通过网络的密集连接来聚合输入中每个稀疏输入点的局部几何信息，为每个稀疏输入点提取具有丰富语义信息的特征(即特征向量)。进一步地，该特征提取模块可以将提取到的各稀疏输入点的初始特征向量提供给特征采样模块。
上述特征采样模块，用于复制第一数量个初始特征向量，得到第三数量个第一特征向量，以及依据每个稀疏输入点的曲率值确定出采样概率，以采样概率采样得到第四数量个第二特征向量，并根据所有的第一特征向量和第二特征向量确定出第二数量个中间特征向量，以及分别在每个中间特征向量上拼接一个由二维网格机制产生的二维向量，其中，中间特征向量中相同的特征向量所拼接的二维向量不相同，并将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量。
本发明实施例中，以第一数量为256、第二数量为1024、第三数量为512、第四数量为512为例，该基于曲率自适应的特征采样模块可以对上一特征提取模块输出的256个稀疏输入点的初始特征向量分别进行复制、基于曲率特征的采样操作，共得到1024个中间特征向量。其中，采样分为两部分：第一部分、直接对256个稀疏输入点的初始特征向量进行复制，得到512个第一特征向量，该部分特征向量可以用于维持物体的基本形状；第二部分、根据特征对应的稀疏输入点的曲率确定出采样概率，以该采样概率采样得到另外的512个第二特征向量，这一部分的第二特征向量可以用于对物体的细节进行进一步刻画；将所有的第一特征向量和第二特征向量均确定为中间特征向量，即中间特征向量的数量为1024个，进一步地，分别在每个中间特征向量上拼接一个由二维网格机制产生的二维向量；其中，中间特征向量中相同的特征向量所拼接的二维向量互不相同，以增加特征之间的多样性；更进一步地，还可以将拼接了二维向量的所有中间特征向量通过一个多层感知机，得到1024个采样特征向量；其中，通过多层感知机可以进一步丰富了1024个采样特征向量的信息。
需要说明的是，上述第三数量与第四数量之和等于第二数量，但是，第三数量和第四数量可以是相等的，也可以是不相等的，本发明实施例不做限定。
上述坐标值回归模块，用于根据第二数量个采样特征向量确定第二数量个采样预测点。
本发明实施例中，以第二数量是1024为例，1024个采样向量对应着1024个上采样预测点的信息，通过全连接层直接回归出1024个上采样点的坐标值。
步骤3:训练深度网络模型；根据采样预测点与稠密输入点确定目标函数，并基于目标函数对深度网络模型的参数进行调整，直到目标函数收敛。
本发明实施例中，在目标函数的监督下，利用随机梯度下降对深度网络模型的参数进行优化更新。
步骤4:测试深度网络模型；从测试物体的点云表征采样出若干部分种子点，将每个种子点与其邻域点构成待测试输入点云，并将待测试输入点云输入到训练好的深度网络模型中，得到每一个待测试输入点云对应的测试点云，以及将所有测试点云进行聚合得到测试物体上采样后的点云数据。
本发明实施例中，可选的，可以采用最远点采样法从测试物体的点云表征采样出若干部分种子点。
作为一种可选的实施方式，步骤3训练深度网络模型可以包括：
步骤31、根据采样预测点与稠密输入点确定目标函数。
步骤32、基于目标函数对深度网络模型的参数进行调整，直到目标函数收敛。
进一步可选的，请一并参阅图2，图2是图1所示方法中根据采样预测点与稠密输入点确定目标函数的流程图。如图2所示，步骤31具体可以包括以下步骤：
步骤311、根据采样预测点与稠密输入点之间的距离确定重构损失。
步骤312、根据采样预测点云上任意点的曲率大小和其邻域的区域大小之间的关系确定曲率自适应损失。
步骤313、根据采样预测点云上任意点关于其在稠密输入点云上的邻域上的几何关系确定确定平滑性损失。
步骤314、根据重构损失、曲率自适应损失以及平滑性损失确定目标函数。
其中，采样预测点云由第二数量个采样预测点构成，稠密输入点云由第二数量个稠密输入点构成。
又进一步可选的，可以对重构损失、曲率自适应损失以及平滑性损失进行加权求和，得到目标函数。
本发明实施例中，目标函数是由三个损失项加权求和得到的：
其中、、分别为重构损失(Reconstruction Loss)、曲率自适应损失(Curvature-awareLoss)和平滑性损失(Smoothness Loss)；、、分别为对应的权重，用于平衡三个损失项。
其中，设采样预测点云为，稠密输入点云(又称为Ground Truth点云)为，那么：
(a)重构损失：重构损失是根据采样预测点与稠密输入点之间的距离确定的。具体来说，重构损失的目的是减小采样预测点云和稠密输入点云之间的差异性，维持采样预测点云(上采样点云)的基本形状。这里我们采用推土机距离(EMD，Earth Mover’s Distance)作为重构损失：
其中，为双向映射。
(b)曲率自适应损失：曲率自适应损失是根据采样预测点云上任意点的曲率大小和其邻域的区域大小之间的关系确定的。具体来说，曲率自适应损失的目的是通过优化的方式，使网络能够生成关于曲率分布的密集点云，其计算公式如下：
其中为内积，为点q的邻域，由点q的k个邻域点构成。是点q的法向量，是点到点q的切平面的距离。因此，曲率自适应损失通过控制任一点q的邻域的区域大小来实现曲率自适应，当q的曲率大时，由k个近邻点定义的邻域应占据较小区域；当曲率小时，邻域应占据较大区域。
(c)平滑性损失：平滑性损失是根据采样预测点云上任意点关于其在稠密输入点云上的邻域上的几何关系确定的。具体来说，平滑性损失的目的是保证上采样点云的局部几何表面的平滑性，并对离群点进行有效抑制。其计算公式如下：
其中是点q定义在稠密输入点云(Ground Truth点云)上的邻域，由点q在上的k个邻域点构成。对于一个邻域点，如果足够平滑和密集，则q和将非常接近，并可被认为属于同一平面。通过最小化两个单位向量和的内积，可使这两个向量趋于正交。因此，利用平滑性损失可将点q拉到定义的局部表面上，实现上采样点云的局部平滑性。
可见，实施图1、2所描述的基于深度学习的点云上采样方法，能够在神经网络设计了基于曲率自适应的特征采样模块，将稀疏的点云转化为密度基于曲率自适应分布的密集点云，更能准确表征物体轮廓形状，从而更有利于三维数据的表达、渲染和可视化。
在一示例性实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前所示的基于深度学习的点云上采样方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (4)
1.一种基于深度学习的点云上采样方法，其特征在于，所述方法包括：
步骤1:获取训练数据；所述训练数据包括第一数量个稀疏输入点和第二数量个稠密输入点，所述稀疏输入点是从CAD模型均匀采样得到，所述稠密输入点是基于曲率从所述CAD模型采样得到的；
步骤2:构建深度网络模型；所述深度网络模型用于提取所述第一数量个稀疏输入点的初始特征向量，并对所述初始特征向量分别进行复制操作和基于曲率特征的采样操作，一共得到第二数量个中间特征向量，以及对每个所述中间特征向量进行拼接操作，将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量，以及根据所述第二数量个采样特征向量确定第二数量个采样预测点；
步骤3:训练深度网络模型；根据所述采样预测点与所述稠密输入点确定目标函数，并基于所述目标函数对所述深度网络模型的参数进行调整，直到目标函数收敛；
步骤4:测试深度网络模型；从测试物体的点云表征采样出若干部分种子点，将每个所述种子点与其邻域点构成待测试输入点云，并将所述待测试输入点云输入到训练好的所述深度网络模型中，得到每一个所述待测试输入点云对应的测试点云，以及将所有所述测试点云进行聚合得到所述测试物体上采样后的点云数据。
2.根据权利要求1所述的方法，其特征在于，所述深度网络模型包括特征提取模块、特征采样模块以及坐标值回归模块，其中：
所述特征提取模块，用于提取所述深度网络模型接收到的所有稀疏输入点的特征向量，得到第一数量个稀疏输入点的初始特征向量；
所述特征采样模块，用于复制所述第一数量个初始特征向量，得到第三数量个第一特征向量，以及依据每个所述稀疏输入点的曲率值确定出采样概率，以所述采样概率采样得到第四数量个第二特征向量，并根据所有的所述第一特征向量和所述第二特征向量确定出第二数量个中间特征向量，以及分别在每个所述中间特征向量上拼接一个由二维网格机制产生的二维向量，其中，所述中间特征向量中相同的特征向量所拼接的二维向量不相同，并将拼接操作之后的中间特征向量输入多层感知机，得到第二数量个采样特征向量；
所述坐标值回归模块，用于根据所述第二数量个采样特征向量确定第二数量个采样预测点。
3.根据权利要求1所述的方法，其特征在于，所述根据所述采样预测点与所述稠密输入点确定目标函数，包括：
根据所述采样预测点与所述稠密输入点之间的距离确定重构损失；
根据采样预测点云上任意点的曲率大小和其邻域的区域大小之间的关系确定曲率自适应损失；
根据所述采样预测点云上任意点关于其在稠密输入点云上的邻域上的几何关系确定平滑性损失；
根据所述重构损失、所述曲率自适应损失以及所述平滑性损失确定目标函数；
其中，所述采样预测点云由所述第二数量个采样预测点构成，所述稠密输入点云由所述第二数量个稠密输入点构成。
4.根据权利要求3所述的方法，其特征在于，所述根据所述重构损失、所述曲率自适应损失以及所述平滑性损失确定目标函数，包括：
对所述重构损失、所述曲率自适应损失以及所述平滑性损失进行加权求和，得到目标函数。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010426701.7A CN111724478B (zh) | 2020-05-19 | 2020-05-19 | 一种基于深度学习的点云上采样方法 |
| LU500265A LU500265B1 (en) | 2020-05-19 | 2020-10-30 | A Method of Upsampling of Point Cloud Based on Deep Learning |
| US17/418,366 US11880959B2 (en) | 2020-05-19 | 2020-10-30 | Method for point cloud up-sampling based on deep learning |
| PCT/CN2020/125380 WO2021232687A1 (zh) | 2020-05-19 | 2020-10-30 | 一种基于深度学习的点云上采样方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010426701.7A CN111724478B (zh) | 2020-05-19 | 2020-05-19 | 一种基于深度学习的点云上采样方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111724478A CN111724478A (zh) | 2020-09-29 |
| CN111724478B true CN111724478B (zh) | 2021-05-18 |
Family
ID=72564817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010426701.7A Active CN111724478B (zh) | 2020-05-19 | 2020-05-19 | 一种基于深度学习的点云上采样方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11880959B2 (zh) |
| CN (1) | CN111724478B (zh) |
| LU (1) | LU500265B1 (zh) |
| WO (1) | WO2021232687A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724478B (zh) | 2020-05-19 | 2021-05-18 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN112348959B (zh) * | 2020-11-23 | 2024-02-13 | 杭州师范大学 | 一种基于深度学习的自适应扰动点云上采样方法 |
| CN113096239B (zh) * | 2021-04-07 | 2022-07-19 | 天津大学 | 一种基于深度学习的三维点云重建方法 |
| GB2605612A (en) * | 2021-04-07 | 2022-10-12 | Sony Interactive Entertainment Europe Ltd | System and method for point cloud generation |
| CN113362437B (zh) * | 2021-06-02 | 2022-06-28 | 山东大学 | 一种点云重采样方法、系统、存储介质及设备 |
| CN113628338A (zh) * | 2021-07-19 | 2021-11-09 | 香港中文大学（深圳） | 一种采样重建方法、装置、计算机设备及存储介质 |
| WO2023133675A1 (zh) * | 2022-01-11 | 2023-07-20 | 深圳先进技术研究院 | 基于2d图像重建3d图像方法、装置、设备及存储介质 |
| CN114418852B (zh) * | 2022-01-20 | 2024-04-12 | 哈尔滨工业大学 | 一种基于自监督深度学习的点云任意尺度上采样方法 |
| CN114091628B (zh) * | 2022-01-20 | 2022-04-22 | 山东大学 | 基于双分支网络的三维点云上采样方法及系统 |
| CN114445280B (zh) * | 2022-01-21 | 2024-03-29 | 太原科技大学 | 一种基于注意力机制的点云下采样方法 |
| CN114241110B (zh) * | 2022-02-23 | 2022-06-03 | 北京邮电大学 | 基于邻域聚合蒙特卡罗失活的点云语义不确定度感知方法 |
| CN114677315B (zh) * | 2022-04-11 | 2022-11-29 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| CN114821251B (zh) * | 2022-04-28 | 2024-04-12 | 北京大学深圳研究生院 | 一种点云上采样网络的确定方法及确定装置 |
| CN114897692B (zh) * | 2022-05-06 | 2024-04-26 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
| CN115994849B (zh) * | 2022-10-24 | 2024-01-09 | 南京航空航天大学 | 一种基于点云上采样的三维数字水印嵌入与提取方法 |
| CN115830588B (zh) * | 2023-02-16 | 2023-05-26 | 天翼交通科技有限公司 | 一种基于点云的目标检测方法、系统、存储介质及设备 |
| CN116109470B (zh) * | 2023-04-13 | 2023-06-20 | 深圳市其域创新科技有限公司 | 实时点云数据渲染方法、装置、终端及存储介质 |
| CN117291845B (zh) * | 2023-11-27 | 2024-03-19 | 成都理工大学 | 一种点云地面滤波方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
| CN109493407A (zh) * | 2018-11-19 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 实现激光点云稠密化的方法、装置及计算机设备 |
| WO2019070703A1 (en) * | 2017-10-06 | 2019-04-11 | Interdigital Vc Holdings, Inc. | METHOD AND DEVICE FOR OVERHEADING A POINT CLOUD |
| CN110070595A (zh) * | 2019-04-04 | 2019-07-30 | 东南大学 | 一种基于深度学习的单张图像3d对象重建方法 |
| CN110910433A (zh) * | 2019-10-29 | 2020-03-24 | 太原师范学院 | 一种基于深度学习的点云匹配方法 |
| CN110910437A (zh) * | 2019-11-07 | 2020-03-24 | 大连理工大学 | 一种复杂室内场景的深度预测方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9043186B2 (en) * | 2011-12-08 | 2015-05-26 | Microsoft Technology Licensing, Llc | Surface normal computation on noisy sample of points |
| CN104091162B (zh) * | 2014-07-17 | 2017-06-23 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN107871129B (zh) | 2016-09-27 | 2019-05-10 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
| US10262243B2 (en) * | 2017-05-24 | 2019-04-16 | General Electric Company | Neural network point cloud generation system |
| CN107862293B (zh) * | 2017-09-14 | 2021-05-04 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN110163799B (zh) * | 2019-05-05 | 2023-05-05 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 一种基于深度学习的超分辨率点云生成方法 |
| CN110992271B (zh) * | 2020-03-04 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、路径规划方法、装置、设备及存储介质 |
| CN111724478B (zh) | 2020-05-19 | 2021-05-18 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
-
2020
- 2020-05-19 CN CN202010426701.7A patent/CN111724478B/zh active Active
- 2020-10-30 US US17/418,366 patent/US11880959B2/en active Active
- 2020-10-30 WO PCT/CN2020/125380 patent/WO2021232687A1/zh active Application Filing
- 2020-10-30 LU LU500265A patent/LU500265B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| WO2019070703A1 (en) * | 2017-10-06 | 2019-04-11 | Interdigital Vc Holdings, Inc. | METHOD AND DEVICE FOR OVERHEADING A POINT CLOUD |
| CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
| CN109493407A (zh) * | 2018-11-19 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 实现激光点云稠密化的方法、装置及计算机设备 |
| CN110070595A (zh) * | 2019-04-04 | 2019-07-30 | 东南大学 | 一种基于深度学习的单张图像3d对象重建方法 |
| CN110910433A (zh) * | 2019-10-29 | 2020-03-24 | 太原师范学院 | 一种基于深度学习的点云匹配方法 |
| CN110910437A (zh) * | 2019-11-07 | 2020-03-24 | 大连理工大学 | 一种复杂室内场景的深度预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021232687A1 (zh) | 2021-11-25 |
| LU500265B1 (en) | 2021-11-19 |
| CN111724478A (zh) | 2020-09-29 |
| US11880959B2 (en) | 2024-01-23 |
| US20220351332A1 (en) | 2022-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724478B (zh) | 一种基于深度学习的点云上采样方法 | |
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| CN108764006B (zh) | 一种基于深度强化学习的sar图像目标检测方法 | |
| CN111386536A (zh) | 语义一致的图像样式转换 | |
| CN112529015A (zh) | 一种基于几何解缠的三维点云处理方法、装置及设备 | |
| CN113096234A (zh) | 利用多张彩色图片生成三维网格模型的方法及装置 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| Couturier et al. | Image denoising using a deep encoder-decoder network with skip connections | |
| CN111028327A (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN113705371A (zh) | 一种水上视觉场景分割方法及装置 | |
| Song et al. | S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network | |
| CN114091628B (zh) | 基于双分支网络的三维点云上采样方法及系统 | |
| CN115565019A (zh) | 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| Periyasamy et al. | How to get the most out of u-net for glacier calving front segmentation | |
| CN114462486A (zh) | 图像处理模型的训练方法、图像处理方法及相关装置 | |
| CN111881919B (zh) | 一种基于追踪式格网剖分的线要素智能化简方法与装置 | |
| CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
| CN116486030A (zh) | 基于地表图像的三维地质体模型的建模方法和相关装置 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| CN110807293A (zh) | 一种基于度量标准的海流场几何可视化方法 | |
| WO2023086198A1 (en) | Robustifying nerf model novel view synthesis to sparse data | |
| CN113807233B (zh) | 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240204 Address after: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province Patentee after: Guangzhou South China University of Technology Asset Management Co.,Ltd. Country or region after: China Address before: 510641 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA University OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240402 Address after: 518057, Building 4, 512, Software Industry Base, No. 19, 17, and 18 Haitian Road, Binhai Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Cross dimension (Shenzhen) Intelligent Digital Technology Co.,Ltd. Country or region after: China Address before: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province Patentee before: Guangzhou South China University of Technology Asset Management Co.,Ltd. Country or region before: China |