CN114821251B - 一种点云上采样网络的确定方法及确定装置 - Google Patents
一种点云上采样网络的确定方法及确定装置 Download PDFInfo
- Publication number
- CN114821251B CN114821251B CN202210461334.3A CN202210461334A CN114821251B CN 114821251 B CN114821251 B CN 114821251B CN 202210461334 A CN202210461334 A CN 202210461334A CN 114821251 B CN114821251 B CN 114821251B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dense
- cloud data
- module
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 48
- 230000006870 function Effects 0.000 claims description 43
- 238000011176 pooling Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 22
- 238000004220 aggregation Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种点云上采样网络的确定方法及确定装置，包括：获取目标物体的初始点云数据和真实稠密点云数据；将初始点云数据输入特征提取模块以提取点云特征；将初始点云数据和点云特征输入点云上采样模块以获取上采样后得到的目标稠密点云数据；将真实稠密点云数据和目标点云数据分别输入点云分类网络，以获取点云分类网络输出的真实稠密点云数据对应的真实输出值和目标稠密点云数据对应的目标输出值；基于目标数值优化初始点云上采样网络，得到点云上采样网络。这样，能够提高点云上采样网络的性能，使得上采样后得到的稠密点云数据更适用于点云分类任务，点云分类结果更加准确，更精准地识别出目标物体的种类。
Description
技术领域
本申请涉及点云上采样技术领域，尤其是涉及一种点云上采样网络的确定方法及确定装置。
背景技术
点云数据在三维数据描述中发挥着重要作用，已经引起了人工智能应用的广泛关注，在机器人导航、三维重建、自动驾驶、增强现实等应用场景下具有非常重要的意义。原始的稠密点云数据往往需要经下采样得到稀疏点云数据以便于数据传输和数据存储，但下采样后的稀疏点云数据会丢失一部分语义信息，不能很好地应用到下游的语义任务中，例如点云分类任务，因而也不能很好地获取点云数据所包含的语义信息。
而点云上采样方法是一种直观的为稀疏点云补充点的策略，能够通过对低分辨率的稀疏点云进行处理，获取高分辨率的稠密点云。目前，现有的点云上采样方法虽然可以在客观指标和人类视觉质量方面显示出较为优秀的向上采样结果，但由于没有考虑到后续应用于点云分类任务所需的更丰富的点云纹理特征信息，加之点云上采样的过程与分类网络之间是隔离的，使得现有的点云上采样所获得的视觉质量上较好的点云数据与分类网络不一定兼容，不一定有助于点云分类的效果。因此，如何在点云上采样和点云分类之间建立有效的关联仍然是一个挑战。
发明内容
有鉴于此，本申请的目的在于提供一种点云上采样网络的确定方法及确定装置，通过将目标物体的初始点云数据输入初始点云上采样网络以得到初始点云上采样网络输出的目标稠密点云数据，再将目标稠密点云数据和目标物体的真实稠密点云数据输入到下游的点云分类网络中，以通过点云分类网络的输出值反向优化初始点云上采样网络；这样，能够提高点云上采样网络的性能，使得点云上采样网络与点云分类网络更好的结合，进而使得上采样后得到的稠密点云数据更适用于下游的点云分类任务，点云分类结果更加准确，从而更精准地识别出目标物体的种类。
本申请实施例提供了一种点云上采样网络的确定方法，所述点云上采样网络包括特征提取模块和点云上采样模块；所述确定方法包括：
获取目标物体的初始点云数据和真实稠密点云数据；
将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；
将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；
将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；
基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
进一步的，所述特征提取模块包括初始卷积模块和多个稠密卷积模块；所述初始卷积模块和所述多个稠密卷积模块依次稠密连接；所述将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，包括：
将所述初始点云数据输入所述初始卷积模块，得到维度扩增后的第一点云特征；
针对所述多个稠密卷积模块中的任意一个稠密卷积模块，将所述第一点云特征和该稠密卷积模块之前的每个稠密卷积模块输出的第二点云特征作为输入特征输入该稠密卷积模块，以获取该稠密卷积模块输出的第二点云特征；
基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征。
进一步的，针对任意一个稠密卷积模块，该稠密卷积模块包括动态图卷积单元、图聚合单元和池化单元；所述动态图卷积单元包括边提取子单元和多个边卷积子单元；所述边提取子单元和所述多个边卷积子单元依次稠密连接以构成所述动态图卷积单元；该稠密卷积模块通过以下方式确定第二点云特征：
将所述输入特征输入所述动态图卷积单元，以获取所述动态图卷积单元根据K近邻算法得到的来自多个特征层级的多个图特征；
将所述多个图特征按照各自的特征层级的顺序进行排列，得到高维图特征；
对该高维图特征进行维度变换，以将该高维图特征按照维度排列的顺序划分为多组低维图特征；其中，所述多组低维图特征的组数等于所述边提取子单元和所述多个边卷积子单元稠密连接的增长率；
将所述多组低维图特征输入所述图聚合单元，所述图聚合单元按照每组低维图特征的权重将所述多组低维图特征进行加权求和，以将所述多组低维图特征重新聚合为新的多组低维图特征；
将新的多组低维图特征进行维度变换的逆变换，以得到新的高维图特征；
将新的高维图特征输入所述池化单元，通过对新的高维图特征进行最大池化以得到所述第二点云特征。
进一步的，所述特征提取模块还包括关键点注意力模块；在所述基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征之后，所述将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，还包括：
将所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据输入所述关键点注意力模块；其中，通过将所述初始点云数据输入所述点云分类网络，以根据所述点云分类网络的雅各比矩阵确定所述每个点的注意力数据；
将所述关键点注意力模块输出的第三点云特征确定为所述初始点云数据的点云特征；其中，所述关键点注意力模块基于所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据，以输出经过注意力机制的所述第三点云特征。
进一步的，所述点云上采样模块包括点洗牌模块和近邻预插值模块；将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据，包括：
将所述点云特征输入所述点洗牌模块，通过所述点洗牌模块对所述初始点云数据进行点洗牌以获取第一上采样后的第一稠密点云数据；
将所述初始点云数据输入所述近邻预插值模块，通过所述近邻预插值模块对所述初始点云数据进行近邻预插值以获取第二上采样后的第二稠密点云数据；
基于所述第一稠密点云数据和第二稠密点云数据，确定所述目标稠密点云数据。
进一步的，所述将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值，包括：
将所述真实稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述真实稠密点云数据的全局特征；
将所述目标稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述目标稠密点云数据的全局特征；以及获取所述点云分类网络的输出层所输出的所述目标稠密点云数据属于每个类别标签的概率。
进一步的，所述基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络，包括：
基于所述真实稠密点云数据的全局特征和所述目标稠密点云数据的全局特征，计算所述点云分类网络的第一损失函数；
基于所述目标稠密点云数据的每个类别标签和所述目标稠密点云数据属于每个类别标签的概率，计算所点云分类网络的第二损失函数；
基于所述真实稠密点云数据和所述目标稠密点云数据，计算所述初始点云上采样网络的第三损失函数；
基于目标损失函数对所述初始点云上采样网络进行优化，得到所述点云上采样网络；其中，所述目标损失函数包括以下各项中的至少一项或多项：所述第一损失函数、所述第二损失函数和所述第三损失函数。
本申请实施例还提供了一种点云上采样网络的确定装置，所述确定装置包括：
第一获取模块，用于获取目标物体的初始点云数据和真实稠密点云数据；
第一输入模块，用于将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；
第二输入模块，用于将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；
第三输入模块，用于将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；
优化模块，用于基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的确定方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的确定方法的步骤。
本申请实施例提供的一种点云上采样网络的确定方法及确定装置，包括：获取目标物体的初始点云数据和真实稠密点云数据；将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
这样，通过将目标物体的初始点云数据输入初始点云上采样网络以得到初始点云上采样网络输出的目标稠密点云数据，再将目标稠密点云数据和目标物体的真实稠密点云数据输入到下游的点云分类网络中，以通过点云分类网络的输出值反向优化初始点云上采样网络；通过这种方式，能够提高点云上采样网络的性能，使得点云上采样网络与点云分类网络更好的结合，进而使得上采样后得到的稠密点云数据更适用于下游的点云分类任务，点云分类结果更加准确，从而更精准地识别出目标物体的种类。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种点云上采样网络的确定方法的流程图；
图2示出了本申请实施例所提供的一种点云上采样网络的结构示意图之一；
图3示出了本申请实施例所提供的一种点云上采样网络的结构示意图之二；
图4示出了本申请实施例所提供的一种稠密卷积模块的结构示意图；
图5示出了本申请实施例所提供的一种维度变换的示意图；
图6示出了本申请实施例所提供的一种点云上采样网络的结构示意图之三；
图7示出了本申请实施例所提供的一种点云上采样网络的结构示意图之四；
图8示出了本申请实施例所提供的一种点洗牌模块的的结构示意图；
图9示出了本申请实施例所提供的一种点云上采样网络的确定装置的结构示意图；
图10示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于点云上采样技术领域。
经研究发现，点云数据在三维数据描述中发挥着重要作用，已经引起了人工智能应用的广泛关注，在机器人导航、三维重建、自动驾驶、增强现实等应用场景下具有非常重要的意义。原始的稠密点云数据往往需要经下采样得到稀疏点云数据以便于数据传输和数据存储，但下采样后的稀疏点云数据会丢失一部分语义信息，不能很好地应用到下游的语义任务中，例如点云分类任务，因而也不能很好地获取点云数据所包含的语义信息。
而点云上采样方法是一种直观的为稀疏点云补充点的策略，能够通过对低分辨率的稀疏点云进行处理，获取高分辨率的稠密点云。目前，现有的点云上采样方法虽然可以在客观指标和人类视觉质量方面显示出较为优秀的向上采样结果，但由于没有考虑到后续应用于点云分类任务所需的更丰富的点云纹理特征信息，加之点云上采样的过程与分类网络之间是隔离的，使得现有的点云上采样所获得的视觉质量上较好的点云数据与分类网络不一定兼容，不一定有助于点云分类的效果。因此，如何在点云上采样和点云分类之间建立有效的关联仍然是一个挑战。
基于此，本申请实施例提供了一种点云上采样网络的确定方法及确定装置，以提高点云上采样网络的性能，使得点云上采样网络与点云分类网络更好的结合，进而使得上采样后得到的稠密点云数据更适用于下游的点云分类任务，点云分类结果更加准确，从而能够更精准地识别出目标物体的种类。
请参阅图1，图1为本申请实施例所提供的一种点云上采样网络的确定方法的流程图。如图1中所示，本申请实施例提供的确定方法，包括：
S101、获取目标物体的初始点云数据和真实稠密点云数据。
需要说明的是，点云数据是指在三维坐标系统中的一组离散点的数据集合。数据集合中每个点的数据至少包括该点的位置数据，例如三维坐标向量(x，y，z)。其中，可以通过测量仪器，例如激光雷达，来获取目标物体的真实稠密点云数据；出于便于数据传输和数据存储等目的，可以通过对真实稠密点云数据进行下采样，以得到与真实稠密点云数据对应的目标物体稀疏的初始点云数据。
该步骤中，可以获取目标物体的初始点云数据其中N表示初始点云数据中点的个数，3表示点云所在的空间三维坐标(x，y，z)。
S102、将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征。
S103、将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据。
S104、将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值。
S105、基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络。
其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
下面请参阅图2，图2为本申请实施例所提供的一种点云上采样网络的结构示意图之一。如图2所示，本申请实施例所提供的点云上采样网络100包括特征提取模块110和点云上采样模块120；特征提取模块110连接点云上采样模块120，点云上采样模块120连接点云分类网络200。这样，将点云上采样任务与点云分类任务相结合，以提高点云分类网络200对于稀疏点云的鲁棒性。
在步骤S102中，将初始点云数据输入特征提取模块110，以提取初始点云数据的点云特征；在步骤S103中，将特征提取模块110输出的初始点云数据的点云特征输入点云上采样模块120，以获取经所述点云上采样模块120上采样后得到的目标稠密点云数据；在步骤S104中，将所述真实稠密点云数据输入预先构建的点云分类网络200，获取所述点云分类网络200输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络200，获取所述点云分类网络200输出的所述目标稠密点云数据对应的目标输出值；在步骤S105中，基于目标数值不断反向优化所述初始点云上采样网络100，以得到优化后的点云上采样网络100。
需要说明的是，在现有技术中，点云上采样网络的确定过程与点云分类网络是相隔离的，这导致即使点云上采样网络输出的目标稠密点云在部分客观指标和人类视觉质量上的结果较好，但由于深度学习的模式通常与人类视觉存在较大偏差，使得视觉质量上较好的点云数据与点云分类网络不一定兼容，不一定有助于点云分类的效果，即后续点云分类所得到的分类结果并不理想。因此，为使点云上采样网络的性能提升，使其输出的目标稠密点云数据更适用于下游的点云分类任务，本申请可以通过下游的点云分类网络所提供的监督信息来指导点云上采样网络的优化，以尽可能地恢复点云的语义信息，使得上采样得到的点云有更好的语义表示能力，能够更好地被下游的点云分类任务所区分。
具体说来，在一种可能的实施方式中，步骤S104可以包括以下步骤：
S1041、将所述真实稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述真实稠密点云数据的全局特征。
S1042、将所述目标稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述目标稠密点云数据的全局特征；以及获取所述点云分类网络的输出层所输出的所述目标稠密点云数据属于每个类别标签的概率。
在一种可能的实施方式中，步骤S105可以包括以下步骤：
S1051、基于所述真实稠密点云数据的全局特征和所述目标稠密点云数据的全局特征，计算所述点云分类网络的第一损失函数。
其中，所述第一损失函数用于描述真实稠密点云数据和目标稠密点云数据在特征级别的全局特征的相似度损失。
示例性的，第一损失函数可以为：
式中，Fu表示目标稠密点云数据通过点云分类网络的全局池化层得到的全局特征；FD表示真实稠密点云数据通过点云分类网络的全局池化层的全局特征。
S1052、基于所述目标稠密点云数据的每个类别标签和所述目标稠密点云数据属于每个类别标签的概率，计算所点云分类网络的第二损失函数。
其中，所述第二损失函数用于描述点云分类网络对目标稠密点云数据进行分类时的类别损失。
示例性的，第二损失函数可以为：
式中，m表示所述点云分类网络能够分类的类别总数；yi表示真实稠密点云数据所属的类别标签，针对任意一个类别标签yi，若真实稠密点云数据属于该类别标签yi，则yi为1，否则yi为0；Pi表示目标稠密点云数据经过点云分类网络的分类得到的、目标稠密点云数据属于第i个类别标签的概率。
S1053、基于所述真实稠密点云数据和所述目标稠密点云数据，计算所述初始点云上采样网络的第三损失函数。
其中，所述第三损失函数用于描述真实稠密点云数据和目标稠密点云数据基于EMD距离的位置坐标的相似度损失。
示例性的，第三损失函数可以为：
式中，xi表示目标稠密点云数据中第i点的位置坐标；γ表示双射(bijection)，γ(xi)表示目标稠密点云数据中第i点经过映射后得到的对应点的位置坐标；Pu表示目标稠密点云数据，PD表示真实稠密点云数据。
S1054、基于目标损失函数对所述初始点云上采样网络进行优化，得到所述点云上采样网络。
其中，所述目标损失函数包括以下各项中的至少一项或多项：所述第一损失函数、所述第二损失函数和所述第三损失函数。
需要说明的是，在具体实施时可以根据点云分类网络和优化标准的不同，调整优化初始点云上采样网络所采用的目标损失函数。
示例性的，在本申请的实际应用过程中，针对于PointNet这种点云分类网络而言，只需要使用第一损失函数以对点云上采样网络进行优化就能达到较好的上采样效果。而对于DGCNN这种点云分类网络而言，三种损失函数都需要使用以达到较好的上采样效果，其中，三种损失函数对应的权重分别为0.1、0.001和50。
本申请实施例提供的点云上采样网络的确定方法，包括：获取目标物体的初始点云数据和真实稠密点云数据；将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
这样，通过将目标物体的初始点云数据输入初始点云上采样网络以得到初始点云上采样网络输出的目标稠密点云数据，再将目标稠密点云数据和目标物体的真实稠密点云数据输入到下游的点云分类网络中，以通过点云分类网络的输出值反向优化初始点云上采样网络；通过这种方式，能够提高点云上采样网络的性能，使得点云上采样网络与点云分类网络更好的结合，进而使得上采样后得到的稠密点云数据更适用于下游的点云分类任务，点云分类结果更加准确，从而能够更精准地识别出目标物体的种类。
下面请参阅图3，图3为本申请另一实施例提供的所提供的一种点云上采样网络的结构示意图之二。点云上采样网络中的特征提取模块包括初始卷积模块和多个稠密卷积模块；所述初始卷积模块和所述多个稠密卷积模块依次稠密连接。示例性的，如图3所示，特征提取模块包括初始卷积模块和四个稠密卷积模块。
在一种可能的实施方式中，步骤S102中将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，包括：
S1021、将所述初始点云数据输入所述初始卷积模块，得到维度扩增后的第一点云特征。示例性的，初始卷积模块的卷积输出通道数为24。
S1022、针对所述多个稠密卷积模块中的任意一个稠密卷积模块，将所述第一点云特征和该稠密卷积模块之前的每个稠密卷积模块输出的第二点云特征作为输入特征输入该稠密卷积模块，以获取该稠密卷积模块输出的第二点云特征。
S1023、基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征。
具体的，可将第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定为所述初始点云数据的点云特征。
进一步的，请参阅图4，图4为本申请另一实施例所提供的一种稠密卷积模块的结构示意图。针对任意一个稠密卷积模块，该稠密卷积模块包括动态图卷积单元、图聚合单元和池化单元。所述动态图卷积单元包括边提取子单元和多个边卷积子单元；所述边提取子单元和所述多个边卷积子单元依次稠密连接以构成所述动态图卷积单元。示例性的，如图4所示，动态图卷积单元包括边提取子单元和三个边卷积子单元。
在一种可能的实施方式中，稠密卷积模块通过以下步骤确定第二点云特征：
步骤1、将所述输入特征输入所述动态图卷积单元，以获取所述动态图卷积单元根据K近邻算法得到的来自多个特征层级的多个图特征。
其中，边提取子单元通过将当前点与近邻点做差以获得边；边卷积子单元对这些边进行卷积运算和非线性映射以获取新的特征表示。
具体说来，动态图卷积单元可以根据K近邻算法将点云数据转化为图结构，以获取多个图特征。对于输入的点云特征，其维度是N×c，其中N为点云数据中点的个数。动态图卷积单元对每一个点的操作是相同的：首先边提取的方式采用对每个c维的点计算出K个最近邻节点，再将这些近邻节点与当前节点做差，得到边向量表示，进而构建出图结构。该图结构可表示为其中，K为每个点所对应的边，2c为该图的特征的维度或特征通道数。对该图结构采用边卷积，边卷积对图的边使用卷积运算以及非线性映射来获取新的边特征表示，每个边卷积可输出一个维度为K×g的图，其中g为所述边提取子单元和所述多个边卷积子单元稠密连接的增长率。
步骤2、将所述多个图特征按照各自的特征层级的顺序进行排列，得到高维图特征。
步骤3、对该高维图特征进行维度变换，以将该高维图特征按照维度排列的顺序划分为多组低维图特征；其中，所述多组低维图特征的组数等于所述边提取子单元和所述多个边卷积子单元稠密连接的增长率。
该步骤中，为保证后续图聚合单元对图特征进行聚合操作的合理性以及运行效率，本发明对来自不同层级的特征分组后再聚合。具体的，在图聚合单元实施聚合操作之前，将所述多个图特征按照各自的特征层级的顺序进行排列得到一个高维图特征；对高维图特征进行维度变换，也就是将该高维图特征按照维度排列的顺序划分成多组低维图特征；这样，不同组的低维图特征中既可能包含了不同特征层级的信息，也可能包含了同一特征层级但维度不同的信息。
下面请参阅图5，图5为本申请另一实施例所提供的一种维度变换的示意图。如图5所示，维度变换可以表示为其中，所述多组低维图特征的组数为g，每组低维图特征的维度为d×K，而d×g＝2c+3g，得到的g组低维图特征可表示为
步骤4、将所述多组低维图特征输入所述图聚合单元，所述图聚合单元按照每组低维图特征的权重将所述多组低维图特征进行加权求和，以将所述多组低维图特征重新聚合为新的多组低维图特征。
需要说明的是，由于一个图结构经过不同的边卷积的输出包含了不同层级的信息，而不同的层级的特征往往拥有着不同大小的感受野，因此利用不同层级的图特征往往可为上采样提供更全面的局部特征。而相同层级的图特征其维度内部往往也有着一定的频度关系，利用这些频度关系可以为上采样提供更多的信息。本申请中的图聚合单元可以通过加权聚合的手段将这些信息进行聚合，进而更全面地利用图特征。
具体的，针对多组低维图特征，所述图聚合单元将多组低维图特征重新聚合成新的一组低维图特征，其中聚合的过程需要对每组低维图特征对应维度之间加权求和，每组低维图特征的权重的大小为网络在训练当中自适应学习到的结果。
这里，所述图聚合单元将所述多组低维图特征重新聚合为新的多组低维图特征的聚合操作可以表示为：
式中，σ表示ReLU激活函数；的维度是g×1，可将/>这些图聚合成一个图表示。为了保证经过聚合前后信息量的一致性，聚合次数也设定为g次，因此可以得到g个新的图组。该公式可以通过一个输入通道为g和输出通道为g的核大小为1×1×1的三维卷积来实现，因此可以通过在网络训练当中自适应学习到合适的每组低维图特征的权重。
步骤5、将新的多组低维图特征进行维度变换的逆变换，以得到新的高维图特征。
对应于上述维度变换的表示方式，这里，维度变换的逆变换，即逆维度变换可以表示为
步骤6、将新的高维图特征输入所述池化单元，通过对新的高维图特征进行最大池化以得到所述第二点云特征。
其中，所述池化单元通过最大池化可以从逆维度变换后得到的新的高维图特征当中选取响应最大的边，从而得到一个维度为1×(2c+3g)的点，以减少数据量，提高计算速度。
下面请参阅图6，图6为本申请另一实施例所提供的一种点云上采样网络的结构示意图之三。如图6所示，所述特征提取模块还包括关键点注意力模块。
在具体实施时，在S1023基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征之后，步骤S102将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，还包括：
S1024、将所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据输入所述关键点注意力模块。
其中，通过将所述初始点云数据输入所述点云分类网络，以根据所述点云分类网络的雅各比矩阵确定所述每个点的注意力数据。
具体说来，针对包含N个点的初始点云数据和点云分类网络，将所述初始点云数据输入所述点云分类网络，可以计算出所述点云分类网络的雅各比矩阵为：
式中，C表示点云分类网络，雅各比矩阵J中包含了梯度信息，一般来说点云中拥有较大梯度的点其敏感需要说明的是，程度越大。也就是说，当对这个点进行扰动的时候，会很大程度上影响最终的分类结果。
为了得到注意力数据，需要对该雅各比矩阵J进行归一化表示；假设雅各比矩阵J中的第i个元素为ji，那么在i点的注意力数据可表示为如下形式：
S1025、将所述关键点注意力模块输出的第三点云特征确定为所述初始点云数据的点云特征。
其中，所述关键点注意力模块基于所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据，以输出经过注意力机制的所述第三点云特征。
在一种可能的实施方式中，经过所述初始卷积模块和所述多个稠密卷积模块后所提取后的点云特征可表示为针对其中任意一个点的点云特征，将其与该点的注意力数据相乘，并使用残差连接，得到经过注意力机制的该点的点云特征为：
所述关键点注意力模块通过这样的方式得到了经过关键点注意力之后的第三点云特征将所述关键点注意力模块输出的第三点云特征确定为所述初始点云数据的点云特征。
这样，能够结合初始的稀疏点云自身的语义先验信息与点云上采样网络，通过提取出稀疏点云的梯度信息来获取每个点的重要性数据。根据这些重要性数据来表示空间中各点云特征的权重，将权重施加在空间中的点云特征上来为点云中重要点的上采样提供注意力的保障，实现了利用包含语义知识的稀疏点云先验信息来指导上采样。
下面请参阅图7，图7为本申请另一实施例所提供的一种点云上采样网络的结构示意图之四。
具体说来，对于提取出的点云特征需要对其进行维度的扩充，以达到上采样的目的；即，对于维度为N×256的点云特征Fa进行变换得到一个rN×256维度的特征，其中r为上采样的倍数。为了增加特征空间多样性，如图7所示，本申请提供的点云上采样模块包括近邻预插值模块和点洗牌模块。
在一种可能的实施方式中，步骤S103中将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据，包括：
S1031、将所述点云特征输入所述点洗牌模块，通过所述点洗牌模块对所述初始点云数据进行点洗牌以获取第一上采样后的第一稠密点云数据。
下面请参阅图8，图8为本申请另一实施例所提供的一种点洗牌模块的的结构示意图。
如图8所示，点洗牌模块使用了p个点洗牌单元以将Fa放大到指定的倍数。这种洗牌的方式可以将特征维度转化到空间上进行表示。具体来说，首先，需要对点云特征进行通道压缩卷积，得到N×256维的点云特征；接着，将该点云特征输入到多个点洗牌单元当中，每个点洗牌单元会使用一个维度扩增的卷积将点云特征的维度从256维转化为512维，而点洗牌单元的洗牌操作/>则将特征维度转化为空间维度，因此经过多次点洗牌的操作可表示为：
其中，p＝logr，用于表示上采样的级数。
在经过多次点洗牌的操作，得到上采样的点云特征之后，需要将点云特征输入重构层对其进行重构，以将点云特征转化到空间坐标系当中；其中，重构层采用了两个卷积，第一个卷积用于将rN×256的特征转化到rN×128，并使用ReLU激活函数作为映射；第二个卷积可将rN×128的特征映射到rN×3的坐标空间当中。
S1032、将所述初始点云数据输入所述近邻预插值模块，通过所述近邻预插值模块对所述初始点云数据进行近邻预插值以获取第二上采样后的第二稠密点云数据。
通过实验发现，若仅单独使用渐进点洗牌的上采样方式是不利于网络训练收敛的。因此本申请实施例还采用了将近邻预插值法与点洗牌方法相结合的上采样方式。这样，首先，通过近邻预插值可以给定一个初始的重建信息和点云的形状信息，这与没有经过预插值的上采样方法相比，更有利于点云的上采样重建；其次，若不使用近邻预插值，则在上采样的过程中容易会产生许多歧义路径，而近邻预插值会使这些歧义路径尽可能的少；因此，近邻预插值与点洗牌算法相结合更有利于点云上采样过程，能达到更好的上采样效果。
S1033、基于所述第一稠密点云数据和第二稠密点云数据，确定所述目标稠密点云数据。
在一种可能的实施方式中，可以将所述第一稠密点云数据和第二稠密点云数据中相对应点的坐标相加，以得到目标稠密点云数据。
下面举例说明本发明在实际应用过程中的实施效果：
在一个实验中，针对于PointNet这种点云分类网络，使用第二损失函数以对点云上采样网络进行优化；而对于DGCNN这种点云分类网络，使用前述的第一损失函数、第二损失函数和第三损失函数以对点云上采样网络进行优化，其中，三种损失函数对应的权重分别为0.001、0.1和50；点云上采样网络总共训练120轮并使用余弦学习率衰减，对于PointNet和DGCNN分别使用0.001和0.0001的学习率对它们所监督的点云上采样网络进行训练；这里，本申请统一使用PyTorch作为代码实现以及采用Adam优化器来优化模型。
本申请在经典的ModelNet40数据集上进行实验，并在相应的测试集上对上采样后的目标稠密点云数据的平均分类准确率、与真实稠密点云数据之间的CD距离、以及它们的参数展开评价对比。如下表1所示，CD-1和准确率-1表示在PointNet上的性能结果，CD-2及准确率-2表示在DGCNN上的性能结果；参数量表示各种点云上采样方法的网络参数量的大小，以百万(M)为单位表示；CD距离越小代表上采样得到的点云越接近真实的稠密点云；而准确率表示点云分类网络的分类准确率，准确率越高则说明分类效果越好。
表1点云上采样的实验数据表
可见，本发明中的点云上采样网络取得了先进的点云上采样效果，也同时更有利于点云的语义重构表示。通过实验发现，本发明中的点云上采样网络取得了先进的点云上采样效果，尤其对一些边缘部分可以取得相较其它方法更好的点云恢复质量。
请参阅图9，图9为本申请实施例所提供的一种点云上采样网络的确定装置的结构示意图。如图9中所示，所述确定装置800包括：
第一获取模块810，用于获取目标物体的初始点云数据和真实稠密点云数据；
第一输入模块820，用于将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；
第二输入模块830，用于将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；
第三输入模块840，用于将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；
优化模块850，用于基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
进一步的，所述特征提取模块包括初始卷积模块和多个稠密卷积模块；所述初始卷积模块和所述多个稠密卷积模块依次稠密连接；所述第一输入模块820在用于将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征时，所述第一输入模块820用于：
将所述初始点云数据输入所述初始卷积模块，得到维度扩增后的第一点云特征；
针对所述多个稠密卷积模块中的任意一个稠密卷积模块，将所述第一点云特征和该稠密卷积模块之前的每个稠密卷积模块输出的第二点云特征作为输入特征输入该稠密卷积模块，以获取该稠密卷积模块输出的第二点云特征；
基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征。
进一步的，针对任意一个稠密卷积模块，该稠密卷积模块包括动态图卷积单元、图聚合单元和池化单元；所述动态图卷积单元包括边提取子单元和多个边卷积子单元；所述边提取子单元和所述多个边卷积子单元依次稠密连接以构成所述动态图卷积单元；该稠密卷积模块通过以下方式确定第二点云特征：
将所述输入特征输入所述动态图卷积单元，以获取所述动态图卷积单元根据K近邻算法得到的来自多个特征层级的多个图特征；
将所述多个图特征按照各自的特征层级的顺序进行排列，得到高维图特征；
对该高维图特征进行维度变换，以将该高维图特征按照维度排列的顺序划分为多组低维图特征；其中，所述多组低维图特征的组数等于所述边提取子单元和所述多个边卷积子单元稠密连接的增长率；
将所述多组低维图特征输入所述图聚合单元，所述图聚合单元按照每组低维图特征的权重将所述多组低维图特征进行加权求和，以将所述多组低维图特征重新聚合为新的多组低维图特征；
将新的多组低维图特征进行维度变换的逆变换，以得到新的高维图特征；
将新的高维图特征输入所述池化单元，通过对新的高维图特征进行最大池化以得到所述第二点云特征。
所述特征提取模块还包括关键点注意力模块；所述第一输入模块820在用于基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征之后，所述第一输入模块820还用于：
将所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据输入所述关键点注意力模块；其中，通过将所述初始点云数据输入所述点云分类网络，以根据所述点云分类网络的雅各比矩阵确定所述每个点的注意力数据；
将所述关键点注意力模块输出的第三点云特征确定为所述初始点云数据的点云特征；其中，所述关键点注意力模块基于所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据，以输出经过注意力机制的所述第三点云特征。
进一步的，所述点云上采样模块包括点洗牌模块和近邻预插值模块；所述第二输入模块830在用于将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据时，所述第二输入模块830用于：
将所述点云特征输入所述点洗牌模块，通过所述点洗牌模块对所述初始点云数据进行点洗牌以获取第一上采样后的第一稠密点云数据；
将所述初始点云数据输入所述近邻预插值模块，通过所述近邻预插值模块对所述初始点云数据进行近邻预插值以获取第二上采样后的第二稠密点云数据；
基于所述第一稠密点云数据和第二稠密点云数据，确定所述目标稠密点云数据。
进一步的，所述第三输入模块840在用于将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值时，所述第三输入模块840用于：
将所述真实稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述真实稠密点云数据的全局特征；
将所述目标稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述目标稠密点云数据的全局特征；以及获取所述点云分类网络的输出层所输出的所述目标稠密点云数据属于每个类别标签的概率。
所述优化模块850在用于基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络时，所述优化模块850还用于：
基于所述真实稠密点云数据的全局特征和所述目标稠密点云数据的全局特征，计算所述点云分类网络的第一损失函数；
基于所述目标稠密点云数据的每个类别标签和所述目标稠密点云数据属于每个类别标签的概率，计算所点云分类网络的第二损失函数；
基于所述真实稠密点云数据和所述目标稠密点云数据，计算所述初始点云上采样网络的第三损失函数；
基于目标损失函数对所述初始点云上采样网络进行优化，得到所述点云上采样网络；其中，所述目标损失函数包括以下各项中的至少一项或多项：所述第一损失函数、所述第二损失函数和所述第三损失函数。
请参阅图9，图9为本申请实施例所提供的一种电子设备的结构示意图。如图9中所示，所述电子设备900包括处理器910、存储器920和总线930。
所述存储器920存储有所述处理器910可执行的机器可读指令，当电子设备900运行时，所述处理器910与所述存储器920之间通过总线930通信，所述机器可读指令被所述处理器910执行时，可以执行如上述图1至图8所示方法实施例中的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1至图8所示方法实施例中的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种点云上采样网络的确定方法，其特征在于，所述点云上采样网络包括特征提取模块和点云上采样模块；所述确定方法包括：
获取目标物体的初始点云数据和真实稠密点云数据；
将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；
将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；
将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；
基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
2.根据权利要求1所述的确定方法，其特征在于，所述特征提取模块包括初始卷积模块和多个稠密卷积模块；所述初始卷积模块和所述多个稠密卷积模块依次稠密连接；所述将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，包括：
将所述初始点云数据输入所述初始卷积模块，得到维度扩增后的第一点云特征；
针对所述多个稠密卷积模块中的任意一个稠密卷积模块，将所述第一点云特征和该稠密卷积模块之前的每个稠密卷积模块输出的第二点云特征作为输入特征输入该稠密卷积模块，以获取该稠密卷积模块输出的第二点云特征；
基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征。
3.根据权利要求2所述的方法，其特征在于，针对任意一个稠密卷积模块，该稠密卷积模块包括动态图卷积单元、图聚合单元和池化单元；所述动态图卷积单元包括边提取子单元和多个边卷积子单元；所述边提取子单元和所述多个边卷积子单元依次稠密连接以构成所述动态图卷积单元；该稠密卷积模块通过以下方式确定第二点云特征：
将所述输入特征输入所述动态图卷积单元，以获取所述动态图卷积单元根据K近邻算法得到的来自多个特征层级的多个图特征；
将所述多个图特征按照各自的特征层级的顺序进行排列，得到高维图特征；
对该高维图特征进行维度变换，以将该高维图特征按照维度排列的顺序划分为多组低维图特征；其中，所述多组低维图特征的组数等于所述边提取子单元和所述多个边卷积子单元稠密连接的增长率；
将所述多组低维图特征输入所述图聚合单元，所述图聚合单元按照每组低维图特征的权重将所述多组低维图特征进行加权求和，以将所述多组低维图特征重新聚合为新的多组低维图特征；
将新的多组低维图特征进行维度变换的逆变换，以得到新的高维图特征；
将新的高维图特征输入所述池化单元，通过对新的高维图特征进行最大池化以得到所述第二点云特征。
4.根据权利要求2所述的方法，其特征在于，所述特征提取模块还包括关键点注意力模块；在所述基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点云特征，确定所述初始点云数据的点云特征之后，所述将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征，还包括：
将所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据输入所述关键点注意力模块；其中，通过将所述初始点云数据输入所述点云分类网络，以根据所述点云分类网络的雅各比矩阵确定所述每个点的注意力数据；
将所述关键点注意力模块输出的第三点云特征确定为所述初始点云数据的点云特征；其中，所述关键点注意力模块基于所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据，以输出经过注意力机制的所述第三点云特征。
5.根据权利要求1所述的方法，其特征在于，所述点云上采样模块包括点洗牌模块和近邻预插值模块；将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据，包括：
将所述点云特征输入所述点洗牌模块，通过所述点洗牌模块对所述初始点云数据进行点洗牌以获取第一上采样后的第一稠密点云数据；
将所述初始点云数据输入所述近邻预插值模块，通过所述近邻预插值模块对所述初始点云数据进行近邻预插值以获取第二上采样后的第二稠密点云数据；
基于所述第一稠密点云数据和第二稠密点云数据，确定所述目标稠密点云数据。
6.根据权利要求1所述的确定方法，其特征在于，所述将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值，包括：
将所述真实稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述真实稠密点云数据的全局特征；
将所述目标稠密点云数据输入所述点云分类网络，获取所述点云分类网络的全局池化层所输出的所述目标稠密点云数据的全局特征；以及获取所述点云分类网络的输出层所输出的所述目标稠密点云数据属于每个类别标签的概率。
7.根据权利要求6所述的确定方法，其特征在于，所述基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络，包括：
基于所述真实稠密点云数据的全局特征和所述目标稠密点云数据的全局特征，计算所述点云分类网络的第一损失函数；
基于所述目标稠密点云数据的每个类别标签和所述目标稠密点云数据属于每个类别标签的概率，计算所点云分类网络的第二损失函数；
基于所述真实稠密点云数据和所述目标稠密点云数据，计算所述初始点云上采样网络的第三损失函数；
基于目标损失函数对所述初始点云上采样网络进行优化，得到所述点云上采样网络；其中，所述目标损失函数包括以下各项中的至少一项或多项：所述第一损失函数、所述第二损失函数和所述第三损失函数。
8.一种点云上采样网络的确定装置，其特征在于，所述点云上采样网络包括特征提取模块和点云上采样模块；所述确定装置包括：
第一获取模块，用于获取目标物体的初始点云数据和真实稠密点云数据；
第一输入模块，用于将所述初始点云数据输入初始点云上采样网络中的特征提取模块，提取所述初始点云数据的点云特征；
第二输入模块，用于将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样模块，获取经所述点云上采样模块上采样后得到的目标稠密点云数据；
第三输入模块，用于将所述真实稠密点云数据输入预先构建的点云分类网络，获取所述点云分类网络输出的所述真实稠密点云数据对应的真实输出值；以及将所述目标点云数据输入所述点云分类网络，获取所述点云分类网络输出的所述目标稠密点云数据对应的目标输出值；
优化模块，用于基于目标数值优化所述初始点云上采样网络，得到所述点云上采样网络；其中，所述目标数值包括以下各项中的至少一项或多项：所述真实稠密点云数据、所述目标稠密点云数据、所述真实输出值和所述目标输出值。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210461334.3A CN114821251B (zh) | 2022-04-28 | 2022-04-28 | 一种点云上采样网络的确定方法及确定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210461334.3A CN114821251B (zh) | 2022-04-28 | 2022-04-28 | 一种点云上采样网络的确定方法及确定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821251A CN114821251A (zh) | 2022-07-29 |
| CN114821251B true CN114821251B (zh) | 2024-04-12 |
Family
ID=82508956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210461334.3A Active CN114821251B (zh) | 2022-04-28 | 2022-04-28 | 一种点云上采样网络的确定方法及确定装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821251B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457234B (zh) * | 2022-09-14 | 2023-06-09 | 北京华云星地通科技有限公司 | 一种降水数据的点云稠密化方法、系统、设备及介质 |
| CN115578265B (zh) * | 2022-12-06 | 2023-04-07 | 中汽智联技术有限公司 | 点云增强方法、系统和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724478A (zh) * | 2020-05-19 | 2020-09-29 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN112258626A (zh) * | 2020-09-18 | 2021-01-22 | 山东师范大学 | 基于图像级联生成稠密点云的三维模型生成方法及系统 |
| WO2022017131A1 (zh) * | 2020-07-22 | 2022-01-27 | 商汤集团有限公司 | 点云数据的处理方法、智能行驶控制方法及装置 |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
-
2022
- 2022-04-28 CN CN202210461334.3A patent/CN114821251B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724478A (zh) * | 2020-05-19 | 2020-09-29 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| WO2022017131A1 (zh) * | 2020-07-22 | 2022-01-27 | 商汤集团有限公司 | 点云数据的处理方法、智能行驶控制方法及装置 |
| CN112258626A (zh) * | 2020-09-18 | 2021-01-22 | 山东师范大学 | 基于图像级联生成稠密点云的三维模型生成方法及系统 |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 扩展点态卷积网络的点云分类分割模型;张新良;付陈琳;赵运基;;中国图象图形学报;20200812(08);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821251A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114821251B (zh) | 一种点云上采样网络的确定方法及确定装置 | |
| CN107103326B (zh) | 基于超像素聚类的协同显著性检测方法 | |
| Awad et al. | Multicomponent image segmentation using a genetic algorithm and artificial neural network | |
| CN113361664B (zh) | 一种基于量子卷积神经网络的图像识别系统及方法 | |
| CN110969250A (zh) | 一种神经网络训练方法及装置 | |
| CN108682007B (zh) | 基于深度随机森林的jpeg图像重采样自动检测方法 | |
| CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| WO2013090288A1 (en) | Image classification | |
| JP2015052832A (ja) | 重み設定装置および方法 | |
| CN110309835B (zh) | 一种图像局部特征提取方法及装置 | |
| CN113496247A (zh) | 估计生成对抗网络的隐含似然 | |
| CN111415323B (zh) | 图像的检测方法及装置，神经网络的训练方法及装置 | |
| CN113553582A (zh) | 恶意攻击检测方法、装置及电子设备 | |
| CN111860823A (zh) | 神经网络训练、图像处理方法及装置、设备及存储介质 | |
| CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| CN115392301A (zh) | 换流变压器状态识别方法、装置、设备、介质和程序产品 | |
| CN117218351A (zh) | 基于局部和全局上下文感知的三维点云语义分割方法 | |
| CN115830375A (zh) | 点云分类方法及装置 | |
| Hui et al. | Discrete Fourier transform based pattern classifiers | |
| Siméoni et al. | Unsupervised object discovery for instance recognition | |
| CN114693923A (zh) | 一种基于上下文和注意力的三维点云语义分割方法 | |
| CN113989940A (zh) | 视频数据中动作识别方法、系统、设备与存储介质 | |
| Barthakur et al. | Deep learning based semantic segmentation applied to satellite image | |
| Rezvani et al. | Lagrangian-based pattern extraction for edge computing in the internet of things | |
| CN114565772B (zh) | 集合特征提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |