CN115223067B - 应用于无人机的点云融合方法、装置、设备及存储介质 - Google Patents

应用于无人机的点云融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115223067B
CN115223067B CN202211138002.8A CN202211138002A CN115223067B CN 115223067 B CN115223067 B CN 115223067B CN 202211138002 A CN202211138002 A CN 202211138002A CN 115223067 B CN115223067 B CN 115223067B
Authority
CN
China
Prior art keywords
point cloud
sequence
fusion
semantic segmentation
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211138002.8A
Other languages
English (en)
Other versions
CN115223067A (zh
Inventor
邓涛
张晟东
张立华
王济宇
古家威
李志建
蔡维嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202211138002.8A priority Critical patent/CN115223067B/zh
Publication of CN115223067A publication Critical patent/CN115223067A/zh
Application granted granted Critical
Publication of CN115223067B publication Critical patent/CN115223067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及点云融合技术领域，具体公开了一种应用于无人机的点云融合方法、装置、设备及存储介质，其中，方法包括以下步骤：通过预训练的第一卷积模型对图像序列进行特征提取，变换获取联合语义分割图；随机去除第一点云序列中的部分点云以生成第二点云序列；获取第一点云序列特征；根据第一点云序列特征与联合语义分割图的相关性生成第一融合结果；获取第二点云序列特征；根据第二点云序列特征与联合语义分割图的相关性生成第二融合结果；根据第一融合结果及第二融合结果的差异性建立损失函数；输出损失函数收敛时的第一融合结果；该方法能进行自适应优化的点云融合，并具有人工成本低、高抗噪声、高抗干扰能力的优势。

Description

应用于无人机的点云融合方法、装置、设备及存储介质
技术领域
本申请涉及点云融合技术领域，具体而言，涉及一种应用于无人机的点云融合方法、装置、设备及存储介质。
背景技术
近年来，小型四旋翼无人机得益于结构简单可靠、体积小和成本低等特点，在民用和军用等领域应用愈加广泛。小型四旋翼无人机在机动性方面具有无人车或者足式机器人等无法比拟的优势，其不需要考虑地形，可全向运动，运动速度也更快。因此，在洞穴、矿道、茂密丛林等复杂地形地貌下，小型四旋翼无人机是最适合承担勘测、抢险救援和地貌三维重建等任务的设备之一。
小型四旋翼无人机一般通过搭载双目相机或RGB-D等深度相机获取感知信息，采用体积小重量轻的处理器进行计算和控制。此外，小型四旋翼无人机获取的深度图像一般通过转换为点云数据进行融合实现三维重建，此过程中的点云融合是实现无人机进行地形三维建模或定位导航等功能的关键步骤，也十分依赖处理器的算力。
现有小型四旋翼无人机相机点云数据融合方法包括：基于事件相机和新型传感器的点云数据的融合方法、基于点线特征的点云融合方法、基于自注意力机制的点云融合方法、基于深度多模态交叉的点云融合方法等，这些点云融合方法一般在计算过程中采用固定的参数，无法针对不同场景获取的数据进行自适应融合。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种应用于无人机的点云融合方法、装置、设备及存储介质，能根据不同场景获取的数据进行自适应优化的点云融合。
第一方面，本申请提供了一种应用于无人机的点云融合方法，用于融合无人机采集的点云数据，所述方法包括以下步骤：
S1、获取第一点云序列和与所述第一点云序列对应的图像序列；
S2、通过预训练的第一卷积模型对所述图像序列进行特征提取，变换获取联合语义分割图；
S3、随机去除所述第一点云序列中的部分点云以生成第二点云序列；
S4、通过第二卷积模型对所述第一点云序列进行特征提取，获取第一点云序列特征；
S5、根据所述第一点云序列特征与所述联合语义分割图的相关性生成第一融合结果；
S6、通过所述第二卷积模型对所述第二点云序列进行特征提取，获取第二点云序列特征；
S7、根据所述第二点云序列特征与所述联合语义分割图的相关性生成第二融合结果；
S8、根据所述第一融合结果及所述第二融合结果的差异性建立损失函数；
S9、更新所述第二卷积模型的网络参数至所述损失函数收敛，输出所述损失函数收敛时的第一融合结果。
本申请的应用于无人机的点云融合方法，基于无人机采集的图像序列和第一点云序列建立三分支的特征提取框架以获取联合语义分割图、第一点云序列特征及第二点云序列特征，并分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取第一融合结果和第二融合结果，使根据第一融合结果及第二融合结果的差异性建立的损失函数构成了一个自监督框架，实现第二卷积模型的自监督优化，无需人工标记标签。
所述的应用于无人机的点云融合方法，其中，步骤S2包括以下子步骤：
通过所述第一卷积模型对所述图像序列进行特征提取获取语义及空间特征图；
对所述语义及空间特征图进行平滑化处理、非负矩阵分解及矩阵变换处理获取所述联合语义分割图。
在该示例中，第一卷积模型用于联合图像序列中各个图像中的像素特征进行联合语义分割处理，其通过对图像序列进行分析获取语义信息和空间特征信息，从而生成语义及空间特征图，该语义及空间特征图表现为热图，其上不同颜色代表了不同空间深度。
所述的应用于无人机的点云融合方法，其中，步骤S5包括以下子步骤：
根据所述第一点云序列特征与所述联合语义分割图获取不同点云图中不同点云特征与所述联合语义分割图的第一相关性概率；
根据不同点云位置对应的最大的第一相关性概率融合所述第一点云序列以生成所述第一融合结果。
在该实例中，联合语义分割图为联合了整个图像序列中所有图像来进行分割获取的，其通过热图方式表征了无人机所在的空间特点，故本申请的应用于无人机的点云融合方法能在联合语义分割图指导下判断第一点云序列融合结果的好坏，而第一相关性概率表征了不同点云特征与联合语义分割图对应位置点的匹配程度，使得本申请的应用于无人机的点云融合方法能基于第一相关性概率从第一点云序列特征中提取与联合语义分割图匹配程度最优的卷积结果作为第一融合结果。
所述的应用于无人机的点云融合方法，其中，所述根据所述第一点云序列特征与所述联合语义分割图获取不同点云图中不同点云特征与所述联合语义分割图的第一相关性概率的步骤包括：
根据所述第一点云序列特征与所述联合语义分割图的点对点乘积的归一化结果获取所述第一相关性概率。
所述的应用于无人机的点云融合方法，其中，所述更新所述第二卷积模型的网络参数至所述损失函数收敛的步骤包括：
根据梯度下降法更新所述第二卷积模型的网络参数直至所述损失函数的输出小于或等于预设阈值，则认为所述损失函数收敛。
所述的应用于无人机的点云融合方法，其中，所述根据梯度下降法更新所述第二卷积模型的网络参数直至所述损失函数的输出小于或等于预设阈值，则认为所述损失函数收敛的步骤包括：
根据梯度下降法更新所述第二卷积模型的网络参数；
在每轮更新所述网络参数后，若所述损失函数的输出大于所述预设阈值则返回步骤S3，若所述损失函数的输出小于或等于所述预设阈值，则结束更新所述网络参数。
所述的应用于无人机的点云融合方法，其中，所述第一卷积模型和第二卷积模型均为VGG+Attention模型。
第二方面，本申请还提供了一种应用于无人机的点云融合装置，用于融合无人机采集的点云数据，所述装置包括：
获取模块，用于获取第一点云序列和与所述第一点云序列对应的图像序列；
图像特征提取模块，用于通过预训练的第一卷积模型对所述图像序列进行特征提取，变换获取联合语义分割图；
点云去除模块，用于随机去除所述第一点云序列中的部分点云以生成第二点云序列；
第一特征提取模块，用于通过第二卷积模型对所述第一点云序列进行特征提取，获取第一点云序列特征；
第一融合模块，用于根据所述第一点云序列特征与所述联合语义分割图的相关性生成第一融合结果；
第二特征提取模块，用于通过所述第二卷积模型对所述第二点云序列进行特征提取，获取第二点云序列特征；
第二融合模块，用于根据所述第二点云序列特征与所述联合语义分割图的相关性生成第二融合结果；
损失函数模块，用于根据所述第一融合结果及所述第二融合结果的差异性建立损失函数；
更新输出模块，用于更新所述第二卷积模型的网络参数至所述损失函数收敛，输出所述损失函数收敛时的第一融合结果。
本申请的应用于无人机的点云融合装置，基于无人机采集的图像序列和第一点云序列建立三分支的特征提取框架以获取联合语义分割图、第一点云序列特征及第二点云序列特征，并分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取第一融合结果和第二融合结果，使根据第一融合结果及第二融合结果的差异性建立的损失函数构成了一个自监督框架，实现第二卷积模型的自监督优化，无需人工标记标签。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种应用于无人机的点云融合方法、装置、设备及存储介质，其中，本申请的应用于无人机的点云融合方法利用分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取的第一融合结果和第二融合结果建立损失函数，以构成自监督框架来实现第二卷积模型的自监督优化，无需人工标记标签，能根据无人机采集的图像序列和第一点云序列进行自适应优化的点云融合，并具有人工成本低、高抗噪声、高抗干扰能力的优势。
附图说明
图1为本申请一些实施例提供的应用于无人机的点云融合方法的流程图。
图2为本申请另一些实施例提供的应用于无人机的点云融合方法的流程图。
图3为本申请实施例提供的应用于无人机的点云融合装置的结构示意图。
图4为本申请实施例提供的电子设备的结构示意图。
附图标记：201、获取模块；202、图像特征提取模块；203、点云去除模块；204、第一特征提取模块；205、第一融合模块；206、第二特征提取模块；207、第二融合模块；208、损失函数模块；209、更新输出模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1和图2，本申请一些实施例提供了一种应用于无人机的点云融合方法，用于融合无人机采集的点云数据，方法包括以下步骤：
S1、获取第一点云序列和与第一点云序列对应的图像序列；
S2、通过预训练的第一卷积模型对图像序列进行特征提取，变换获取联合语义分割图；
S3、随机去除第一点云序列中的部分点云以生成第二点云序列；
S4、通过第二卷积模型对第一点云序列进行特征提取，获取第一点云序列特征；
S5、根据第一点云序列特征与联合语义分割图的相关性生成第一融合结果；
S6、通过第二卷积模型对第二点云序列进行特征提取，获取第二点云序列特征；
S7、根据第二点云序列特征与联合语义分割图的相关性生成第二融合结果；
S8、根据第一融合结果及第二融合结果的差异性建立损失函数；
S9、更新第二卷积模型的网络参数至损失函数收敛，输出损失函数收敛时的第一融合结果。
具体地，第一点云序列为无人机通过其搭载设备连续采集的包含多个时刻的点云数据的序列集，图像序列为无人机通过其搭载设备连续采集的包含多个时刻的图片数据的序列集，在本申请实施例中，无人机优选为通过搭载RGB-D相机来采集场景中的图像序列和第一点云序列，使得图像序列中每一帧图像均有与之对应匹配的一帧点云图，其中，第一点云序列为基于RGB-D相机采集的深度图序列转换生成，该转换过程可通过现有各类深度数据转换为点云数据的手段实现，在此不再赘述。
更具体地，图像序列包括无人机飞行过程中连续采集的多帧图像，在本申请实施例中，记为I，满足
Figure DEST_PATH_IMAGE001
，其中T为序列长度，即序列的帧数，I m 为序列中第m帧图像，m=1,2,3……T；第一点云序列包括无人机飞行过程中连续采集的多帧点云图，在本申请实施例中，记为X，满足
Figure DEST_PATH_IMAGE002
，X m 为序列中第m帧图像，m=1,2,3……T；第一点云序列和图像序列基于序列长度匹配，即X m 与I m 的采集时刻对应。
更具体地，步骤S3随机去除第一点云序列中部分点云的过程为随机去除每个X m 中的部分点云，在本申请实施例中，记第二点云序列为
Figure DEST_PATH_IMAGE003
。
更具体地，基于第一点云序列随机去除部分点云生成的第二点云序列相当于建立了一个缺失部分点云的点云数据集合，能模拟出第一点云序列缺失数据或采集数据不佳的情况。
更具体地，第一卷积模型为预先训练好的图像卷积模型，能根据语义和图像上像素区分图像的空间特征，以在图像中进行语义和空间特征提取，使得步骤S2能在图像序列进行特征提取后，将这些特征转换成能与第一点云序列特征和第二点云序列特征进行比较的联合语义分割图；应当理解的是，为了使得联合语义分割图能与第一点云序列特征和第二点云序列特征进行比较，变换获取的联合语义分割图应与第一点云序列特征和第二点云序列特征的维度相同。
更具体地，联合语义分割图为联合整个图像序列中所有图像进行图像分割获取的用于区分空间特征的特征热图。
更具体地，第一点云序列特征为根据第一点云序列提取的特征序列，其包含序列长度与第一点云序列一致的多个点云图的卷积结果，相当于多个点云初步融合结果，通过分析第一点云序列特征与联合语义分割图的相关性，能获取第一点云序列中不同点云图的卷积结果与联合语义分割图的匹配程度，步骤S5为根据第一点云序列特征与联合语义分割图的相关性获取最优的点云初步融合结果作为第一融合结果；同理，第二点云序列特征为根据第二点云序列提取的特征序列，其包含序列长度与第二点云序列一致的多个点云图的卷积结果，相当于多个点云初步融合结果，通过分析第二点云序列特征与联合语义分割图的相关性，能获取第二点云序列中不同点云图的卷积结果与联合语义分割图的匹配程度，步骤S7为根据第二点云序列特征与联合语义分割图的相关性获取最优的点云初步融合结果作为第二融合结果；因此，第一融合结果为在联合语义分割图指导下基于完整的第一点云序列输出的点云融合结果，第二融合结果为在联合语义分割图指导下基于去除部分点云的第一点云序列输出的点云融合结果，本申请实施例的应用于无人机的点云融合方法旨在优化并输出第一融合结果以实现高精度的点云融合。
更具体地，第一点云序列特征和第二点云序列特征均基于第二卷积模型提取获得，其分别反映了第二卷积模型在完整数据和不完整数据下的特征提取能力,使得第二融合结果表征了部分点云数据缺失时的点云融合结果，第二卷积模型的卷积能力决定了本申请实施例的应用于无人机的点云融合方法最终的点云融合效果，故需要结合步骤S8-步骤S9对第二卷积模型进行优化；在本申请实施例中，步骤S8建立的损失函数能反映出第一融合结果和第二融合结果的差异性，在步骤S9的优化过程中，第二融合结果对于第一融合结果而言，相当于一个辅助模型的输出结果，使得第一融合结果朝向靠近第二融合结果优化，同时，第一融合结果对于第二融合结果而言，也相当于一个辅助模型的输出结果，使得第二融合结果朝向靠近第一融合结果优化；损失函数基于第一融合结果及第二融合结果的差异性建立，相当于利用第二融合结果构建了用于训练第二卷积模型的数据增强手段，能使优化结束后的第二卷积模型具有优异的抗噪声、抗干扰能力，能在部分点云数据缺失的情况下也能获取高度接近第一融合结果的点云融合结果，即实现高精度的点云融合；因此，在本申请实施例中，第二融合结果相当于增强融合结果，其为用于提高第二卷积模型的抗噪声、抗干扰能力的增强型训练数据。
更具体地，应当理解的是，第二卷积模型可以为上一次训练结束产生的模型或重新设置的模型，本申请实施例的应用于无人机的点云融合方法旨在基于无人机获取的图像序列及第一点云序列优化第二卷积模型的网络参数，使该第二卷积模型能提取高精度的第一点云序列特征以进行点云融合，在本申请实施例中，第二卷积模型的网络参数优选为随机初始化生成。
更具体地，现有的点云融合方法中，一般需要建立人工标记获取显性的标签（label）来进行相应卷积模型的训练，人工标记过程需要付出极大的劳动成本；而本申请实施例的应用于无人机的点云融合方法通过比较第一融合结果和第二融合结果来优化第二卷积模型，即利用了基于第二点云序列特征与联合语义分割图相关性建立的第二融合结果作为标签，而不需要采用显性的标签作为先验数据指导第二卷积模型进行训练学习，使得本申请实施例应用于无人机的点云融合方法可基于无人机实际采集的图像序列和第一点云序列进行第二卷积模型的训练，并根据这些采集数据实现自适应优化以实现高精度、高抗噪声、高抗干扰能力的点云融合。
本申请实施例的应用于无人机的点云融合方法，基于无人机采集的图像序列和第一点云序列建立三分支的特征提取框架以获取联合语义分割图、第一点云序列特征及第二点云序列特征，并分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取第一融合结果和第二融合结果，使根据第一融合结果及第二融合结果的差异性建立的损失函数构成了一个自监督框架，实现第二卷积模型的自监督优化，无需人工标记标签；本申请实施例的应用于无人机的点云融合方法能根据无人机采集的图像序列和第一点云序列进行自适应优化的点云融合，并具有人工成本低、高抗噪声、高抗干扰能力的优势。
更具体地，由于本申请实施例的应用于无人机的点云融合方法不需要人工进行标签标记（即相当于不用标记先验数据），故本申请实施例的应用于无人机的点云融合方法能根据不同场景获取的图像序列和第一点云序列自适应地进行点云融合，能适用于不同场合。
在一些优选的实施方式中，步骤S2包括以下子步骤：
S21、通过第一卷积模型对图像序列进行特征提取获取语义及空间特征图；
S22、对语义及空间特征图进行平滑化处理、非负矩阵分解及矩阵变换处理获取联合语义分割图。
具体地，第一卷积模型用于联合图像序列中各个图像中的像素特征进行联合语义分割处理，其通过对图像序列进行分析获取语义信息和空间特征信息，从而生成语义及空间特征图，该语义及空间特征图表现为热图，其上不同颜色代表了不同空间深度。
更具体地，第一卷积模型为预训练模型，即基于预先标记的数据集进行训练的卷积模型，即第一卷积模型为通过输入输入图片获取特征图，并通过比较特征图和预先标记好的输出图片进行训练的神经网络模型，该训练过程可采用现有的各类关于图片语义分割的训练方式，在此不再赘述。
更具体地，语义及空间特征图为通过不同颜色表征不同空间深度的特征图像，在执行步骤S5和S7前，需要将该语义及空间特征图转换成便于与第一点云序列特征和第二点云序列特征进行比较的数据，故需要执行步骤S22将语义及空间特征图转换为联合语义分割图。
更具体地，平滑化（Flatten）处理能使语义及空间特征图分界边缘更清晰平滑，完成平滑处理后，本申请实施例的应用于无人机的点云融合方法利用非负矩阵分解及矩阵变换对平滑化处理后的语义及空间特征图进行变换重塑获取联合语义分割图；其中，非负矩阵分解（NMF，Nonnegative Matrix Factorization）是一种简化算法，用于简化语义及空间特征图的计算量和存储占用，即用于简化降维语义及空间特征图，以降低语义及空间特征图的存储占用，其原理是通过一个非负的稀疏矩阵来近似替换原语义及空间特征图对应的矩阵以实现数据特征的降维(即去掉了原语义及空间特征图对应矩阵中无用的冗余数据)；简化降维后的简化语义及空间特征图需要变换至原来的序列长度及尺寸，故需要矩阵变换（Reshape函数）进行重塑，以获取能与第一点云序列特征和第二点云序列特征进行比较的联合语义分割图。
更具体地，步骤S21基于第一卷积模型联合了整个图像序列进行分割，再结合平滑化处理、非负矩阵分解及矩阵变换处理能获取存储占用低且能清楚区分不同空间深度的联合语义分割图。
在一些优选的实施方式中，为保证第一点云序列特征和第二点云序列特征能与联合语义分割图进行比较获取相应的相关性，第一卷积模型和第二卷积模型的输出结果的维度相同，在本申请实施例中，维度包括序列长度、尺寸及深度，即第一点云序列特征、第二点云序列特征、语义及空间特征图及联合语义分割图具有相同的
Figure DEST_PATH_IMAGE004
，其中，H为特征图长度，W为特征图宽度，3为空间深度。
在一些优选的实施方式中，第一卷积模型和第二卷积模型均为VGG+Attention模型。
具体地，VGG+Attention模型为在VGG网络中添加注意力模块产生的模型，其残差注意力模块将所提取的深层特征中的重要特征进行加强和集中，具有训练时间少、鲁棒性高、卷积效果好的特点，该模型属于现有模型，在此对其构建过程不做详述；第一卷积模型和第二卷积模型采用同类型网络模型，能确保输出结果维度相同，使得步骤S5和S7能顺利生成第一融合结果和第二融合结果。
更具体地，应当理解的是，第一卷积模型为预训练好的VGG+Attention模型，第二卷积模型为随机初始化网络参数的VGG+Attention模型；其中，第一点云序列特征为该第二卷积模型根据第一点云序列直接提取获得，第二点云序列特征为该第二卷积模型根据第二点云序列直接提取获得。
如图1和图2分别所示，步骤S4-步骤S7可以是顺序执行，也可以改变为步骤S4-步骤S5与步骤S6-步骤S7同步执行，在本申实施例中，优选为后者，以提高损失函数的优化效率，即提高点云融合效率。
因此，在一些优选的实施方式中，为了能同时启动执行步骤S4和步骤S6，应用于无人机的点云融合方法设置两个网络参数共享的第二卷积模型，即利用两个第二卷积模型同时执行步骤S4和步骤S6，且步骤S9更新网络参数的行为能同时更新两个第二卷积模型中的网络参数，其过程为更新其中一个第二卷积模型的网络参数，另一个第二卷积模型通过共享方式获取该第二卷积模型的网络参数，使得本申请实施例的应用于无人机的点云融合方法具有训练效率高、融合效率高的特点。
在一些优选的实施方式中，步骤S5包括以下子步骤：
S51、根据第一点云序列特征与联合语义分割图获取不同点云图中不同点云特征与联合语义分割图的第一相关性概率；
S52、根据不同点云位置对应的最大的第一相关性概率融合第一点云序列以生成第一融合结果。
具体地，由前述内容可知，相关性表征了第一点云序列中不同点云图的卷积结果与联合语义分割图的匹配程度，因此，基于第一相关性概率表征了卷积结果中不同位置的点云特征与联合语义分割图对应位置点的匹配程度，第一相关性概率越高表明该处卷积提取生成的点云特征与联合语义分割图对应位置点匹配程度越高、越相似；由于第一点云序列特征的维度与联合语义分割图的维度一致，因此，所有第一相关性概率的集合与第一点云序列特征的维度及联合语义分割图的维度一致，在本申请实施例中，定义该集合为第一联合概率。
由前述内容可知，联合语义分割图为联合了整个图像序列中所有图像来进行分割获取的，其通过热图方式表征了无人机所在的空间特点，故本申请实施例的应用于无人机的点云融合方法能在联合语义分割图指导下判断第一点云序列融合结果的好坏，而第一相关性概率表征了不同点云特征与联合语义分割图对应位置点的匹配程度，使得本申请实施例的应用于无人机的点云融合方法能基于第一相关性概率从第一点云序列特征中提取与联合语义分割图匹配程度最优的卷积结果作为第一融合结果。
在一些优选的实施方式中，步骤S7包括以下子步骤：
S71、根据第二点云序列特征与联合语义分割图获取不同点云图中不同点云特征与联合语义分割图的第二相关性概率；
S72、根据不同点云位置对应的最大的第二相关性概率融合第二点云序列以生成第二融合结果。
具体地，第二融合结果的生成原理和过程与第一融合结果的生成过程及原理一致，区别在于第二融合结果采用第二点云序列生成，使得第二融合结果相当于模拟了第一点云序列缺失部分点云下的点云融合结果；本申请实施例的应用于无人机的点云融合方法基于第二相关性概率从第二点云序列特征中提取与联合语义分割图匹配程度最优的卷积结果作为第二融合结果。
在一些优选的实施方式中，根据第一点云序列特征与联合语义分割图获取不同点云图中不同点云特征与联合语义分割图的第一相关性概率的步骤包括：
S511、根据第一点云序列特征与联合语义分割图的点对点乘积的归一化结果获取第一相关性概率。
具体地，由于第一点云序列特征与联合语义分割图的维度一致，故能实现点对点比较，在本申请实施例中，点对点乘积的处理方式相当于将联合语义分割图中各个元素作为第一点云序列特征的语义加权在各个卷积点云（基于第二卷积模型融合的点云）上，作为加权点云输出，加权点云输出为具有相应语义分割特点的数据，即将联合语义分割图中语义及空间特征关联性加权在点云中，联合语义分割图的元素与点云特征越匹配产生的加权点云输出的值越大，为了便于比较各个加权点云输出的大小，对所有加权点云输出进行归一化处理生成归一化结果，并定义为第一点云序列特征与联合语义分割图的第一相关性概率。
更具体地，同理，步骤S71包括：S711、根据第二点云序列特征与联合语义分割图的点对点乘积的归一化结果获取第二相关性概率，并将第二相关性概率的集合定义为第二联合概率。
在一些优选的实施方式中，更新第二卷积模型的网络参数至损失函数收敛的步骤包括：
S91、根据梯度下降法更新第二卷积模型的网络参数直至损失函数的输出小于或等于预设阈值，则认为损失函数收敛。
具体地，更新第二卷积模型的网络参数能改变基于第二卷积模型输出的第一点云序列特征和第二点云序列特征，以改变第一融合结果和第二融合结果，从而改变基于第一融合结果及第二融合结果的差异性建立的损失函数的输出值，更新该网络参数的过程相当于优化损失函数的过程，即使得第一融合结果及第二融合结果尽可能相似以及使得步骤S5和步骤S7分别输出高精度的第一融合结果及第二融合结果，从而实现点云融合的自适应优化。
更具体地，为了减少迭代更新次数并提高优化效率，在本申请实施例中，利用预设阈值来判断损失函数是否优化到位。
在一些优选的实施方式中，根据梯度下降法更新第二卷积模型的网络参数直至损失函数的输出小于或等于预设阈值，则认为损失函数收敛的步骤包括：
S911、根据梯度下降法更新第二卷积模型的网络参数；
S912、在每轮更新网络参数后，若损失函数的输出大于预设阈值则返回步骤S3，若损失函数的输出小于或等于预设阈值，则结束更新网络参数。
具体地，在上述更新过程中，在每次更新完网络参数后，若损失函数尚未收敛，则返回步骤S3重新生成新的第二点云序列，即相当于对第二点云序列进行一次更新以获取新的模拟缺失部分数据的第一点云序列，使得每次迭代更新过程中，均引入了不同的点云数据作为数据增强手段，使得训练后的第二卷积模型具有高鲁棒性、高稳定性的特点，并有效提高该模型的抗噪声、抗干扰能力。
在另一些的实施方式中，步骤S912可改变为：
S912’、在每轮更新网络参数后，若损失函数的输出大于预设阈值则返回步骤S4，若损失函数的输出小于或等于预设阈值，则结束更新网络参数。
其中，对于图2所示的步骤S4和步骤S6并行执行的方式，返回步骤S4的行为应当理解为：返回步骤S4以同时执行步骤S4及步骤S6。
具体地，该更新方式不对第二点云序列进行更新，能节省点云融合时间，但相对点云融合过程中的抗噪声、抗干扰能力会有一定程度的下降，因此，在本申请实施例中，步骤S91优选为包括步骤S911和步骤S912。
更具体地，在本申请实施例中，记第一卷积模型、平滑化处理、非负矩阵分解及矩阵变换处理的综合标记为
Figure DEST_PATH_IMAGE005
、联合语义分割图为
Figure DEST_PATH_IMAGE006
，则有：
Figure DEST_PATH_IMAGE007
（1）
记第一点云序列特征为
Figure DEST_PATH_IMAGE008
、第二点云序列特征为
Figure DEST_PATH_IMAGE009
、第二卷积模型为
Figure DEST_PATH_IMAGE010
、第二卷积模型的网络参数为
Figure DEST_PATH_IMAGE011
，则有：
Figure DEST_PATH_IMAGE012
（2）
Figure DEST_PATH_IMAGE013
（3）
因此，第一相关性概率为：
Figure DEST_PATH_IMAGE014
（4）
其中，
Figure DEST_PATH_IMAGE015
为第一相关性概率，
Figure DEST_PATH_IMAGE016
为点乘运算符，i、j、k及l分别为空间深度、特征图宽度、特征图长度及序列长度的序号。
记第一联合概率为
Figure DEST_PATH_IMAGE017
，则
Figure 823025DEST_PATH_IMAGE017
为所有
Figure 412269DEST_PATH_IMAGE015
的集合。
同理，第二相关性概率为：
Figure DEST_PATH_IMAGE018
（5）
其中，
Figure DEST_PATH_IMAGE019
为第一相关性概率，记第二联合概率为
Figure DEST_PATH_IMAGE020
，则
Figure 2126DEST_PATH_IMAGE020
为所有
Figure 866177DEST_PATH_IMAGE019
的集合。
记第一融合结果为
Figure DEST_PATH_IMAGE021
，步骤S5根据第一点云序列特征与联合语义分割图的相关性生成第一融合结果的过程相当于根据第一联合概率生成第一融合结果的输出过程，记该输出过程为
Figure DEST_PATH_IMAGE022
，则有：
Figure DEST_PATH_IMAGE023
（6）
其中，该输出过程相当于一个降维过程，由前述内容可知，第一联合概率的维度与第一点云序列特征的维度一致，也为
Figure 244331DEST_PATH_IMAGE004
，可利用Reshape函数对
Figure 784902DEST_PATH_IMAGE017
进行重塑变换为
Figure DEST_PATH_IMAGE024
,其维度转换为
Figure DEST_PATH_IMAGE025
，其中，
Figure DEST_PATH_IMAGE026
，即对
Figure 149806DEST_PATH_IMAGE017
进行降维处理获取
Figure 817547DEST_PATH_IMAGE024
，然后选择T维对应最大输出的
Figure 938956DEST_PATH_IMAGE024
保留到
Figure 604424DEST_PATH_IMAGE021
中，作为第一融合结果，其大小为
Figure DEST_PATH_IMAGE027
，其中，选择T维对应最大输出的
Figure 47169DEST_PATH_IMAGE024
保留到
Figure 987443DEST_PATH_IMAGE021
中的过程采用Argmax函数即能获取最大的
Figure 979670DEST_PATH_IMAGE024
对应的
Figure 127623DEST_PATH_IMAGE008
中的卷积结果作为第一融合结果；在本申请实施例中，将上述转换过程中的Reshape函数和Argmax函数记为综合函数
Figure 41352DEST_PATH_IMAGE022
。
同理，记第二融合结果为
Figure DEST_PATH_IMAGE028
，则有：
Figure DEST_PATH_IMAGE029
（7）
因此，步骤S8为基于
Figure 470803DEST_PATH_IMAGE021
和
Figure 583116DEST_PATH_IMAGE028
的差异性建立损失函数，其可通过差值、范数差、范数差的平方等方式建立损失函数，在本申请实施例中，优选为基于范数差的平方建立损失函数，记损失函数为
Figure DEST_PATH_IMAGE030
，满足：
Figure DEST_PATH_IMAGE031
（8）
因此，优化损失函数的过程为更新
Figure 839654DEST_PATH_IMAGE011
的过程，
Figure 37417DEST_PATH_IMAGE011
优选为基于梯度下降法更新，其每次迭代更新过程满足：
Figure DEST_PATH_IMAGE032
（9）
其中，
Figure DEST_PATH_IMAGE033
为学习率，在本申请实施例中，优选为0.03。
在本申请实施例中，优选为通过步骤S911-步骤S912进行网络参数的更新，故有：
Figure DEST_PATH_IMAGE034
（10）
其中，
Figure DEST_PATH_IMAGE035
为预设阈值。
第二方面，请参照图3，本申请一些实施例还提供了一种应用于无人机的点云融合装置，用于融合无人机采集的点云数据，装置包括：
获取模块201，用于获取第一点云序列和与第一点云序列对应的图像序列；
图像特征提取模块202，用于通过预训练的第一卷积模型对图像序列进行特征提取，变换获取联合语义分割图；
点云去除模块203，用于随机去除第一点云序列中的部分点云以生成第二点云序列；
第一特征提取模块204，用于通过第二卷积模型对第一点云序列进行特征提取，获取第一点云序列特征；
第一融合模块205，用于根据第一点云序列特征与联合语义分割图的相关性生成第一融合结果；
第二特征提取模块206，用于通过第二卷积模型对第二点云序列进行特征提取，获取第二点云序列特征；
第二融合模块207，用于根据第二点云序列特征与联合语义分割图的相关性生成第二融合结果；
损失函数模块208，用于根据第一融合结果及第二融合结果的差异性建立损失函数；
更新输出模块209，用于更新第二卷积模型的网络参数至损失函数收敛，输出损失函数收敛时的第一融合结果。
本申请实施例的应用于无人机的点云融合装置，基于无人机采集的图像序列和第一点云序列建立三分支的特征提取框架以获取联合语义分割图、第一点云序列特征及第二点云序列特征，并分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取第一融合结果和第二融合结果，使根据第一融合结果及第二融合结果的差异性建立的损失函数构成了一个自监督框架，实现第二卷积模型的自监督优化，无需人工标记标签；本申请实施例的应用于无人机的点云融合装置能根据无人机采集的图像序列和第一点云序列进行自适应优化的点云融合，并具有人工成本低、高抗噪声、高抗干扰能力的优势。
在一些优选的实施方式中，本申请实施例的应用于无人机的点云融合装置用于执行上述第一方面提供的应用于无人机的点云融合方法。
第三方面，请参照图4，本申请一些实施例还提供了一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种应用于无人机的点云融合方法、装置、设备及存储介质，其中，本申请实施例的应用于无人机的点云融合方法利用分别基于联合语义分割图和第一点云序列特征的相关性及联合语义分割图和第二点云序列特征的相关性获取的第一融合结果和第二融合结果建立损失函数，以构成自监督框架来实现第二卷积模型的自监督优化，无需人工标记标签，能根据无人机采集的图像序列和第一点云序列进行自适应优化的点云融合，并具有人工成本低、高抗噪声、高抗干扰能力的优势。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种应用于无人机的点云融合方法，用于融合无人机采集的点云数据，其特征在于，所述方法包括以下步骤：
S1、获取第一点云序列和与所述第一点云序列对应的图像序列；
S2、通过预训练的第一卷积模型对所述图像序列进行特征提取，变换获取联合语义分割图；
S3、随机去除所述第一点云序列中的部分点云以生成第二点云序列；
S4、通过第二卷积模型对所述第一点云序列进行特征提取，获取第一点云序列特征；
S5、根据所述第一点云序列特征与所述联合语义分割图的相关性生成第一融合结果；
S6、通过所述第二卷积模型对所述第二点云序列进行特征提取，获取第二点云序列特征；
S7、根据所述第二点云序列特征与所述联合语义分割图的相关性生成第二融合结果；
S8、根据所述第一融合结果及所述第二融合结果的差异性建立损失函数；
S9、更新所述第二卷积模型的网络参数至所述损失函数收敛，输出所述损失函数收敛时的第一融合结果。
2.根据权利要求1所述的应用于无人机的点云融合方法，其特征在于，步骤S2包括以下子步骤：
通过所述第一卷积模型对所述图像序列进行特征提取获取语义及空间特征图；
对所述语义及空间特征图进行平滑化处理、非负矩阵分解及矩阵变换处理获取所述联合语义分割图。
3.根据权利要求1所述的应用于无人机的点云融合方法，其特征在于，步骤S5包括以下子步骤：
根据所述第一点云序列特征与所述联合语义分割图获取不同点云图中不同点云特征与所述联合语义分割图的第一相关性概率；
根据不同点云位置对应的最大的第一相关性概率融合所述第一点云序列以生成所述第一融合结果。
4.根据权利要求3所述的应用于无人机的点云融合方法，其特征在于，所述根据所述第一点云序列特征与所述联合语义分割图获取不同点云图中不同点云特征与所述联合语义分割图的第一相关性概率的步骤包括：
根据所述第一点云序列特征与所述联合语义分割图的点对点乘积的归一化结果获取所述第一相关性概率。
5.根据权利要求1所述的应用于无人机的点云融合方法，其特征在于，所述更新所述第二卷积模型的网络参数至所述损失函数收敛的步骤包括：
根据梯度下降法更新所述第二卷积模型的网络参数直至所述损失函数的输出小于或等于预设阈值，则认为所述损失函数收敛。
6.根据权利要求5所述的应用于无人机的点云融合方法，其特征在于，所述根据梯度下降法更新所述第二卷积模型的网络参数直至所述损失函数的输出小于或等于预设阈值，则认为所述损失函数收敛的步骤包括：
根据梯度下降法更新所述第二卷积模型的网络参数；
在每轮更新所述网络参数后，若所述损失函数的输出大于所述预设阈值则返回步骤S3，若所述损失函数的输出小于或等于所述预设阈值，则结束更新所述网络参数。
7.根据权利要求1所述的应用于无人机的点云融合方法，其特征在于，所述第一卷积模型和所述第二卷积模型均为VGG+Attention模型。
8.一种应用于无人机的点云融合装置，用于融合无人机采集的点云数据，其特征在于，所述装置包括：
获取模块，用于获取第一点云序列和与所述第一点云序列对应的图像序列；
图像特征提取模块，用于通过预训练的第一卷积模型对所述图像序列进行特征提取，变换获取联合语义分割图；
点云去除模块，用于随机去除所述第一点云序列中的部分点云以生成第二点云序列；
第一特征提取模块，用于通过第二卷积模型对所述第一点云序列进行特征提取，获取第一点云序列特征；
第一融合模块，用于根据所述第一点云序列特征与所述联合语义分割图的相关性生成第一融合结果；
第二特征提取模块，用于通过所述第二卷积模型对所述第二点云序列进行特征提取，获取第二点云序列特征；
第二融合模块，用于根据所述第二点云序列特征与所述联合语义分割图的相关性生成第二融合结果；
损失函数模块，用于根据所述第一融合结果及所述第二融合结果的差异性建立损失函数；
更新输出模块，用于更新所述第二卷积模型的网络参数至所述损失函数收敛，输出所述损失函数收敛时的第一融合结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
CN202211138002.8A 2022-09-19 2022-09-19 应用于无人机的点云融合方法、装置、设备及存储介质 Active CN115223067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211138002.8A CN115223067B (zh) 2022-09-19 2022-09-19 应用于无人机的点云融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211138002.8A CN115223067B (zh) 2022-09-19 2022-09-19 应用于无人机的点云融合方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115223067A CN115223067A (zh) 2022-10-21
CN115223067B true CN115223067B (zh) 2022-12-09

Family

ID=83617093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211138002.8A Active CN115223067B (zh) 2022-09-19 2022-09-19 应用于无人机的点云融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115223067B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109650B (zh) * 2023-02-01 2024-02-13 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN115861938B (zh) * 2023-02-06 2023-05-26 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120276B1 (en) * 2020-07-30 2021-09-14 Tsinghua University Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN114066960A (zh) * 2022-01-13 2022-02-18 季华实验室 三维重建方法、点云融合方法、装置、设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114419412A (zh) * 2022-03-31 2022-04-29 江西财经大学 一种用于点云配准的多模态特征融合方法与系统
CN114494708A (zh) * 2022-01-25 2022-05-13 中山大学 基于多模态特征融合点云数据分类方法及装置
CN114782787A (zh) * 2022-05-17 2022-07-22 苏州轻棹科技有限公司 一种对点云与图像数据进行特征融合的处理方法和装置
CN115049872A (zh) * 2022-05-12 2022-09-13 苏州轻棹科技有限公司 一种融合图像点云特征的分类方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335353B (zh) * 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120276B1 (en) * 2020-07-30 2021-09-14 Tsinghua University Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN114066960A (zh) * 2022-01-13 2022-02-18 季华实验室 三维重建方法、点云融合方法、装置、设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114494708A (zh) * 2022-01-25 2022-05-13 中山大学 基于多模态特征融合点云数据分类方法及装置
CN114419412A (zh) * 2022-03-31 2022-04-29 江西财经大学 一种用于点云配准的多模态特征融合方法与系统
CN115049872A (zh) * 2022-05-12 2022-09-13 苏州轻棹科技有限公司 一种融合图像点云特征的分类方法和装置
CN114782787A (zh) * 2022-05-17 2022-07-22 苏州轻棹科技有限公司 一种对点云与图像数据进行特征融合的处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D point cloud fusion from UAV and TLS to assess temperate managed forest structures;Dimitrios Panagiotidis et al.;《International Journal of Applied Earth Observations and Geoinformation》;20220716;第1-12页 *
遥感影像与LiDAR点云多尺度深度特征融合的地物分类方法;王朝莹 等;《测绘科学技术学报》;20211231;第38卷(第6期);第604-610、617页 *

Also Published As

Publication number Publication date
CN115223067A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US11314985B2 (en) System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
CN115223067B (zh) 应用于无人机的点云融合方法、装置、设备及存储介质
CN110222653B (zh) 一种基于图卷积神经网络的骨架数据行为识别方法
CN110543841A (zh) 行人重识别方法、系统、电子设备及介质
CN112183577A (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
CN110851641B (zh) 跨模态检索方法、装置和可读存储介质
KR102097869B1 (ko) 자가 지도 학습을 이용한 딥러닝 기반 도로 영역 추정 장치 및 방법
CN112949647A (zh) 三维场景描述方法、装置、电子设备和存储介质
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN113011568A (zh) 一种模型的训练方法、数据处理方法及设备
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN113283336A (zh) 一种文本识别方法与系统
CN115222896A (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
Yang et al. Event camera data pre-training
Vallone et al. Danish airs and grounds: A dataset for aerial-to-street-level place recognition and localization
Li et al. Deep-learning-based 3D reconstruction: a review and applications
CN110990630B (zh) 一种基于图建模视觉信息的利用问题指导的视频问答方法
CN117115911A (zh) 一种基于注意力机制的超图学习动作识别系统
CN111798460A (zh) 一种卫星图像分割方法
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
CN114048284A (zh) 指代表达定位与分割模型的构建方法和装置
CN111259859B (zh) 一种基于联合变量图片生成的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant